🗊Презентация Параллельное программирование. Лекция 1

Козлова Елена Сергеевна kozlova.elena.s@gmail.com

Лекции: 20 часов Лабораторные работы: 24часов Самостоятельная работа: 40 часов ИТОГ: Зачет

Основные архитектуры параллельных вычислительных систем, их классификация Основные архитектуры параллельных вычислительных систем, их классификация Основные модели параллельного программирования Основы программирования с использованием OpenMP Основы программирования с использованием MPI Основы программирования с использованием CUDA Математические основы параллельных вычислений Основы методологии проектирования параллельных программ Методы оценки производительности параллельных программ

Гергель В.П., Высокопроизводительные вычисления для многопроцессорных многоядерных систем М. : Изд-во Моск. ун-та [и др.], 2010 Гергель В.П., Высокопроизводительные вычисления для многопроцессорных многоядерных систем М. : Изд-во Моск. ун-та [и др.], 2010 Гергель В.П. Инструменты параллельного программирования в системах с общей памятью М. : Изд-во Моск. ун-та, 2010 В.В.Воеводин, Вл.В.Воеводин Параллельные вычисления СПб: БХВ-Петербург, 2002 Богачев К.Ю. Основы параллельного программирования М.: БИНОМ. Лаборатория знаний, 2003 Боресков А. В. и др. Параллельные вычисления на GPU. Архитектура и программная модель CUDA: Учебное пособие М. : Изд-во Моск. ун-та, 2012

Введение в программирование для параллельных ЭВМ и кластеров Учебн. Пособие, Авт.-сост.: Кравчук В.В., Попов С.Б., Привалов А.Ю., Фурсов В.А., Шустов В.А. Под ред. В.А. Фурсова. Самара: СНЦ РАН, СГАУ, 2000. 87 с. Введение в программирование для параллельных ЭВМ и кластеров Учебн. Пособие, Авт.-сост.: Кравчук В.В., Попов С.Б., Привалов А.Ю., Фурсов В.А., Шустов В.А. Под ред. В.А. Фурсова. Самара: СНЦ РАН, СГАУ, 2000. 87 с. Начальные сведения для работы на вычислительном кластере Метод. указания для курс. и дипл. проектир. и учеб.-исслед. работы студентов, Авт.-сост.: С.Б. Попов, С.А. Скуратов, В.А. Фурсов. Самара: СГАУ, 2004. 20 с. Стандарт OpenMP электрон. учеб. Пособие, Авт.-сост.: Попов С.Б. Самара: СГАУ, 2011. 67 с. Библиотека MPI электрон. учеб. Пособие, Авт.-сост.: Попов С.Б. Самара: СГАУ, 2011. 45с.

В.Н. Дацюк, А.А. Букатов, А.И. Жегуло Методическое пособие по курсу "Многопроцессорные системы и параллельное программирование" http://rsusu1.rnd.runnet.ru/koi8/index.html В.Н. Дацюк, А.А. Букатов, А.И. Жегуло Методическое пособие по курсу "Многопроцессорные системы и параллельное программирование" http://rsusu1.rnd.runnet.ru/koi8/index.html MPI: The Message Passing Interface http://parallel.ru/tech/tech_dev/mpi.html http://www.parallel.ru

Моделирование вселенной Моделирование вселенной (а) (б) (в) Рис. 1. Изображение вселенной

Моделирование климата Моделирование климата Рис. 2. Изображение воздушных потоков

Моделирование белков и др. химических объектов Моделирование белков и др. химических объектов Рис. 3. Модели белков

Моделирование мозга (нейронные сети) Моделирование мозга (нейронные сети) ( Рис. 4. Нейронные сети

Расчеты сложных физических реакций Расчеты сложных физических реакций Рис. 5. Сложные физические взаимодействия

Стратегическое направление развития вычислительной техники Стратегическое направление развития вычислительной техники Основной путь повышения производительности компьютеров ASCI – Accelerated Strategic Computing Initiative

Независимость функционирования отдельных устройств компьютеров Независимость функционирования отдельных устройств компьютеров Избыточность элементов вычислительной системы (использование специализированных устройств и дублирование ) Конвейерная реализация обрабатывающих устройств

Высокая стоимость параллельных вычислительных систем (суперкомпьютеров) Высокая стоимость параллельных вычислительных систем (суперкомпьютеров) Необходимость обобщения последовательных программ Потери производительности при организации параллелизма (гипотеза Минского) Постоянное совершенствование последовательных компьютеров Последовательность большинства вычислительных алгоритмов (закон Амдала) Зависимость эффективности параллелизма от учета архитектуры параллельных систем

cc-NUMA – cashe-coherent NUMA cc-NUMA – cashe-coherent NUMA

Векторно-конвейерные процессоры: Векторно-конвейерные процессоры: SMP - конфигурация MPP - конфигурация Модель программирования: Векторизация циклов Распараллеливание

SISD – Single Instruction, Single Data обычные последовательные компьютеры SISD – Single Instruction, Single Data обычные последовательные компьютеры

MISD – Multiple Instruction, Single Data не существует MISD – Multiple Instruction, Single Data не существует

Классификация В. Хендлера (t(C) = (k,d,w)) Классификация В. Хендлера (t(C) = (k,d,w)) Классификация Л. Шнайдера (Iw(Ia)w(Iv) Iw(Ia)w(Iv))

Общие характеристики: Общие характеристики: Общее число серверов/процессоров/вычислительных ядер: 165/332/1712; Общее число графических процессоров/ядер: 5/4216; Общая оперативная память: 4375 Гб; Тип системной сети: QLogic/Voltaire InfiniBand DDR, QDR;

Вычислительная часть Вычислительная часть 112 вычислительных блейд-серверов  (2х Intel Xeon X5560, 12 Гб, 76/146Гб, InfiniBand DDR, QDR) 28 вычислительных блейд-серверов (2х Intel Xeon E5-2665, 32 Гб, 146Гб InfiniBand QDR) 14 блейд-серверов (2х Intel Xeon X5670, 24 Гб, InfiniBand QDR) 8 блейд-серверов (2х Intel Xeon X5670, 96 Гб, 244Гб, InfiniBand QDR) 2 блейд-сервера (2х Intel Xeon X5670, 48 Гб, InfiniBand QDR, 2x Nvidia Tesla 2070, 448 CUDA cores, 6Gb GRAM) сервер (4х Intel Xeon E7-4860, 1006 Гб, 2.8Тб, 952Гб, InfiniBand QDR, 1xNvidia K20c, 2496 CUDA cores, 5GB GRAM) 2 IBM x3650M управляющих сервера (2х Intel Xeon X5560, 12 Гб) 2 IBM x3650M3 сервера для работы файловой системы GPFS

61 ядро, 244 потока производительность 1,2 терафлопс. Векторные операции

Производительность 8.74 терафлопс для вычислений с плавающей точкой в одинарной точности и 2.91 терафлопс для двойной точности. Производительность 8.74 терафлопс для вычислений с плавающей точкой в одинарной точности и 2.91 терафлопс для двойной точности. 24ГБ ультраскоростной памяти GDDR5 – 12ГБ Полоса пропускания 480ГБ/с 4992 параллельных ядра CUDA®. Динамическая технология NVIDIA GPU Boost Динамический параллелизм