Принципы построения параллельных вычислительных систем.

Нажмите для полного просмотра!

Принципы построения параллельных вычислительных систем., слайд №2

Принципы построения параллельных вычислительных систем., слайд №3

Принципы построения параллельных вычислительных систем., слайд №4

Принципы построения параллельных вычислительных систем., слайд №5

Принципы построения параллельных вычислительных систем., слайд №6

Принципы построения параллельных вычислительных систем., слайд №7

Принципы построения параллельных вычислительных систем., слайд №8

Принципы построения параллельных вычислительных систем., слайд №9

Принципы построения параллельных вычислительных систем., слайд №10

Принципы построения параллельных вычислительных систем., слайд №11

Принципы построения параллельных вычислительных систем., слайд №12

Принципы построения параллельных вычислительных систем., слайд №13

Принципы построения параллельных вычислительных систем., слайд №14

Принципы построения параллельных вычислительных систем., слайд №15

Принципы построения параллельных вычислительных систем., слайд №16

Принципы построения параллельных вычислительных систем., слайд №17

Принципы построения параллельных вычислительных систем., слайд №18

Принципы построения параллельных вычислительных систем., слайд №19

Принципы построения параллельных вычислительных систем., слайд №20

Принципы построения параллельных вычислительных систем., слайд №21

Принципы построения параллельных вычислительных систем., слайд №22

Принципы построения параллельных вычислительных систем., слайд №23

Принципы построения параллельных вычислительных систем., слайд №24

Принципы построения параллельных вычислительных систем., слайд №25

Принципы построения параллельных вычислительных систем., слайд №26

Принципы построения параллельных вычислительных систем., слайд №27

Принципы построения параллельных вычислительных систем., слайд №28

Принципы построения параллельных вычислительных систем., слайд №29

Принципы построения параллельных вычислительных систем., слайд №30

Принципы построения параллельных вычислительных систем., слайд №31

Принципы построения параллельных вычислительных систем., слайд №32

Принципы построения параллельных вычислительных систем., слайд №33

Принципы построения параллельных вычислительных систем., слайд №34

Принципы построения параллельных вычислительных систем., слайд №35

Принципы построения параллельных вычислительных систем., слайд №36

Принципы построения параллельных вычислительных систем., слайд №37

Принципы построения параллельных вычислительных систем., слайд №38

Принципы построения параллельных вычислительных систем., слайд №39

Содержание ▲

Вы можете ознакомиться и скачать презентацию на тему Принципы построения параллельных вычислительных систем.. Доклад-сообщение содержит 39 слайдов. Презентации для любого класса можно скачать бесплатно. Если материал и наш сайт презентаций Mypresentation Вам понравились – поделитесь им с друзьями с помощью социальных кнопок и добавьте в закладки в своем браузере.

Слайды и текст этой презентации

Слайд 1

Описание слайда:

1. Введение в дисциплину Основные понятия. Принципы построения параллельных вычислительных систем. Классификация вычислительных систем. Типовые схемы коммуникации в многопроцессорных вычислительных системах.

Слайд 2

Описание слайда:

Структура предметной области (Параллельные вычисления) Математические основы параллельных вычислений Архитектура параллельных вычислительных систем Технологии параллельного программирования Параллельные алгоритмы решения задач Параллельные вычисления в конкретных предметных областях

Слайд 3

Описание слайда:

Литература В ИБЦ: Воеводин В. В. Параллельные вычисления. Богачев К. Ю. Основы параллельного программирования. Гергель В. П. Теория и практика параллельных вычислений. Учебные курсы Интернет Университета Информационных технологий Гергель В.П. Теория и практика параллельных вычислений. — Основы параллельного программирования с использованием Microsoft Visual Studio 2010. – Барский А.Б. Параллельное программирование. — Интернет-ресурсы:

Слайд 4

Описание слайда:

Что такое параллельные вычисления? Параллельные вычисления – процесс обработки данных, в котором могут одновременно выполняться несколько операций вычислительной (компьютерной) системы (ВС). Такие системы называют параллельными вычислительными системами (ПВС). Способы построения и применения ПВС – технологии параллельной обработки данных

Слайд 5

Описание слайда:

Параллельные вычислительные системы Параллельные вычисления – процесс обработки данных, в котором одновременно выполняется более одной операции. ПВС – вычислительная система, включающая не менее двух одновременно работающих обрабатывающих устройств (процессоров) или ядер одного процессора. Процессор – CPU (central processing unit), GPU (graphic processing unit). Ядро (core) – часть процессора, выполняющая один программный поток. Программный поток (thread) – последовательность команд, выполняющаяся независимо от других последовательностей. Каждая программа имеет минимум 1 поток. ОС назначает ресурсы каждому потоку. Поток может создавать другие потоки.

Слайд 6

Описание слайда:

Теоретические и практические проблемы параллельных вычислений Разработка параллельных вычислительных систем (ПВС) Анализ эффективности параллельных вычислений Разработка обобщенных параллельных алгоритмов решения задач Создание СПО для ПВС Разработка параллельных алгоритмов решения прикладных задач

Слайд 7

Описание слайда:

Показатели производительности параллельного выполнения Ускорение (Speedup) - за счёт параллельного выполнения программы в N потоках: a(N) = T(1) / T(N) Эффективность (Efficiency) системы, реализующей N потоков E(N) = a(N) / N Масштабируемость (Scalability) системы - возможность ускорения вычислений пропорционально числу потоков, (т.е. линейное ускорение): a(N)=N Суперлинейное ускорение: a(N)>N Часто N связывают с числом процессоров или ядер.

Слайд 8

Описание слайда:

Оценки производительности. Гипотеза Мински. Потери производительности при организации параллелизма Гипотеза Марвина Ли Мински (Marvin Lee Minsky, искусственный интеллект, нейронные сети) a=С*log2N, С – коэффициент пропорциональности Пример: a=10 при N=1000, С=1 (не для любых алгоритмов!) НО возможно использование параллелизма на 100%

Слайд 9

Описание слайда:

Оценки производительности. Закон Амдала. Максимальный теоретический выигрыш для сочетания параллельных вычислений с последовательными: Закон Амдала: если p – доля последовательных вычислений, то a

Слайд 10

Описание слайда:

Автор закона (конец 1960 г.г.) – главный разработчик мейнфреймов серии IBM/360 Джин Амдал (Gene Amdahl), основатель Автор закона (конец 1960 г.г.) – главный разработчик мейнфреймов серии IBM/360 Джин Амдал (Gene Amdahl), основатель Amdahl — американская корпорация, производитель IBM-совместимых серверов. Основана в 1968 году, с 1997 года принадлежит Fujitsu.

Слайд 11

Описание слайда:

Закон Амдала (графики от riki-koen.livejournal.com/75235.html)

Слайд 12

Описание слайда:

р=0.1, с=0.001, max=6.25 (чем меньше с, тем быстрее обмен данными)

Слайд 13

Описание слайда:

Организация параллельных вычислений – возможные режимы Многозадачный режим, или режим разделения времени: Псевдопараллельность – для выполнения нескольких программ используется один процессор  исполняется 1 программа (процесс, задание, задача), прочие – в очереди. Параллельное выполнение: Одномоментное выполнение нескольких команд обработки данных из разных потоков или с разными данными на нескольких процессорах (ядрах). Распределенные вычисления: Параллельное выполнение на удаленных устройствах  Возможны проблемы с обменом данными  Актуальны для специфических задач.

Слайд 14

Описание слайда:

Основные типы ПВС Суперкомпьютер: ВС рекордной производительности, выпускаемая отдельными экземплярами на оригинальной схемотехнической базе. ВС ценой > $1 млн. ВС, мощность которой только на порядок меньше необходимой для современных задач)). Способы построения и применения СК – технологии высокопроизводительных вычислений (ТВВ) – High Performance Computing (HPC). С 1980 г.г. СК стали ПВС  ТВВ взаимосвязаны с технологиями параллельной обработки данных (иногда синоним)

Слайд 15

Описание слайда:

Основные типы ПВС Кластер – группа выделенных рабочих станций: объединены в ЛВС, эффективно и надежно работают как единый вычислительный ресурс, используется серийное, типовое оборудование (компьютерное и сетевое). Развитие сетевого оборудования (конец 1990г.г.)  суперкомпьютеры часто строятся по технологии кластеров. Пример – СК - кластер ИМКН: 2 IBM eServer BladeCenter™+ флагманское сетевое оборудование Cisco Systems + хранилище

Слайд 16

Описание слайда:

Классификация ПВС по архитектуре Архитектура ВС - общая логическая организация ВС: определяющая процесс обработки данных, включающая архитектуру ЭВМ, структуру и характеристики программного обеспечения, принципы его взаимодействия с аппаратными средствами. Основа классификации – систематика Флинна: анализ взаимодействия потоков выполняемых команд и потоков обрабатываемых данных  вид параллелизма (ПВС)

Слайд 17

Описание слайда:

Основные типы ВС по Флинну (Michael J. Flynn, Таксономия Флинна - 1966 г.)

Слайд 18

Описание слайда:

Основные типы ВС по Флинну SISD (Single Instruction Single Data) – 1 поток команд, 1 поток данных. есть только один поток команд, все команды обрабатываются последовательно друг за другом, каждая команда инициирует одну операцию с одним потоком данных П. Стандартный компьютер фон Неймана.

Слайд 19

Описание слайда:

Основные типы ВС по Флинну SIMD (Single Instruction Multiple Data) – 1 поток команд, много потоков данных. один поток команд, включающий векторные команды, может выполняться одна операция сразу над многими данными - элементами вектора. П1. Компьютер с векторным процессором (операнды – массивы). П2. Специализированные многопроцессорные ВС (одна команда одновременно выполняется с разными данными) для обработки видео, изображений и аудио, для ускорения 3D- и 2D-графики и других мультимедийных задач.

Слайд 20

Описание слайда:

Основные типы ВС по Флинну MISD (Multiple Instruction Single Data) – много потоков команд, 1 поток данных. Отказоустойчивые компьютеры, ВС с систолическим массивом (systolic array) процессоров. MIMD (Multiple Instruction Multiple Data) – много потоков команд, много потоков данных. Большинство многопроцессорных ПВС

Слайд 21

Описание слайда:

Разновидности ВС типа MIMD Дальнейшая классификация ВС – по способам организации оперативной памяти: Мультипроцессоры – ВС с общей, разделяемой между процессорами памятью. Мультикомпьютеры – ВС с распределенной памятью самостоятельных компьютеров, объединенных в сеть (MPP-системы, Massively Parallel Processing).

Слайд 22

Описание слайда:

Мультипроцессоры – способы построения общей памяти Единая общая память с равноправным (однородным) доступом (Uniform Memory Access, UMA). Используется в ВС на основе: симметричных мультипроцессоров (SMP-системы, Symmetric Multiprocessing) П. IBM eServer, векторных параллельных процессоров, в которых предусмотрены команды однотипной обработки векторов независимых данных (PVP-системы, Parallel Vector Processor)

Слайд 23

Описание слайда:

Архитектура систем UMA

Слайд 24

Описание слайда:

Cache memory – кэш-память, кэш: промежуточный буфер с быстрым доступом, содержащий информацию, которая может быть запрошена с наибольшей вероятностью. Cache memory – кэш-память, кэш: промежуточный буфер с быстрым доступом, содержащий информацию, которая может быть запрошена с наибольшей вероятностью. Доступ к данным в кэше быстрее, чем выборка исходных данных из оперативной памяти  Уменьшается время доступа к данным  Увеличивается общая производительность ВС. Кэширование применяется жесткими дисками, браузерами, Web-серверами, службами DNS и т.д.

Слайд 25

Описание слайда:

Проблемы UMA Доступ с разных процессоров к общим данным  Необходимо обеспечивать однозначность (когерентность) содержимого разных кэшей (cache coherence problem). Решение: уведомление всех процессорных узлов (и кэшей!) об изменении значения в общей памяти

Слайд 26

Описание слайда:

Копии значения переменной x – в разных кэшах  Возможно изменение х одним из процессоров.

Слайд 27

Описание слайда:

Проблемы UMA Доступ с разных процессоров к общим данным  Необходимость синхронизации взаимодействия одновременно выполняемых потоков команд (многопоточность) Методы синхронизации: Мьютекс (mutual exclusion, взаимоисключение) Семафор События …

Слайд 28

Описание слайда:

Мультипроцессоры – способы построения общей памяти 2. Физически распределенная общая память с неравноправным (неоднородным) доступом (Non-Uniform Memory Access, NUMA). Принцип: Блок памяти ↔ процессор (быстрый доступ) «Чужие» блоки ↔ процессор (медленный доступ – до нескольких порядков) – ОСНОВНАЯ ПРОБЛЕМА!

Слайд 29

Описание слайда:

Архитектура систем NUMA

Слайд 30

Описание слайда:

NUMA системы Для данных используются только локальные кэши процессоров – нет общей памяти => нет проблемы когерентности (COMA-системы, Cache-Only Memory Architecture) Обеспечена когерентность локальных кэшей (аппаратно) (СС-NUMA-системы, Cache-Coherent) Не обеспечена когерентность локальных кэшей (NСС-NUMA-системы, Non-Cache-Coherent)

Слайд 31

Описание слайда:

Мультикомпьютеры МК – ВС с распределенной памятью самостоятельных компьютеров, объединенных в сеть МК – системы типа NORMA (No-Remote Memory Access – «нет доступа к удаленной памяти») Архитектура аналогична архитектуре МП с распределенной памятью. НО!: Каждый процессор может использовать только свою локальную память. Для доступа к «чужим» данных д.б. явно выполнены операции передачи сообщений (message passing operations) – 1- или 2-сторонний обмен данными

Слайд 32

Описание слайда:

Основные типы МК – многопроцессорных вычислительных систем Массивно (массово)-параллельные системы, MPP-системы (Massively Parallel Processing – массово-параллельная обработка) Система состоит из однородных узлов (до 103), включающих: один или несколько ЦП (обычно RISC), локальную память (прямой доступ к памяти других узлов невозможен!), коммуникационный процессор или сетевой адаптер жесткие диски и/или другие устройства I/O

Слайд 33

Описание слайда:

Основные типы МК – многопроцессорных вычислительных систем Кластер - набор рабочих станций (или даже ПК) общего назначения, используется в качестве дешевого варианта МРР-системы. Связь узлов - одна из стандартных сетевых технологий (Fast/Gigabit Ethernet, Myrinet и др.) на базе шинной архитектуры или коммутатора.

Слайд 34

Описание слайда:

Классификация многопроцессорных ВС (подробно см.

Слайд 35

Описание слайда:

Коммуникация в МВС Коммуникация между процессорами обеспечивает: взаимодействие, синхронизацию, взаимоисключения выполняемых процессов  Коммуникационная «трудоемкость» алгоритма влияет на выбор способа решения задачи Коммуникация определяется топологией сети – схемой расположения и соединения сетевых устройств.

Слайд 36

Описание слайда:

Примеры топологий сетей в МВС

Слайд 37

Описание слайда:

Особенности топологий сетей передачи данных Тип - Преимущества - Реализация Полный граф – минимум затрат на передачу данных - - (кластер с соединением CPU через свитч с ограничением: только одна одномоментная операция приема-передачи данных для каждого процессора  взаимодействующие пары CPU не должны пересекаться). Линейка – идеально для конвейерных вычислений - + Кольцо - ? - + Звезда – для централизованных схем вычислений - + Решетка (2D, 3D) - + - +

Слайд 38

Описание слайда:

Характеристики топологий сети Диаметр – определяет время передачи данных через max расстояние между 2 CPU сети (расстояние равно величине кратчайшего пути). Связность – определяет наличие разных маршрутов передачи данных между CPU, min число дуг графа, которые надо удалить для получения 2 несвязных областей. Ширина бисекции – связность, но 2 области д.б. одинакового размера Стоимость – общее число линий передачи данных в МВС