🗊Презентация Области применения НРС

CОВРЕМЕННЫЕ СУПЕРКОМПЬЮТЕРЫ Три группы компьютеров для НРС: векторные; высокопроизводительные универсальные; специализированные Векторные: создатель Сеймур Крей, SX-9 (NEC) имеет 8192 процессора и 840 TFLOPS векторной производительности (970 TFLOPS— с одновременной работы скалярного блока с плавающей запятой). Около 1 PFLOPS! Обмен с памятью 2Тбайт/с на 4 процессора. Универсальные: лидер RISC-процессор IBM Power6 с тактовой частотой 4,7 ГГц, 20 GFLOPS, 64 разряда (65 nm). Повышение производительности – многоядерность, копируются ядра на кристалле. Специализированные: 32 разряд. программируемые графические процессоры (Graphical Processor Unit, GPU), процессоры Сell/B.E разработки IBM, Sony и Toshiba , ускорители вычислений с плавающей запятой типа ClearSpeed и др. Некоторые из этих средств реализованы в форме отдельных плат— «акселераторов» вычислений, другие (например, Cell) интегрируют в одной микросхеме и «спецсредства», и универсальные процессоры.

ОСНОВНЫЕ КЛАССЫ ПАРАЛЛЕЛЬНЫХ КОМПЬЮТЕРОВ

Системы с распределенной памятью (МРР)

Массивно-параллельные системы МPP

Системы с общей памятью (SМР)

Симметричные мультипроцессорные системы (SMP)

Системы с NUMA-архитектурой

Системы с неоднородным доступом к памяти (NUMA)

КЛАСТЕРННЫЕ СУПЕРКОМПЬЮТЕРЫ

Общая структура кластерного суперкомпьютера

Кластерные системы

Blade-шасси, СКИФ МГУ 10 модулей T-Blade, 960 GFlop/s

Скиф МГУ Площадь зала 98 кв. метров

Суперкомпьютер Roadrunner, IBM (10 июня 2008, Источник: BBC News) Пиковая производительность 1,5 Pflop/s 3456 оригинальных серверов tri-blade Производительность сервера tri-blade – 0,4 Tflops Гибридная архитектура 20 тысяч высокопроизводительных двухъядерных процессоров – 6948 AMD Opteron и 12 960 Cell Broadband Engine производства самой IBM Системная память - 80 Tерабайт Занимаемая площадь около 560 кв. метров Общий вес оборудования - 226 тонн Энергопотребление - 3,9 мегаватта (376 миллионов операций на один ватт)

Платформы НРС На формирование образа суперкомпьютеров близкого будущего повлияют несколько ключевых технологических факторов: технологии миниатюризации серверов; это, прежде всего, широкое принятие лезвий, хотя одновременно появляются и новые конструкции тонких «стоечных» серверов, перспективность которых также нельзя исключать; широкое распространение технологий организации межсоединений на основе Infiniband; новая система тестирования, расширяющая «классические» тесты Linpack Benchmarks.

ВЫЧИСЛИТЕЛЬНЫЕ УЗЛЫ (СЕРВЕРА) История создания блейд - серверов Лезвия изобрел Крис Хипп во время Internet-бума конца 90-х. В основе банальная идея — заменить монолитные серверы простыми платами с процессорами архитектуры x86, работающими под управлением ОС Linux. В декабре 1999 года эта идея окончательно оформилась, и 1 января 2000 года была создана компания RocketLogix. Первым суперкомпьтером на блейд-серверах стал кластер Green Destiny. Компании производители: в первую очередь, IBM и HP (купила RLX Technologies); в меньших масштабах Dell, Sun Microsystems и другие. Сегодня крупнейшим производителем лезвий является компания HP. В HP выдвигается лозунг о «всеобщей блейдизации» (Blade Everything).

Одно из первых лезвий

Суперкомпьютер Green Destiny — кластер Beowulf (на лезвиях)

Основные требования к блейд – серверам (НР) Гибкость Снижение энергопотребления и ресурсов охлаждения Средства консолидированного управления Активные средства обеспечения безопасности Прозрачный механизм виртуализации Автоматизация выполнения рутинных и трудоемких процедур и задач

Сервер BladeCenter HS21 для кластера IBM 1350 Схема сервера

Кластер состоит из 6 «блейд-серверов» IBM BladeCenter HS21xx, один из которых управляющий, один запасной и четыре вычислительных. Кластер состоит из 6 «блейд-серверов» IBM BladeCenter HS21xx, один из которых управляющий, один запасной и четыре вычислительных. Вычислительный модуль состоит из двух 4-х ядерных процессор Intel Xeon 5320 “Clovertown”. Кэш второго уровня динамически разделяется между двумя ядрами. Два ядра, в зависимости от взаимного расположения могут обмениваться информацией либо через кэш 2 уровня, либо через шину FSB. Все 8 ядер для чтения /записи данных в ОЗУ, а так же для синхронизации одних и тех же данных в разных кэшах используют общую шину (FSB).

Характеристики BladeCenter HS21

Программное обеспечение Операционная система - Red Hat Enterprise Linux Параллельная файловая система - IBM General Parallel File System. Система управления пакетными заданиями – IBM Load Leveler. Компиляторы - Intel C++ и Intel Fortran версии 10.1, Библиотеки - Intel MKL версии 10.0 и Intel MPI 3.0.

НР Полка c7000 — вид спереди Два форм-фактора блейдов Полноразмерный блейд-сервер (до 8 в одной полке) Блейд-сервер половинной высоты (до 16 в одной полке) Storage-блейд половинной высоты (до 90 дисков в одной полке) Блоки питания До 6 блоков питания с горячей заменой при мощности 2250 Вт Управление BladeSystem Insight Display Модуль управления «Onboard Administrator»

Полка c7000 — вид сзади Восемь коммутационных отсеков До 4 резервированных фабрик ввода/вывода Ethernet, Fibre Channel, iSCSI и InfiniBand До 94% уменьшение количества кабелей 2 модуля управления «Onboard Administrator» (один стандартно)

Топология серверов НР Integrity

Integrity rx7640 имеют две связанные напрямую ячейки; координатные коммутаторы не используются (восемь процессорных разъемов, в стойке высотой 10U, мах ОЗУ 64 Гбайта). Integrity rx7640 имеют две связанные напрямую ячейки; координатные коммутаторы не используются (восемь процессорных разъемов, в стойке высотой 10U, мах ОЗУ 64 Гбайта). В rx8640 четыре ячейки соединены двумя коммутаторами (16 процессорных разъемов в стойке высотой 17U, мах ОЗУ 64 Гбайта). В старших моделях, Superdome, имеется восемь ячеек и шесть коммутаторов, расположенных в двух стойках (32 процессорных разъема в 2-х стойках высотой 17U, мах ОЗУ 128 Гбайт). Производительность серверов. На тестах TPC-C (задержка при обращении к ОЗУ): 2-х процессорные , 4-х ядерные серверы Integrity rx4640 с Itanium 2/1,6 ГГц достигли показателя 200829 tpmC со стоимостью $2,75/ tpmC; 8-ми ядерный 4-х процессорный сервер HP rx4640-8 с процессорами Itanium 2/1,6 ГГц (Мontecito) имеет 290644 tpmC при стоимости $2,71 /tpmC

КОММУНИКАЦИОННЫЕ ТЕХНОЛОГИИ Основные: Fast Ethertnet, Gigabit Ethernet, Myrinet, cLAN (Giganet), SCI, QsNetII (QSW), MEMORY CHANNEL, ServerNet II, InfiniBand, Flat Neighborhood. Fast Ethernet Производители оборудования: Intel, CISCO, 3Com и др. Показатели производительности: Пиковая пропускная способность - 100 Mbit/sec (12.5 MB/sec), полный дуплекс. В рамках MPI достигаются скорости порядка 6-7 MB/sec. Программная поддержка: Драйверы для всех версий UNIX и Windows NT, протоколы TCP/IP, MPICH - бесплатная переносимая реализация MPI. Комментарии:Преимуществами данной технологии являются: хорошая стандартизация и широкое распространение, а также низкие цены на оборудование и использование стандартных сетевых кабелей (UTP).

Gigabit Ethernet Производители оборудования: Intel, 3COM и др. Показатели производительности: Пиковая пропускная способность - 1 Gbit/sec (125 MB/sec), полный дуплекс. В рамках TCP/IP достигаются скорости порядка 500 Mbit/sec (60 MB/sec), в рамках MPI - до 45 MB/sec Программная поддержка: Драйверы для многих версий UNIX и Windows NT, протоколы TCP/IP. Комментарии: Преимуществом данной технологии является совместимость и возможность плавного перехода с технологий Ethernet/Fast Ethernet.

Myrinet 2000 Производители оборудования: Myricom Показатели производительности: Пиковая пропускная способность - 2 Gbit/sec, полный дуплекс. Аппаратная латентность порядка 5 мксек. В рамках TCP/IP достигаются скорости порядка 1.7-1.9 Gbit/sec (240 MB/sec). Латентность - порядка 30 мксек. Программная поддержка: Драйвера для Linux (Alpha, x86, PowerPC, UltraSPARC), Windows NT (x86), Solaris (x86, UltraSPARC) и Tru64 UNIX. Пакеты HPVM (включает MPI-FM, реализацию MPI для Myrinet), BIP-MPI и др. Комментарии: Myrinet является открытым стандартом. На физическом уровне поддерживаются сетевые среды SAN (System Area Network), LAN (CL-2) и оптоволокно. Технология Myrinet дает высокие возможности масштабирования сети и в настоящее время очень широко используется при построении высокопроизводительных кластеров.

InfiniBand Производители оборудования: InfiniBand Trade Association Показатели производительности: Пиковая пропускная способность каналов 10 GB/sec, латентность - 7 мксек. Программная поддержка: MPICH - бесплатная переносимая реализация MPI,MPI/Pro - реализация MPI для Linux RedHat 7.3, 7.3. Комментарии: InfiniBand предлагает удалённый прямой доступ в память (remote direct memory access - RDMA), позволяющий доставлять данные непосредственно в память процесса, не вовлекая системные вызовы. Данные могут передаваться 1-о,4-х и 12-ти кратной скоростью. Латентность на свиче InfiniBand составляет 160 наносекунд.

Архитектура InfiniBand Адаптер канала хоста (Host Channel Adapter, HCA). Инициация и организация обмена. Взаимодействие: с аналогичными адаптерами HCA,; с целевыми адаптерами канала; с коммутатором InfiniBand. Менеджер подсети (Subnet Manager, SM). Управление и мониторинг «матрицей InfiniBand» (InfiniBand fabric). Активный менеджер SM может размещаться на одном из узлов или непосредственно на одном из коммутаторов, Снабжение необходимой коммутационной и конфигурационной информацией всех коммутаторов, входящих в InfiniBand fabric. Согласованная работа инфраструктуры поддерживается тем, что все остальные узлы структуры включают в себя специальные агенты, обеспечивающие обработку данных, относящихся к обмену. Менеджеры и агенты взаимодействуют по алгоритмам, заложенным в датаграммы Management Datagram.

Архитектура InfiniBand Целевой адаптер канала (Target Channel Adapter, TCA). Используется для подключения не серверов, а внешних устройств, в том числе устройств хранения и интерфейсов ввода/вывода, к инфраструктуре InfiniBand. Обычно адаптер TCA включает контроллер ввода/вывода, соответствующий специфическому протоколу устройства (SCSI, Fibre Channel, Ethernet и т.д.), и он же обеспечивает взаимодействие с адаптерами HCA и коммутатором InfiniBand. Коммутатор InfiniBand. Масштабируемость инфраструктуры InfiniBand. Он позволяет подключать необходимое число адаптеров HCA и TCA, а также дополнительные коммутаторы InfiniBand fabric. Организация сетевого трафика, проверка заголовоков пакетов данных и направление их по месту назначения. InfiniBand fabric может состоять несколько коммутаторов.

Модуль InfiniBand на 24 канала