Гибридный суперкомпьютер«МВС-экспресс» и его

применение

Четверушкин Б.Н.

ИПМ им. М.В. Келдыша РАН

ИПМ им. М.В.Келдыша РАН традиционно занимается разработками в области вычислительной техники: ЭВМ-”Стрела”, тема-”Лазурь”, МВС-100 и МВС-1000.

Активизация нынешнего этапа работ связана с появлением в 2007 г. четырехядерных процессоров.

Первые расчеты показали принципиальное отличие в использовании многоядерных процессоров от одноядерных MPI+OPEN MP особые требования к вычислительным алгоритмам – логически простые и эффективные.

Существующие типы вычислительных систем на базе четырехядерных процессоров имеют естественное ограничение по производительности ~1PFLOPS, вызванное стоимостью системы и ее энергопотреблением.

Современные тенденции будут связаны с появлением процессоров со все большим количеством ядер. Вычислительные системы основанные на них обладают существенно меньшей стоимостью и энергопотреблением.

Графические платы – пример существенно многоядреных процессоров.

● Задача “струя, набегающая на цилиндр”. Совместные с ЦАГИ исследования по локализации источников шума в турбулентном следе (обтекание стоек шасси самолета)

● Характерное время вычислений: 26.8 сек. на шаг по времени на 64 ядрах, 0.175 сек. на 12800 ядрах, нормализованное ускорение 152.6.

Ускорение MPI, 8 OpenMP нитей (логарифмическая шкала)

Расчеты на суперкомпьютере Ломоносов с использованием до 12800 ядер

Адаптированная неструктурированная тетраэдральная сетка

Вид сбоку, поле завихренности

Вид сбоку, поле модуля скорости

Вид сверху, поле модуля скорости

Изоповерхности модуля скорости

● Параметры задачи Re=14000, M=0.2 Сетка 16M узлов, 100M тетраэдров, 4-шаговый метод Runge-Kutta 4-го порядка по времени, Схема повышенного порядка с центром в узлах.

Трудности программирования и особо жесткие требования к вычислительным алгоритмам и, как следствие, заметное ограничение области применения.

Цель работы – создание относительно недорогого вычислительного комплекса для нахождения архитектурных, программных и алгоритмических решений для вычислительных систем на базе существенно многоядреных процессоров.

Экзафлопсная инициатива.

Структурная схема опытного образца суперкомпьютера «МВС – экспресс».

Пиковая производительность около ~6 TFLOPS.

Гибридная архитектура основана на традиционном вычислительном кластере, каждый узел которого снабжен сопроцессором (ускорителем) нетрадиционной архитектуры.

При гибридном подходе, часть работы программист может выполнить в привычных старых терминах, отдельно от изучения собственно новых архитектур.

Межузловую сеть следует усилить, оптимизировать по задержкам и упростить с точки зрения программирования.

В качестве ускорителей были выбраны готовые серийно выпускаемые GP GPU.

В качестве сети – сеть собственной (совместно с ФГУП «Квант») разработки.

Сеть оптимизирована под модель программирования PGAS (разделенное глобальное адресное пространство),

-простейший вариант библиотека shmem, что не исключает использование MPI.

Задача оптимизации алгоритма –

поиск подлежащих ускорению фрагментов обработки с максимальной локальностью обращений к памяти и максимальной простотой работы с памятью.

Пути решения этой задачи почти инвариантны к конкретной используемой архитектуре специального вычислителя – это общая проблема многоядерности.

Какие задачи хорошо адаптируются к предлагаемой архитектуре - для которых можно построить логически простые и в то же время эффективные алгоритмы.

Задачи, описывающие перенос излучений, молекулярная динамика.

Алгоритмы, основанные на явных схемах для решения задач математической физики.

Для явных разностных схем при решении параболических уравнений существует проблема жесткого ограничения на шаг по времени для устойчивости счета.

Моделирование поглощения гамма-излучения.

Q2

Q1

Q3

O

Описание многокомпонентного объекта

и его трассировка.

Траектории фотонов в цилиндре

Схема многоядерной реализации алгоритма

Структура распределения поглощенной энергии по энергетическим ячейкам.

Полученное ускорение расчета:

с использованием одного видеоадаптера nVidia GeForce GTX 275 ~80 раз,

при использовании ускорителя nVidia Tesla ~320 раз,

при использовании четырёх узлов гибридного кластера ~570 раз.

Численное моделирование трансзвукового обтекания головных частей ракет-носителей

Трансзвуковая перестройка течения.

Сравнение расчетных и экспериментальных данных

Ускорение счета с использованием GPU

Расчет обтекания препятствия. Уравнения Эйлера. Разностная схема С.К.Годунова.

, ,

schemesBoltzmann Lattice 11 fuf jj

2

2

322

2

22

2

002

2

020

)3(2

)(

)(2

2

схемы иеКинетическ

tc

h

upuxx

upxt

u

t

u

upxxx

u

tt

xu

f

xx

f

t

f

t

f ki

iii

Квазигазодинамическая система уравнений

Введение дополнительного релаксационного параметра для увеличения допустимого шага по времени.

2

2U U F .f QGDtt

Расчет течения несжимаемой жидкости в полости. Алгоритм на основе квазигазодинамической системы

уравнений.

Расчет с 2-й точностью

Задача о вытекании жидкости из контейнера

Мгновенные линии тока

Линии тока в диагональном сечении

Кинетический подход к моделированию течений в пористых средах

Классическая модель Модифицированная модель

div 0mt

u

0 0= - ,k

P P P

u grad

div div2

, -

100

l cm

t

l минимальный масштаб осредненияпри котором несущественна микроструктура среды l зерен породы

u grad

2

2div div grad ,

2

l ch c

t t

u

1 1 1 11 1

2

2

2 2 2

j j jj j j j ji i i i i i i

xx

u u l c

t t h

•Тестовые расчеты притока жидкости к нефтедобывающей скважине

h, см 0.2 0.5 1.0

Δt, сек 0.09 0.35 1.0

τ, сек 0.66 1.59 3.26

Расчет на GPUs задачи о двухфазном просачивании загрязняющих веществ в почву

Постановка задачи и поле насыщенности загрязняющего вещества (тетрахлорэтилен)

1.55.7

10.9

33.9

40

0

5

10

15

20

25

30

35

40

45

32x32 64x64 128x128 256x256 2048x2048

Количество точек сетки

Уск

орен

ие

Ускорение расчетов на GPU по сравнению с 1 ядром CPU

Предполагаемый Супер-компьютер ИПМ им. М.В.Келдыша РАН производительностью 100

TFLOPS, энергопотребление комплекса до 70 кВт, стоимость проекта 65 млн.р.

1. Моделирование задач гидро- и газовой динамики.2. Прогнозирование аварийных ситуаций в

космическом пространстве.3. Моделирование процессов неразрущающего

контроля.4. Решение задач молекулярной динамики.5. Моделирование добычи углеводородного сырья.

Опытный образец супер-компьютера «МВС-ЭКСПРЕСС»

GPU NvidiaGeForce 295GTX

Структурная схема вычислительного узла

CPUAMD

Opteron2382

SDRAM 8ГБ

2 х DDR22 х 5,4 ГБайт/c

Media and Communications Processor nVidia MCP55 PRO

HyperTransport ~ до 16 ГБайт/с

PCI-Express x41 ГБайт/c

PCI-Express x16 4 ГБайт/c

SDRAM 8ГБ

HDD320ГБ

Serial ATA3 Гбит/с

Gigabit Eternet1Гбит/c

Сетеваякарта

АдаптерМВС-Экспресс

CPUAMD

Opteron2382

Аппаратура: Процессор 2 x Opteron 2382 Частота 2600MГц 7 доступных задаче пользователя ядер. Двухканальная оперативная память PC5400 16 ГБайт Диск SATA 320Gb Сетевая карта Gigabit Ethernet. Видеокарта nVidia GeForce 295GTX 2 x 240 GPU с частотой 1242 МГц 1 ГБайт SDRAM Коммуникационный адаптер МВС-экспресс Cкорость до 700 Мбайт/с Латентность ~1,2 мкс Время выдачи слова ~ 70 нс Время чтения слова ~ 2,5 нс

Программное обеспечение: Операционная система SuSE Linux Enterprise Server Распараллеливание вычислений shmem-экспресс.

2 х DDR22 х 5,4 ГБайт/c

HyperTransport ~ до 16 ГБайт/с

Сумм. пропускная способность - 160 Гбит/сМаксимальный размер пакета - 256 байтКоличество каналов LAN-4х - 8 шт. Изготовитель - Квант, 2009 год

Измеренные значения:Скорость записи массива (500000 слов) - 681 Мбайт/сСкорость чтения массива (500000 слов) - 476 Мбайт/сЛатентность обменов - 2,1 мкс

Коммутатор PCI-Express

Адаптер PCI-Express

Интерфейс PCI-Express x4 Cкорость до 700 Мбайт/с Латентность ~1,2 мкс Время выдачи слова ~ 70 нс Время чтения слова ~ 2,5 нс