Вычислительная и коммуникационная инфраструктура...
TRANSCRIPT
Вычислительная и коммуникационная инфраструктура Академгородка
и СО РАН
Максим Александрович Городничев[email protected]
http://ssd.sscc.ru
Институт вычислительной математики и математической геофизики СО РАНwww.sscc.ru
Сибирский суперкомпьютерный центрwww2.sscc.ru
Совет по супервычислениям при президиуме СО РАН
• Какие компьютеры нужны науке?
• Задачи вычислительных центров СО РАН и развитие вычислительных ресурсов
• Коммуникационная инфраструктура Академгородка
• Потребности в развитии сетей связи
О чем будет разговор
Компоненты научного метода
• Теория• Натурный эксперимент• Компьютерное моделирование
«Страна, желающая победить в конкуренции,должна победить в вычислениях»
Deborah Wince-Smith, Президент Советапо конкурентоспособности США
Из Указа Президента РФ от 7 июня 2011г № 899• Приоритетные направления развития науки, технологий и
техники Российской Федерации п.3 «Информационно-телекоммуникационные системы»
• Перечень критических технологий Российской Федерации п. 18 «Технологии и программное обеспечение распределенных и высокопроизводительных вычислительных систем»
Потребности в вычислительных мощностях на примере задачи моделирования климата
Лишь атмосфера, период 100 лет: 1017 операций*
Производительность компьютеровизмеряется в операциях в секунду:
1 Pflops = 103 Tflops = 106 Gflops = 1015 операций в секунду
Потребности в производительности:Решить задачу за час: 27,8 TflopsРешить задачу за 12 часов: 2,3 TflopsРешить задачу за месяц: 0,04 Tflops
*В.В. Воеводин. Вычислительная математика и структура алгоритмов. М.:МГУ, 2006: сетка с ячейкой 1°, 40 слоев по высоте, шаг по времени -- 10 минут.
Wikipedia
Рейтинги производительности вычислительных систем (в Tflops)
Top-50 СНГ, сентябрь 2011http://top50.supercomputers.ru
Top-500, ноябрь 2011http://top500.org
Поз. Организация Ppeak Pmax
1 МГУ 1373,06 674,11
2 Курчатовский институт
123,65 101,21
3 Челябинск, ЮУрГУ
117,67 100,33
10 Томск, ТГУ 62,35 42,53
23 НГУ 29,28 17,32
31 Красноярск, СФУ
13,06 16,87
32 ССКЦ ИВМиМГ+ИЦиГ СО РАН
30,01 12,55
Поз. Страна Ppeak Pmax
1 Япония 11280,38 10510,00
2 Китай 2566,00 4701,00
3 США 2331,00 1759,00
9 Франция 1254,55 1050,00
12 Германия 1043,94 831,40
18 Россия 1373,06 674,11
19 Великобритания
829,03 660,24
Ppeak – по спецификации процессоровPmax – на тесте Linpack
Распределение производительности вычислительных систем в списке Top-500 по странам
http://top500.org
Суперкомпьютерные центры СО РАН
•Омск•Новосибирск•Томск•Красноярск•Иркутск
Google Maps
Основные направления деятельности суперцентров Сибирского отделения РАН
• Обеспечение работ институтов СО РАН и университетов Сибири по математическому моделированию в фундаментальных и прикладных исследованиях
• Обучение специалистов СО РАН и студентов университетов методам параллельных вычислений на суперкомпьютерах, методам моделирования больших задач
• Интеграция вычислительных ресурсов СуперцентровСО РАН
Координация работ по развитию суперкомпьютерных центров СО РАН, осуществляется Советом по супервычислениям при Президиуме СО РАН
Примеры задач, решаемых в СО РАН
Суперкомпьютерное моделирование эволюции галактик и протопланетных дисков
ИВМиМГ СО РАН, ИК СО РАН, Новосибирск
Моделирование карбонатных резервуаров
ИВМиМГ СО РАН, Новосибирск
Расчет проводился на 512 процессорах.
Работа заняла первое место в Конкурсе проектов в сфере высокопроизводительных вычислений под девизом «Невозможное стало возможным», организованного корпорацией Intel совместно с Российской корпорацией нанотехнологий («РОСНАНО») в 2010 году.
Моделирование обтекания перспективных спускаемых космических аппаратов
ИТПМ СО РАН, Новосибирск
Предсказаны потенциальные сайты связывания иона Zn2+, включающие в себя аминокислоты, не характерные для нормального сайта связывания цинка в белке P53, а также было предсказано положение иона Zn2+ в найденных потенциальных сайтах.
Исследование конформационной подвижности мутантных форм белков
ИЦиГ СО РАН, Новосибирск
Непрерывно-дискретная полевая модель движения людей во время пожара является весьма ресурсоемкой.
Для моделирования движения одного человека в течение 1 мин. требуется около 20*107
расчетных шагов. При решении практических
задач эвакуации количество человек измеряется сотнями и тысячами.
Моделирование движения людейи расчет эвакуации
в задачах пожарной безопасности
ИВМ СО РАН, Красноярск
Теоретическое исследование перспектив использования графеноподобной планарной структуры BС3 в качестве
анодов для построения нового типа литий-ионных аккумуляторов
ИВМ СО РАН, Красноярск
Зависимость энергии адсорбирования лития внутри графита и ВС3 от его массовой доли
Геометрическая структура ВС3с адсорбированным литием
Развитие ресурсов центров и решаемые задачи
Институт динамики систем и теории управления СО РАН
Вычислительный кластерМВС-1000/1632 CPU Intel Xeon DP, интерконнект – Myrinet 2000 & Gigabit EthernetПиковая производительность ~ 0,17 TFlops
ДЕЙСТВУЮЩИЕ ВЫЧИСЛИТЕЛЬНЫЕ РЕСУРСЫ
ИРКУТСКИЙ СУПЕРКОМПЬЮТЕРНЫЙ ЦЕНТР
Вычислительный кластер «Blackford»40 CPU Quad-Core Intel Xeon E5345,интерконнект – 2 x Gigabit EthernetПиковая производ. ~ 1,5 TFlops Реальная производ.(HPL) – 924 GFlops
РАЗВИТИЕ ВЫЧИСЛИТЕЛЬНОЙ БАЗЫ
Кластер GPU-серверов “TESLA”Общее число GPU – 8Число потоковых ядер – 1920Интерконнект – GigaEthernetRpeak (GPU): 7,45 TFlops (SPI) 624 GFlops (DPI)
Запускается первая очередь кластерной вычислительной системы нового поколения на базе архитектуры x86_64(16-core CPU AMD Opteron 6276 Bulldozer) общей пиковой производительностью 33,7 TflopsПрогнозная реальная производительность на тесте LINPACK > 27 TFlops
Институт динамики систем и теории управления СО РАН
КластерМВС-10000,17 TFlops
Кластер“Blackford” на базе Intel Xeon QC1,5 TFlops
Серверы на базе GPU Tesla7,45 TFlops (SPI)
Кластер на базе AMDBulldozer33,7 TFlops
РАЗВИТИЕ ВЫЧИСЛИТЕЛЬНОЙ БАЗЫ
ИРКУТСКИЙ СУПЕРКОМПЬЮТЕРНЫЙ ЦЕНТР
Институт динамики систем и теории управления СО РАН
• Биоинформатика, геномика, филогенетика
• Физика твердого тела, квантовая химия
• Физика высоких энергий, теория поля
• Дискретная математика, криптоанализ
• Оптимальное управление, методы оптимизации
ОБЛАСТИ ПРИМЕНЕНИЯ РЕСУРСОВ
ИРКУТСКИЙ СУПЕРКОМПЬЮТЕРНЫЙ ЦЕНТР
Лимнологический институт СО РАН (биоинформатика, геномика, филогенетика, биология рыб, …)
~50%Институт динамики системи теории управления СО РАН (дискретная математика, криптография, физика плазмы, …)
~25%Институт геохимии им. А.П. Виноградова СО РАН (квантово-химические расчеты, физика твердого тела)
~20%ИрИХ СО РАН, ИГУ, ИрГТУ и другие
~5%
РАСПРЕДЕЛЕНИЕ МАШИННОГО ВРЕМЕНИ
КРАСНОЯРСКИЙ СУПЕРКОМПЬЮТЕРНЫЙ ЦЕНТРИнститут вычислительного моделирования СО РАН
ВЫЧИСЛИТЕЛЬНЫЕ РЕСУРСЫ
1. МВС-1000/146 – производительность 0.65 Тflops, модернизирована в 2011 г.
2. МВС-1000/16 – тренажер
3. IBM System x 3755 (СФУ) – производительность 1 Тflops
4. Tesla C-2050 - три вычислительных комплекса, каждый производительностью 1 Тflops
5. Flagman RX 240T – производительность 8.24 Тflops, закуплен по проекту РФФИ в 2011 г.
Институт вычислительного моделирования СО РАН
СТАТИСТИКА МВС-1000/146
Направления научных
исследований
Запусков задач
ОрганизацияВклад в
загрузку (%)
Молекулярная динамика
1500 ИФ СО РАН 84
Молекулярная динамика
1050 ИХХТ СО РАН 14
Динамика вязких и
сыпучих сред220 ИВМ СО РАН 1
Газодинамика 87 ИВМ СО РАН 0.3
Прочее 2770ИВМ СО РАН, СибГТУ и др.
1
Всего 5540 100
КРАСНОЯРСКИЙ СУПЕРКОМПЬЮТЕРНЫЙ ЦЕНТР
ТОМСКИЙ НАУЧНЫЙ ЦЕНТРИнститут сильноточной электроники СО РАН
СИСТЕМА ПЕРЕДАЧИ ДАННЫХТекущее состояние
сетевой инфраструктуры ТНЦ СО РАН
1) В 2011 году был реализован вариант расширения полосы пропускания данных с томским научно-образовательным комплексом за счет увеличения числа параллельных каналов, а также построение дополнительных линий связи. Выполненные работы дают возможность подключать вычислительные кластеры университетов как минимум на скоростях 1 Гб. 2) Запущен внешний поток ННЦ СО РАН – ТНЦ СО РАН для возможности подключения высокопроизводительных вычислительных ресурсов ТНЦ СО РАН и университетов Томска к распределенной GRID-сети СО РАН.
Кластер на базе процессоров Intel Itanium2 –5 вычислительных узлов (ВУ) + 1 управляющий узел (УУ)Характеристики ВУ кластера: - 2 процессора Intel Itanium2 Madison, 1595.706 Mгц; - оперативная память 4 Гб; - жесткий диск 40 Гб (SCSI); - сеть: Mellanox SDR Infiniband, Gigabit Ethernet.Вычисл-ная система на базе Tesla/Fermi – 4 ВУ + 1 УУ: - 2 ВУ с Tesla C2050; - 1 ВУ с Tesla C2070; - 1 ВУ с 2 Tesla C1060 (~ 1 ТФлопс каждый); - Quadro NVS 290; - сеть: Gigabit Ethernet.
ВЫЧИСЛИТЕЛЬНЫЕ РЕСУРСЫ
ТОМСКИЙ НАУЧНЫЙ ЦЕНТР
РЕШАЕМЫЕ ЗАДАЧИ
Институт сильноточной электроники СО РАН
• Разработка и реализация параллельных вычисленийна распределенных вычислительных системах в рамках метода подвижных клеточных автоматов (ПКА).ИФПМ СО РАН
• Параллельная реализация алгоритма решения задач динамики пучков заряженных частиц для самосогласованного электромагнитного поля методом "частицы-в-ячейках" в r-z геометрии. ИСЭ СО РАН
• Моделирование развития пробоя газонаполненного диода импульсом напряжения наносекундной длительности. ИСЭ СО РАН
• Тестовый запуск модели Weather Research and Forecast(WRF ARW) версии 3.0 в многопроцессорном режимена кластере SGI Altix-4700 РСМЦ ЗС УГМА (г.Новосибирск),ИМКЭС СО РАН
ОМСКИЙ СУПЕРКОМПЬЮТЕРНЫЙ ЦЕНТРОмский филиал Института математики СО РАН
ОСНОВНАЯ ТЕХНИЧЕСКАЯ БАЗА
2-х модульный суперкомпьютерный кластер Tesla Meijin. Построен с использованием четырехъядерного процессора Intel Core i7 Extreme на базе вычислителей NVIDIA Tesla C1060. Кластер в настоящее время состоит из 2 узлов, каждый из которых содержит по 3 вычислителя NVIDIA Tesla C1060;
Телекоммуникационные возможности компьютерной сети, созданной по проекту КС «ОКНО»; Кластерный суперкомпьютер МВС-1000/128 перенесен из ОФ ИМ СО РАН на факультет компьютерных наук Ом ГУ для обеспечения учебного процесса.
ОМСКИЙ СУПЕРКОМПЬЮТЕРНЫЙ ЦЕНТРОмский филиал Института математики СО РАН
РЕШАЕМЫЕ ЗАДАЧИ
• Ведется разработка точного алгоритма решения USApHMP. В настоящее время реализована процедура локального поиска для USApHMP на основе технологии CUDA.
• Квадратичная задача о назначениях с минисуммным критерием для произвольного графа связей на древовидной сети с применением параллельного алгоритма динамического программирования.
• Разрабатываются параллельные многопоточные алгоритмы формирования табличных представлений данных по технологии OLAP.
• Создание моделирующих программ для стохастических моделей динамики социально-значимых заболеваний и выявления больных индивидуумов.
СИБИРСКИЙ СУПЕРКОМПЬЮТЕРНЫЙ ЦЕНТРИнститут вычислительной математики и математической геофизики СО РАН
Кластер HKC-160(hp rx1620)
168 процессор.Itanium 2,1,6 ГГц;InfiniBand,Gigabit Ethernet (GE); > 1 ТФлопс
Серверс общей памятью
(hp DL580 G5)4 процессора(16 ядер) Intel Xeon QuadCore Х7350, 2.93 ГГц; 256 ГБайт - общая память; 187,5 ГФлопс
СХДдля НКС-1603,2 Тбайт
СХД сервера с общей памятью9 Тбайт (max-48 Тбайт)
СИСТЕМЫ ХРАНЕНИЯДАННЫХ (СХД)
Параллельнаяфайловая система
IBRIXдля НКС-30Т
32 Тбайта
СХД для НКС-30Т36 Тбайт (max - 120 Тбайт)
СетьИВМиМГ
Сеть
Internet ННЦ
СистемноеОбщематематическое
Прикладное (ППП)
ВЫЧИСЛИТЕЛЬНЫЕ РЕСУРСЫ
GigabitEthernet InfiniBandGE
GE …………………………
!!! NEW Кластер
гибриднойархитектуры
HKC-30T+GPU
576 (2688 ядер) процессоровIntel Xeon Е5450/E5540/X5670
80 процессор.CPU (X5670) – 480 ядер;
120 процессор.GPU (Tesla M 2090) – 61440 ядер.
Общая пиковая производ.115 ТФлопс
HKC-30T
Сервер с общей памятью (hp DL980 G7)4 процессора (40 ядер) Intel Е7-4870,ОП - 512 Гбайт , 384 ГФлопс.Max: 8 процессоров (80 ядер), 2048 ГБайт, 768 ГФлопс
!!! NEW
СИБИРСКИЙ СУПЕРКОМПЬЮТЕРНЫЙ ЦЕНТРИнститут вычислительной математики и математической геофизики СО РАН
0,247 ТФлопс2006 г.
> 1 ТФлопс2007 г.
5,8ТФлопс2008 г.
7,1ТФлопс2009 г.
17,5ТФлопс2010 г.
0,246 ТФлопс2005 г.
31ТФлопс2011 г.
НКС-1601 ТФлопс
РОСТВЫЧИСЛИТЕЛЬНЫХРЕСУРСОВ
МВС-1000/32
МВС-1000/128М
НКС-160> 1 ТФлопс
НКС-30Т4,8 ТФлопс
НКС-30Т30 ТФлопс
НКС-30Т16,5 ТФлопс
НКС-160
НКС-160
116ТФлопс2012 г.
Гибридный кластер115 ТФлопс
29
СИБИРСКИЙ СУПЕРКОМПЬЮТЕРНЫЙ ЦЕНТРИнститут вычислительной математики и математической геофизики СО РАН
ИСПОЛЬЗОВАНИЕ ПРОЦЕССОРНОГО ВРЕМЕНИ 2011 г. (часы)
ОРГАНИЗАЦИИ НКС-160 НКС-30T ∑ % ИЦиГ 2401720,56 2401720,56 47,65 ИВМиМГ 8006,70 888407,04 896413,74 17,79 ИХиХТ (Красноярск) 126673,66 380176,56 506850,22 10,06 ИК 42701,40 400436,88 443138,28 8,79 НГУ 12157,30 134954,88 147112,18 2,92 ИХКиГ 37188,62 88826,16 126014,78 2,50 ИТПМ 59904,45 61830,24 121734,69 2,42 ИЯФ 25591,94 59264,64 84856,58 1,68 ИТ 176,74 62445,84 62622,58 1,24 СИСТЕМА 0,19 56874,24 56874,43 1,13 ИАТЭ (Обнинск) 54518,88 54518,88 1,08 ИХБиФМ 33858,96 33858,96 0,67 ИНХ 20860,80 20860,80 0,41 НГТУ 18734,13 89,76 18823,89 0,37 ИВТ 17819,28 17819,28 0,35 ИНГиГ 1316,84 10297,92 11614,76 0,23 НИЦЭВТ (Москва) 10430,88 10430,88 0,21 ИКЗ (Тюмень) 1605,49 8327,04 9932,53 0,20 СибНИА 6730,63 6730,63 0,13 ИФП 4945,44 4945,44 0,10 ИМ 1572,42 4,32 1576,74 0,03 Комп. Котес 916,51 916,51 0,02 ОФ ИМ (Омск) 437,28 437,28 0,01 Другие 134,76 2,40 137,16 0,003
ИТОГО 343411,76 4696530 5039941,76 100,00
Статистика по кластерам (НКС-160 + НКС-30Т) 2009 2010 2011
∑ производительность (тфлопс) 7,1 17,5 31,0
∑ CPU (час.) 1 924 308,38 2 908 834,93 5 039 941,76
∑ количество заданий 38 914 39 750 35 952
30
СИБИРСКИЙ СУПЕРКОМПЬЮТЕРНЫЙ ЦЕНТРИнститут вычислительной математики и математической геофизики СО РАН
СУПЕРКОМПЬЮТЕРНАЯ СЕТЬ ННЦ СО РАН
Потребности в развитии сетей связи: задачи
• Объединение вычислительных систем для решения сверхбольших задач и разделения ресурсов
• Распределение задач между вычислительными системами с целью балансировки нагрузки
• Перенос данных между вычислительными системами, доступ пользователей к данным
Объединение суперкомпьютеровв NumGrid
TCP/IP
0 1 2 … n-2 n-1
TCP/IP
TCP/IP
n n+1 n+2 …
WAN
Время решения волнового уравнения явным методом, сек.
Кластер 1
Кластер 2
«P (NxS)» означает «всего P ядер, из них N на кластере ССКЦ и S – на кластере НГУ»
NG-Gateway
NG-Gateway
Потребности в развитии сетей связи: ориентиры
• GridMPI (Япония): 1-10 Гб/с на расстоянии до 500 миль позволяют объединять суперкомьютеры для совместного решения задач
• Abilene Network (США):10 Гб/с между 230 центрами в 2004 г.
• TeraGrid (США) (проект 2004-2011): 10 Гб/с между вычислительными центрами
• National LambdaRail (США): 10 Гб/с -> 40 Гб/с -> 100, 280 центров
Спасибо за внимание!