Обработка сейсмоданных: возможности оптимизации ИТ-инфраструктуры

Всеволод Шабад, генеральный директорvshabad@netproject.ru (985) 765-76-03

Кто такой «СетьПроект»?

Нишевой системный интегратор: создаем и развиваем ИТ-инфраструктуру для сейсморазведки и промысловой геофизики

2

Как сделать сбалансированный кластер?

Производительность должна быть достаточна(ограничена лишь лицензиями на прикладное ПО):

•Paradigm ES 360, GeoDepth, Echos•Schlumberger Omega•Landmark SeisSpace/ProMAX•CGG Geocluster

Стоимость должна быть минимальна

3

Загрузка компонентов кластера

30%

40%

50%

60%

70%

80%

90%

100%

Оптимальный

(лимитирует только CPU)

Неоптимальный

(ничто не лимитирует — мощности

избыточны)

Неоптимальный

(лимитирует сеть, а не CPU)

Ограничителем производительности кластера должна быть

только производительность CPU!

CPU RAM Network Local HDD Shared File System

4

Ключевые идеи оптимизации

Сокращение:•простоев CPU вычислительных узлов•непроизводительной загрузки CPU

вычислительных узлов•эксплуатационных расходов

5

Пример загрузки CPU вычислительного узла

в течение рабочего дня

Оптимизируемые компоненты

Вычислительные узлы

Файловые узлы и СХД

Узлы управления и менеджеры заданий

Сеть передачи данных

Система резервного копирования

Система охлаждения

6

Оптимизация вычислительных узлов

Оптимальный выбор CPU и RAM

Разгрузка процессоров с помощью RDMA

Разгрузка процессоров с помощью GPU

Выбор оптимального форм-фактора серверов

7

Факторы выбора CPU

Система лицензирования прикладного ПО•по ядрам•по сокетам•по хостам•по пользовательским сессиям

Удельная стоимость Тфлопс

Удельная стоимость ядра

Ограничения по тепловыделению

Ограничения по числу хостов

…

8

Выгоды перехода на Xeon E5-2600v4

Семейство Broadwell-EP (E5-2600 v4) Haswell-EP (Xeon E5-2600 v3)

Сервер HPE ProLiant XL230a Gen9

CPU 2x Xeon E5-2680 v4

(28 ядер, 2.4 ГГц)

2x Xeon E5-2680 v3

(24 ядра, 2.6 ГГц)

RAM 256 ГБ (9.1 ГБ / ядро)

PC4-2400

256 ГБ (10.7 ГБ / ядро)

PC4-2133

HDD 3x 1 ТБ SATA

Network 1x Infiniband FDR

Цена List Price, USD 16 051 17 371

Производительность, Тфлопс 0.85 0.81

Цена List Price, USD

за ядро573.25

723.79

на 26% дороже

Цена List Price, USD

за Тфлопс18 883.53

21 445.68

на 14% дороже

9

Типичный вычислительный узел

для Paradigm ES 360

Выгоды перехода на Xeon E5-2600v4

10

Пример неоптимального выбора CPU

Семейство Broadwell-EP (E5-2600 v4) Broadwell-EP (E5-2600 v4)

Сервер HPE ProLiant XL230a Gen9

CPU 2x Xeon E5-2680 v4

(28 ядер, 2.4 ГГц)

2x Xeon E5-2699 v4

(44 ядра, 2.2 ГГц)

RAM 256 ГБ (9.2 ГБ / ядро)

PC4-2400

512 ГБ (11.7 ГБ / ядро)

PC4-2400

HDD 3x 1 ТБ SATA

Network 1x Infiniband FDR

Цена List Price, USD 16 051 30 911

Производительность, Тфлопс 0.85 1.27

Цена List Price, USD

за ядро

573.25 702.52

на 23% дороже

Цена List Price, USD

за Тфлопс

18 883.53 24 339.37

на 29% дороже

11

Типичный вычислительный узел

для Paradigm ES 360

Выгоды перехода на Intel KNL (?)

12

Семейство Broadwell-EP (E5-2600 v4) Intel KNL (Xeon Phi x200)

Сервер HPE ProLiant XL230a Gen9 HPE ProLiant XL260a Gen9

CPU 2x Xeon E5-2680 v4

(28 ядер, 2.4 ГГц)

1x Xeon Phi 7210

(64 ядра, 1.3 ГГц)

RAM 256 ГБ (9.2 ГБ / ядро)

PC4-2400

384 ГБ (6 ГБ / ядро)

PC4-2400 (макс. объем)

HDD 3x 1 ТБ SATA

Network 1x Infiniband FDR 1x Infiniband EDR + 1x 10GbE

Цена List Price, USD 16 051 25 526

Производительность, Тфлопс 0.85 1.27

Цена List Price, USD

за ядро

573.25 398.84

на 30% дешевле

Цена List Price, USD

за Тфлопс

18 883.53 20 099.21

на 6% дороже

Опыта использования KNL для ПО Paradigm пока нет,

опыт использования другими приложениями отрицательный!

Некоторые особенности работы с ОЗУ

Пример для HPE Apollo (Proliant XL230a Gen9):

13

http://h20195.www2.hp.com/v2/getpdf.aspx/c04390759.pdf?ver=9

Разгрузка CPU с помощью RDMA

Как это работает: передача из буфера в буфер без участия процессора и операционной системы

Разгрузка CPU с помощью RDMA

Применение RDMA для передачи данных:•между вычислительными узлами•между вычислительными и файловыми узлами

15

Эффективность RDMA на примере

16

Источник: http://cto.vmware.com/wp-

content/uploads/2012/09/RDMAonvSphere.pdf

Эффективность RDMA на примере

17

Источник: собственный тест «СетьПроекта» для SLB Omega (июнь 2016)

Нужна поддержка RDMA приложениями!

Обработка сейсмоданных:•Paradigm ES 360, GeoDepth, Echos

•встроенная поддержка с версии 15.5•Schlumberger Omega, Landmark ProMAX

•через MPI

Файловые системы:• IBM Spectrum Scale (бывшая GPFS)•Lustre •BeeGFS (бывшая FhGFS)

18

Разгрузка процессоров с помощью GPU

Paradigm:•Echos RTM

Schlumberger:•Omega RTM, Kirchhoff

Tsunami:•Tsunami RTM

…

19

Полный список: http://www.nvidia.co.uk/content/EMEAI/PDF/tesla-gpu-

applications/gpu-apps-catalog-eu.pdf

Эффективность GPU на примере

Приложение – собственная разработка Statoil

GPU — NVIDIA GeForce GTX280

Источник: http://www.idi.ntnu.no/~elster/master-studs/owej/owe-johansen-master-

ntnu.pdf

20

Эффективность GPU на примере

DownUnderGeosolutions (Австралия)

•3800 сопроцессоровIntel Xeon Phi 7120P

Источник:

http://www.intel.com.au/content/www/au/en/big-data/high-performance-

computing-xeon-e5-dug-case-study.html

21

Эффективность GPU на примере

22

Источник: собственный тест «СетьПроекта»

для SLB Omega и NVIDIA Tesla K40 (июнь 2016)

Выбор форм-фактора серверов

Стоечные серверы 1U•например, HPE Proliant DL360 Gen9

Стоечные серверы 2U•например, Fujitsu RX2540 M2

Высокоплотные серверы•например, Lenovo NeXtScale M5

Блейд-серверы•например, DELL M1000e

23

Типичные высокоплотные шасси

Модель шасси Кол-во узлов Высота шасси, RU

Lenovo NeXtScale n1200 12 6

Lenovo ThinkServer n400 4 2

HPE Apollo 2000 4 2

HPE Apollo a6000 10 5 (+1.5)

HPE Apollo 6500 2 4 (+ 1.5)

DELL PowerEdge FX2 8 2

DELL PowerEdge C6320/6300 4 2

Fujitsu Primergy CX400 S2 4 2

Huawei FusionServer X6800 8 4

24

Ключевая выгода: гибкость выбора скоростных сетевых интерфейсов

Файловые узлы и СХД

Выбор оптимальной файловой системы с поддержкой RDMA и QoS

Использование блочных СХД высокой плотности

Кэширование коротких IOPS на SSD и SSD-tiering

Снижение накладных расходов в файловой системе

Резервные копии в виде снапшотов

Прозрачная миграция между дисками и лентами

25

Выбор оптимальной файловой системы

Параметр IBM

Spectrum

Scale

(GPFS)

Lustre

(+ ZFS)

BeeGFS Panasas

PanFS

EMC Isilon

Huawei 9000

NetApp FAS(NFS)

Поддержка RDMA на

клиенте

Есть Есть Есть Нет Нет

Поддержка

снапшотов Redirect-

On-Write

Есть Есть

(через ZFS)

Нет Есть Есть

Прозрачная

миграция на ленты

Есть Есть

(через

GRAU PDM)

Нет Нет Нет

Коммерческая

поддержка

Есть «Есть»

(для ZFS-on-

Linux нет)

Есть Есть Есть

Сложность

настройки

Высокая Высокая Высокая Низкая Низкая

Производительность

Single-Thread

Умеренная Низкая Высокая Низкая Низкая

26

Накладные расходы в ФС на примере

27

Источник: http://wiki.lustre.org/images/b/b2/Lustre_on_ZFS-Ricardo.pdf

Выбор оптимальной блочной СХД

Пример требований: •пропускная способность 3 ГБ/с

на последовательных операциях ввода-вывода•полезная ёмкость 300 ТБ

Варианты решений:•EMC VNX5400 — 174 диска, 39 RU•NetApp E5600 — 69 дисков, 12 RU

Варианты внешних интерфейсов:•SAS, Fibre Channel, 10GbE, Infiniband

Массив NetApp E5600 допускает прямое подключение через Infiniband (протокол iSER)

28

Кэширование IOPS на SSD

Варианты реализации:•кэширование на блочном дисковом массиве• IBM Spectrum Scale:

•Highly-available write cache (HAWC)•Local Read-Only Cache (LROC)

•Panasas ActiveStor:•нет

•Lustre:•L2RC (DDN) — опыта эксплуатации нет!

•EMC Isilon:•SmartFlash

29

SSD-tiering

Наиболее применимо:•заголовки трасс•прочие метаданные

Варианты реализации:•sub-LUN tiering на блочном дисковом массиве• IBM Spectrum Scale:

•storage pools•Panasas ActiveStor:

•встроенные средства PanFS•Lustre:

•PDM (GRAU) — опыта эксплуатации нет!•EMC Isilon:

•SmartPools

30

Резервные копии в виде снапшотов

Традиционные резервные копии(ленты):

•500 ТБ данных, верификация после записи

•на 4 приводах LTO-7 (300 МБ/с):•500 000 000 / (4 * 300

* 2 * 3600) = 58 часов в идеальных условиях

Инновационные резервные копии(снапшоты):

•10 минут вне зависимости от объема

31

Прозрачная миграция на ленты

Промежуточное ПО (LTFS):• IBM Spectrum Archive•HPE StoreOpen

Приводы:• IBM TS1150:

•360 МБ/с •10 ТБ картридж

•LTO-7: •300 МБ/с•6 ТБ картридж

32

Узлы управления и менеджеры заданий

Оптимизируют загрузку кластера

Интеллектуально управляют энергопотреблением

Реализации:•свободные (бесплатные)

•SLURM•TORQUE

•коммерческие •MOAB HPC Suite

(Adaptive Computing)•Spectrum LSF (IBM)•PBS Pro (Altair)

33

Сеть передачи данных

Ключевая технология — RDMA

Варианты:• Infiniband FDR/EDR•Ethernet 40G/56G/100G (с поддержкой RoCE)

34

Intel Omni-Path – новая технология

Достоинства:•более дешевое оборудование, чем Infiniband•на 33% больше портов в коммутаторе

Недостатки:•нет разгрузки CPU от операций ввода-вывода•недостаточная поддержка приложениями•нет шлюза с Ethernet (Mellanox VPI)

35

Система резервного копирования

Защита только от логических сбоев•с помощью снапшотов Redirect-On-Write

Защита от физических сбоев не требуется•если есть выделенная СХД для архива

36

Сравнение реализаций снапшотов

Redirect-On-Write Copy-On-WriteNetApp FAS3240 IBM Storwize v7000

Источник: собственный тест «СетьПроекта» в интересах ОАО «Новатэк» (2012)

37

Система охлаждения

Воздушная:•работает с любым оборудованием

(до 15 кВт на шкаф)•температурный диапазон можно расширить

Жидкостная:•требует адаптации

оборудования или «водяную дверь»

•повышает плотность ЦОД

38

Расширение температурного диапазона

Повышение температуры воздуха в серверной на 5O C позволяет снизить энергозатратысистемы охлаждения на 20% (Intel, IDC, Gartner)

39

Используемые компоненты

Серверы:•Lenovo, HPE, DELL, Fujitsu, Huawei, Sugon,

Inspur, …

СХД:•NetApp, IBM, HPE, HDS, Panasas, Huawei,

DELL|EMC, Fujitsu, …

Сети:•Mellanox, Extreme, Cisco, Lenovo, Huawei, …

Ленточные библиотеки:• IBM, HPE, Quantum

Менеджеры заданий:•Adaptive Computing, IBM, Altair

40

Сильные стороны «СетьПроекта»

Узкая специализация в выбранной нише рынка

Знание отраслевой специфики и прикладного ПО

Знание инфраструктурных ИТ-продуктов и технологий

Передовая методология управления проектами

Систематизированный опыт прежних проектов

Высокая инженерная культура персонала

Активное вовлечение персонала заказчика

41

Cлова партнеров о нас

"СетьПроект" продолжает быть одним из наших главных технологических партнеров в России

•Михаил Ерченков, Paradigm

Благодаря таким активным, квалифицированным и компетентным партнерам, как "СетьПроект", мы рассчитываем существенно нарастить нашу долю на нефтегазовом рынке

•Сергей Горбас, Lenovo

"СетьПроект" — один из наших приоритетных партнеров в нефтегазовой отрасли

•Роман Ройфман, NetApp

42

Будет быстро – проверено!

http://www.netproject.ru/

43