Применение файловой системы Lustre для обработки сейсмоданных
Всеволод Шабад, «СетьПроект»
Обработка сейсмоданных: особенности
Огромные объемы данных •сотни ТБ
Постоянный рост объемов данных •десятки и сотни % в год
Высокая скорость последовательного доступа •единицы ГБ/с
Множественный параллельный доступ •десятки вычислительных узлов под Linux
2
Спектр решений для обработки сейсмики
Открытый протокол NFS: • EMC Isilon
• NetApp FAS
• Hitachi HNAS
• IBM SONAS
• Panasas ActiveStor (NFS)
• Quantum StorNext (NFS)
• Quantum Lattus
• HP StoreAll 9XXX (Ibrix)
Закрытые протоколы: • Panasas ActiveStor (PanFS)
• IBM GPFS
• Lustre
• Quantum StorNext
+ дисковые массивы • IBM DCS3700/DS3500
• NetApp E5500/E2700
• EMC VNX
• Hitachi HUS
• Fujitsu Eternus DX
• Dell PowerVault MD
• …
3
Panasas ActiveStor
Сильные стороны: •репутация на рынке HPC
(high-performance computing) •высокая производительность •простота управления •мгновенные снимки •графическая консоль управления
Слабые стороны: •возможная потеря данных •логистические сложности в России
4
IBM GPFS
Сильные стороны: •высокая производительность •мгновенные снимки, пулы хранения
Слабые стороны: •сложность настройки •множество недокументированных
параметров •отсутствие графической консоли управления •дороговизна лицензий и техподдержки •перегрузка служб техподдержки
5
Quantum StorNext
Сильные стороны: •высокая производительность •мгновенные снимки, дедупликация, уровни
хранения •графическая консоль управления
Слабые стороны: •неустойчивое финансовое положение •дороговизна лицензий и техподдержки •единственный (!) Presale-специалист
на всю Европу •перегрузка служб техподдержки •логистические сложности в России
6
Сильные стороны: •высочайшая производительность •высочайшая масштабируемость •графическая консоль управления •бесплатность лицензий и дешевизна
коммерческой техподдержки •возможность работы с любыми массивами
Слабые стороны: •нет снимков, пулов хранения, дедупликации •мало публичных историй успеха
в нефтегазовой отрасли
7
Intel Lustre*
Масштабируемость Lustre — 1.5 ТБ/с
8
Опыт применения Lustre для сейсмики
DownUnder Geosolutions (Australia) •Сluster size: 12’000 cores •Storage size: 1.5 PB • I/O performance: 10 GB/s
Total S. A. (France) •Сluster size: 110’592 cores •Storage size: 7 PB
9
Lustre File System — история и команда
1999 --- Университет Карнеги-Мелон
2003 — Cluster File Systems, Inc.
2007 --- Sun Microsystems, Inc.
2010 --- Oracle Corporation
2010 --- Whamcloud
2012 --- Intel Corporation
10
Peter Braam
Eric Barton Andreas Dilger Brent Gorda
«СетьПроект» — партнёр Intel в России
11
Стоимость техподдержки — 7000 USD в год за OSS
Спектр возможных дисковых массивов
NetApp E2700, E5500
IBM DS3500, DCS3700
Dell PowerVault MD
Fujitsu Eternus DX
EMC VNX
Hitachi HUS, HUS VM
HP P2000
12
Архитектура Lustre Metadata Server
(MDS) - Active
Metadata
Target (MDT)
Lustre Clients
Object Storage
Servers (OSSs)
Object Storage
Targets (OSTs)
Metadata Server
(MDS) – Standby Lustre Gateway
Corporate Network
IEEL Management
Server
13
DC AC DC AC
1
1
2750W 750W
iDRAC
2 3 4
3
CX4 10Gb
Card1
1
2750W 750W
iDRAC
2 3 4
3
CX4 10Gb
CardDua
lS
AS
Dua
lS
AS
Host 21
ID/Diag
LnkLnkLnkLnkPort 2Port 1 Lnk Lnk
DriveExpansion
Host 21
ID/Diag
LnkLnkLnkLnkPort 2Port 1 Lnk Lnk
DriveExpansion
Хранение метаданных
MDT: NetApp® E2724 Storage Array
4 x 12 Gb/s SAS
MGS / MDS - Primary (Active) MGS / MDS - Secondary (Standby)
Active-Passive cluster
14
Хранение данных
OSTs: NetApp® E5560 / DE6600 Storage Array
2 x 40 Gb/s
Infiniband
1
1
2 750 W 750 W
i D R AC
2 3 4
3
CX 4 10 Gb
Card 1
1
2 750 W 750 W
i D R AC
2 3 4
3
CX 4 10 Gb
Card
D
u a
l
S
A S
D
u a
l
S
A S
LUNs 0,2,4,6,8,10 LUNs 1,3,5,7,9,11 OSS1 - Active OSS2 - Active
Active-Active cluster
15
Ёмкость и производительность
Component Hardware Interconnect (between the servers
and NetApp arrays)
Disk Drives
MDS IBM Servers (64 GB RAM)
12 Gb/s
SAS
MDT E2724 12 Gb/s
SAS
24 x 600 GB
2.5” 10K RPM
OSS IBM Servers (32 GB RAM)
40 Gb/s
Infiniband
OST(s) E5560 40 Gb/s
Infiniband
60 x 4 TB
3.5” 7200 RPM
OST(s) DE6600 40 Gb/s
Infiniband
60 x 4 TB
3.5” 7200 RPM
347 TB usable, 5.6 GB/s writes, 6 GB/s reads — RAID-6
16
Управление и мониторинг
17
Знания •различных систем
хранения данных •специфики различного
геофизического ПО
Опыт разнообразных проектов
Партнерство с вендорами
Технологии управления проектами
Особенности «СетьПроекта»
18
Услуги «СетьПроекта»
Помощь в постановке задачи •уточнение
исходных данных •выявление
неочевидных ограничений •организация
тестовых стендов
Внедрение СХД •проектирование •поставка •развертывание
Сопровождение СХД
19
Бежим вместе?
20