lustre file system for seismic processing (159060)
TRANSCRIPT
![Page 1: Lustre file system for seismic processing (159060)](https://reader036.vdocuments.mx/reader036/viewer/2022062319/557fc742d8b42ad1048b472d/html5/thumbnails/1.jpg)
Применение файловой системы Lustre для обработки сейсмоданных
Всеволод Шабад, «СетьПроект»
![Page 2: Lustre file system for seismic processing (159060)](https://reader036.vdocuments.mx/reader036/viewer/2022062319/557fc742d8b42ad1048b472d/html5/thumbnails/2.jpg)
Обработка сейсмоданных: особенности
Огромные объемы данных •сотни ТБ
Постоянный рост объемов данных •десятки и сотни % в год
Высокая скорость последовательного доступа •единицы ГБ/с
Множественный параллельный доступ •десятки вычислительных узлов под Linux
2
![Page 3: Lustre file system for seismic processing (159060)](https://reader036.vdocuments.mx/reader036/viewer/2022062319/557fc742d8b42ad1048b472d/html5/thumbnails/3.jpg)
Спектр решений для обработки сейсмики
Открытый протокол NFS: • EMC Isilon
• NetApp FAS
• Hitachi HNAS
• IBM SONAS
• Panasas ActiveStor (NFS)
• Quantum StorNext (NFS)
• Quantum Lattus
• HP StoreAll 9XXX (Ibrix)
Закрытые протоколы: • Panasas ActiveStor (PanFS)
• IBM GPFS
• Lustre
• Quantum StorNext
+ дисковые массивы • IBM DCS3700/DS3500
• NetApp E5500/E2700
• EMC VNX
• Hitachi HUS
• Fujitsu Eternus DX
• Dell PowerVault MD
• …
3
![Page 4: Lustre file system for seismic processing (159060)](https://reader036.vdocuments.mx/reader036/viewer/2022062319/557fc742d8b42ad1048b472d/html5/thumbnails/4.jpg)
Panasas ActiveStor
Сильные стороны: •репутация на рынке HPC
(high-performance computing) •высокая производительность •простота управления •мгновенные снимки •графическая консоль управления
Слабые стороны: •возможная потеря данных •логистические сложности в России
4
![Page 5: Lustre file system for seismic processing (159060)](https://reader036.vdocuments.mx/reader036/viewer/2022062319/557fc742d8b42ad1048b472d/html5/thumbnails/5.jpg)
IBM GPFS
Сильные стороны: •высокая производительность •мгновенные снимки, пулы хранения
Слабые стороны: •сложность настройки •множество недокументированных
параметров •отсутствие графической консоли управления •дороговизна лицензий и техподдержки •перегрузка служб техподдержки
5
![Page 6: Lustre file system for seismic processing (159060)](https://reader036.vdocuments.mx/reader036/viewer/2022062319/557fc742d8b42ad1048b472d/html5/thumbnails/6.jpg)
Quantum StorNext
Сильные стороны: •высокая производительность •мгновенные снимки, дедупликация, уровни
хранения •графическая консоль управления
Слабые стороны: •неустойчивое финансовое положение •дороговизна лицензий и техподдержки •единственный (!) Presale-специалист
на всю Европу •перегрузка служб техподдержки •логистические сложности в России
6
![Page 7: Lustre file system for seismic processing (159060)](https://reader036.vdocuments.mx/reader036/viewer/2022062319/557fc742d8b42ad1048b472d/html5/thumbnails/7.jpg)
Сильные стороны: •высочайшая производительность •высочайшая масштабируемость •графическая консоль управления •бесплатность лицензий и дешевизна
коммерческой техподдержки •возможность работы с любыми массивами
Слабые стороны: •нет снимков, пулов хранения, дедупликации •мало публичных историй успеха
в нефтегазовой отрасли
7
Intel Lustre*
![Page 8: Lustre file system for seismic processing (159060)](https://reader036.vdocuments.mx/reader036/viewer/2022062319/557fc742d8b42ad1048b472d/html5/thumbnails/8.jpg)
Масштабируемость Lustre — 1.5 ТБ/с
8
![Page 9: Lustre file system for seismic processing (159060)](https://reader036.vdocuments.mx/reader036/viewer/2022062319/557fc742d8b42ad1048b472d/html5/thumbnails/9.jpg)
Опыт применения Lustre для сейсмики
DownUnder Geosolutions (Australia) •Сluster size: 12’000 cores •Storage size: 1.5 PB • I/O performance: 10 GB/s
Total S. A. (France) •Сluster size: 110’592 cores •Storage size: 7 PB
9
![Page 10: Lustre file system for seismic processing (159060)](https://reader036.vdocuments.mx/reader036/viewer/2022062319/557fc742d8b42ad1048b472d/html5/thumbnails/10.jpg)
Lustre File System — история и команда
1999 --- Университет Карнеги-Мелон
2003 — Cluster File Systems, Inc.
2007 --- Sun Microsystems, Inc.
2010 --- Oracle Corporation
2010 --- Whamcloud
2012 --- Intel Corporation
10
Peter Braam
Eric Barton Andreas Dilger Brent Gorda
![Page 11: Lustre file system for seismic processing (159060)](https://reader036.vdocuments.mx/reader036/viewer/2022062319/557fc742d8b42ad1048b472d/html5/thumbnails/11.jpg)
«СетьПроект» — партнёр Intel в России
11
Стоимость техподдержки — 7000 USD в год за OSS
![Page 12: Lustre file system for seismic processing (159060)](https://reader036.vdocuments.mx/reader036/viewer/2022062319/557fc742d8b42ad1048b472d/html5/thumbnails/12.jpg)
Спектр возможных дисковых массивов
NetApp E2700, E5500
IBM DS3500, DCS3700
Dell PowerVault MD
Fujitsu Eternus DX
EMC VNX
Hitachi HUS, HUS VM
HP P2000
12
![Page 13: Lustre file system for seismic processing (159060)](https://reader036.vdocuments.mx/reader036/viewer/2022062319/557fc742d8b42ad1048b472d/html5/thumbnails/13.jpg)
Архитектура Lustre Metadata Server
(MDS) - Active
Metadata
Target (MDT)
Lustre Clients
Object Storage
Servers (OSSs)
Object Storage
Targets (OSTs)
Metadata Server
(MDS) – Standby Lustre Gateway
Corporate Network
IEEL Management
Server
13
![Page 14: Lustre file system for seismic processing (159060)](https://reader036.vdocuments.mx/reader036/viewer/2022062319/557fc742d8b42ad1048b472d/html5/thumbnails/14.jpg)
DC AC DC AC
1
1
2750W 750W
iDRAC
2 3 4
3
CX4 10Gb
Card1
1
2750W 750W
iDRAC
2 3 4
3
CX4 10Gb
CardDua
lS
AS
Dua
lS
AS
Host 21
ID/Diag
LnkLnkLnkLnkPort 2Port 1 Lnk Lnk
DriveExpansion
Host 21
ID/Diag
LnkLnkLnkLnkPort 2Port 1 Lnk Lnk
DriveExpansion
Хранение метаданных
MDT: NetApp® E2724 Storage Array
4 x 12 Gb/s SAS
MGS / MDS - Primary (Active) MGS / MDS - Secondary (Standby)
Active-Passive cluster
14
![Page 15: Lustre file system for seismic processing (159060)](https://reader036.vdocuments.mx/reader036/viewer/2022062319/557fc742d8b42ad1048b472d/html5/thumbnails/15.jpg)
Хранение данных
OSTs: NetApp® E5560 / DE6600 Storage Array
2 x 40 Gb/s
Infiniband
1
1
2 750 W 750 W
i D R AC
2 3 4
3
CX 4 10 Gb
Card 1
1
2 750 W 750 W
i D R AC
2 3 4
3
CX 4 10 Gb
Card
D
u a
l
S
A S
D
u a
l
S
A S
LUNs 0,2,4,6,8,10 LUNs 1,3,5,7,9,11 OSS1 - Active OSS2 - Active
Active-Active cluster
15
![Page 16: Lustre file system for seismic processing (159060)](https://reader036.vdocuments.mx/reader036/viewer/2022062319/557fc742d8b42ad1048b472d/html5/thumbnails/16.jpg)
Ёмкость и производительность
Component Hardware Interconnect (between the servers
and NetApp arrays)
Disk Drives
MDS IBM Servers (64 GB RAM)
12 Gb/s
SAS
MDT E2724 12 Gb/s
SAS
24 x 600 GB
2.5” 10K RPM
OSS IBM Servers (32 GB RAM)
40 Gb/s
Infiniband
OST(s) E5560 40 Gb/s
Infiniband
60 x 4 TB
3.5” 7200 RPM
OST(s) DE6600 40 Gb/s
Infiniband
60 x 4 TB
3.5” 7200 RPM
347 TB usable, 5.6 GB/s writes, 6 GB/s reads — RAID-6
16
![Page 17: Lustre file system for seismic processing (159060)](https://reader036.vdocuments.mx/reader036/viewer/2022062319/557fc742d8b42ad1048b472d/html5/thumbnails/17.jpg)
Управление и мониторинг
17
![Page 18: Lustre file system for seismic processing (159060)](https://reader036.vdocuments.mx/reader036/viewer/2022062319/557fc742d8b42ad1048b472d/html5/thumbnails/18.jpg)
Знания •различных систем
хранения данных •специфики различного
геофизического ПО
Опыт разнообразных проектов
Партнерство с вендорами
Технологии управления проектами
Особенности «СетьПроекта»
18
![Page 19: Lustre file system for seismic processing (159060)](https://reader036.vdocuments.mx/reader036/viewer/2022062319/557fc742d8b42ad1048b472d/html5/thumbnails/19.jpg)
Услуги «СетьПроекта»
Помощь в постановке задачи •уточнение
исходных данных •выявление
неочевидных ограничений •организация
тестовых стендов
Внедрение СХД •проектирование •поставка •развертывание
Сопровождение СХД
19
![Page 20: Lustre file system for seismic processing (159060)](https://reader036.vdocuments.mx/reader036/viewer/2022062319/557fc742d8b42ad1048b472d/html5/thumbnails/20.jpg)
Бежим вместе?
20