Григорий Никонов, Brocade
Этапы построения SAN для
хранения критически важных
данных.
Программа
• Повторение основ Fibre Channel SAN
– Fibre Channel на рынке SAN
– Основы хорошей сети хранения данных
– Примеры SAN разного масштаба
• Справочная информация и ссылки
• SAN Health
• Обучения и сертификация
• Продукты Fibre Channel 5-го поколения
Fibre Channel SAN:
обратно к основам
Движущая сила Fibre Channel
• Прогноз на 2014-2018
годы – объем систем
хранения FC ~ 38% от
всего суммарного
объема СХД на рынке
-
10 000
20 000
30 000
40 000
50 000
60 000
CY2012 CY2013 CY2014 CY2015 CY2016 CY2017 CY2018
Cap
acit
y in
Pe
taB
yte
s
FC SAN
NAS
iSCSI
DAS
FCOE SAN
Mainframe SAN
InfiniBand
Source: IDC May14 WW Enterprise Storage Forecast
Значение SAN для производительности VM
100% 0% 0% 0%
# сетевых конфигураций в top20 результатов используют Fibre Channel (16 из 20, 4 используют Direct-Attach SAS) # сетевых конфигураций в top20 результатов используют FCoE # сетевых конфигураций в top20 результатов используют iSCSI
# сетевых конфигураций в top20 результатов используют NAS
VMware VMmark 2.1.1— www.vmware.com/a/vmmark/
Будущее FC -> Gen 6 Fibre Channel
• Стандарт Gen 6 Fibre Channel
– Gen 6 Fibre – официальное название
следующего стандарта
– Стандарт на физические интерфейсы (FC-PI-6)
готов и ожидает публикации ANSI
– Стандартизуется использование FEC для
повышение надежности передачи данных
– Также ведется работа над стандартизацией
параллельного Fibre Channel (128Gb) в
дополнение к 32Gb Fibre Channel (стандарт FC-
PI-6P)
Основы хорошей сети хранения
• Две симметричные фабрики обеспечивают высокую доступность в SAN
• Сервера и системы хранения подключаются к обеим фабрикам, на серверах работает “multipathing”
• Фабрики между собой не соединяются: «воздушный зазор» обеспечивает изоляцию ошибок
#1 Dual Fabrics
Основы хорошей сети хранения #2 Правильная топология
Full Mesh – для небольших фабрик (4-5 коммутаторов): максимальная производительность и доступность
Core-Edge – для максимальной масштабируемости крупных SAN
Основы хорошей сети хранения
• Агрегирование индивидуальных соединений
• Устранение узких мест в фабрике
• Облегчение последствий нестабильности соединений
• Балансировка нагрузки на аппаратном уровне
#3 ISL Trunking
Требуется лицензия ISL Trunking на обоих коммутаторах
Основы хорошей сети хранения
• Упрощенный режим работы коммутатора
• Создан для подключения большого количества серверов с невысокой нагрузкой
• Повышает масштабируемость и надежность, облегчает управление
• Идеален для коммутаторов, встроенных в шасси блейд-серверов
#4 Access Gateway, NPIV
Основы хорошей сети хранения
• Передает трафик между отдельными фабриками, не объединяя их
• Устраняет воздействие изолированных фабрик друг на друга
• Повышает отказоустойчивость, облегчает управление и рост SAN
• Рекомендуется при организации соединения с удаленными площадками
#5 FC-to-FC routing
DATA CENTER TECHNICAL BRIEF
SAN Design and Best Practices 28 of 74
Figure 19. Example of redundant edge fabrics utilizing a single backbone fabric
Figure 20. Example of redundant edge fabrics utilizing redundant backbone fabrics
Backbone Considerations
There are many factors to consider when designing backbone fabrics. As mentioned above, the general SAN topology
recommendations are applicable to backbone fabrics. There should be redundant fabrics, switches, and paths
between the end-points (source and destination). Consider the following factors when identifying the best switch
platforms and backbone topology, including switch interconnections:
· The number of edge fabrics impacts the backbone topology, as well as the manner in which edge fabrics are
attached to the backbone. Brocade 8- and 16-Gbps platforms can support FCR functionality on all standard FC
ports, and they provide a much more flexible solution when compared to legacy FCR platforms.
Связь ЦОД на расстоянии
Extended Fabrics FCIP
• Есть оптические каналы связи,
расстояние до 100 км
• Онлайн работа с СХД, синхронная
репликация
• «Чистый (native)» Fibre Channel
• На расстояниях >10 км нужна
лицензия Extended Fabrics
• Есть WAN-соединение, расстояние до
нескольких тысяч км (RTT < 200ms)
• Асинхронная репликация, резервное
копирование
• Fibre Channel over IP (не путать с FCoE)
• Необходимо специальное оборудование
• маршрутизаторы SAN06B-R
• лезвие FX8-24 для SAN384B/SAN768B
Extended Fabrics и FCIP
FCIP vs. FC at 75 KM
• FX 10GbE FCIP на 75км:
• Ниже время отклика
• Больше пропускная способность
• Большие достижимые расстояния
https://community.brocade.com/t5/Design-Build/Data-Center-Infrastructure-Validation-Test-FCIP-amp-Fibre/ta-p/36925
FX 10GE FCIP Native 10G FC
Response
Time (µs)
Throughput
(Gbps)
Response
Time (µs)
Throughput
(Gbps)
1282 16 1697 10
• Compression mode 1
• FastWrite enabled
• 512-byte payload
• Compression n/a
• FastWrite n/a
• 512-byte payload
Tests performed at 75 KM
Fabric B
Fabric A
Типичные этапы развития SAN SAN начального уровня
Шасси блейд-серверов с двумя встроенными FC коммутаторами в режиме NPIV
Серверы в стойке с двумя портами FC
Ленточная библиотека с портами FC
Дисковые массивы с парой контроллеров FC
FC коммутаторы Brocade начального уровня, не соединенные между собой Образуют две независимые фабрики
Резервная площадка
Типичные этапы развития SAN SAN среднего уровня
Fabric B
Fabric A
Fabric D
Fabric С
репликация и резервное копирование
Дисковые массивы и библиотеки
серверы
Две фабрики с топологией Full mesh или Core-Edge
Резервная площадка с двумя фабриками, соединенными с основными через FC маршрутизацию
«дальнобойная» оптика или WDM
Резервный ЦОД
ЦОД1
ЦОД2
Типичные этапы развития SAN SAN крупного предприятия – телеком, банк
Fabric A
Fabric C
Fabric E
FC
FCIP
WAN
FCIP
асинхронная репликация
Server
Connectivity SMB/Mid Mkt
IBM SAN24B-5 -16Gbps Brocade 6505
Ed
ge
C
ore
IBM SAN96B-5– 16 Gbps Brocade 6520
Brocade 8Gb SAN Switch Module (44X1920)
FC
Extension
Converged
Networks
Management
Enterprise IP & Converged
IBM SAN48B-5– 16 Gbps Brocade 6510
Brocade 16 Gbps Flex System Module (90Y9356/88Y6374)
IBM SAN384B-2
(2499-416) Brocade DCX-4S+
IBM SAN384B
(2499-192) Brocade DCX-4S
IBM SAN768B-2
(2499-816) Brocade DCX+
IBM SAN768B
(2499-384) Brocade DCX
Brocade VDX 6710--54
(0563-028) Brocade DCX-6710-54
Brocade VDX 6730-32/76
(3759-C76) Brocade DCX-6730-76
IBM SAN06B-R (FC 7732) Brocade 7800
IBM 2498-384 (FC 3890) Brocade FX8-24
IBM 2498-384 (FC 3880)
Brocade DCX
IBM (69Y1909)
Brocade 8470
Brocade MLXe-8/16 Switch
IBM SAN96B-5– 16 Gbps Brocade 6520
Brocade ICX6610--54
Brocade DCX-6610-54
Основы Fibre Channel: ссылки
• My.brocade.com -> Education -> FC101 бесплатный веб-курс по FC
• Brocade.ru -> материалы по SAN – брошюра на русском языке по основам FC
• http://www.youtube.com/user/gnikonov/videos - уроки на русском по работе с коммутаторами Brocade
• Группа Brocade Russia на LinkedIn http://www.linkedin.com/groups?gid=4246353 – русскоязычное сообщество Brocade
Совместимость и масштабируемость
• Brocade Scalability Guidelines
• Brocade Compatibility Matrix
• FOS Target Path
• http://www.brocade.com/compatibility
SAN Health Простой способ документировать SAN
• Топология в Visio
• Подробная информация в табличной форме
• Графики производительности
SAN Health Audit
• Быстро устанавливается и опрашивает коммутаторы
• Работает на любой рабочей станции под Windows, подключенной к сети управления
• Подключается к коммутаторам через telnet/ssh, собирает информацию от команд *show и *dump
• Работает на одной или нескольких фабриках одновременно
• Подробности на
www.brocade.com/sanhealth
Обучение
• Очные курсы на английском языке
• Веб-курсы с инструктором
• Веб-курсы и материалы для самостоятельной подготовки
• Система обучения доступна на портале MyBrocade
Основные курсы
• Веб-курс FC 101 Introduction to Fibre Channel Concepts
• CFA 200 – Certified Fabric Administrator
• CFP 300 – Certified Fabric Professional
• CFD 200 – Certified Fabric Designer
• TS 300 – SAN Troubleshooting
Подготовка специалистов по SAN
Сертификация
• Экзамены уровня “specialist” сдаются через web (Kryterion Webassessor) - $20
http://www.webassessor.com/brocade
• Остальные экзамены сдаются в тестовых центрах Pearson Vue
BDA – Brocade Distinguished Architect
• ~60 человек в мире
• 4 в нашем регионе
Высший сертификационный статус