Развитие сетевой архитектуры для ЦОД cisco aci
TRANSCRIPT
Скороходов Александр Системный инженер-консультант
Развитие сетевой архитектуры для ЦОД Cisco ACI
Cisco ACI Самое полное решение для сети ЦОД
Application Centric Infrastructure
Автоматизация на основе политик
Физические серверы, виртуальные машины и контейнеры
“SDN из коробки”
Открытость, опора на стандарты, встроенная безопасность
Более 1800 заказчиков!
Cisco ACI новое поколение инфраструктуры ЦОД
ACI фабрика
Программируемость, масштабируемость,
открытость
App DB Web
Внешняя
сеть
передачи
данных
QoS
ACL
QoS
LB
QoS
МСЭ,
LB
Application Policy
Infrastructure
Controller
APIC
4
Сетевая фабрика ACI
• Наиболее эффективная фабрика в индустрии:
• 1/10/25/40G на границе сети, высокая
плотность 40/100GE на Spine
• Низкая стоимость за порт / коммутатор
• Интеграция с существующей
инфраструктурой (Cisco или других
производителей)
• Высокая масштабируемость
• Полная прозрачность – физические или
виртуальные серверы, контейнеры
• Маршрутизируемая фабрика – оптимальная
передача IP трафика
• Распределённая коммутация (L2) и
маршрутизация (L3)
• Не требуются программные шлюзы
• Гибкость развертывания приложений и
сервисов – нет ограничений в выборе точки
их размещения
• Улучшенная балансировка трафика (ECMP)
• Передача метаданных вместе с трафиком
• Детальное управление по политикам без
необходимости программировать потоки
Spine: модульные (Nexus 9500) или
фиксированные (9336) Аппаратная база отображения адресов
До 576 x 40/100 G портов на устройство
Высокая плотность за умеренную стоимость
Оптимизация фабрики Оптимальная балансировка
ECMP
Быстрая сходимость
Атомарные счётчики
Leaf (доступ): Nexus 9300 Применение политик
Интеллектуальное кеширование
Поддержка оверлеев
Улучшенная аналитика
Application Policy Infrastructure Controller Централизованная автоматизация и управление фабрикой
• Единая точка управления сетью
ЦОД на основе политик: • Профили приложений
• Политики безопасности
• Инициализация фабрики
• Управление конфигурациями
• Управление ПО коммутаторов
• Накопление и экспорт
статистики/телеметрии
• Мониторинг приложений
• Поиск и устранение неисправностей
• Открытая модель данных для внешних
средств оркестрации
• Не принимает непосредственное
участие в передаче данных
• Единое управление наложенным
транспортом и фабрикой
• Кластеризация для
масштабирования и доступности
(от 3 до 5 и более узлов)
Сервисы 4..7 Управление
системами Безопасность Оркестрация
Storage SME Server SME Network SME
Security SME App. SME OS SME
Открытый
RESTful API
Управление при
помощи политик
Сетевой профиль приложения Application Network Profile (ANP)
Входящие/
Исходящие
политики
Сетевой профиль приложения
Сетевой профиль - логическое объединение групп EPG и
политик, определяющих правила взаимодействия между EPG
=
Входящие/
Исходящие
политики
Модель политик ACI End-Point Group (EPG)
HTTPS
Service
HTTPS
Service
HTTPS
Service
HTTPS
Service
HTTP
Service
HTTP
Service
HTTP
Service
HTTP
Service
EPG - Web
EPG – логическая группа конечных хостов представляющих
приложение целиком или компоненты приложения,
(в общем случае) не зависящая от сетевых атрибутов
Внедрение традиционных приложений с Cisco ACI На примере Microsoft Exchange
EPG
CAS
EPG
Mail_Box
EP
G
AD
EPG
Outside
Сервисное
устройство
SLB
Использование ACI в цикле разработки и внедрения «Инфраструктура как код»
Prod- Web
BD1
10.0.0.254/24
20.0.0.254/24
No f ooding
etc …
Prod- App PreProd- Web
10.0.0.254/24
No f ooding
etc …
PreProd- App
20.0.0.254/24
No f ooding
etc …
BD2 BD3
Private Network “Production
Private Network “PreProduction
Tenant “Tenant1”
ACI
…
Разработка и
тестирование
Продуктив Модификация
Клонирование
Prod- Web
BD1
10.0.0.254/24
20.0.0.254/24
No f ooding
etc …
Prod- App PreProd- Web
10.0.0.254/24
No f ooding
etc …
PreProd- App
20.0.0.254/24
No f ooding
etc …
BD2 BD3
Private Network “Production
Private Network “PreProduction
Tenant “Tenant2”
Разработка и
тестирование
Продуктив
Prod- Web
BD1
10.0.0.254/24
20.0.0.254/24
No f ooding
etc …
Prod- App PreProd- Web
10.0.0.254/24
No f ooding
etc …
PreProd- App
20.0.0.254/24
No f ooding
etc …
BD2 BD3
Private Network “Production
Private Network “PreProduction
Tenant “Tenant100”
Разработка и
тестирование
Продуктив
Клонирование
11
Фабрика с поддержкой нескольких гипервизоров
• Заказчик не ограничен в выборе
платформы виртуализации:
VMWare, Microsoft, KVM/OpenStack
или невиртуализированных
серверов
• Возможность использования
нескольких VMM в одной группе
EPG
• Интегрированный шлюз для VLAN
и VxLAN сетей
• Не требуется дополнительное
лицензирование
• Поддержка контейнеров – проект
Contiv
Интеграция с
физическим
и виртуальным миром
Сетевой
администратор
Администратор
приложения
ФИЗИЧЕСКИЙ
СЕРВЕР
VLAN
VXLAN
VLAN
NVGRE*
VLAN
VXLAN
VLAN
ESX Hyper-
V
KVM
Управление
гипервизором
ACI фабрика
APIC
Изоляция контекстов/организаций «Тенанты»
• Логические контейнеры с набором
изолированных ресурсов – приложений,
сетевых элементов, политик, сбора и
экспорта статистики и т.д.
• Управление доступом администраторов
• Возможность контролируемого
взаимодействия между тенантами и
совместного доступа к разделяемым
ресурсам
• Сценарии использования
• Разные заказчики оператора
• Среды разработки/тестирования/продуктива
• Слияние/разделение организаций
• Резервирование многих ЦОД
Pepsi-Tenant Coke-Tenant
VRF 1
VRF 2
VRF 1
VRF 2
Bridge Domain 1
Bridge Domain 2
Bridge Domain 3
Bridge Domain 4
Bridge Domain 1
Bridge Domain 2
Bridge Domain 3
Bridge Domain 4
EPG
EPG
EPG EPG
EPG
EPG
EPG
EPG EPG
EPG
Аудит действий администраторов
• Все действия
администратора
фиксируются
• На уровне системы в целом
• На любом уровне иерархии
(логическом/физическом)
• Независимо от пути выполения
(GUI/CLI/API)
• Разные виды доступа к
журналу действий
• Через GUI – для задач
устранения проблем
• Через API – для аналитики и
контроля соответствия
требованиям
• Экспорт событий на внешние
серверы
Управление конфигурациями: на уровне системы и отдельных тенантов
• Хранение истории конфигураций
• На уровне всей фабрики или
отдельных тенантов
• Настройки физических (порты
коммутаторы) и логическх
(приложения, группы, BD, VRF…)
объектов
• Сохранение по команде
администратора или по расписанию
• Возможность сравнения версий
конфигуций и отката изменений
• Сохранение на контроллерах APIC
или экспорт на внешний сервер
Диагностика проблем Управление отказами и показатели «здоровья»
• Идентификация проблем
• На любом уровне иерархии ACI
• Классификация по степени
серьёзности
• Текущие отказы и хранение истории
• Возможность настройки
• Показатель «здоровья»
• На любом уровне иерархии
• От 0 до 100
• Возможность поиска причин
деградации – анализ первопричины
• Работа с отказами на
контроллерах APIC или отправка
на внешние системы
Статистика на уровне сети и приложений Сбор, накопление, экспорт
• Сбор статистики на уровне
физических и логических объектов:
• Порты
• Ресурсы оборудования
• Группы подключений
• ...
• Накопление и хранение статистики
• Обобщение за интервал времени
• 5/15 мин, час/день/неделя/месяц/год
• Визуализация в GUI
• Автоматический экспорт на
внешний сервер
Cisco ACI для нужд разных подразделений
Application Centric Infrastructure …для сетевых администраторов
• Эффективная система центрального управления
• Инициализация фабрики и построение топологии
• Управление конфигурациями и прошивками
• Сбор, накопление и экспорт статистики
• Информация об отказах и «здоровье»
• Высокая производительность и масштабируемость
• Доступ 1/10G/25G, 40G
• Внутренний транспорт 40/100G с эффективной балансировкой нагрузки и приоритезацией транзакций
• До миллиона IPv4/IPv6 узлов
• Оптимизированный транспорт L2+L3
• Распределённая маршрутизация
• Единая среда коммутации для физических и виртуальных серверов
• Сквозной транспорт P+V
• Поддержка многих гипервизоров
• Детальная телеметрия и диагностика
• Атомарные счётчики
• Инструменты диагностики
Spine: модульные (Nexus 9500) или
фиксированные (9336) Аппаратная база отображения адресов
До 576 x 40/100 G портов на устройство
Высокая плотность за умеренную стоимость
Оптимизация фабрики Оптимальная балансировка
ECMP
Быстрая сходимость
Атомарные счётчики
Leaf (доступ): Nexus 9300 Применение политик
Интеллектуальное
кеширование
Поддержка оверлеев
Улучшенная аналитика
Application Centric Infrastructure …для администраторов виртуализации и «облаков»
• Открытый REST интерфейс для управления/оркестрации
• «Сеть как сервис»
• Декларативная модель
• Поддержка разных сред виртуализации, невиртуализированных серверов, контейнеров
• Интеграция с многими гипервизорами
• Возможность развёртывания невиртуализированных и смешанных ландшафтов (Big Data и т.д.)
• Поддержка изоляции организаций
• Тысячи заказчиков (tenants)
• Автоматизация сервисных цепочек
• Поддержка коммерческих оркестраторов
• VMWare vRealize, Microsoft Azure Pack, Cisco UCS Director…
• Поддержка OpenStack
• Neutron ML2 плагин
• Групповые политики (Group-based policy)
ФИЗИЧЕСКИЙ
СЕРВЕР
VLAN
VXLAN
VLAN
NVGRE
VLAN
VXLAN
VLAN
ESX Hyper-V KVM
ACI фабрика
Application Centric Infrastructure …для администраторов безопасности
• Управление правилами доступа
• Единая точка контроля политик
взаимодействия
• Структура правил/контрактов увязана с
сервисами, а не с адресами
• Нет «накопления» неиспользуемых
правил МСЭ
• Модель «белого списка»
• Всё, что не разрешено, по умолчанию
запрещено
• «Распределённый МСЭ»
• Микросегментация и контроль сессий
• Встраивание средств безопасности
• Физические или виртуальные
• Cisco или другие разработчики
• Полная изоляция организаций (tenants)
• Интегрированные возможности аудита
• Протоколирований действий
администраторов
• API для внешнего анализа соответствия
политикам
• Безопасность управления ACI
• Контроль доступа и ролевое управление
ПРИЛОЖЕНИЯ
Web
Tier
App
Tier
DB
Tier
БЕЗОПАСНОСТЬ
Trusted
Zone
DB
Tier DMZ
Внешний мир
ИНФРАСТРУКТУРА
Application Centric Infrastructure …для администраторов приложений
• Описание логики приложения в терминах приложения, а не
сети
• Не нужен перевод политик «на сетевой язык»: VLAN,
адреса и т.д.
• Переносимость политик между ЦОД
• Возможность расширения среды, миграции P2V и т.д.
• Поддержка полностью или частично виртуализированных
приложений или физических серверов
• Корпоративные приложения
• Web-сервисы
• Big Data
• Мониторинг
• Сетевое «здоровье» конкретного приложения
• Точный учёт трафика каждого из компонентов
• Учёт требований различных классов приложений
• “Mode 1” – традиционные корпоративные системы
• “Mode 2” – распределённая обработка,
программируемость, «инфраструктура как код»
Развитие архитектуры Cisco ACI
23
Новые возможности ACI
Безопасность Port Security
Интеграция с ISE 2.1
Firepower Rapid Threat Containment
ASA “Fabric Insertion” DP
Масштабирование Много ACI модулей в одном
домене политик
Видимость и аналитика Copy Service
Permit Logging
Облачная автоматизация vRealize 7.0
OpenStack: VMware
Масштабируемая
WAN интеграция ASR 9K
Nexus 7K
Гибкость Policy Based Redirect
Маршрутизация multicast
FCoE NPV
vCenter plugin
Новые платформы Nexus 9300-EX (Cloud Scale)
24
Новое поколение Nexus 9000 Переход 10G->25G, 40G->100G
• QSFP28: новый формат 100G трансивера:
• Высокая плотность
• Низкое энергопотребление
• Обратная совместимость с 40G QSFP трансиверами
• Возможность «разбить» на 4*10G/4*25G
• 25G Ethernet (SFP28)
• Производительность x2.5 при близкой цене
• Обратная совместимость с 1/10G SFP
• Пример реализации: Cisco Nexus 93180YC-EX
• 48 портов 1/10/25G + 6*40/100G в том же формате, что и 48*1/10G+6*40G по той же цене, что и модель предыдущего поколения!
• Поддержка 10/25/40/50/100G
Nexus 9372PX-E
Nexus 93180YC-EX
25
Коммутаторы Nexus 9000 для ACI фабрики
9504 9508 9516
Nexus 9500
32 40/100G QSFP Line card
• break-out to 10/25/50G
NX-OS и ACI
+ или
Nexus 9336
(“mini-spine”)
Nexus 9300-EX
48p 100M/1/10GT + 6p 40/100G QSFP Nexus 93108TC-EX
48p 1/10/25G SFP + 6p 40/100G QSFP Nexus 93180YC-EX
Leaf
Spine
Nexus 9300
36p 40G QSFP
26
Модульная фабрика ACI ACI Multi-Pod
Pod
‘A’
MP-BGP - EVPN
Single APIC Cluster
Несколько модулей (ACI Pod)
связанных IP сетью (Inter-Pod network),
каждый состоит из набора leaf и spine
Управлением единым кластером APIC
Единый домен управления и политик
Изоляция доменов отказов протоколов
control plane (IS-IS, COOP)
Инкапсуляция VXLAN между модулями
Сквозное применение политик
Pod
‘n’
Inter-Pod Network
…
ACI 2.1: до 6 модулей, до 300 leaf суммарно, до 200 leaf на модуль
IS-IS, COOP, MP-BGP
27
Масштабируемая интеграция ACI с WAN роутерами
WAN
VRF-1 VRF-2
IP Network
Web/App
MP-BGP
EVPN
‘GOLF’
Devices Масштабирование уровня передачи данных и управления
VXLAN инкапсуляция между ACI spines и WAN роутерами
BGP-EVPN control plane между ACI spines и WAN роутерами
OpFlex для обмена настройками (имена VRF, BGP Route-Targets и т.д.)
Применение политик на ACI коммутаторах (в обоих направлениях)
Поддержка маршрутизаторов
Nexus 7000, ASR9000
ASR1000 – рассматривается
Может сочетаться с ACI MultiPod
Cisco ACI 2.0/2.1: рост масштабируемости
Service Chains Up to 1,000
Leafs Up to 200 Per Pod
Up to 300 Across 6 Pods
Multicast Groups Up to 8,000
Bridge Domains Up to 21,000 (L2)
Up to 15,000 (L3)
EPGs Up to 21,000
Max 500 Per Tenant
Other Up to 5 APICs
Up to 50 vCenters
Up to 1,000 Contracts
Tenants Up to 3000
Cisco ACI vCenter Plugin
vCenter Plugin
vSphere Web Client vCenter
VMM Domain
• GUI интегрированный в vSphere
Web Client для управления ACI
фабрикой
• Позволяет администратору
настраивать или контролировать
ACI фабрику через знакомый
интерфейс
• Фокус на простоте: не требуется
детального знания ACI
Cisco ACI vCenter Plugin Возможности
Настройка Внешние подключения, диагностика
• Может создавать, настраивать
удалять:
• Tenant
• Application Profile
• EPG / MicroEPG
• Contract
• Filter
• VRF
• Bridge Domain
• Ограниченные операции с
L2/L3Out
• Может использовать
существующие внешние EPG
• Не может модифицировать
• L4-7 Service Graphs
• Может использовать
существующие Service Graph
• Не может создавать шаблоны
Service Graph
• Может менять параметры
функуионального профиля
• Средства диагностики
34
FCoE NPV в ACI фабрике
Host - CNA
VF VF
VF
VNP
VNP
FCOE
NPV
N5K
N7K
MDS FCF
FC
Storage
Supported
Hardware
N93180YC-EX
N93108TC-EX
Physical Port carrying both LAN &
SAN Traffic
VF
FCoE
• Единый уровень доступа для LAN и SAN
• FCOE трафик от CNA адаптера сервера к
SAN коммутатору через ACI Leaf
• Хост подключается к Virtual F (VF) портам
на ACI Leaf
• FCOE трафик отправляется на Fiber
Channel Forwarder (FCF) через Virtual Node
Proxy (VNP) функцию
• Требует 9300–EX в качестве leaf
• В качеcтве FCF – Cisco MDS или Nexus
5K/7K
Принятие Cisco ACI заказчиками
36
Принятие ACI заказчиками
• Поставляется с 2014 года
• Более 1800 заказчиков ACI в мире (данные на 2
квартал 2016 г)
• Заказчики ACI в России и СНГ:
• Операторы
• Промышленность/энергетика
• Интернет сервисы
• Финансовые услуги
• ....
37
Развитие успеха ACI/9K $2 млрд продаж в годовом выражении
8500+ 50+ 1800+ заказчиков Nexus 9K и ACI по всему миру
Экосистемных партнёров
Заказчиков ACI
Новые! Экосистема