Архитектура унифицированной вычислительной системы...

© 2011 Cisco and/or its affiliates. All rights reserved. 1

Cisco Expo 2012

Архитектура Унифицированной Вычислительной Системы Cisco UCS. Виктор Подкорытов Инженер консультант Cisco


  Каждый вычислительный узел не имеет собственного состояния, связанные с услугами которые он может предоставлять.

  Вычислительный узел это всего лишь исполнитель для любого приложения (Процессор, Память).

  Основная концепция "Stateless” вычислительной среды является Отделение необходимой конфигурации сервера для конкретного приложения, от физического сервера.

  Серверы могут быть легко развернуты, клонированы, увеличена или уменьшена производительность, де-активированы, архивированы, вновь активирована, и т.д.

  Подключение сетевых портов вычислителя, к LAN и SAN инфраструктуре, обеспечение уровней безопасности и т.д является важнейшим компонентом "Stateless”

2

© 2011 Cisco and/or its affiliates. All rights reserved. 3 3

 Программируемые вычислительные узлы   Физические и/или виртуальные сервера   Полная абстракция сервера от «железа»   Сервер запущен на любом лезвии   Модель Эксплуатации и Управления отражает местоположение в шасси/стойке

 Программируемые подключения сетям LAN и SAN   Динамически определяются Адаптеры Eth,

FC их кол-ва, интерфейсы Управления, логика подключения в порты коммутатора LAN/SAN, сетевые политики

 Программируемые сетевые сервисы


«Традиционный» подход •  Аппаратная, фиксированная конфигурация сервера

• Сетевые адаптеры Eth их кол-ва, скорость • Физические HBA-адаптеры • Агрегация интерфейсов – драйвера OS

•  Подключение к LAN • Доступ VLAN (Да | Нет) • Разрешеные VLAN • Политики безопасности • MTU • Настройка QoS • Блокирование Spanning Tree • Объединиться для серверов • OOB управления для подключения к сети

•  Подключение к SAN • VSAN к порту • Определение WWN для ввода в базу зонирования

•  Патч-панель • Физическая коммутация

Сервер Сервер

Управление

5


«Традиционный» подход•  Server Name = vmhost-cluster1-1

•  UUID = 12345678-ABCD-9876-5432-ABCDEF123456 (Burned In)

•  Description = ESX4-1 – Host in Cluster 1

•  Network and Server Side LAN Config

- Adapter PCI Order = PHYSICAL INSERTION TO RISER

- Number of NIC’s = PHYSICAL PRESENCE IN SERVER

- vNIC0 Switch = PHYSICAL CONNECTION to Switch A

- vNIC0 VLAN Trunking = Enabled (COORDINATION)

- vNIC0 Native VLAN = VLAN 100 (COORDINATION)

- vNIC0 Allowed VLANs = 101,102,103… (COORDINATION)

- vNIC0 MAC Address = BURNED IN

- vNIC0 QoS policy = MQC COMMANDS PER PORT

- vNIC1 Switch = PHYSICAL CONNECTION to Switch B

- vNIC1 VLAN Trunking = Enabled (COORDINATION)

- vNIC1 Native VLAN = VLAN 100 (COORDINATION)

- vNIC1 Allowed VLANs = 101,102,103… (COORDINATION)

- vNIC1 MAC Address = BURNED IN

- vNIC1 QoS policy = MQC COMMANDS PER PORT

•  Server Side LAN Config

- Bonding Driver = MANUALLY Setup Intel PROset

- VLAN Interfaces = MANUALLY Setup Intel PROset for 100,101,102,103,…

- ESX Networking = MANUALLY Setup multiple vSwitches, VLAN Tags, vCenter PortGroups

•  Local Storage = 73GB, 10k RPM, Disk1 73GB, 10k RPM, Disk2

•  RAID = MANUALLY Setup through boot utility •  SAN Config •  SAN Connection for Server = HBA PHYSICAL PRESENCE IN SERVER

•  Node ID = BURNED IN •  Adapter PCI Order = PHYSICAL INSERTION TO RISER •  Adapter Parameters = MANUALLY Setup through boot utility •  vHBA0 Switch = PHYSICAL CONNECTION to Switch A •  vHBA0 VSAN = VSAN1-FabricA (COORDINATION) •  vHBA0 WWPN = BURNED IN •  vHBA1 Switch = PHYSICAL CONNECTION to Switch B •  vHBA1 VSAN = VSAN1-FabricB (COORDINATION) •  vHBA1 WWPN = BURNED IN •  iSCSI Boot Setup? = Option ROM to configure per server •  Boot order = MANUALLY Setup within the BIOS

1.  Virtual CD-ROM 2.  vHBA0, 50:00:16:aa:bb:cc:0a:01, LUN 00, primary(COORDINATION) 3.  vHBA1, 50:00:16:aa:bb:cc:0b:01, LUN 00, secondary(COORDINATION) 4. vNIC0

•  Host Firmware = BURNED IN For: •  Disk Controller, BIOS Version, HBA Option ROM,

NIC, Mainboard, etc. •  Management Firmware Policy = BURNED IN on BMC •  IPMI Access = ANYONE ON MANAGEMENT NETWORK •  Serial-over-LAN access = PHYSICAL CONNECTION OF SERIAL PORT •  Monitoring Threshold Policy = MANUAL THRESHOLDS FOR ALL COMPONENTS •  BIOS Settings = MANUALLY SET FOR ALL CUSTOMIZATIONS AND USAGE •  OS Configuration = Create Linux bond.0, or Windows Team

5


•  Server Name = vmhost-cluster1-1

•  UUID = 12345678-ABCD-9876-5432-ABCDEF123456 (PRE_CONFIGURED)

•  Description = ESX4-1 – Host in Cluster 1


• Adapter PCI Order = PRE_CONFIGURED

• Number of NIC’s = PRE_CONFIGURED

• vNIC0 Switch = VIRTUAL CONNECTION to Switch A (PRE_CONFIGURED)

• vNIC0 VLAN Trunking = Enabled (PRE_CONFIGURED)

• vNIC0 Native VLAN = VLAN 100 (PRE_CONFIGURED)

• vNIC0 Allowed VLANs = 101,102,103… (PRE_CONFIGURED)

• vNIC0 MAC Address = PRE_CONFIGURED

• vNIC0 QoS policy = PRE_CONFIGURED

• vNIC1 Switch = VIRTUAL CONNECTION to Switch B (PRE_CONFIGURED)




• vNIC1 MAC Address = PRE_CONFIGURED


•  Server Side LAN Config • Bonding Driver = Not Required

• VLAN Interfaces = Not Required

• ESX Networking = MANUALLY Setup multiple vSwitches, VLAN Tags, vCenter PortGroups


•  RAID = RAID1 (PRE_CONFIGURED) •  SAN Config

•  SAN Connection for Server = PRE_CONFIGURED

•  Node ID = PRE_CONFIGURED •  Adapter PCI Order = PRE_CONFIGURED •  Adapter Parameters = PRE_CONFIGURED •  vHBA0 Switch = VIRTUAL CONNECTION to Switch A (PRE_CONFIGURED) •  vHBA0 VSAN = VSAN1-FabricA (PRE_CONFIGURED) •  vHBA0 WWPN = PRE_CONFIGURED •  vHBA1 Switch = VIRTUAL CONNECTION to Switch B (PRE_CONFIGURED) •  vHBA1 VSAN = VSAN1-FabricB (PRE_CONFIGURED) •  vHBA1 WWPN = PRE_CONFIGURED •  iSCSI Boot Setup? = PRE_CONFIGURED

•  Boot order = PRE_CONFIGURED 1.  Virtual CD-ROM 2.  vHBA0, 50:00:16:aa:bb:cc:0a:01, LUN 00, primary (PRE_CONFIGURED) 3.  vHBA1, 50:00:16:aa:bb:cc:0b:01, LUN 00, secondary

(PRE_CONFIGURED) 4. vNIC0

•  Host Firmware = PRE_CONFIGURED: -  Disk Controller, BIOS Version, HBA Option ROM, NIC, Mainboard, etc.

•  Management Firmware Policy = PRE_CONFIGURED •  IPMI Access = PRE_CONFIGURED •  Serial-over-LAN access = PRE_CONFIGURED •  Monitoring Threshold Policy = PRE_CONFIGURED THRESHOLDS FOR ALL

COMPONENTS •  BIOS Settings = PRE_CONFIGURED FOR ALL CUSTOMIZATIONS AND USAGE •  OS Configuration = Not Required

6


•  Server Name = vmhost-cluster1-[1]

•  UUID = 12345678-ABCD-9876-5432-[SuffixPool] (PRE_CONFIGURED)

•  Description = ESX4-[1] – Host in Cluster 1


• Adapter PCI Order = PRE_CONFIGURED

• Number of NIC’s = PRE_CONFIGURED

• vNIC0 Switch = VIRTUAL CONNECTION to Switch A (PRE_CONFIGURED)




• vNIC0 MAC Address = [MAC_POOL_ESX_GROUP1_A_FABRIC]


• vNIC1 Switch = VIRTUAL CONNECTION to Switch B (PRE_CONFIGURED)




• vNIC1 MAC Address = [MAC_POOL_ESX_GROUP1_B_FABRIC]


•  Server Side LAN Config • Bonding Driver = Not Required

• VLAN Interfaces = Not Required

• ESX Networking = MANUALLY Setup multiple vSwitches, VLAN Tags, vCenter PortGroups


•  RAID = RAID1 (PRE_CONFIGURED) •  SAN Config

•  SAN Connection for Server = PRE_CONFIGURED

•  Node ID = [WWNN_POOL_ESX_GROUP1] PRE_CONFIGURED •  Adapter PCI Order = PRE_CONFIGURED •  Adapter Parameters = PRE_CONFIGURED •  vHBA0 Switch = VIRTUAL CONNECTION to Switch A

(PRE_CONFIGURED) •  vHBA0 VSAN = VSAN1-FabricA (PRE_CONFIGURED) •  vHBA0 WWPN = [WWPN_POOL_ESX_GROUP1_A_FABRIC]

PRE_CONFIGURED •  vHBA1 Switch = VIRTUAL CONNECTION to Switch B

(PRE_CONFIGURED) •  vHBA1 VSAN = VSAN1-FabricB (PRE_CONFIGURED) •  vHBA1 WWPN = [WWPN_POOL_ESX_GROUP1_B_FABRIC]

PRE_CONFIGURED •  iSCSI Boot Setup? = PRE_CONFIGURED

•  Boot order = PRE_CONFIGURED 1.  Virtual CD-ROM 2.  vHBA0, 50:00:16:aa:bb:cc:0a:01, LUN 00, primary

(PRE_CONFIGURED) 3.  vHBA1, 50:00:16:aa:bb:cc:0b:01, LUN 00, secondary

(PRE_CONFIGURED) 4. vNIC0

•  Host Firmware = PRE_CONFIGURED: -  Disk Controller, BIOS Version, HBA Option ROM, NIC, Mainboard, etc.

•  Management Firmware Policy = PRE_CONFIGURED •  IPMI Access = PRE_CONFIGURED •  Serial-over-LAN access = PRE_CONFIGURED •  Monitoring Threshold Policy = PRE_CONFIGURED THRESHOLDS FOR ALL

COMPONENTS •  BIOS Settings = PRE_CONFIGURED FOR ALL CUSTOMIZATIONS AND USAGE •  OS Configuration = Not Required

7


База данных XML объектов

9

Blade / Rack Группа: BIOS RAID CPLD

Метод загрузки BMC

Оповещения И т.д.

NIC Группа: # Кол-во Адаптеров

VLAN QOS

Пполитики безопасности

# Кол-во HBA-адаптеров VSAN

QoS т.д.

Коммутатор : сетевые порты QoS политики

Политика безопасности Подключение серверов

VLAN И т.д.

SAN : Настройки SAN

VSAN F-Port Trunking

Агрегация каналов Зонирование

И т.д.

XML API

Другие Группы: VMM Группа

И т.д.

Корень

Сервер

RAID BIOS

I / O

ETH адаптеры

HBA-адаптеры

MIT


  Как только сервер добавлен в UCS, он может быть автоматически добавлен в пул

 По принадлежности к владельцу шасси/слота/организации  Квалифицируемые политиками, и доступны для пользователей, как не настроенные ресурсы в соответствующем пуле

Квалификационные Политики для Формирование Серверных пулов

11


•  Создание 1-го или более Сервисных профилей из шаблона

•  Заполнение шаблона данными из пулов ресурсов  UUID, MAC, WWN и т.д.

  Администратор или XML API может изменить конфигурацию профиля

 Не связан с изначальным шаблоном

•  Возможность на основании данного Сервисного профиля создать новый НЕ обновляемый шаблон

•  Загрузки из сети хранения или iSCSI

НЕ Обновляемые шаблоны Сервисного профиля

12

ESX-DRS-Node1 UUID, MAC, WWN Загрузка информации прошивку LAN, SAN Config Firmware ...

ESX-DRS-узла UUID, MAC, WWN Загрузка информации прошивку LAN, SAN Config Firmware ...

Шаблон

Профиль


Профиль

Создание


  Метод для координации изменений группы серверов

  Создание 1 или более Сервисных профилей из шаблона

•  Заполнение шаблона данными из пулов ресурсов  UUID, MAC, WWN и т.д.

•  Администратор или XML API может изменить конфигурацию шаблона

•  Изменения в шаблоне распространяется на Сервисны профили автоматически

•  Возможность на основании данного Сервисного профиля создать новый Обновляемый шаблон

Обновляемые шаблоны Сервисного профиля

13


ESX-DRS-узла UUID, MAC, WWN Загрузка информации прошивку LAN, SAN Config Firmware ...

Шаблон

Профиль


Профиль

Синхронизация


•  Организации – логическое разделение ресурсов и политик

•  Организация – возможность совместной аренды

•  До 5 уровней вложенности

Организационная структура

14


 Серверные Пулы  Квалификационные серверные Пулы

 Шаблоны Сервисных профилей  vHBA Шаблоны

 VNIC Шаблоны

 WWNN Пулы  WWPN Пулы

 MAC Пулы  QoS политики

 Политика управления сетью

 Политика управления потоком  UUID Пулы

 Динамические VNIC, политики подключения  Eth Адаптер, политики

 FC vHBA, политики  Политики Загрузка

 Политики Firmware

 Управление политиками Firmware  Локальная политика RAID дисков

 Политики «зачистки»  Политики Настройки BIOS

 Политики BIOS по умолчанию

Контроль Орг-структуры

15

  Возможность установки организационных границ:


•  Менеджмент организаций или групп организаций  Уникальные пулы ресурсов и политик

•  Гранулированное управление серверами:  Бизнес-единица (линии бизнеса)  Функциональная группировка (н-р Виртуализация)  Местоположение

•  Применяется ко всей UCS фабрике  Сегментация административной ответственности за соответствующие компоненты  Границы области аудита

Прописывание пользователей в организации

16


•  Роли существуют, чтобы определить привилегии  Определены роли по умолчанию

•  Администратор может определить пользовательские роли в соответствии с их экспертизой

Присвоение ролей пользователям

17


  Пользователи могут быть созданы в каждой организации

  Бизнес-единицы могут полностью управлять своей серверной инфраструктурой

Назначение администраторов организации или организаций, с учетом роли

56


•  Роли существуют, чтобы определить привилегии Система имеет встроенные, по умолчанию

•  Администратор может определить пользовательские роли в соответствии с их бизнес потребностью

•  Роль Сетевого Администратора - контролировать традиционные аспекты Все на закладке VLAN Все на закладке VM

Роль Сетевого Администратора

25


•  Название и номера VSAN

•  Выбор FCoE VLAN

•  Настройка FC аплинков для

Фабрики “A”,“B”

•  Настройка QoS Ограничение скорости (Rate Limiting) Traffic Shaping

•  WWN Пулы для Орг-структур

Роль администратора SAN

26

19 © 2011 Cisco and/or its affiliates. All rights reserved.

Обзор UCS Системы


20

UCS Фабрика– UCS 6100 •  20x 10GE Ports – 1 RU •  40x 10GE Ports – 2 RU •  Модули расширения Eth или FC

UCS Фабрика– UCS 6200 •  48x Универсальных Портов – 1 RU 32x база + 16x модули расширения •  96х Универсальных Портов – 2 RU 48х база + 3х16 модули расширения

I/O Модули расширения фабрики UCS Fabric Extender – UCS 2104 •  8x 10GE к Серверам •  4x 10GE к Фабрике

I/O Модули расширения фабрики UCS Fabric Extender – UCS 2208/2204 •  32(16)x 10GE к Серверам •  8(4)x 10GE к Фабрике

Адаптеры - M81KR VIC, M71KR, и т.д. •  До 2x 10GE портов

•  M81KR: до 128 виртуальных интерфейсов

Адаптер - UCS VIC 1240, 1280 •  4-8x 10GE портов

•  До 256 виртуальных интерфейсов

UCS 6100

UCS 6200

UCS 2208/2204 IOM

UCS 2104

Поколение Gen1 Поколение Gen2


•  Динамическое выделение Портов: Ethernet или Fibre Channel

21

Примеры Использования

Классический Fibre Channel

  Конвергенция LAN & SAN основанная на бизнес потребности

  Сервис может быть улучшен при увеличение потребности в каком либо трафике

FC Eth

Ethernet: 1/10GbE, FCoE, iSCSI, NAS

Выгоды

  Простота выбора модели

  Гибкость дизайнов   Убрано «бутылочное» горлышко пропускной для специфических протоколов


10 Gig

12 Gig

12 Gig

10 Gig

Carmel 1

Унифицированная Коммутационная Фабрика

Sunnyvale

Carmel 2 Carmel 3

Carmel 4 Carmel 5 Carmel 6

Carm

el C

PU

Intel Jasper Forest

PEX 8525 4 port PCIE

Switch

South Bridge

12 Gig

12 Gig

Carmel 1

Carmel cpu

Sunnyvale

Carmel 2

Mgmt

Console

Xcon1

Xcon2

DD

R3 x2

PCIE Dual Gig

PCIe x4 PCIe x4 PCIe x4

PCIe x8

PCIE Dual Gig

PCIE Dual Gig

0 1 0 1 N/C

0

1

Carmel 6

Memory

Flash

NVRAM

Serial


•  Выбор осуществляется перемещением Ползунка

•  Только четное кол-во портов может быть FC

•  Настраивается на каждой Фабрике отдельно

24


6х00 Фабрика «A»

6х00 Фабрика «B»

B200 B420 CNA

IOM A CNA CNA

IOM B

IOM A

IOM B

ETH 1 ETH 2

MGMT MGMT

Шасси 1 Шасси 20

Fabric Switch

Fabric Extenders

Uplink Ports

Compute Blades Half / Full width

OOB Mgmt

Server Ports

Virtualized Adapters

Кластер UCSM

SAN A SAN B


• Традиционные дизайны ЦОД включают Уровень Доступа

• UCS Фабрика это и есть Уровень Доступа Подключение к сети для 160 серверов и 1000+ VM Код коммутатора NX-OS UCSM настраивает ВСЕ сетевые атрибуты

Где проходит граница сети LAN?

38


Высокая доступность серверов в инфраструктуре ЦОД

36

  Каждое шасси подключено к 2-м Фабрикам соответствующим I/O модулем

LAN SAN B SAN

Fabric Extender Fabric Extender

Адаптер Адаптер

UCS Фабрика

Шасси

VIC

Отказоустойчивость LAN VNIC (Fabric Failover) :

  ОС видит один или несколько Адаптеров Eth

  I/O модули автоматически обеспечивают отказоустойчивость серверного адаптера на две фабрики (активный/пассивный)

  Не нужен Teaming драйвер

  Отказоустойчивость реализована аппаратно без участия OS Сервер Сервер


•  Традиционные дизайны ЦОД имеют двойной Уровень доступа SAN

•  Традиционные дизайны ЦОД имеют двойное ядро SAN •  UCS Фабрика это и есть Уровень Доступа

•  Подключение к сети для 160 серверов и 1000+ VM •  Код коммутатора NX-OS (SAN-OS) •  UCSM настраивает ВСЕ сетевые атрибуты SAN

•  Уровень Ядра – без изменений (за исключением NPIV), с поддержкой мульти-вендорности

Где проходит граница SAN?

39


SAN Multi-Pathing

40

•  Каждое шасси подключено к 2-м Фабрикам соответствующим I/O модулем

•  Все соединения активны

LAN SAN B SAN

Блейд Половинной Ширины

Блейд Половинной Ширины


vHB

A

vHB

A

vHB

A

vHB

A

Адаптер

BMC

Адаптер

BMC

UCS Фабрика

Шасси

Адаптеры

Лезвие BMC

Отказоустойчивость обеспечивает Multi-Pathing :

  OS видит несколько vHBA

  Адаптер FLOGI только на свою Фабрику

  Как правило, производители OS хотите, чтобы клиенты отключить мультипас во время инсталляции

  Рекомендуется Добавить мультипас после первоначальной инсталляции


 Порты коммутаторов LAN и SAN настроены в строгом соответствии с физическими адаптерами (MAC, WWN…)  В UCS подключение LAN и SAN является частью конфигурации сервера и их настройкой управляет текущая команда администраторов LAN / SAN

  Адаптеры VM, отделены от портов коммутаторов  В UCS адаптеры VM включены непосредственно в коммутатор фабрики

 Порядок Сетевых адаптеров фиксирован в порядке того как они добавлялись в PCI слоты  В UCS типы, порядок идентификаторы настраиваются в нужном порядке автоматически

Различные Школы управления I/O

21


•  Одновременная настройка доступа LAN/SAN и Сетевых Адаптеров

•  Цель уменьшить необходимость вручную настраивать инфраструктуру, придерживаясь при этом установленных правил

•  В UCS Унифицированный XML объект, координирует настройку всех необходимых аппаратных компонентов

•  Автоматизация конфигураций:

•  Нет ручной конфигурации физических портов в NX-OS

•  Нет ручной конфигурации физический портов в SAN-OS

•  Абстракция Адаптеров в объекты и их последующее использование

•  Нет ручной настройки Адаптера - абстрактный объект в XML

•  Создание шаблонов из этих адаптеров и их использование

Конфигурация Уровня Доступа LAN/SAN привязана к физическим адаптерам

22


IOM 1 IOM 2

Фабрика «A» Фабрика «B»

Сервер 1/7 Сервер 1/8

Шасси 1 1 2

3 4

5 6

1/19 - 20 2/19

p10 Аплинки LAN

HA links

Эти линии отображают бэкплейн соединения Всегда два соединения (одно к Фабрике «A» , второе к «B»)

СЕРВЕРНЫЕ Порты

Аплинки к Фабрике

‘СЕВЕР’

e1/1/7

Аплинки SAN

OS vNICs (Eth и FC) как определено в Сервисном Профиле

Nexus 5000/7000

33


2x 4 линк 80 Gb к Шасси





Chassis Management

Controller

FLASH

EEPROM

DRAM

Control

IO

Chassis Signals

Switch

Woodside ASIC

8 Физических портов к Фабрике

До 32 внутренних портов к блейд-лезвиям

НЕТ Локальной коммутации! Трафик коммутируется Фабрикой

До 80Gb на слот

До 160Gb На Шасси


M81KR VIC

IOH

CPU CPU

x16 Gen 2

x16 Gen 2

20x 10GE Expansion Module

UCS Blade Chassis

UCS 6120 UCS 6120


1280 VIC

IOH

CPU CPU

x16 Gen 2

x16 Gen 2

16x SFP+

16x SFP+

Expansion Module

16x SFP+

16x SFP+

UCS Blade Chassis

UCS 6248

Expansion Module

UCS 6248

2104XP 2104XP 2208XP 2208XP

36


_Por

t 1 Port 2

SLOT1

SLOT5

SLOT3

SLOT7

SLOT2

SLOT6

SLOT4

SLOT8

!

UC S 5 108

OK FAIL OK FAIL OK FAIL OK FAIL

20 Gb

PS1

PS2

FAN STAT FA

N1FA

N2FAN

STAT

STAT

OK

FAIL

N10-PAC1-550W

OK

FAIL

N10-PAC1-550W

PS1

PS2

FAN STAT FA

N1FA

N2

FAN STAT

STAT

OK

FAIL

N10-PAC1-550W

OK

FAIL

N10-PAC1-550W

40 Gb

PS1

PS2

FAN STAT FA

N1FA

N2

FAN STAT

STAT

OK

FAIL

N10-PAC1-550W

OK

FAIL

N10-PAC1-550W

PS1

PS2

FAN STAT FA

N1FA

N2

FAN STAT

STAT

OK

FAIL

N10-PAC1-550W

OK

FAIL

N10-PAC1-550W

SLOT1

SLOT5

SLOT3

SLOT7

SLOT2

SLOT6

SLOT4

SLOT8

!

UC S 5 108


SLOT1

SLOT5

SLOT3

SLOT7

SLOT2

SLOT6

SLOT4

SLOT8

!

UC S 5 108


Slot 1 Slot 2

Slot 3 Slot 4

Slot 5 Slot 6

Slot 7 Slot 8

Slot 1 Slot 2

Slot 3 Slot 4

Slot 5 Slot 6

Slot 7 Slot 8

80 Gb _P

ort 1

Port 2 _Por

t 1 Port 2

Port 2 _Por

t 1

Slot 1 Slot 2

Slot 3 Slot 4 Slot 5 Slot 6

Slot 7 Slot 8

1 1 2 2 1 1 2 2

PS1

PS2

FAN STAT FA

N1FA

N2

FAN STAT

STAT

OK

FAIL

N10-PAC1-550W

OK

FAIL

N10-PAC1-550W

PS1

PS2

FAN STAT FA

N1FA

N2

FAN STAT

STAT

OK

FAIL

N10-PAC1-550W

OK

FAIL

N10-PAC1-550W

1 2 1 2 4 3 4 3

•  6100 to 2104 or 2208 •  6200 to 2104 or 2208

•  6100 to 2104 or 2208 •  6200 to 2104 or 2208

•  6100 to 2104 or 2208 •  6200 to 2104 or 2208

37


160 Gb (Discrete Mode) PS

1PS

2

FAN STAT FA

N1FA

N2

FAN STAT

STAT

OK

FAIL

N10-PAC1-550W

OK

FAIL

N10-PAC1-550W

PS1

PS2

FAN STAT FA

N1FA

N2

FAN STAT

STAT

OK

FAIL

N10-PAC1-550W

OK

FAIL

N10-PAC1-550W

•  6100 to 2208 •  6200 to 2208

SLOT1

SLOT5

SLOT3

SLOT7

SLOT2

SLOT6

SLOT4

SLOT8

!

UC S 5 108



Slot 5 Slot 6

Slot 7 Slot 8

160 Gb (Port Channel Mode)

PS1

PS2

FAN STAT FA

N1FA

N2

FAN STAT

STAT

OK

FAIL

N10-PAC1-550W

OK

FAIL

N10-PAC1-550W

PS1

PS2

FAN STAT FA

N1FA

N2

FAN STAT

STAT

OK

FAIL

N10-PAC1-550W

OK

FAIL

N10-PAC1-550W

•  6200 to 2208

SLOT1

SLOT5

SLOT3

SLOT7

SLOT2

SLOT6

SLOT4

SLOT8

!

UC S 5 108



Slot 5 Slot 6

Slot 7 Slot 8


Концепция ”Pinning” в сравнение с Агрегированными каналами

•  Агрегированные каналы используют Хэширование

•  ”Pinning” может быть статическим или динамическим •  Статический пиннинг - сопоставление адаптера UCS сервера к одиному из восходящих портов LAN

•  Динамический – исходящий порт динамически определяется Фабрикой(каждые 300 секунд балансируется в зависимости от загрузки)

•  Обрыв аплинка Статического пиннинга : •  Обрыв подключения адаптера •  Или предупреждение (зависит от конфигурации) Динамический пиннинг: •  автоматически переключается на наименее нагруженный порт •  восстановление автоматическое

37


Подключение Серверов


Унифицированный I/O в UCS

41

  Виртуальный PCI слот на сервере

  Не зависит от прошивок HW на сервере

  Потребляет гораздо меньше портов и кабелей сетевой инфраструктуры

  НЕ единственное подключение виртуализованного I/O к инфраструктуре

  Структура виртуализации PCI Шины

  Виртуализация Адаптеров и PCI-PCI мостов

  Нет необходимости управления Локальной коммутацией трафика

  Каждый виртуальный интерфейс получает логическое соединение с фабрикой

  Операционные системы обнаруживают адаптеры на PCI шине

  Пропускная полоса, маркировка QoS и т.д. Индивидуальна для каждого виртуального интерфейса

  UCS доставляет трафик только VLAN и VSAN сконфигурированного для для виртуального интерфейса


•  Виртуальные порты коммутатора, кабели и Адаптеры

•  Виртуальные патчкорды Eth и FC поверх 10GB Eth

•  Гарантирование SLA трафику •  Множество типов трафика

(Jumbo, без потерь, FC)

•  Индивидуальное состояние аплинков

•  Меньше кабелей •  Меньше адаптеров •  Меньше электроэнергии •  Взаимодействие с существующими моделями администрирования LAN / SAN

•  Возможность протянуть эти аплинки выше, на уровень агрегации

Аплинки Обычного Ethernet

DCB Ethernet

Аплинки к Хранилищу (ISCSI, NFS, FC)

Аплинки управления (KVM, USB, CD-ROM)

23


Blade 1

eth0

hba0 hba1

OS

1

Backplane Eth X/Y/Z interface

External 10GE physical port that connects to the backplane Virtual interface tag

to associate frames to a particular VIF

FEX 1

Fabric A

FEX 2

Fabric B

vNIC or vHBA Interfaces assigned through Service-Profile

Vif 1 Vif 2 Vif 3 Vif 4

IOM-to-FI link

eth1

0


Пропускная полоса до 32 Gbps

45

UCS 1280 VIC

2208 IOM

Side A Side B

vNIC1

VM 1.  10 Gb FTP traffic 2.  10 Gb UDP traffic

VM Flows

2208 IOM

  НЕ требуется конфигурации пользователем   vNIC хешируется по 7-атрибутам по линкам   Каждый индивидуальный поток max 10Gb   Доступен Fabric Failover


Виртуализация сетевых интерфейсов

33

  Централизованное администрирование

  позволяет сгруппировать определение и обновления конфигураций

  До 116 Максимальное кол-во интерфейсов адаптера на сегодня

  Администраторы определяют столько интерфейсов сколько необходимо

Не нужно тегировать 802.1q

Не нужно ручной инсталляции и настройки, утилит


•  Шаблоны адаптера определены до их использования

•  Автоматически появляются на серверах что сокращает время настройки

•  Ethernet и FC

•  Обновляемые шаблоны - концепция централизованного управления множеством серверов

Тривиальное добавление/удаление сетей Целостное Изменение политики безопасности

Каталог услуг сетевых карт и FC адаптеров

34

DMZ1 DMZ2 FC SAN 1

VDI Бакап Кластер

Внутренний Карантин Управление


•  Централизация управления LAN в организации / Root

Определение Native VLAN

VLAN-ы в транке/порты доступа MTU

MAC Пул

QoS политики Презентация во внешние сети Пороги Статистики

•  Политика управляется ролью LAN администратором

•  Шаблон VNIC Связан с Сервисным профилем

Шаблоны Адаптеров и Автоматизация

27


Шаблон FC Адаптера и автоматизация

•  Централизация управления SAN в организации / Root

 Определить VSAN  MTU  WWPN Пул  QoS политики  Презентация во внешние сети  Пороги Статистики

•  Политика управляется ролью SAN администратора

•  Шаблон vHBA Связан с Сервисным профилем

29


Traffic Engineering в инфраструктуре ЦОД

35

Имя класса FC Gold Ethernet BE

COS 3 1 0

Drop / No-Drop No-Drop Drop Падение

Strict Priority Нет Нет Нет

Пропускная способность / вес

1 (20%) 3 (60%) 1 (20%)

Логический сервер A

Глобальная система определений классов

Логический сервер B

FC трафика Высокий приоритет Eth

Best Effort Eth


UCS и VM-FEX

41

UCS Manager

VCENTER сервера

1. Настройка подключения

2. Создать DVS 3. Определить ПрофилиVM

4. DVS и VM профили доступны в VCENTER

5. VM создан и подключен к DVS

6. VM профили применяется к соответствующим адаптером

Основные преимущества Cisco адаптер •  Тесная интеграция, VCENTER, VMM) •  Сетевой администратор устанавливает политики сети, администратор сервера применяет.

•  Четкое разграничение ответственности между группами.

Cisco адаптер


•  Каждая виртуальная машина, ее адаптер vNIC "подключен" к vETH порту UCS Фабрики

• Пример: PCI DSS – требование к виртуальным машинам иметь отдельный адаптер (не программные коммутаторы)

• При vMotion (Migration) адаптер перемещается вслед за виртуальной машиной

•  Возможен VM Direct Path I/O

Что такое VM-FEX?

42


vMotion with Hypervisor Bypass (VMDirectPath с VM-FEX)

53

Temporary transition from VMDirectPath to

standard I/O

0

2500

5000

7500

10000

19:0

6:19

19:0

6:23

19:0

6:27

19:0

6:31

19:0

6:35

19:0

6:39

19:0

6:43

19:0

6:47

19:0

6:52

Mbp

s

Time (secs)

vMotion to secondary host

1 sec silent period


Backwards Compatibility and Interoperability


Complete hardware inter-operability between Gen 1 and Gen 2

Фабрика IOM Адаптер Поддержка Min ПО

6100 2104 UCS M81KR UCSM 1.4(1) или раньше

6100 2208 UCS M81KR

UCSM UCS 2.0

6100 2104 UCS1280 VIC UCSM UCS 2.0

6100 2208 UCS1280 VIC UCSM UCS 2.0 6200 2104 UCS M81KR UCSM UCS 2.0

6200 2208 UCS M81KR UCSM UCS 2.0

6200 2104 UCS1280 VIC UCSM UCS 2.0

6200 2208 UCS1280 VIC UCSM UCS 2.0

55


M81KR VIC

IOH

CPU CPU

x16 Gen 2

x16 Gen 2


UCS Blade Chassis

UCS 6120

1280 VIC

IOH

CPU CPU

x16 Gen 2

x16 Gen 2

Expansion Module

16x SFP+

16x SFP+

UCS Blade Chassis

UCS 6248

Expansion Module

UCS 6248 UCS 6120

2208XP


16x SFP+

16x SFP+

2104XP 2208XP 2104XP

56


•  Смешенная конфигурация разных поколений

Фабрик поддерживается только для апгрейда.

Hardware Fabric A Fabric B Support

FI 6100 6200 Only during HW upgrade

IOM 2104 2208 Only during HW upgrade

57


Режимы Еthernet


•  Фабрика ведет себя как обычный L2 коммутатор

•  Серверные vNIC коммутируются в своем VLAN

•  Spanning tree активен на аплинках для каждого VLAN—Rapid PVST+

•  Конфигурация параметров STP (bridge priority, Hello Timers) НЕ поддерживается

•  VTP не поддерживается

•  Изучение MAC как для серверов так и аплинков

•  Вышестоящие аплинки заблокированы для каждого VLAN логикой Spanning Tree

Server 1

VNIC 0

Server 2

VNIC 0

Фабрика A

L2 Коммутация

FI-‐A Изучение MAC

VLAN 10

LAN

vEth 3 vEth 1

Root

59


Сервер 1

VNIC 0

Сервер 2

VNIC 0

Fabric A

L2 Switching

FI A

MAC Learning

MAC Learning

VLAN 10

Spanning Tree

LAN

vEth 3 vEth 1

•  Серверный vNIC припиннен к аплинку •  НЕТ Spanning Tree

•  Меньше CPU загрузка у вышестоящих коммутаторов •  Уменьшает нагрузку на Control •  Упрощенная конфигурация аплинков

•  UCS подключается к LAN как сервер, не коммутатор

•  Обслуживает таблицу MAC только для своих серверов

•  Упрощенный сайзинг MAC таблицы

•  Разрешено иметь несколько Активных Аплинков на VLAN

•  Удваивает пропускную в сравнение с STP

•  Предотвращение внешних петель •  Полностью прозрачен для вышестоящего LAN •  Трафик внутри VLAN коммутируется локально

60


VLAN 10

•  Трафик от Сервера к Серверу коммутируется Фабрикой локально

•  Нет коммутации Аплинк-Аплинк через LAN

•  Каждый серверный порт припиннен к аплинку (агрегированному каналу)

•  Трафик из Сети (LAN) коммутируется к серверу только при получении его на припинненый аплинк (Проверка Reverse Path Forwarding—(RPF)

•  Нет широковещательной рассылки неизвестного уникаста или мультикаста!

•  Фреймс внутренним source MAC полученный с внешнего LAN игнорируется (Deja-Vu Check)

Uplink Ports

FI

RPF Deja-Vu

vEth 1 vEth 3

Server 1

VNIC 0

Server 2

VNIC 0

LAN Server 2

61


Uplink Ports

FI

•  Широковещательный трафик для принимается только на припинненном VLAN аплинке т.е., игнорируется получение на других аплинках

•  Сервер – серврер коммутируется локально

•  RPF и deja-vu проверка

vEth 1 vEth 3

Server 1

VNIC 0

Server 2

VNIC 0

LAN

Broadcast Listener per VLAN

B

B

B

62


ESX HOST 1 VNIC 0

Сервер 2 VNIC 0

vEth 1 vEth 3

пиннинг

Фабрик A коммутация


Динамический пиннинг при отказе LAN аплинка

FI-‐A

VLAN 10

vEth 1

VNIC 0

VNIC в up

Sub-second re-pinning

MAC A

vSwitch / N1K

MAC C VM 1 VM 2

MAC B

 Все аплинки коммутируют трафик всех VLAN  GARP помогает сходимости вышестоящего коммутатора  НЕТ STP  Ре-пиннинг за доли секунды  НЕТ потери линка Серверным NIC

63


vEth 1 vEth 3

Пиннинг

Фабрика A Коммутация


Рекомендуется: Агрегация каналов на аплинках

FI-‐A

VLAN 10

 Больше Пропускной на аплинках  Балансировка потоков  Нет потери связи Серверным NIC  Меньше GARP  Быстрая сходимость

NIC в up

Рекомендуется

Нет потери связи

Сервер 2 VNIC 0

ESX HOST 1 VNIC 0 MAC A

vSwitch / N1K

НЕ нужен GARP

Sub-second convergence

MAC C VM 1 VM 2

MAC B

64


Fabric Failover


•  Фабрика предоставляет защиту Серверного NIC если опция активирована в Сервисном Профиле

•  Традиционно делается с помощью драйвера на уровне OS

•  Защита как для уникаст- так и мультикаст- трафика

•  Работает для любой OS (физический или виртуальный сервер)

Fabric Failover для Ethernet


MAC gARP

67


MAC-A gARP

68


MAC-A gARP

69


Рекомендованная Топология, Disjoint VLAN, и т.д.


vPC/VSS Коммутация L2

Доступ/Агрегация

Фабрика A Фабрика B

71


DMZ 1 VLAN 20-‐30

DMZ 2 VLAN 40-‐50

FI-‐A FI-‐B

DMZ 1 Сервер

DMZ 2 Сервер

EHM EHM

Все аплинки Коммутируют трафик

Предположение: Нет повторяющихся VLAN

Prune VLANs


Half Width Blade

IOM-A IOM-B

Adapter

vNIC

-A

vNIC

-B

Fabric Interconnect - A End Host Mode

Fabric Interconnect - B End Host Mode

Продуктив VLAN 10-20

Бакап VLAN 30-40

VLAN 30 VLAN 11

73

  vNIC может

принадлежать только

одной L2 сети

  Поддерживается

динамический и

статический пиннинг


vSwitch / N1K Mac Pinning

VM1

VM2

VNIC 0


ESX HOST 1

vSwitch / N1K Mac Pinning

VM3

VM4

VNIC 1 ESX HOST 2

FI-A

VNIC 1

FI-B

VNIC 0

 VNIC 0 on Fabric A  VNIC 1 on Fabric B

 VM1 Pinned to VNIC0  VM4 Pinned to VNIC1

 VM1 on VLAN 10  VM4 on VLAN 10

VM1 to VM4: 1)  Leaves Fabric A 2)  L2 switched

upstream 3)  Enters Fabric B

EHM EHM

74


6X00 UCSM 6X00 UCSM

CIMC

GE LOM PCIe Adapter

CPU Mem

OS or Hypervisor C200M2, C210M2, C220M3, C240M3, C250M2, C260M2 or C460M2

Mix of B & C Series is supported (no B Series required)

Nexus 2232 Nexus 2232

2 LOM ports exclusive CIMC connectivity

Поддержка Адаптеров: Emulex CNA Qlogic CNA Intel 10g NIC Broadcom 10g NIC Cisco VIC

Mgmt Traffic

Data Traffic

  Упрощенная топология и управляемость   Масштабируемость до 160 серверов

76


Control Plane

45

Внешний Интерфейсы

UCSM Fabric

Interconnect

CIMC Лезвие

CMC Модуль IO /

FEX

  Внешние сетевые коммуникации проксируются UCSM

  Внешний доступ к UCSM Mgmt компонентов проверку

  Внутренние коммуникации -частная сеть 127.x.x.x


CIMC безопасности

51

  Межсетевой экран   Iptables и Netfilter   Доступ только от UCSM (Фабрика) и CMC (FEX) по частной сети 127.x.x.x   Все другие соединения Заблокированы   Все переадресации трафика Заблокированы   Все исходящие соединения заблокированы, за исключением в UCSM и

CMC   KVM / vMedia

  Port Forwarding не разрешен   Клавиатура / Мышь - Encryption (AES128)

  Serial Over LAN (SOL)   Реализовано поверх SSH   Каждый CIMC имеет уникальный ключ шифрования (RSA 1024)

  IPMI (Intelligent Platform Management Interface)   Бриджевание - запрещено   IPMI Over LAN – Шифрование IPMI 2.0 Spec (AES128)


Сегментация Зон безопасности

58

Blade 3 Network3

Blade 2 Network1, 3

Blade 1 Network1

LAN 1

Адаптер

UCS Фабрика

Шасси (1-20)

Адаптера

LAN 3

LAN 2

Адаптер Адаптер


VLAN List Uplink Группа Список интерфейсов сервера

10,11,12 ... E1/1, E1/2

Blade1 NIC0 и NIC1, Blade 2 NIC0

20,21,22 ... E1/10, E1/11

Никто

30,31,32 ... E1/20, E1/21

Blade 2 NIC1, Blade 3 NIC0 и NIC1

501 FC0, FC1 Blade 1 vHBA0, Blade 2 vHBA0

UCS Forwarding


•  В UCS весь трафик FC передается по Vntag от адаптера к UCS Фабрике   Протегированные VNtag данные доставляются только в соответствующий сервер и SAN порт

  Пользователь не может вмешаться в процесс Тегирования

  Администраторы могут быть ограничены на право создания адаптера в FCoE VLAN

Безопасность FCoE на UCS

59

SAN-

UCS VNTag домена

SAN-B


•  L2/L3 агрегации происходит вне UCS •  L2 коммутация для серверов внутри UCS

 L3 коммутация возможна в будущем

•  Доступ к L2 VLAN жестко контролируется в UCS   Администратор может разрешить или блокировать маркировку VLAN   Администратор может настроить список или блокировать любые теги VLAN  Устанавливается на сетевом адаптере или шаблоне   Применяются аппаратно на адаптере   Нет доступа к манипуляциям Vntags   VLAN hopping пресекается в UCS адаптере

•  FCoE трафик имеет собственный VLAN   администратор случайно или злонамеренно не может создать адаптер для мониторинга

Безопасность Данных

60


•  Подключение отдельного сервера к UCS Фабрике будет работать только в режиме "Appliance порт"

  Система добавляет / удаляет любые VNtags в этом порту, так как это внешнее подключение

•  Подключение отдельного Ethernet коммутатора к UCS Фабрике будет работать только в режиме "Appliance порт"

  Не поддерживается в регулярных конфигурациях

  Злоумышленник не увидит никаких VNtags, ни трафика ему назначенного

  Appliance порт - собственный Vntag

•  PVLAN функциональность как для Adapter-FEX так и VM-FEX

•  Подмена MAC-адреса  Только сконфигурированные MAC

•  IPSG, DAI, DHCP Snooping и т.д. – работают на внешнем коммутаторе

Безопасность Данных

61


•  KVM-доступ   Все физические и логические сервера доступны в UCS в соответствующей роли

  Возможно ограничить доступ, н-р (HyTrust)

•  Административные Просмотр UCS инфраструктуры   Все пользователи имеют права только для чтения аппаратных ресурсов

  Все пользователи имеют права только для чтения организационных ресурсов   Возможно ограничить доступ просмотра ресурсов и оргструктуры , н-р

(HyTrust)

Совместное использование UCS - разграничение

62


www.YouTube.com / ciscodatacenter

Playlist UCS Техническая Видео

http://www.youtube.com/ciscodatacenter # p/c/F04A2C6AA04DF055

Обзор Cisco UCS Advantage

http://www.youtube.com/watch?v=IW4zHXIjpPU

85


Категория Название URL UCS сервер Обслуживание Профили и шаблоны http://www.youtube.com/watch?v=JW-YtVN75R0

UCS сервер Организации и роли http://www.youtube.com/watch?v=tb-L0zv3If

UCS сервер Расширенная технология памяти http://www.youtube.com/watch?v=kS3ehPRcVDo

UCS сервер Предварительный Provisioning Сервера http://www.youtube.com/watch?v=o7BuEE3hNPE

UCS сервер Политики BIOS http://www.youtube.com/watch?v=Pr6EptC9JXQ

UCS сервер Политики RAID http://www.youtube.com/watch?v=Vcs56wjUWuI

UCS сервер Политики Firmware http://www.youtube.com/watch?v=vjj8Xz0NqI4

UCS сервер Серверные Пулы и квалификационные политики

http://www.youtube.com/watch?v=KTw7M3T-VOw

UCS сервер Политика Технического обслуживания http://www.youtube.com/watch?v=QQTlm98NgTI

UCS сервер Высокая доступность во время обновления

http://www.youtube.com/watch?v=57HXMGn88HA

UCS сервер Мониторинг http://www.youtube.com/watch?v=mdoEZf7tM5E

UCS сервер Microsoft Hyper-V на UCS http://www.youtube.com/watch?v=G3x_YOYK-Fo

86


Категория Название URL UCS I/O Шаблоны Адаптера http://www.youtube.com/watch?

v=KpVEn3DhfOM

UCS I/O Виртуализация сетевых интерфейсов

http://www.youtube.com/watch?v=njjbCEblxVc

UCS I/O Отказоустойчивость адаптеров http://www.youtube.com/watch?v=tlu8RSq6T_M

UCS I/O Расширение сети для виртуальной машины

http://www.youtube.com/watch?v=Ylizxq18yxE

UCS I/O Анализ трафика на всех серверах http://www.youtube.com/watch?v=PHTdXy_8Zdg

UCS I/O Ethernet режимы фабрики http://www.youtube.com/watch?v=roX8MRN66UM

UCS I/O Fibre Channel, режимы фабрики http://www.youtube.com/watch?v=VSetsgOYYCo

UCS I/O FC портов и Trunking http://www.youtube.com/watch?v=PpzKPguRTXc

87


Категория Название URL UCS инфраструктура

Lights-Out Management http://www.youtube.com/watch?v=QEO1d_1vTxs

UCS инфраструктура

Развертывание VM-FEX http://www.youtube.com/watch?v=0aAuj80cNvg


Управление Server Power http://www.youtube.com/watch?v=EgoFe33YoD8


Интеграция RU-серверов http://www.youtube.com/watch?v=aOsx4YMiOho


Эмульятор UCS Manager http://www.youtube.com/watch?v=ZNNrs2e0wvk


Cisco Developer Network http://www.youtube.com/watch?v=Syhl6SAiwew

88

Thank you.

Архитектура унифицированной вычислительной системы...

Documents