fcoe - проектирование, настройка и эксплуатация

FCoE - проектирование, настройка и эксплуатация

Эльдар Женсыкбаев Системный инженер-консультант [email protected]

© 2014 Cisco and/or its affiliates. All rights reserved. 11/14/14

Содержание

•  Что такое FCoE •  Data Center Bridging •  Структура FCoE •  FIP (Reference)

•  Начальная настройка FCoE (UCS и N5K) •  Демо сценарий #1 (VF_Port) •  Демо сценарий #2 (VE_Port)

11/14/14 © 2014 Cisco and/or its affiliates. All rights reserved.

11/14/14 © 2014 Cisco and/or its affiliates. All rights reserved. 3

Fibre Channel over Ethernet

1, 2, 4, (8), 10 Gbps 1, 10 . . . Gbps 10, 20 Gbps

FCoE FCoE

Что такое FCoE?

5

FCoE

Fibre Channel Traffic

Ethernet

Операцонная Модель

Технологии Управления Трафиком

Модели Управления и Безопасности

Легко Понять Построен на Модели FC

Такое же поведение Host-to-Switch и Switch-to-Switch как FC

Функции In-Order Delivery и FSPF Load Balancing

WWN, FC-ID, Zoning, Nameserver, RSCN

Стандарт FC-BB-5

•  Инкапсуляция FC фреймов в Ethernet

•  Позволяет передавать FC поверх Lossless Ethernet

FCoE Frame Format

Bit 0

Eth

erne

t H

eade

r

FCoE

H

eade

r

FC

Hea

der

FC Payload CR

C

EO

F FC

S

Тот же фрейм Fibre Channel

Служебная информация: Version, ordered sets (SOF, EOF)

Нормальный фрейм Ethernet, Ethertype = FCoE

Что такое FCoE?

6

FCoE

Fibre Channel Traffic

Ethernet

Операцонная Модель

Технологии Управления Трафиком

Модели Управления и Безопасности

Легко Понять Построен на Модели FC

Такое же поведение Host-to-Switch и Switch-to-Switch как FC

Функции In-Order Delivery и FSPF Load Balancing

WWN, FC-ID, Zoning, Nameserver, RSCN

Стандарт FC-BB-5

•  Инкапсуляция FC фреймов в Ethernet

•  Позволяет передавать FC поверх Lossless Ethernet

FCoE Frame Format

Bit 0

Eth

erne

t H

eade

r

FCoE

H

eade

r

FC

Hea

der

FC Payload CR

C

EO

F FC

S




Что такое FCoE? Это Fibre Channel

FCoE Frame Format

Bit 0

Eth

erne

t H

eade

r

FCoE

H

eade

r

FC

Hea

der

FC Payload CR

C

EO

F

FCS




Destination MAC Address

Source MAC Address

IEEE 802.1Q Tag

ET = FCoE Ver Reserved Reserved

Reserved SOF

Encapsulated Fibre Channel Frame (Including FC-CRC)

EOF Reserved FCS

Reserved

Стандарт FCoE

10Gbps Ethernet Lossless Ethernet

§  Соответствует поведению, обеспечиваемому в FC с использованием B2B credits

Jumbo фреймы Ethernet §  Максимальный размер FC фрейма = 2112 байт

Bit 31

Eth

erne

t H

eade

r

FCoE

H

eade

r

FC

Hea

der

Fibre Channel Payload CR

C

EO

F FC

S

Byte 0 Byte 2197

Bit 0

Data Center Bridging

•  Возможность транпорта без потерь для каждого класса трафика •  Отправка PAUSE для данной виртуальной полосы (virtual lane) •  Выделение ресурсов для каждой VL •  Дифференцированное поведение для каждой VL

Priority-Based Flow Control (PFC)

Enhanced Transmission Selection (ETS)

•  Гарантированная полоса передачи и разделение полосы между VL •  Стандартизуется в комитете IEEE 802.1Qaz (Priority Grouping)


Data Center Bridging eXchange

Согласование настроек для: •  Управления полосой по классам •  Управления потоком по классам •  Управления перегрузками(BCN/QCN) •  Логического состояния интерфейса

Data Center Ethernet

Data Center Ethernet


Fibre Channel over Ethernet (FCoE)

Метод прямого отображения фреймов FC на Ethernet §  Бесшовно подключается к сетям FC à Расширяет FC через

Ethernet —  FCoE выглядит как FC для серверов и сети

—  Сохраняет текущую инфраструктуру и управление FC

—  Фрейм FC остается неизменным

§  Может работать на стандартных коммутаторах (с jumbo фреймами)

§  Priority Flow Control обеспечивает отсутствие потерь — Имитирует систему буферных кредитов FC, избегая TCP

§  Не требует дорогих off-load технологий

Fibre Channel

Ethernet

Что такое Fibre Channel over Ethernet?

С точки зрения Fibre Channel: §  Сеть FC используя новый тип кабеля… облако Ethernet

С точки зрения Ethernet: §  Еще один транспортируемый протокол верхнего уровня (ULP)

– хотя и требовательный!

С точки зрения технологии:

FCoE – расширение Fibre Channel для транспорта через Ethernet без потерь

Типы портов FC

•  N_Port – Node Port •  Порт сервера или СХД

13

Node N_Port

Node N_Port

Node N_Port

Reference



•  F_Port – Fabric •  Порт коммутатора в сторону

Node

14

F_Port

F_Port

F_Port

Node N_Port

Node N_Port

Node N_Port

Reference



•  F_Port – Fabric •  Порт коммутатора в сторону

Node •  E_Port – "Extender"

•  Порт коммутатора в сторону другого коммутатора

15

E_Port

F_Port

F_Port

F_Port E_Port

Node N_Port

Node N_Port

Node N_Port FC

Switch

Reference

Структура Fibre Channel

FC-4 (Mapping)

FC-3 (Common Services)

FC-2V (FC-2 – Virtual)

FC-1 (Transmission Protocol)

FC-0 (Physical)

FC-2M (FC-2 – Multiplexer)

FC-2P (FC-2 – Physical)

FC-2 (Framing)

Протоколы Верхнего Уровня

Reference

Fibre Channel Node

FC-3

…

FC-4 FC-4 FC-4 … …

FC-2V VN_Port

FC-2V VN_Port

…

PN_Port

FC-1

FC-0

FC-2P PN_Port

FC-1

FC-0

FC-2P

…

FC-2V VN_Port

FC-2V VN_Port

…

PN_Port

FC-1

FC-0

FC-2P PN_Port

FC-1

FC-0

FC-2P

…

FC-2M Multiplexer

FC-2M Multiplexer

Reference

Коммутатор Fibre Channel

FC Switching Element

PF_Port

FC-1

FC-0

FC-2P

FC-2V

VF_Port

…

PF_Port

FC-1

FC-0

FC-2P PF_Port

FC-1

FC-0

FC-2P

FC-2V

VE_Port

…

PE_Port

FC-1

FC-0

FC-2P PE_Port

FC-1

FC-0

FC-2P

FC-1

FC-0

FC-2P PE_Port

FC-2V

VF_Port

FC-2V

VE_Port

F_Port E_Port

FC-2M

Multiplexer

FC-2M Multiplexer

FC-2M Multiplexer

FC-2M

Multiplexer

Reference

FC-2V

VF_Port

FC-2M

Multiplexer

PF_Port

FC-1

FC-0

FC-2P

FC-2V

FC-3/FC-4

FC Node

FC-3/FC-4 FC-3/FC-4 FC Switching Element

FC Switch

FC Link

FC-2V

VN_Port

FC-2M

Multiplexer

PN_Port

FC-1

FC-0

FC-2P

FC-2V

VN_Port

FC-2V

VN_Port

Fibre Channel Link Reference

Структура FCoE

Уровни FC (не изменены)

Уровни IEEE 802.3

FC-4

FC-3

FC-2V

FC-1

FC-0

FC-2M

FC-2P FCoE Mapping

FC-4

FC-3

FC-2V

MAC

PHY

FC-2

Reference

FCoE Node (ENode)

…

FCoE Controller

… FC-2V

FCoE_LEP FCoE Entity

FC-3 / FC-4

FC-2V

FCoE_LEP

VN_Port

FCoE Entity

Lossless Ethernet MAC Ethernet_Port

FC-3 / FC-4

VN_Port

FCoE Controller

… FC-2V


FC-3 / FC-4

FC-2V

FCoE_LEP

VN_Port

FCoE Entity


FC-3 / FC-4

VN_Port

Reference

FCoE Forwarder (FCF)

E_Port E_Port … F_Port F_Port … FC Fabric Interface


…


Ethernet_Port

Ethernet_Port

Lossless Ethernet Bridging Element

Ethernet_Port Ethernet_Port … Ethernet_Port


FCoE Controller

FC-2V VF_Port

FCoE Entity

FCoE_LEP FCoE_LEP FCoE_LEP

or FC-2V VE_Port


Ethernet_Port

Ethernet_Port

Lossless Ethernet Bridging Element

Ethernet_Port Ethernet_Port … Ethernet_Port


FCoE Controller

FC-2V VF_Port

FCoE Entity


or FC-2V VE_Port

Reference


FC-2V

VF_Port


FCoE Controller

FCoE Controller

FC-3/FC-4

FCoE_LEP FCoE_LEP

FC-2V

Ethernet

FCoE

ENode FCF

FC-3/FC-4 FC-3/FC-4

Virtual Links FCF-MAC MAC VN_Port(1)

FCF-MAC MAC VN_Port(3)

FCF-MAC MAC VN_Port(2)

Lossless Ethernet network

FCoE_LEP

FC-2V

VN_Port(1)

FC-2V

VN_Port(2)

FC-2V

VN_Port(3)

Ethernet_Port Lossless Ethernet MAC Lossless Ethernet MAC Ethernet_Port

FCoE Link Reference

Два протокола: •  Два разных Ethertype •  Два разных формата фреймов

Структура протокола

FCoE •  Протокол передачи данных •  Передает большинство фреймов

FC и весь трафик SCSI

FIP (FCoE Initialization Protocol)

•  Управляющий протокол •  Используется для поиска элементов FC подключенных к облаку Ethernet

•  Также используется для процессов login и logout в сеть Fibre Channel

Reference

FCoE Initialization Protocol (FIP)

ENode FCoE Switch

VLAN Discovery

FLOGI/FDISC FLOGI/FDISC Accept

FC Command FC Command responses

FIP: FCoE Initialization Protocol

FCOE Protocol

VLAN Discovery

FCF Discovery

Solicitation FCF Discovery Advertisement

Reference

FCF A

FCF B

All-FCF-MACs

MAC(H2)

VLAN Request

[MAC(H2)]

FIP: VLAN Discovery

Запрос доступных FCF по default VLAN: Какие VLAN доступны для FCoE

Lossless Ethernet Bridge

FC Fabric

FCF-MAC (A)

FCF-MAC (B)

H1

H2

MAC (H2)

MAC (H1)

Reference

FCF A

FCF B


FC Fabric

FCF-MAC (A)

FCF-MAC (B)

H1

H2

MAC (H2)

MAC (H1)

FIP: VLAN Discovery

MAC(H2)

FCF-MAC(A)

VLAN Notification

[F=1, FCF-MAC(A), FCoE VLAN List]

MAC(H2)

FCF-MAC(B)

VLAN Notification

[F=1, FCF-MAC(B), FCoE VLAN List]

Reference

FCF A

FCF B

All-FCF-MACs

MAC(H2)

Solicitation

[F=0, MAC(H2), Capabilities, Other]

FIP: FCF Discovery

Идентификация VF_Port, поддерживающие FCF-MAC с совместимой адресацией


FC Fabric

FCF-MAC (A)

FCF-MAC (B)

H1

H2

MAC (H2)

MAC (H1)

Reference

FCF A

FCF B


FC Fabric

FCF-MAC (A)

FCF-MAC (B)

H1

H2

MAC (H2)

MAC (H1)

FIP: FCF Discovery

Список FCF для H2: FCF-MAC(A) [J] FCF-MAC(B) [J]

MAC(H2)

FCF-MAC(A)

Mini-jumbo Advertisement

[S=1, F=1, Priority, Fabric, FCF-MAC(A), Switch_Name, Capabilities, Other]

MAC(H2)

FCF-MAC(B)

Mini-jumbo Advertisement

[S=1, F=1, Priority, Fabric, FCF-MAC(B), Switch_Name, Capabilities, Other]

Reference

FCF A

FCF B


FC Fabric

FCF-MAC (A)

FCF-MAC (B)

H1

H2

MAC (H2)

MAC (H1)

FIP: FLOGI

FCF-MAC(A)

MAC (H2)

FIP FLOGI Request

[FC Header, FLOGI data, Proposed MAC’(H2)]

FCF-MAC(B)

MAC(H2)

FIP FLOGI Request

[FC Header, FLOGI data, Proposed MAC’’(H2)]

Reference

FCF A

FCF B


FC Fabric

FCF-MAC (A)

FCF-MAC (B)

H1

H2

MAC (H2)

MAC (H1)

FIP: FLOGI

MAC (H2)

FCF-MAC(A)

FIP FLOGI LS_ACC

[FC Header, LS_ACC data, Approved MAC(H2)’]

MAC(H2)

FCF-MAC(B)

FIP FLOGI LS_ACC

[FC Header, LS_ACC data, Approved MAC(H2)’’]

Reference

FCF A

FCF B


FC Fabric

FCF-MAC (A)

FCF-MAC (B)

H1

H2

MAC (H2) MAC (H2)’ MAC (H2)’’

MAC (H1)

Виртуальные Каналы FCoE

FCF-MAC(A)

MAC(H2)’

Fibre Channel Frame (FCoE)

[FC SOF, FC Header, FC Data, FC CRC FC EOF]

FCF-MAC(B)

MAC(H2)’’

Fibre Channel Frame (FCoE)

[FC SOF, FC Header, FC Data, FC CRC, FC EOF]

Reference


Начальная Настройка Коммутаторов для FCoE

Начальная Настройка

1.  Установить лицензию Storage Services (FC_FEATURES_PKG)

2.  Включить функционал LLDP

3.  Включить функционал FCoE

34

n5k-A(config)# install license LICENSEFILE.lic!n5k-A(config)# show license usage!Feature Ins Lic Status Expiry Date Comments! Count!--------------------------------------------------------------------------------!...!FC_FEATURES_PKG Yes - In use Never -!

n5k-A(config)# feature lldp!n5k-A(config)# show feature!Feature Name Instance State !-------------------- -------- --------!...!lldp 1 enabled !!

n5k-A(config)# feature fcoe!n5k-A(config)# show feature!Feature Name Instance State !-------------------- -------- --------!...!fcoe 1 enabled !!

Рекомендация: Также включить функцию LACP для агрегации линков

Nexus 5K

Начальная Настройка

4.  Настроить system QoS и policy для FCoE:

5.  (RBAC) Создать пользователя с ролью администратора SAN

35

n5k-A(config)# system qos!n5k-A(config-sys-qos)# service-policy type qos input fcoe-default-in-policy!n5k-A(config-sys-qos)# service-policy type queuing input fcoe-default-in-policy!n5k-A(config-sys-qos)# service-policy type queuing output fcoe-default-out-policy!n5k-A(config-sys-qos)# service-policy type network-qos fcoe-default-nq-policy!

Этот шаг необходим только для платформы Nexus 55xx до релиза 5.1(3)N1(1)

n5k-A(config)# username sanadmin role san-admin password PASSWORD!n5k-A(config)# show role name san-admin!!Role: san-admin! Description: Predefined system role for san administrators. This role! cannot be modified.! vsan policy: permit(default)! Vlan policy: permit(default)! Interface policy: permit(default)! Vrf policy: permit(default)! -------------------------------------------------------------------! Rule Perm Type Scope Entity ! -------------------------------------------------------------------! 27 permit read ! 26 permit read-write feature fcdomain ! 25 permit read-write feature rdl !...!

Nexus 5K


Топология Demo-POD

Топология (FC & FCoE). VF_Port


Fabric Interconnect 6248UP

Nexus 5548UP

MDS 9148

UCS B420-M3

FC-Attached Storage

Сценарий #1 (VF_Port)


F_ Port Trunk

Server 1 B420-M3

vfc 1491

TN_Proxy

F_Port

N_Port

FI-A FI-B

TF_Port

vfc 1492

fc1 VSAN 8

fc0 VSAN 7

VSAN 8 VLAN 8

VSAN 7 VLAN 7

NPIV NPIV

e1/27 e1/28

N5K-A

e1/27 e1/28

VSAN 7 VLAN 7

N5K-B

e1/27 e1/28

e1/27 e1/28

po8 F_ Port Channel & Trunk

MDS-A MDS-B

FC Storage

fc1/29

fc1/45

fc1/29

fc1/45

fc1/1

h0 h1

fc1/1

SAN A

SAN B

VSAN 8 VSAN 7

NPV NPV

TE_Port

TE_Port

1.  Настроить FCoE Uplink с Fabric Interconnect A:

Server 1 B420-M3

vfc 1491

TN_Proxy

F_Port

N_Port

FI-A

TF_Port

fc0 VSAN 7

VSAN 7 VLAN 7

e1/27 e1/28

N5K-A

e1/27 e1/28

VSAN 7 VLAN 7

MDS-A

FC Storage

fc1/29

fc1/45

fc1/1

h0

VSAN 7

TE_Port

TE_Port

Настройка UCS

39

FCoE Uplink & VSAN

Interface e1/27!Interface e1/28!

FI-A e1/27 e1/28

po8

Настройка UCS

40

FCoE Uplink & VSAN

Interface e1/27!Interface e1/28!

Interface e1/27!Interface e1/28!LACP port-channel 8!

VSAN fcoe-demo!Fabric A: VSAN 7 / FCoE VLAN 7!Fabric B: VSAN 8 / FCoE VLAN 8!

fc0: Fabric A, VSAN fcoe-demo!fc1: Fabric B, VSAN fcoe-demo!

Server 1 B420-M3

TN_Proxy

N_Port

FI-B

TF_Port

vfc 1492

fc1 VSAN 8

VSAN 8 VLAN 8

NPIV N5K-B

e1/27 e1/28

e1/27 e1/28

po8

MDS-B

FC Storage

fc1/29

fc1/45

h1

fc1/1

VSAN 8

NPV

TE_Port

TE_Port

1.  Настроить FCoE Uplink с Fabric Interconnect A:

2.  Настроить FCoE Uplink с Fabric Interconnect B:

3.  Включить FC Uplink Trunking

4.  Создать VSAN

5.  Настроить Сервисный Профиль

FI-B e1/27 e1/28

po8 VSAN 8 VLAN 8

VSAN 8

fc1 VSAN 8

Настройка Nexus 5000

1.  Создать VSAN:

2.  Создать FCoE VLAN и привязать к нему VSAN

41

VLAN & VSAN

n5k-A(config)# vsan database!n5k-A(config-vsan-db)# vsan 7!!n5k-B(config)# vsan database!n5k-B(config-vsan-db)# vsan 8!

n5k-A(config)# vlan 7!n5k-A(config-vlan)# fcoe vsan 7!!n5k-B(config)# vlan 8!n5k-B(config-vlan)# fcoe vsan 8!

FI-A

FI-B

N5K-A

N5K-B

MDS-A

MDS-B

Настройка Nexus 5000 1/2

3.  Настроить интерфейсы N5K-A

4.  Настроить интерфейсы N5K-B

42

Ethernet интерфейсы для FCoE

n5k-A(config)# interface ethernet 1/27-28!n5k-A(config-if-range)# switchport mode trunk !n5k-A(config-if-range)# switchport trunk allowed vlan 7!n5k-A(config-if-range)# no shutdown !

n5k-B(config)# interface ethernet 1/27-28!n5k-B(config-if-range)# switchport mode trunk !n5k-B(config-if-range)# switchport trunk allowed vlan 8!n5k-B(config-if-range)# no shutdown !n5k-B(config-if-range)# channel-group 8 mode active !

FC-2V VF_Port

FCoE Entity


F_Port

FC Fabric Interface


Lossless Ethernet MAC

Ethernet_Port

FCoE Controller

FI-A

TF_Port VSAN 7 VLAN 7

e1/27 e1/28

N5K-A

e1/27 e1/28

VSAN 7 VLAN 7

FI-B

VSAN 8 VLAN 8

N5K-B

e1/27 e1/28

e1/27 e1/28

po8


5.  Создать FCoE интерфейсы и привязать к Ethernet интерфейсам N5K-A

43

FCoE интерфейсы

n5k-A(config)# interface vfc27!n5k-A(config-if)# switchport mode F !n5k-A(config-if)# switchport trunk allowed vsan 7!n5k-A(config-if)# bind interface ethernet 1/27!n5k-A(config-if)# no shutdown !n5k-A(config)# interface vfc28!n5k-A(config-if)# switchport mode F!n5k-A(config-if)# switchport trunk allowed vsan 7!n5k-A(config-if)# bind interface ethernet 1/28!n5k-A(config-if)# no shutdown !

FC-2V VF_Port

FCoE Entity


F_Port

FC Fabric Interface



Ethernet_Port

FCoE Controller

FI-A

VSAN 7 VLAN 7

e1/27 e1/28

N5K-A

e1/27 e1/28

VSAN 7 VLAN 7

vfc27 vfc28



6.  Создать FCoE интерфейсы и привязать к Ethernet интерфейсам N5K-B

7.  (optional) Проверить FCoE

44

FCoE интерфейсы

n5k-A(config)# interface vfc27!n5k-A(config-if)# switchport mode F !n5k-A(config-if)# switchport trunk allowed vsan 7!n5k-A(config-if)# bind interface ethernet 1/27!n5k-A(config-if)# no shutdown !n5k-A(config)# interface vfc28!n5k-A(config-if)# switchport mode F!n5k-A(config-if)# switchport trunk allowed vsan 7!n5k-A(config-if)# bind interface ethernet 1/28!n5k-A(config-if)# no shutdown !

n5k-B(config)# interface vfc8!n5k-B(config-if)# switchport mode F!n5k-B(config-if)# switchport trunk allowed vsan 8!n5k-B(config-if)# bind interface port-channel 8!n5k-B(config-if)# no shutdown!

n5k-A# show fcoe database!n5k-A# show interface fcoe!n5k-A# show fcs database vsan 7!n5k-A# show fcns database [detail] vsan 7!n5k-A# show fcns database npv [detail]!

FC-2V VF_Port

FCoE Entity


F_Port

FC Fabric Interface



Ethernet_Port

FCoE Controller

FI-B

VSAN 8 VLAN 8

N5K-B

e1/27 e1/28

e1/27 e1/28

po8

vfc8

Настройка Zoning

8.  Создать зоны в Fabric A

9.  Создать зоны в Fabric B

45

MDS или Nexus

n5k-A(config)# zone name ZONE-A vsan 7!n5k-A(config-zone)# member device-alias STORAGE-PORT-0!n5k-A(config-zone)# member device-alias UCS-SP-FC0!n5k-A(config-zone)# member device-alias UCS-SP-FC1!n5k-A(config-zone)# zoneset name FCoE-A vsan 7!n5k-A(config-zoneset)# member ZONE-A!n5k-A(config-zoneset)# zoneset activate name FCoE-A vsan 7!

n5k-B(config)# zone name ZONE-B vsan 8!n5k-B(config-zone)# member device-alias STORAGE-PORT-1!n5k-B(config-zone)# member device-alias UCS-SP-FC0!n5k-B(config-zone)# member device-alias UCS-SP-FC1!n5k-B(config-zone)# zoneset name FCoE-A vsan 8!n5k-B(config-zoneset)# member ZONE-B!n5k-B(config-zoneset)# zoneset activate name FCoE-B vsan 8!

FC-2V VF_Port

FCoE Entity


F_Port

FC Fabric Interface



Ethernet_Port

FCoE Controller

vHBA из фабрики B нам потребуется в следующем сценарии

Для простоты используем basic zone, поэтому commit не требуется

Запускаем сервер


Топология (FC & FCoE). VE_Port


FI-A

N5K-A

MDS-A

FI-B

N5K-B

MDS-B

Сценарий #2 (VE_Port)


F_ Port Trunk

Server 1 B420-M3

vfc 1491

TN_Proxy

F_Port

N_Port

FI-A FI-B

TF_Port

vfc 1492

fc1 VSAN 8

fc0 VSAN 7

VSAN 8 VLAN 8

VSAN 7 VLAN 7

NPIV NPIV

e1/27 e1/28

N5K-A

e1/27 e1/28

VSAN 7 VLAN 7

N5K-B

e1/27 e1/28

e1/27 e1/28

po8 F_ Port Channel & Trunk

MDS-A MDS-B

FC Storage

fc1/29

fc1/45

fc1/29

fc1/45

fc1/1

h0 h1

fc1/1

SAN A

SAN B

VSAN 8 VSAN 7

NPV NPV

TE_Port

TE_Port

e1/5

e1/6

e1/5

e1/6

VSAN 7,8 VLAN 7,8

fc0 VSAN 8

fc1 VSAN 7

VSAN 8 VLAN 8

VSAN 8 VLAN 8

VSAN 7 VLAN 7

po5

1.  Поменять местами номера VSAN в UCSM

2.  Создать VSAN:

3.  Создать FCoE VLAN и привязать к нему VSAN

49

VSAN fcoe-demo!Fabric A: VSAN 8 / FCoE VLAN 8!Fabric B: VSAN 7 / FCoE VLAN 7!

n5k-A(config)# vsan database!n5k-A(config-vsan-db)# vsan 8!!n5k-B(config)# vsan database!n5k-B(config-vsan-db)# vsan 7!

n5k-A(config)# vlan 8!n5k-A(config-vlan)# fcoe vsan 8!!n5k-B(config)# vlan 7!n5k-B(config-vlan)# fcoe vsan 7!

Server 1 B420-M3

vfc 1491

FI-A FI-B

vfc 1492

fc1 VSAN 8

fc0 VSAN 7

fc0 VSAN 8

fc1 VSAN 7

N5K-A N5K-B VSAN 8

VSAN 7

VSAN 8 VLAN 8

VSAN 7 VLAN 7

Перенастройка VSAN в UCS и Nexus 5000 VSAN & Сервисный профиль


4.  Настроить интерфейсы N5K-A

5.  Настроить интерфейсы N5K-B

50

Ethernet интерфейсы для FCoE (VE_Port)

n5k-A(config)# interface ethernet 1/27-28!n5k-A(config-if-range)# switchport trunk allowed vlan add 8!n5k-A(config-if-range)# interface ethernet 1/5-6!n5k-A(config-if-range)# switchport mode trunk !n5k-A(config-if-range)# switchport trunk allowed vlan 7-8!n5k-A(config-if-range)# no shutdown!n5k-A(config-if-range)# channel-group 5 mode!active!

n5k-B(config)# interface port-channel 8!n5k-B(config-if)# switchport trunk allowed vlan add 7!n5k-B(config-if)# interface ethernet 1/5-6!n5k-B(config-if-range)# switchport mode trunk !n5k-B(config-if-range)# switchport trunk allowed vlan 7-8!n5k-B(config-if-range)# no shutdown !n5k-B(config-if-range)# channel-group 5 mode active !

E_Port

FC Fabric Interface



Ethernet_Port


FCoE Controller

FC-2V VE_Port

FI-A

TF_Port VSAN 7 VLAN 7

e1/27 e1/28

N5K-A

e1/27 e1/28

VSAN 7 VLAN 7

FI-B

VSAN 8 VLAN 8

N5K-B

e1/27 e1/28

e1/27 e1/28

po8

VSAN 7 VLAN 7,8

VSAN 7 VLAN 7,8

VSAN 8 VLAN 7,8

e1/5

e1/6

e1/5

e1/6

VLAN 7,8

po5




51

FCoE интерфейсы (VE_Port)

n5k-A(config)# interface vfc5!n5k-A(config-if)# switchport mode E !n5k-A(config-if)# switchport trunk allowed vsan 7-8!n5k-A(config-if)# bind interface port-channel 5!n5k-A(config-if)# no shutdown !

n5k-B(config)# interface vfc5!n5k-B(config-if)# switchport mode E!n5k-B(config-if)# switchport trunk allowed vsan 7-8!n5k-B(config-if)# bind interface port-channel 5!n5k-B(config-if)# no shutdown!

E_Port

FC Fabric Interface



Ethernet_Port


FCoE Controller

FC-2V VE_Port

Тип порта E_Port (Expansion Port)

N5K-A N5K-B e1/5

e1/6

e1/5

e1/6

VLAN 7,8

po5

vfc5 vfc5 VSAN 7,8 VLAN 7,8




8.  (optional) Проверить FCoE

52

FCoE интерфейсы (VE_Port)

n5k-A(config)# interface vfc5!n5k-A(config-if)# switchport mode E !n5k-A(config-if)# switchport trunk allowed vsan 7-8!n5k-A(config-if)# bind interface port-channel 5!n5k-A(config-if)# no shutdown !

n5k-B(config)# interface vfc5!n5k-B(config-if)# switchport mode E!n5k-B(config-if)# switchport trunk allowed vsan 7-8!n5k-B(config-if)# bind interface port-channel 5!n5k-B(config-if)# no shutdown!

n5k-A# show interface vfc5!n5k-A# show fcdomain vsan 7!n5k-A# show fcdomain vsan 8!n5k-A# show fcoe database!n5k-A# show interface fcoe!n5k-A# show fcs database vsan 7-8!n5k-A# show fcs ie vsan 7-8!n5k-A# show fcns database [detail] vsan 7!n5k-A(config)# interface vfc5!n5k-A(config-if)# shutdown lan!

E_Port

FC Fabric Interface



Ethernet_Port


FCoE Controller

FC-2V VE_Port

Можем отключить только LAN функционал на интерфейсе, не затрагивая FCoE

Тип порта E_Port (Expansion Port)

Запускаем сервер


Заключение

•  FCoE это Fibre Channel!

•  С точки зрения сервисов Fibre Channel нет отличий между Native FC и FCoE

•  Настройка FCoE добавляет лишь несколько шагов •  Ролевой доступ (RBAC) позволяет разделить права и зоны ответственности


CiscoRu Cisco CiscoRussia

Ждем ваших сообщений с хештегом #CiscoConnectRu


Пожалуйста, используйте код для оценки доклада Ваше мнение очень важно для нас.

Спасибо

Эльдар Женсыкбаев [email protected]

4495

fcoe - проектирование, настройка и эксплуатация

Technology

switch fc

multiplexer fc

fc ethernet ethernet

virtual fc

physical fc

mapping fc

port reference fc n

rscn fcbb