Введение в технологии fc и fcoe для сетевых инженеров

1 © 2011 Cisco and/or its affiliates. All rights reserved.

Сергей Лобов Инженер службы технической поддержки

26 октября 2012

© 2011 Cisco and/or its affiliates. All rights reserved. 3

• Технический комитет T11

Занимается стандартизацией протоколов Fibre Channel

Входит в состав Международного комитета по стандартам в сфере ИТ

(International Committee for Information Technology Standards - INCITS)

Ссылка: www.t11.org/index.html

• Основные стандарты

FC-BB-6 - Fibre Channel Backbone

FC-FS-4 - Fibre Channel Framing and Signaling

FC-LS-3 - Fibre Channel Link Services

FC-PI-6 - Fibre Channel Physical Interfaces

FC-SP-2 - Fibre Channel Security Protocols

FC-SW-6 - Fibre Channel Switch Fabric

Ссылка: www.t11.org/t11/docreg.nsf/draftlr

http://www.t11.org/index.html

http://www.t11.org/t11/docreg.nsf/draftlr


FC-0

FC-1

FC-2

FC-3

FC-4 VIA SCSI IPv4 IPv6 SBCCS

FC-VI FCP-4 RFC4338 FC-SB-5 others

Common Services

Signaling Protocol

Transmission Protocol

Transmitters and Receivers

Media FC-PI-6

FC-FS-4

FC-LS-3


• FC-4 Отображения протоколов

Предоставляет возможность инкапсуляции протоколов верхнего уровня (Upper Level Protocols - ULP).

• FC-3 Общих служб

Определяет базовые и расширенные службы для транспортного уровня.

• FC-2 Кадрирование и сигнализация

На этом уровне происходит разбиение данных на кадры. Определяет правила передачи данных. Описывает управление потоком.

• FC-1 Кодирования

Описывает процесс кодирования, контроль ошибок, определяет специальные символы.

• FC-0 Физический

Описывает среду передачи, передатчики и приемники сигнала.


• Point-to-point (точка-точка)

Порты устройства соединены напрямую

Передатчик одного устройства соединён с приемником второго и наоборот

Для построения не требуется коммутатор

TX

TX RX

RX


• Arbitrated Loop (управляемая петля)

Передатчик каждого устройства соединён с приемником следующего

Добавление устройства в петлю приводит к приостановке передачи данных между уже подключенными устройствами

Выход из строя одного устройства может привести к отказу всей петли

RX

RX TX

TX

RX

RX TX

TX


• Fabric (коммутируемая связная архитектура)

Позволяет объединять большое количество устройств

Добавление устройств не влияет на передачу данных между уже подключенными устройствами

Для построения требуется коммутатор

Fabric


• N_Port (Node port)

Порт устройства с поддержкой топологии Point-to-point (точка-точка) или топологии Fabric (коммутируемая связная архитектура)

• NL_Port (Node Loop port)

Порт устройства с поддержкой топологии Arbitrated Loop (управляемая петля)

• F_Port (Fabric port)

Порт коммутатора который используется для подключения портов типа N_Port

• FL_Port (Fabric Loop port)

Порт коммутатора который используется для подключения портов типа NL_Port


• E_Port

Порт коммутатора который используется для соединения коммутаторов

• B_Port

Порт устройства выполняющего функцию преобразования трафика (Fibre Channel Bridge)

• G_Port (Generic port)

Порт коммутатора который может автоматически определять тип порта E_Port или F_Port

• GL_Port (Generic Loop port)

Порт коммутатора который может автоматически определять тип порта E_Port, F_Port и FL_Port


• TE port (Trunking E port)

Это расширенный E_Port который поддерживает возможность передачи кадров Fibre Channel с дополнительным тегом содержащим информацию о VSAN (Virtual SAN)

• NP port (proxy N port)

Порт устройства работающего в режиме NPV. Используется для подключения к портам коммутаторов типа F_Port.

• TF port (Trunking F port)

Это расширенный F_Port который c возможностью передачи информации о VSAN . Используется для подключения устройств работающих в режиме NPV.

• TNP port (Trunking NP port)

Это расширенный NP_Port c возможностью передачи информации о VSAN


N_Port

TE_Port TE_Port F_Port

FL_Port

NL_Port

E_Port E_Port

N_Port

F_Port

F_Port

NP_Port


• Позволяет передавать через порт трафик нескольких VSAN

кадры Fibre Channel дополняются тегом содержащим информацию о VSAN (Virtual SAN)

поддерживается на портах типа E_Port и F_Port

• Cisco Port Trunking Protocol (PTP)

Используется при создании соединения между коммутаторами для согласования списка разрешенных VSAN и обнаружения ошибок в конфигурации портов

11

21

VSAN 11 VSAN 11

VSAN 21 VSAN 21


• Увеличение пропускной способности

Объединение нескольких физических соединений в один логический канал с большей пропускной способностью

• Возможно объединение следующих типов портов

E_Port и E_Port

F_Port и NP_Port

TE_Port и TE_Port

TF_Port и TNP_Port

TE_Port TE_Port


• Повышение отказоустойчивости

Отказ одного из физических соединений не приводит к отказу логического канала

Рекомендуется использовать порты расположенные на разных модулях

• Аппаратная балансировка

Поддерживаются два режима балансировки - Flow based (src-id/dst-id) и Exchange based (src-id/dst-id/oxid). Режим балансировки определяется на уровне VSAN.

MDS-9513# show vsan 10

vsan 10 information

name:VSAN10 state:active

interoperability mode:default

loadbalancing:src-id/dst-id/oxid

operational state:up


• Уровень FC-2 определяет правила передачи данных

На этом уровне определены кадр (Frame), пакет (Sequence) и обмен (Exchange)

Пакет (sequence) состоит из одного или нескольких кадров

Кадры бывают двух типов:

передачи данных (Data frames)

управления (Link Control frames)

Набор пакетов которыми обмениваются узлы называется обменом

Exchange

sequence sequence sequence

frame frame frame

SEQ_ID

OX_ID RX_ID

SEQ_CNT


• World Wide Name (WWN) - уникальный идентификатор

Встраиваются в устройство на этапе изготовления

• Оригинальный формат World Wide Name (WWN)

Первые 2 байта шестнадцатеричные 10:00 или 2x:xx

где значение x:xx - определяется производителем

Следующие 3 байта - идентификатор производителя

Следующие 3 байта - определяются производителем

• WWN адаптеров узлов регистрируются во время FLOGI

2 Port Identifier Locally Assigned Identifier

4 бита 12 бит 24 бита

IEEE Organizational Unique ID (OUI)

24 бита


• Switch WWN - уникальный идентификатор коммутатора

MDS-9513# show wwn switch

Switch WWN is 20:00:00:0d:ec:24:f4:c0

• Port WWN - уникальный идентификатор порта

MDS-9513# show interface fc4/1

fc4/1 is up

Hardware is Fibre Channel, SFP is 10GBASE-LR

Port WWN is 20:c1:00:0d:ec:24:f4:c0

<…>


• FC ID - 24 битный идентификатор узла который состоит из

идентификатора домена (Domain_ID)

идентификатора области (Area_ID)

идентификатора порта (Port_ID)

• FC ID назначается коммутатором во время FLOGI MDS_9513# show flogi database interface fc 3/38

----------------------------------------------------------------------------------------------------------------------

INTERFACE VSAN FCID PORT NAME NODE NAME

----------------------------------------------------------------------------------------------------------------------

fc3/38 100 0x010423 21:00:00:04:cf:db:3e:a7 20:00:00:04:cf:db:3e:a7

Port Area Domain

8 бит 8 бит 8 бит


• На основании Domain_ID производится доставка кадров

FC ID 0x8d0100 FC ID 0x010423

VSAN 11 VSAN 11

Domain_ID 0x01 (1)

VSAN 11

Domain_ID 0x8d (141)

VSAN 11

Domain_ID 0x6f (111)

VSAN 11

Domain_ID 0x47 (71)

VSAN 11


• FSPF - протокол маршрутизации в сетях Fibre Channel.

Стандартизирован техническим комитетом T11 (FC-SW6 раздел 8 )

• FSPF протокол обладает следующими свойствами

- доставка кадров осуществляется по нескольким маршрутам с одинаковой стоимостью (multipath routing)

- маршрутизация производиться на основании Domain_ID

- основан на технологии отслеживания состояния канала (link-state)

- обеспечивает построение топологии без петель

- в каждом VSAN исполняется свой независимый протокол FSPF

- исполняется только на портах типа E_Port и TE_Port

- быстрое время схождения в случае изменения топологии

- использует стоимость (cost) в качестве метрики при выборе маршрута


• Узел определяет наличие или отсутствие коммутатора

• Происходит обмен параметров между узлом и коммутатором

количество B2B_Credit

поддерживаемые классы обслуживания (classes of service)

размер кадра

значения таймаут (E_D_TOV и R_A_TOV)

• Коммутатор назначает Fibre Channel ID (FCID)

FLOGI

N_Port F_Port

FLOGI

F_Port N_Port

0xFFFFFE 0xFFFFFE


• Выполняется между узлами, которые хотят установить соединение

• Процесс похож на FLOGI

• В топологии точка-точка (point-to-point) во время процесса PLOGI определяется количество буферов BB_Credit

PLOGI

N_Port F_Port F_Port N_Port


• NPV позволяет уменьшить количество идентификаторов домена (Domain_ID)

Коммутатор работающий в режиме NPV выполняет FLOGI

FLOGI серверов конвертируются коммутатором NPV в FDISC (Discover F_Port Service Parameters)

FC ID назначаются серверам вышестоящим (upstream) коммутатором

N_Port

F_Port F_Port NP_Port

Сервер приложений





N_Port F_Port

FLOGI

FLOGI

FDISC

NPV NPIV


• NPIV позволяет назначать несколько FC ID устройствам подключенным к одному порту N_Port

Первый FC ID назначается в ответ на FLOGI запрос отправленный N_Port

Последующие FC ID назначается в ответ на запросы FDISC (Discover F_Port Service Parameters)

NPIV позволяет использование одного порта Fibre Channel несколькими приложениями

Повышается уровень безопасности за счет разграничения доступа (Zone)

F_Port N_Port 1 Web сервер

Mail сервер

DB сервер

N_Port 2

N_Port 3

N_Port

FLOGI FDISC NPIV


• Зонирование позволяет контролировать доступ к устройствам хранения данных

• Контроль обеспечивается путем проверки полей FC ID в заголовке кадра

• Только пользователи входящие в зону могут общаться друг с другом

zone name BLD_SRV-01-STR-01 vsan 10

pwwn 20:12:00:0d:ec:9e:e5:40

pwwn 21:01:00:e0:8b:bb:91:97

• Зоны входят в состав наборов зон (zoneset) zoneset name UCS vsan 10

member BLD_SRV-01-STR-01

member BLD_SRV-02-STR-01

FC Fabric

Initiator Target

FC

FC Zone


• BB_Credit (buffer-to-buffer credit) - механизм управления потоком передачи данных

Служит для предотвращения потери кадров

Значение BB_Credit определяется в момент инициализации порта

Передача кадра разрешена только при наличии BB_Credit у порта

После передачи кадра значение BB_Credit уменьшается на единицу

После получения подтверждение передачи отправленного кадра (R_RDY) значение BB_Credit увеличивается на единицу

кадр кадр кадр

R_RDY R_RDY R_RDY


FC

FICON

iSCSI

VSAN SAN Extension

Security FC

FICON

FCIP FCoE

FC

Сеть хранения данных (SAN)

Zoning

QoS


• T11 - FCoE определен в стандарте FC-BB-5

• IEEE – разработка стандартов направленных на предотвращение потерь (lossless Ethernet) в сетях Data Center Bridging (DCB)

FCoE

FC on

other

network

media

FC on Other

Network

Media

FC-BB-5

PFC ETS DCBX

802.1Qbb 802.1Qaz 802.1Qaz

Lossless

Ethernet

Priority

Grouping

Configuration

Verification

T11 IEEE

DCB


• PFC расширяет функционал IEEE 802.3x PAUSE

Class of Service (CoS) позволяет определить до 8 приоритетов трафика

PFC позволяет управлять потоком в зависимости от приоритета

Transmit Queues Ethernet Link Receive Buffers

One One

Two Two

Three Three

Four Four

Five Five

Seven Seven

Eight Eight

Six Six

STOP PAUSE


• PFC расширяет функционал IEEE 802.3x PAUSE

Различия между кадрами IEEE 802.3x PAUSE и PFC


Позволяет создавать классы для трафика с различным приоритетом

Обеспечивает гарантированную полосу при передаче трафика

Классам разрешается использование доступной пропускной способности канала других классов

Offered Traffic

t1 t2 t3

10 GE Link Realized Traffic Utilization

3G/s HPC Traffic

3G/s

2G/s

3G/s Storage Traffic

3G/s

3G/s

LAN Traffic

4G/s

5G/s 3G/s

t1 t2 t3

3G/s 3G/s

3G/s 3G/s 3G/s

2G/s

3G/s 4G/s 6G/s

Guaranteed

Bandwidth

30%

30%

40%


• Протокол DCBX используется для согласования конфигурационных параметров

Использует Link-Layer Discovery протокол (LLDP)

Возможно согласование следующих параметров:

- FCoE CoS (значение 802.1p используемое для кадров FCoE)

- QoS (per-priority-pause, scheduling, MTU)

- состояние логического соединения

Протокол точка-точка


• С точки зрения Fibre Channel:

Передача FC использует новый тип среды - Ethernet

• С точки зрения Ethernet:

Новый протокол верхнего уровня ULP (Upper Layer Protocol)

Отображения протоколов

Общих служб

Кадрирование и сигнализация

FCoE Logical End Point

Доступ к среде (MAC)

FC-4

FC-3

FC-2

Отображения протоколов

Общих служб

Кадрирование и сигнализация

Кодирования

Физический

FC-4

FC-3

FC-2

FC-1

FC-0

Физический уровень (PHY)


• Fibre Channel over Ethernet

Протокол передачи данных (data plane protocol)

Используется для передачи кадров Fibre Channel и трафика SCSI

Ether Type 0x8906 в заголовке Ethernet кадра

• FCoE Initialization Protocol (FIP)

Протокол управления (control plane protocol)

Используется для обнаружения узлов FC в сети

Установления (login) и разрыва (logout) соединений

Ether Type 0x8914 в заголовке Ethernet кадра

FCoE использует два различных протокола


Eth

ern

et

He

ad

er

FC

oE

Hea

der

FC

Hea

der

FC Payload 2112 байт

CR

C

EO

F

FC

S

FCoE требуется поддержка

передачи кадров большого размера

(“baby jumbo”- 2500 байт)

Максимальный размер кадра 2180 байт

Определен в стандарте FC-BB-5


• Типы портов

VN_Port - виртуальный N_Port

VF_Port - виртуальный F_Port

VE_Port - виртуальный E_Port

VE_Port

VE_Port

VF_Port

VN_Port

N_Port

E_Port

F_Port

E_Port

Enode Enode

FCF

FCF

FCF

FC

FCoE

SAN 2

SAN 1


• FCoE Link End-Point (FCoE_LEP)

Отвечает за инкапсуляцию и декапсуляцию кадров Fibre Channel

Производит прием и передачу инкапсулированных кадров через виртуальный канал

• FCoE Controller

Элемент в котором реализованы функции протокола FCoE Initialization Protocol (FIP)

• FIP Snooping Bridge

Коммутатор способный просматривать содержимое FIP пакетов в момент обнаружения узлов и установления соединения


• Функциональная модель узла (Enode)


• Функциональная модель FCoE Forwarder (FCF)


• Представляет собой логический коммутатор FC внутри коммутатора FCoE

Требует идентификатор домена (Domain_ID)

FLOGI происходит в FCF

Содержит FCF-MAC адрес

• Выполняет инкапсуляция и декапсуляцию кадров FCoE

• Коммутатор работающий в режиме NPV не может выполнять функцию FCF в виду отсутствия идентификатор домена (Domain_ID)


Eth

port

Eth

port

Eth

port

Eth

port

Eth

port

Eth

port

Eth

port

Eth

port

Lossless Ethernet Bridge

FC

port

FC port

FC port

FC port

Коммутатор FC FCG

FCG (Fibre Channel Gateway)


• FCoE виртуальное соединение (Virtual Link)


• FIP протокол используется для

обнаружение FCoE VLAN (FIP VLAN discovery)

поиска FCoE FCF (FIP FCF discovery)

создание виртуального канала FCoE (FCoE Virtual Link instantiation)

поддержание работоспособности виртуального канала (FCoE Virtual Link maintenance)

• FIP протокол работает на уровне VLAN-ов.

• Рекомендуется использовать VLAN по умолчанию во время процесса FIP VLAN Discovery.


Enode FCoE forwarder (FCF)

VLAN Discovery

FCF Discovery

FLOGI/FDISC

FC commands

FIP

FCoE


• CNA может обнаружить несколько FCF одновременно

• FCF с меньшим приоритетом предпочтителен

• Значение приоритета по умолчанию 128

FCF# show fcoe

Global FCF details

FCF-MAC is 00:0d:ec:a3:9d:80

FC-MAP is 0e:fc:00

FCF Priority is 128

FKA Advertisement period for FCF is 8 seconds

• Если значение приоритета совпадает - CNA выбирает FCF случайным образом


• При доставке кадров FCoE

MAC изменяется с каждым переходом (hop-by-hop)

FC ID остается неизменным (end-to-end)

Ethernet Fabric

FC Domain 7

MAC A

FC Domain 3 FCID 7.1.1

MAC C

FCID 1.1.1

D_ID = FC ID 1.1.1

S_ID = FC ID 7.1.1

FC кадр

D_ID = FC ID 1.1.1

S_ID = FC ID 7.1.1

MAC B

FC Domain 1

D_ID = FC ID 1.1.1

S_ID = FC ID 7.1.1

Dst. = MAC B

Src. = MAC A

D_ID = FC ID 1.1.1

S_ID = FC ID 7.1.1

Dst. = MAC C

Src. = MAC B

FC кадр

FCoE кадр FCoE кадр

Ethernet Fabric FC Fabric FC Fabric

FC Storage


• Портам VE_Port и VF_Port MAC адреса назначаются из пула адресов коммутатора

• MAC адреса портам VN_Port могут быть назначены сервером или коммутатором:

SPMA - Server Provided MAC Address

FPMA - Fabric Provided MAC Address

• В настоящее время Cisco использует только FPMA механизм назначения MAC адресов портам VN_Port

• FIP протокол используется для определения MAC адреса портов VN_Port


• MAC адрес выделяется для каждого FC ID

• MAC адреса состоит из двух частей - FC-MAP и FC ID

FC-MAP - старшие 24 бита MAC адреса

FC ID - младшие 24 бита MAC адреса

• Доставка кадров FCoE осуществляется по нескольким маршрутам на основании Domain_ID в FC ID

FC-MAP

(0E-FC-xx)

FC-ID

02.00.04 FC-MAC адрес

FC-MAP

0E-FC-00 FC-ID

02.00.04


• Priority Flow Control (PFC)

http://www.cisco.com/en/US/prod/collateral/switches/ps9441/ps9670/white_paper_c11-542809.pdf

• Enhanced Transmission Selection (ETS)

http://www.ieee802.org/1/pages/802.1az.html

• Data Center Bridging Exchange (DCBX)

http://www.ieee802.org/1/files/public/docs2008/az-wadekar-dcbcxp-overview-rev0.2.pdf

• Data Center Bridging (DCB)

http://www.cisco.com/en/US/solutions/collateral/ns340/ns517/ns224/ns783/at_a_glance_c45-460907.pdf





http://www.ieee802.org/1/pages/802.1az.html














Thank you.

Введение в технологии fc и fcoe для сетевых инженеров

Technology

port fabric port n

port generic port e

port te

port node port point

port tnp

port b

port gl

port generic loop port