nexus 5500 による a-fex、vm-fex の技術解説と構 …...2012/01/18 · cisco confidential...

Cisco Confidential 1© 2012 Cisco and/or its affiliates. All rights reserved.

髙田和美 ([email protected])Cisco Systems G.K.Data Center Virtualization/Data Center ArchitectureSystem Architect

2012年1月18日

© 2012 Cisco and/or its affiliates. All rights reserved. Cisco Confidential 2

• Fabric Extender の革新

• ロードマップと位置づけ

• IEEE 標準との関係

• FEXライセンス情報

• 推奨トポロジー

• UCS P81E の機能

• A-FEX のための技術情報

• VM-FEX のための技術情報

• Nexus ロードマップ


• 既存テクノロジーの新しい名前NIV Adapter Fabric

Extender (A-FEX)

VN-Link in HW Virtual Machine aware Fabric Extender (VM-FEX)

• 現在UCSで利用可能: 巨大マーケットの牽引の差別化

• 今後、Nexus 5500と一般的なサーバでできるようになる

• VNTagをベースに、IEEE 802.1BRのプリスタンダードを実装:

ほんの少しだけフォーマットが異なるが全く同じ機能

IEEE 802.1BRはすでに安定しており、2012年上半期に完了予定

詳しくは後ほど


*IEEE 802.1BR プリスタンダード

FEXアーキテクチャ• ネットワーク管理の統合

• 親スイッチのラインカードとしてFEXは管理される

• IEEE 802.1BR プリスタンダードを使用

IEEE 802.1 BR*

多くのアプイケーションが複数のインターフェースを必要とす

る

One Networkトップオブラックに親スイッチ

ネットワーク管理者

従来

FEX


従来

IEEE 802.1 BR* Adapter FEX

• 一つの10Gbインターフェースに複数の1Gbインターフェースを統合

• サーバの中にネットワークを拡張

• IEEE 802.1BR プリスタンダードを使用

One Networkアダプターに親スイッチ



IEEE 802.1 BR*

Adapter FEX

多くのアプイケーションが複数のインターフェースを必要

とする

FEX


従来

IEEE 802.1 BR*

Adapter FEX

ハイパーバイザ

One Network物理と仮想が同じ

VM-FEX

• 仮想と物理ネットワークを統合

• それぞれのVMはスイッチに専用のポートを持てる

• IEEE 802.1BR プリスタンダードを使用IEEE 802.1 BR*IEEE 802.1 BR*

サーバ管理者によって管理されるVM ネットワーク


*IEEE 802.1BR プリスタンダードVM-FEX

FEX


ハイパーバイザ

VM FEX

IEEE 802.1 BR*


One Network管理をシングルポイントにする

親スイッチ

FEXアーキテクチャ

• ネットワーク管理の統合

• 親スイッチのラインカードとして管理されるFEX

Adapter FEX

• 一つの10Gbインターフェースに複数の1Gbインターフェースを統合

• サーバの中にネットワークを拡張

VM-FEX

• 仮想と物理ネットワークを統合

• それぞれのVMはスイッチに専用のポートを持てる

IEEE 802.1 BR*IEEE 802.1 BR*


Adapter FEX従来

OSインターフェースの

至る所にあるネットワークを管理– 物理と仮想の両方

FEX


最大1152ホスト用ポート

シンプルな管理でファブリックに拡張性

Nexus 5596UP Switch

Nexus 2248TP

Nexus 2232PP

Nexus 2232TM

Nexus B22

Logical NIC

Logical NIC

Logical NIC

Logical NIC

Logical NIC

VMs

VMs

VMs

VMs

VMs

VMs

VMs

VMs

VMs

VMs

最大1024論理インスタンス

最大2048VM


パフォーマンス

多用途性

適応性ワイヤスピードのパフォーマンスと低遅延と提供する高密度10Gスイッチ

レイヤ3ルーティングまたはレイヤ2

Cisco FabricPath

対応済

ユニファイドポートがそれぞれのポート向けに異なる属性を持つ柔軟性をユーザ

に提供

A-FEXとVM-FEXにはNX-OS 5.1(3)N1(1)が必要


• スイッチでOSと802.1BRにNICパーティショニングをサポートA-FEX モード: 最大 16 Eth vNIC と 2 FC vHBAをサポート

VM-FEX モード: 96 vNICをサポート

• アダプタのフェールオーバー機能: プライマリーパス障害のケースで、vNICがOSにスタンバイポートを透過的にマップ

• セキュリティとスケーラビリティの改善: サーバのインターフェースに全てのVLANをトランクする必要はない


• スイッチで、OSと802.1BR NICパーティショニングをサポートA-FEX モードで合計仮想インターフェースまで (8 vEth, 2 vHBA)

VM-FEX はFCS時には未サポート

• Broadcomのアダプタでフェールオーバーは利用できません

• このチップをベースにしたアダプタを出荷しているサードパーティ製サーバDell: ブレードのメザニンカードと正式なNICが既に出荷済

IBM:ブレードのメザニンカードと正式なNICが既に出荷済

HP: BCM57711でのメザニンカード


UCS Bシリーズ UCS Cシリーズ

UCS 6100

エコシステム* へ拡張

Nexus 5500

出荷中 Q4 CY 2011 ロードマップ

A-FEX, VM-FEX

A-FEX, VM-FEX

A-FEX, VM-FEX

A-FEX

A-FEX, VM-FEX

UCS Cシリーズサーバ

A-FEX, VM-FEXA-FEX, VM-FEXU C S

M

* Cisco VIC P81E は UCS Cシリーズのみで利用可能

アダプタ:


A-FEX アダプタサーバ OS 機能スケーラビリティ

CiscoCisco UCS

P81E VICUCS Cシリーズ

Windows,

Linux RH,

ESX

vNIC, vHBAアダプタ毎に16 vNIC + 2

vHBAs,

N5500 ピア毎に1K

BroadcomBCM57712

CNA

UCS Cシリーズサードパーティ*

Windows,

Linux RH,

ESX

vNIC, vHBA

最大 8 仮想インターフェース最大 8 vNICs, 最大 2 vHBA

(vNICS + vHBA <=8),

N5500 ピア毎に1K

* OEM 認定に依存

VM-FEX アダプタサーバサーバ仮想化機能スケーラビリティ

CiscoCisco UCS

P81E VIC

UCS C

シリーズVMware vSphere

vNic,

migration

アダプタ毎に96

N5500ピア毎に2K


• ホストOSでテスト –Fixed veth (A-FEX)

• Redhat 5.5

• Win2K8

• Redhat 5.5, Fedora 14, WindowsXP, Win2K3, CentOS を動かすESX4.1

• ハイパーバイザーでテスト – Floating veth (VM-FEX)

• ESX 4.1

• ESX 5.0

• VM OS – Floating veth (VM-FEX)

• Redhat 5.5/6.0/6.1

• SLES 11

• Win2k3/Win2k8/win2k8R2/WinXP


• パートナーのブレードシャーシにFEXの接続性を拡張

• Cisco Nexus 5000 スイッチはブレードのシャーシI/O モジュール全てに管理ポイントを一つにする

• エンド・ツー・エンドの FCoE サポート

• ブレードの管理ポイントを66%削減

• ブレード & ラックのネットワークの一貫性

• ネットワークの回復力を増加

機能

メリット

Cisco Nexus B22 シリーズBlade FEX

* OAモジュールを含め、10 HP ブレードシャーシを想定


顧客のニーズ Nexus 1000V

N5K

VM-FEX

UCS

VM-FEX

サーバ + ネットワーク管理 Y

異機種環境のサーバ YY

(将来)

異機種環境の最初のホップネットワーク

Y

物理/仮想ネットワークの統合

Y Y

豊富な機能/速度 Y

サーバ毎のVM密度 216 VM 96 * VM 56 – 116* VMs

ハードウェアパフォーマンス

Y Y

*2011年12月より


IEEE P802.1BR


Bridge Port Extension (P802.1BR)のワーキンググループ投票では、VNLinkのIEEE標準が、 IEEE 802.1委員会の投票メンバーによって100%承認に達している

2010年11月に、IEEE 802.1委員会では、スポンサー投票にドラフト標準を進めるための申請が通過。つまり標準の承認への最終ステージで、最初のスポンサー投票は近日(11月時点では11月下旬だった)

標準の承認は現状の予想では2012年3月を想定（11月時点）

P802.1Qbgも同じく、標準はHPによって推奨されるVEPA機器と同じく、Bridge Port Extensionをサポートするプロトコルのいくつかに含まれる

両方の標準が3月に承認される想定

参考: http://www.ieee802.org/1/pages/dcbridges.html


• Port Extender (FEX相当)を完全に規定ネットワーク内の低いエンティティにスイッチのポートを拡張

• Port Extender は個々に管理しないポートはコントロールするスイッチのポートとなる

• Cascading Port Extender適切なコントロールするスイッチを一つ選ぶことを可能にする

効率的なマルチキャスト／フラッディングをサポートするフレームの複製

• それぞれの “Extended Port” からのトラフィックはイーサチャネルに確実に分離され、イーサチャネル識別子(ECID)を含むタグによって識別される

MACアドレスの事前知識は不要; スイッチは標準の学習機能で形成

VEB, VEPA, 個々のVM, 物理サービス, 透過的なサービスを提供するデバイスを含む全てのデバイスと動作

E-Tag サイズ = 8 バイト

Controlling Bridge + PE = Extended Bridge管理をシングルポイントに

PE

Bridge

PE

PE

PE Port Extender

PE

vFW

サーバ

VM1

PE

Controlling

Bridge

ブリッジの拡張

ECID


VN-TAG フレームフォーマット (6 バイト)

• d アダプタから／アダプタへの方向を示す

• source virtual interface はフレームの送信元を示すl ループを示すフレームは送信元アダプタに戻ってくる

• destination virtual interface はフォワーディングを指示p ポインタは特定の宛先の vNIC または vNIC リストと取り上げるのを助ける

• リンクローカルのスコープ仮想インターフェーススイッチにルートされる

4096 仮想インターフェース

16,384 仮想インターフェースリスト

• VLAN (802.1Q) タグと共存802.1Q タグはデータパスのプライオリティを合図するために必須

VNTag Ethertype

source virtual interface

destination virtual interfaced p

l r ver

Frame Payload

CRC[4]

SA[6]

DA[6]

• IEEE 802.1BR と VNTag同じアーキテクチャとロジック

マイナーなフレームフォーマットの違い

• 将来のプラットフォームは両方のフォーマットをサポート予定下位互換性を保証

相互接続性も簡単


×管理の複雑化: それぞれのVEPAは管理ポイントが独立

×カスケード構成はサポートしていない

×リフレクティブリレイ (基本のVEPAで使われる)

× 脆弱性: 送信元MACベースのACL (スプーフィングできる)

× リソースの集中: ハイパーバイザーコンポーネントがCPUサイクルを消費

マルチチャネル (拡張のVEPAで使われる)

× 管理するためには更にコンポーネントが必要

× 非効率な帯域: ワイヤ上でそれぞれのマルチキャストとブロードキャストパケットのコピーが分離される

管理の容易さ: 1つのスイッチが全ての Port Extenderを管理 (アダプタ/スイッチ/仮想インターフェース)

Port Extenderのカスケード構成をサポート (複数階層, 管理ポイントの単一化)

FEX認識の仮想マシン

セキュア: VNTagベースのACL

スケーラブル: ラインレートでハードウェアによってマルチキャストとブロードキャストの複製

効果: サーバのCPUに影響なし

IEEE 802.1QbgベースのVEPAIEEE 802.1BRベースのFEX

Switch

FEX

Logic

al S

witch

VM- FEX


• BRはCiscoのVNTagに対してETAGがベース

• ETAGはVMのアドレスフィールドより大きなものを提供

• VNTagは単一のコントロールプレーン

• BRはそれぞれのデータプレーン用に個々のコントロールプレーンを持つ


• アーキテクチャ的にVDPはEVB Bridgeと Edge Relay (VEPA またはブリッジと言われている) 間で機能するプロトコル

• 実際、VDPのステーション側はハイパーバイザーで稼動

802.1はハイパーバイザーを規定していないので、自分たちが指定するところ、このケースのERに置いている (ハイパーバイザーの一部かもしれないし、そうでないかもしれない)

どちらかの方法で、ハイパーバイザーはVMが移動などの場合の技術を持つ

ER毎のECPの1インスタンス

ER毎に１つの受信バッファ

全てのVMは集約される

EVB Bridge

Edge Relay

(VEB または VEPA)

VM VM VM VM VM VM

ハイパーバイザー

VDP

実際VDP

アーキテクチャ的


• VDPはハイパーバイザーとEVB-B / Controlling Bridge間のコントロールプロトコルそれぞれのVM向けに設定するブリッジを有効化

VMへ、またはVMからトラフィックを識別するためのブリッジを許可

• EVBとPE環境の両方の目的

• データチャネル上を動作するためのプロトコルは必要なし多くのケースで意味がない

例えば、関連するステージ前にVMもVSIもチャネルも必要なし


• 現在のモデルアーキテクチャ的に、VDPはControlling BridgeとそれぞれのER間で実行するプロトコル

VM毎に１ER

VM毎にECPの1インスタンス

VM毎に１受信バッファ

集約なし

実際、VDPはハイパーバイザーとControlling Bridge間で動作 (EVBと同じ) ハイパーバイザーは1000のER、ECPセッションをエミュレーションするように反転を形成

• 提案されているモデルアーキテクチャ的に、VDPはControlling BridgeとPort Extender間で実行するプロトコル

実際、VDPのステーション側はハイパーバイザーで動作

PE毎にECPの1インスタンス

PE毎に１受信バッファ

全てのVMは集約されている

Controlling Bridge

Port Extender

VM VM VM VM VM VM

ER ER ER ER ER ER

VDP

実際

VDP


Controlling Bridge

Port Extender

VM VM VM VM VM VM

VDP

実際

VDP





NICのベンダーはデュアルタグ実装がよい

NexusとUCSタグの転換


• VNTag と BR は全く同じものではないしかし、完全に顧客には透過的で、ユーザの視点からは違いを感じない

• プリスタンダードからBRへの移行を保証

• 標準は最終段階公式な出版は2012年春頃を想定

•


• FEX, B22 FEX, A-FEX

イーサトラフィック向けには追加のライセンス不要

FCoEは全部で3つあり、別々のライセンスで有効化できる(Storage Services License もしくは FCoE NPV license)

• VM-FEX

新しいライセンスが必要: Nexus 5500 VM-FEX ライセンス(PID: N55-VMFEXK9)

パッケージ名： VMFEX_ FEATURE_PKG


http://www.cisco.com/go/adapterfex

http://www.cisco.com/go/vmfex

http://www.cisco.com/en/US/prod/collateral/switches/ps9441/ps9902/whitepaper_c11-620065_ps10277_Products_White_Paper.html (802.1BR と 802.1Qbg)

http://www.cisco.com/en/US/solutions/collateral/ns340/ns517/ns224/ns945/ns1134/ns1118/data_sheet_c78_657397.pdf: データシート

デザインガイド (ホワイトペーパーのページより):

http://www.cisco.com/en/US/products/ps9670/prod_white_papers_list.html

http://www.cisco.com/en/US/prod/collateral/switches/ps9441/ps9670/guide_c07-690080.html






http://www.cisco.com/en/US/prod/collateral/switches/ps9441/ps9902/whitepaper_c11-620065_ps10277_Products_White_Paper.html




http://www.cisco.com/en/US/solutions/collateral/ns340/ns517/ns224/ns945/ns1134/ns1118/data_sheet_c78_657397.pdf











FEX対応アダプタ搭載サーバ

Nexus 5500-1 Nexus 5500-2


Nexus 5500-1

FEX 101 FEX対応アダプタ搭載サーバ

Nexus 5500-1



FEX 101 FEX 102



FEX 101


• VIC カード使用時vPCなしのN5Kでアダプタフェールオーバー

FEXなし

FEXあり

vPCモードのN5Kでアダプタフェールオーバー

FEXなし

FEX ST

FEX A/A

• Broadcom使用時vPCなしのN5KでOSのチーミング

FEXなし

FEXあり

vPCモードのN5KでOSのチーミング

FEXなし

FEX ST

FEX A/A


vNIC 1

Ch#1

Port 0 Port 1

OS

vNIC 2

Ch#2

vNIC 3

Ch#3

vNIC 4

Ch#4

Nexus 5500-1

FEX 101

vEth1 vEth2 vEth3 vEth4

FEX 102

interface vethernet 1

bind interface ethernet 101/1/1 channel 1


inherit port-profile user_data













Nexus 5500-2

FEXが有効可能なアダプタとサーバ


vNIC 1

Port 0 Port 1

• アップリンクの冗長性 –それぞれのvNICは1つはアクティブとして、もう一つはスタンバイとして使用する

• チーミングが動作するOSは不要

• ポートチャネルしない, 例えば、vNIC 1向けにPort 1がアクティブで Port 2 がスタンバイ

• ロードバランスはユーザが“定義する”

• もしアクティブなアップリンクがフェールしたらOSが気づくことなく自動的にスタンバイアップリンクがフェールオーバーする

(gratuitous ARP と IGMP LeaveでL2フォワーディングテーブルを更新)

OS

vNIC 2 vNIC 3 vNIC 4


Nexus 5500

Fabric Extender

Port 0 Port 1

• OSは1つのvNICだけ見える

• どんなチーミングソフトウェアの動作もOSには不要

• もしアップリンクのフェールオーバが有効化されているなら、それぞれのvNICが２つのパスのどちらかを使える

• アクティブ/スタンバイ運用, ポートチャネルなし, 例えば1つのパスがアクティブでもう一つのパスはスタンバイ

• vPC ドメインの設定とpeer-linkの定義(vPCを作成するためにつかわれないとしても)によって, A-FEXは両方のvPC ピアの正確に同じvEthを与えられたvNICが得るように確保する

OS

L2 ドメイン

このリンクの詳細はのちほど

vNIC 1 vNIC 2 vNIC 3 vNIC 4


Peer-link使用法の考慮„vpc orphan port suspend‟ の使用は不要。もし設定されていたとしても動作


floating vNIC

(vCenterによって)仮想マシンに付与されるvNIC

VM-FEXで使う最大96

fixed vNIC

OS/ハイパーバイザーに物理的に見えるvNIC

A-FEXで主に使う最大16

トータル最大112


• 合計vNICは最大 112

• 最大 16 fixed vNIC (A-FEX)

• 最大 96 floating vNIC (VM-FEX)

• floating vNICは最大2まで、vHBAに設定可能(ハードウェアの制約はないが現状のCIMCは2つ以上設定不可)

• ハードウェアベースのアダプタフェールオーバ対応

• アダプタ上のそれぞれの vNIC はスイッチ上の veth にマップインターフェースは機能と共に設定できる

ACL, QoS, Private VLAN, など…

• 注記:

現在、vethはvPC member portとして設定できない



Parent Switch

(Nexus 5K)

Fabric Extender

アダプタ

vNIC 0 vNIC 1

1 vNIC

OSに見えるもの

veth1veth2

Port 0 (uplink 0) Port 1 (uplink 1)



Parent Switch

(Nexus 5K)

Fabric Extender

アダプタ

vNIC 1 vNIC 2

1 vNIC

チャネルのメンバー

1 2

OSに見えるもの

veth1veth2

Port 0 Port 1

12


• Cisco UCS P81E VIC向けチーミングが可能なドライバはまだない。理由→ アダプタのフェールオーバをハードウェアでサポートしているため

• アダプタフェールオーバ機能は1インターフェースとしてOSから見え、下位でトラフィックの再ルートを対応している

• つまり、OSベースのフェールオーバーのためのチーミングは不要

• 但し、OSベースのチーミングドライバーは開発中で今後サポートする予定:

Active/standby, Active/Active TLB

vNIC

OS

アダプタのフェールオーバモデル

Port 0 Port 1

VIF 1

Port 0

VIF 1

port1


• vNICは VIFとしてBroadcom上で設定される

• ブート時BIOSツール(CTRL+S)に入れる

• またはOS上から:

• cd lediag-6.4.11-x86_64/

• ./load.sh -b10eng

• dev 1nvm cfg 153=profile1dev 2nvm cfg 153=profile1dev 3nvm cfg 153=profile1dev 4nvm cfg 153=profile1dev 5nvm cfg 153=profile1dev 6nvm cfg 153=profile1dev 7nvm cfg 153=profile1dev 8nvm cfg 153=profile1

FCoEにも使える

※詳細についてはBroadcom社の資料参照


• OSレベルでのチーミング (従来のチーミング)

• OSベースのチーミング :ユーザは複数のvNIC (VIFと呼ばれる) を作成

• modprobe bonding mode=active-backup max_bonds=4 miimon=100ifconfig bond0 192.168.10.1 netmask 255.255.255.0 upifconfig bond1 192.168.20.1 netmask 255.255.255.0 upifconfig bond2 192.168.30.1 netmask 255.255.255.0 upifconfig bond3 192.168.40.1 netmask 255.255.255.0 upifenslave bond0 eth2ifenslave bond0 eth3ifenslave bond1 eth4ifenslave bond1 eth5ifenslave bond2 eth6ifenslave bond2 eth7ifenslave bond3 eth8ifenslave bond3 eth9

VIF1

OS

OSベースのチーミング

VIF2

Port 0 Port 1


• auto-create(dynamic) は、サーバから要求があったとき、自動的に vethの作成を許可する。vethの番号は 32768から作成

• port-profile 情報は vethが自動的に作成されるために必要

• 一度スタートアップコンフィグにセーブされると、auto-createで作成されたvethは static vethのように機能する

• auto-create で作成の vethのガベージコレクション(不要になったときにリソースを開放する機能)はない

• ポートは vntag mode となる – vethの作成はサーバ上の設定に依存

• A-FEXのデザインとdynamic vNICでの設定例については、下記URL参照

http://www.cisco.com/en/US/prod/collateral/switches/ps9441/ps9670/guide_c07-690080.html#wp9000046

• auto-creation はデフォルトでは無効化

• 次ページからの設定手順はstaticの場合の例


(1) Nexus5500上にPort Profileを定義属性: VLAN, BW, QoS等

install feature-set virtualization

feature-set virtualization

interface Ethernet101/1/3

switchport mode vntag

port-profile type vethernet esx168_slot1

service-policy type qos input intf_qos_1

service-policy type queuing input 1gbps

switchport mode trunk

switchport trunk allowed vlan 1-32

state enabled

2 3 4 65

Nexus 5500 Port

Profile

4 Port

Profile

3 Port

Profile

2 Port

Profile

1

1

Port 1FEX(NIV)対応アダプタ

Port 0UCS シャーシ


UCS シャーシ

サーバの起動後、(2-1) 定義のためにアダプタ管理ツールを使用

VICカードでのNIVの有効化

2 3 4 65

Nexus 5500 Port

Profile

4 Port

Profile

3 Port

Profile

2 Port

Profile

1

1


Port 0


UCS シャーシ

(2-2) 定義のためにアダプタ管理ツールを使用vNICの作成。属性を設定

2 3 4 65

Nexus 5500 Port

Profile

4 Port

Profile

3 Port

Profile

2 Port

Profile

1

1



Port 0


(3) (オプション, OSベースのツール)

サーバがアダプタのオプションを設定するためにリブート2 3 4 65

Nexus 5500 Port

Profile

4 Port

Profile

3 Port

Profile

2 Port

Profile

1

1



Port 0

Host OS リブート

UCS シャーシ


(4) PCI エミュレーションが発生し、Port Profile 名のリストがアダプタ管理ツールに提供される (BIOS または OS)

OSやハイパーバイザーから要望のあるProfileがvNICによって引き出される



Port 0

2 3 4 65

Nexus 5500 Port

Profile

4 Port

Profile

3 Port

Profile

2 Port

Profile

1

1

Port

Profile

4

Port

Profile

3Port

Profile

2Port

Profile

1

UCS シャーシ


(5) アダプタ管理ツールを使って、Port Profile名をインターフェースに適用



Port

Profile

1

Port

Profile

2

Port

Profile

3

Port

Profile

4

Port 0

2 3 4 65

Nexus 5500 Port

Profile

4 Port

Profile

3 Port

Profile

2 Port

Profile

1

1

UCS シャーシ


(6) VICプロトコルを使って、アダプタが “インターフェースを作成”



Port

Profile

1

Port

Profile

2

Port

Profile

3

Port

Profile

4

Port 0

2 3 4 65

1 2 3 4

Nexus 5500 Port

Profile

4 Port

Profile

3 Port

Profile

2 Port

Profile

11

UCS シャーシ


(7) エンドツーエンドでNIV が設定される



Port

Profile

1

Port

Profile

2

Port

Profile

3

Port

Profile

4

2 3 4 65

1 2 3 4

Nexus 5500 Port

Profile

4 Port

Profile

3 Port

Profile

2 Port

Profile

1

Port 0

1

UCS シャーシ

Port

Profile

1


N5548-1(config)# int veth1

N5548-1(config-if)# shut

N5548-1(config-if)# no shut


• 2 vHBAがある

• pWWNがCIMC内に表示される(ゾーニング等で使用)

• 画面に表示されるチャネルとアップリンクポートの情報は、Nexus 5500上にstatic fixed veth設定をする際の補助情報

Fabric A側用を設定する例:

• VLAN/VSANを設定

• channel 3にbindするstatic vethを設定

• vethにVLANをトランク

• vfcからvethにバインド

• VSANをトランク


• vHBAがそれぞれのファブリック上にvethをインスタンス化

• vfcをvethにバインド

• vfcがあがる前にvethがあがらなければならない

アダプタはホスト側でvhba用の作成するvifを起動

下位のethernet vifを作成

vifが作成され、vethが立ち上がる

FIPがvif上で稼動 (VNTagカプセル化)

vifがFCoEトラフィックだけを流し、LANトラフィックは流さない

• OSレベルでのマルチパスはトラフィックを分散する


FC0 FC1

0

OS

1

Nexus 5500

Fabric Extenders

vHBA

veth

vfc

channel

バインド

vfc

channel

veth

SAN ASAN B

FC または FCoEFC または FCoE


vHBA

Nexus 5500

MDS

ディスクアレイ


Nexus 5500

Fabric Extender

eth0

1 1

• （作成したvPCが使われない場合でも）vPCドメインの設定とpeer-linkの定義によって、A-FEXは両方のvPCピア上で付与されたvNICが同じvethの番号を実行できる

OS

eth1

2 2

Port 0 Port 1

L2 ドメイン


vPC

Fabric Extender

1

1 1

OS

2

2 2

Port 0 Port 1

L2 ドメイン

作成されたvethをvPCで使うことはできない

veth1

veth2

veth3

veth4

vethのポートチャネルはできない


Fabric Extender

eth0

1

OS

eth1

2

Port 0 Port 1

L2 ドメイン

1 2Channel Number

vNIC

ネットワークアダプタ

Port Profile A

Port Profile B

Port Profile A

Port Profile B

Port Profile A Port Profile B

veth1 veth1

Peer-link

Fex 105 Fex 106


Fabric Extender

0

6

OS

1

Port 0 Port 1

SAN A

7Channel Number

vHBA


Peer-link

Fex 105 Fex 106

SAN B


• サーバに与えられるトラフィックの50%がpeer-link経由となる可能性がある

N7k01 N7k02

N5k01 N5k02

1 2 3 4

5 6 7 8

vN

IC1

OS


• vethポートはvPCプライマリーにフェールオーバするための特別な設定は不要

• 通常のorphan portは設定が必要：

# vpc orphan-port suspend

N7k01 N7k02

N5k01 N5k02

1 2 3 4

5 6 7 8

vN

IC1

OS


Fabric Extender

eth0

1

OS

eth1

2

Port 0 Port 1

L2 ドメイン

1 2Channel Number

vNIC


Port Profile A

Port Profile B

Port Profile A

Port Profile B

Port Profile A Port Profile B

veth1 veth1Peer-link

Fex 105 Fex 106

Fabric Extender

OS

Port 0 Port 1

Channel Number


Peer-link

Fex 105 Fex 106

veth32771veth32771

eth0 eth1

1 0

5500-2

Vpc secondary

5500-1

Vpc primary

SVI 50 SVI 50


Fabric Extender

0

6

OS

1

Port 0 Port 1

SAN A

7Channel Number

vHBA


Peer-link

Fex 105 Fex 106

SAN B

fex 105

fcoe

fex 106

fcoe

SAN A SAN B


Fabric Extender

OS

Port 0 Port 1

Channel Number


Peer-link

Fex 105 Fex 106

Veth32771

vPC プライマリー

eth0 eth1

1 0

vPCセカンダリ

veth32771

最初、I106/1/8 (active)と105/1/8 (standby)の両方にバインドしている

リンク障害後、105/1/8 (standby)にバインド

ファブリックリンクの障害後まだ、106/1/8 activeにバインド(かつ105/1/8 standbyにバインド)

MACテーブルからエントリーが消えPo10にポイントが追加


Fabric Extender

OS

Port 0 Port 1

Channel Number


Peer-link

Fex 105 Fex 106

Veth32771

vPC プライマリー

eth0 eth1

1 0

vPCセカンダリー

veth32771FEX 106が切り離され105/1/8

activeにバインド MACテーブルに再びエントリーが現れる


• Nexus 5500

NXOS: 5.1(3)N1(1)以降

VM-FEX はライセンス機能。1つのライセンスでNexus 5500シャーシ全部で使える

PID: N55-VMFEXK9

パッケージ名： VMFEX_ FEATURE_PKG

• VMware

ESX または、 ESXi 4.1U1 または 5.0

vCenter ライセンス (Enterprise Plus ライセンス)

PTS モードでインストールされるVEM (VSMはインストールされる想定でない)

バージョン 131 以降 (N5kからダウンロードできない), ESX 5.0 向けの最新版PTSは v132-4.2.1.1.4.1.0-3.0.4

• Cシリーズラックマウントサーバ

CIMC バージョンは 1.4(2.4) 以降

BIOS バージョンは 1.4.1 以降

P81E ファームウェア (1.6(1.3) とそれ以降)


P81Eドライバー

Cシリーズファームウェア

• Cシリーズのファームウェア、P81Eドライバーは機種毎に下記よりダウンロード可能（例: C250 M2の場合）:

http://www.cisco.com/cisco/software/type.html?mdfid=283862071&flowid=25884





• CシリーズのバージョンとNexus 5500 NX-OS バージョンとの相互互換性マトリックスは下記のリンク参照:

http://www.cisco.com/en/US/products/ps10477/prod_technical_reference_list.html




• ESX 4.1U1, ESX 5.0

• ESX 5.0 はCシリーズリリース 1.4 でサポート

• Cシリーズ/P81E と N5K をサポートするESX 5.0 は ESX 5.0のリリースパッチで利用可能

• ESX 4.1U1 には、P81E 用のドライバーが自動的に含まれている

• ESX 4.1U1 では、fNIC(Cisco UCS VIC FCoE HBA用) ドライバーをVMware ウェブサイトからダウンロードする必要がある:http://downloads.vmware.com/d/details/dt_esx4_cisco_iovp_fcoe/ZHcqYnR3dEBiZGhwZA==

http://downloads.vmware.com/d/details/dt_esx4_cisco_iovp_fcoe/ZHcqYnR3dEBiZGhwZA==




サーバ

Nexus 5500-1

Nexus 5500-2

vNIC

(dynamic floating veth)

2 Static vNIC (vmnic)

Fixed static veth

必須だが、これらをport-profileにアサインする必要はない

VM1

VM2

VM3


http://www.cisco.com/en/US/docs/switches/datacenter/nexus5000/sw/layer2/513_n1_1/b

_Cisco_n5k_layer2_config_gd_rel_513_N1_1_chapter_010101.html


• vPCはvethのナンバリングのデータベース同期のために使用。そのため、事前に、Nexus 5500間で、設定しておくこと（下記、片側の設定）

N5500-1# configure terminal

N5500-1(config)# feature vpc

N5500-1(config)# feature lacp

N5500-1(config)# vpc domain 1

N5500-1(config-vpc-domain)# peer-keepalive destination [peerのIP] source [自身のIP]

N5500-1(config-vpc-domain)# interface e1/27-28

N5500-1(config-if)# switchport mode trunk

N5500-1(config-if)# channel-group 1 mode active

N5500-1(config-if)# interface port-channel1

N5500-1(config-if)# vpc peer-link


ESXサーバが動作しているCシリーズの管理ツール、CIMCにアクセスし、Serverタブ->Inventory->Network AdaptersタブでVICアダプタカードを選択。GeneralタブでModify Adapter Propertiesをクリック

Enable NIV Modeにチェックし、VM FEXインターフェースの数を設定


Adapter Card Propertiesでアダプタ上でNIVモードが有効化されてることを確認


アップリンクとしてハイパーバイザーが使用するA-FEX vNIC 2つ、また、vMotion等のVmkernelとして使用する他のA-FEX vNICも作成。VIC Adapter Cardを選択し、vNICタブで必要なvNICを追加


ServerタブのSummaryより、Power Cycle Serverをクリックして、サーバをリブート


• VEM(PTS) イメージを入手(下記):http://www.cisco.com/en/US/docs/switches/datacenter/nexus1000/sw/4_0/install/vem/guide/vem_install_n1000v.html#wp256308

• vCLI, マニュアル、VUM等でインストールする

例# esxupdate -b cross_cisco-vem-v131-4.2.1.1.3.53.0-2.0.8.vib update

Unpacking cross_cisco-vem-v131-esx_4.2.1.1.3.53.0-2.0.8

Installing cisco-vem-v100-esx

################################### [100%]

Running [/usr/sbin/vmkmod-install.sh]...

ok.

http://www.cisco.com/en/US/docs/switches/datacenter/nexus1000/sw/4_0/install/vem/guide/vem_install_n1000v.html




• Nexus 5500上で、VM-FEXのための機能の有効化N5500-1# configure terminal

N5500-1(config)# install feature-set virtualization

N5500-1(config)# feature-set virtualization A-FEXの有効化 (fixed veth)

N5500-1(config)# feature vmfex VM-FEXの有効化 (floating veth)

N5500-1(config)# vethrenet auto-create


• Nexus 5500上で、ESXに接続する物理インターフェースを設定N5500-1# configure terminal

N5500-1(config)# interface ethernet 100/1-2

N5500-1(config-if)# swithport mode vntag

N5500-1(config)# interface ethernet 101/1-2

N5500-1(config-if)# swithport mode vntag

N5500-1(config-if)# interface vethernet 1

N5500-1(config-if)# bind interface ethernet 100/1/1 channel 10


N5500-1(config-if)# no shutdown

N5500-1(config-if)# interface vethernet 2



N5500-1(config-if)# no shutdown


Nexus5500のmgmt0のIPにHTTP経由でアクセスし、extension.xmlファイルをダウンロードし、任意の場所に置いておく


vCenterにプラグインを登録


• vCenterにSVS接続を設定N5500-1# configure terminal

N5500-1(config)# svs connection vCenter

N5500-1(config-svs-conn)# protocol vmware-vim

N5500-1(config-svs-conn)# vmware dvs datacenter-name [vCenterのDC名]

N5500-1(config-svs-conn)# dvs-name vm-fex-switch

N5500-1(config-svs-conn)# remote ip address [vCenterのIP] vrf management

N5500-1(config-svs-conn)# install certificate default

N5500-1(config-svs-conn)# connect


• port-profileの設定N5500-1(config)# vlan 60

N5500-1(config-port-prof)# port-profile type vethernet vm-fex-vlan-60

N5500-1(config-port-prof)# switchport mode access

N5500-1(config-port-prof)# switchport access vlan 60

N5500-1(config-port-prof)# dvs-name all

N5500-1(config-port-prof)# port-binding dynamic

N5500-1(config-port-prof)# state enabled


ホストがvCenterに登録されていない場合は、ホーム->インベントリ->ホストおよびクラスタより、ホストの追加を選択。追加したいホストのIP情報等を入れて、ライセンス等をいれて追加する


ホーム->インベントリ->ネットワークを右クリックして、ホストの追加を選択。

先ほど作成したA-FEXインターフェースにチェックを入れる。View detailsでPort IDにvethernet名が表示されるのでそれを参照して選択


• port-groupをNICにassociate


最大の制限数

• fixed veth (A-FEX) と floating veth (VM-FEX)間で合計2k VIF

• サーバ毎のアダプタ数は1枚

• サーバ毎のvNIC数は96

現状のテスト済み制限数

• fixed veth (A-FEX) と floating veth (VM-FEX)間で合計2k VIF

• サーバ毎のアダプタ数は1枚

• サーバ毎のvNIC数は96


E-Rocks+Target: 06/11

Status: リリース済NX-OS Parent: 5.0(3)

Fairhaven 5.1(3)N1(1)Target: 2011年12月Status: リリース済

NX-OS Parent: 5.1(3)

機能

• FCoE NPV

• Flex Link

• 1G No-Negotiation

• EtherChannel Hash Optimization

• OIR on N5500UP Chassis

• OIR on U-GEM

• Cisco FabricPath with 64 SIDs

• EvPC (2-Layer vPC)

• EvPC+/vPC+ with FabricPath

• CTS – Phase 1

• ERSPAN

• 10G ER Optics

• IEEE 1588 PTP & Boundary Clock

• Multicast VLAN Registration (MVR)

• Adapter FEX with MP & BCOM

• Adapter FEX with FCoE

• VM-FEX Integration with Monterey Park & UCS

C-Series with VMWare

• Logical Ports Scaling – 32K PVRST+ Logical

Ports

• VFC Scaling – 288 VFCs

• Control Plane Policing (CoPP)

• Boot from SAN over VPC

• Ethernet Port Security

• PIM-SSM over VPC+

• Increased Syslog Servers


Andaman+ 5.0(3)U1(2)Target: 07/11


Bahamas 5.0(3)U2(1)Target: Q3CY11


機能

• Trident+ on QuickSilver

• Latency improvement on QS (Cell Size 2)

• Virtual Port Channels (VPC)

• Control Plane Policing (CoPP)

• EtherChannel scaling to 64

• Trident+ Route Scaling to 16K

• 40G QSPFP Port Mode on QSFP+

• NetConf XML/API


Bahamas (m) 5.0(3)U2(2)Target: 2011年10月Status: リリース済


CaymanTarget: Q1CY12

Status: EC


機能

• ERSPAN

• IEEE 1588 PTP Boundary Clock

• 40G QSFP+ Support (N3016)

• BFD for BGP

• IPv6 Routing (BGP, OSPF, Static, ICMP, ACLs)

• Power-on Auto Provisioning (PoAP)

• EEM

• Python Scripting

• BFD for OSPF

• 100M support on QoS

Thank you.

nexus 5500 による a-fex、vm-fex の技術解説と構 …...2012/01/18 · cisco confidential...

Documents