【第二回ゼロからはじめる oracle solaris 11】03...

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

ネットワーク環境の複雑性に対処する新しいネットワーク管理の仕組み～ Oracle Solaris 11 ネットワークの基礎～

佐藤和幸日本オラクル株式会社2015/01/23

Oracle Confidential – Restricted


以下の事項は、弊社の一般的な製品の方向性に関する概要を説明するものです。また、情報提供を唯一の目的とするものであり、いかなる契約にも組み込むことはできません。以下の事項は、マテリアルやコード、機能を提供することをコミットメント（確約）するものではないため、購買決定を行う際の判断材料になさらないで下さい。オラクル製品に関して記載されている機能の開発、リリースおよび時期については、弊社の裁量により決定されます。

OracleとJavaは、Oracle Corporation 及びその子会社、関連会社の米国及びその他の国における登録商標です。文中の社名、商品名等は各社の商標または登録商標である場合があります。

2


Program Agenda

1

2

3

4

5

Solaris のアプローチ

Oracle Solaris SDN

レイヤーに跨がって設計される高可用性

その他

参考情報

Oracle Confidential – Internal/Restricted/Highly Restricted 3


レイヤ 2 とレイヤ 3 ネットワークの管理と価値を最大化させるSolaris のアプローチ

4


Oracle Solaris 11 ネットワーク機能概要

• ネットワークを構成する要素の一貫性と持続性を提供する新しい手法を実装：

–データ・リンク・オブジェクト

– IP オブジェクト

• 使い易いコマンドラインインターフェースを提供– ipadm, dladm などレイヤー毎にコマンドを提供

– ファイルベースの設定インターフェースによるエラーの排除

– 現在の設定値と初期設定値の容易な参照

– さらに設定可能な値や範囲も参照可能

• Solaris リソースマネージャや Solaris ゾーンとの統合

5


Oracle Solaris 10 と Oracle Solaris 11.2 の比較ネットワーク設定について

機能 Oracle Solaris 10 Oracle Solaris 11

ネットワーク構成(手動および自動)

ifconfig コマンド/etc/hostname.* の編集ndd コマンド(プロトコルの構成の場合)

手動モード: dladm および ipadm自動モード: netcfg

ネットワーク構成 (DHCP) Oracle Solaris DHCP およびその他のネームサービス

ISC DHCP および Oracle Solaris DHCP

ネットワーク構成 (ワイヤレス)wificonfig

手動: dladm および ipadm自動: netcfg

インターフェース名 driver 名がインターフェース名に net0 が標準。好みの名前を設定することも可能

default router設定 /etc/defaultrouter, route –p コマンド route –p コマンド

• Solaris 11 以降では、仮想化を意識したプロファイルベースのネットワーク構成を採用

• インストール時に選択したネットワーク構成モードに従う

– 「手動」を選択した場合は、DefaultFixed NCP が有効に

– 「自動」を選択した場合は、Automatic NCP が有効に

– DefaultFixed NCP が有効な場合のみ、ネットワークは dladm および ipadm コマンドによる手動構成が可能

• ネットワークの仮想化機能(Crossbow)を利用する場合は、DefaultFixed NCP を選択

6


プロファイルベースのネットワーク構成ネットワーク設定について

• ネットワークの構成モードを決定する

–「自動」または「手動」構成を選択

–構成モードは、運用中に動的に変更することも可能

• 構成モードにより、プロファイル(NCP)が決定される

–「自動」を選択すると「Automatic」• 変更や削除ができないプロファイル

–「手動」を選択すると「DefaultFixed」• 全てを手動設定で行うプロファイル

• 独自のNCPを作成することも可能

NCP = Network Configuration Profiles

7


プロファイルベースのネットワーク構成ネットワーク設定について

• 構成モードにより利用可能な管理コマンド

– Automatic (VMゲスト、ゾーンなど可動性のある環境向け)

• netadm, netcfg

• DHCP での利用を想定

• ipadm, dladm での設定行えない（参照などは可能)

– これらコマンドは、Automatic 設定を検知し動作しない振る舞いに

– DefaultFixed (サーバなど固定環境向け)

• ipadm, dladm, ifconfig

• netadm, necfg は利用できない

– 設定は手動かつ固定されていることを想定しているため

8


プロファイルベースのネットワーク構成Automatic (自動ネットワーク) 設定について

• NCP プロファイルの追加について(自動構成を選択時のみ)

– NCP に DefaultFixed が指定されていなければプロファイルを追加可能

–新しいプロファイルを作成することで• Automatic に比べて自由度のある自動構成設定を作成可能

– net0 は、DHPC を利用。net1, net2 は、static など

– 仮想 NIC (vNIC) を管理対象にすることも可能

–仮想環境下において、マイグレーション等による物理構成の変化に柔軟に対応することが可能に

9


プロファイルベースのネットワーク構成NCP の手動切り替え

• NCP は動的に変更可能

– DefaultFixed (手動ネットワーク)へ変更

– Automatic (自動ネットワーク)へ変更

• 切り替え時に、Link Down が発生することに注意

# netcfg enable –p ncp DefaultFixed

# netcfg enable –p ncp Automatic

10


プロファイルベースのネットワーク構成DefaultFixed (手動ネットワーク) 設定について

• レイヤー毎に分けられた管理コマンドを提供

– dladm (1M)• データリンクの構成を管理

–物理リンク、仮想 NIC、VLAN、Link aggregation、ブリッジなど

• 物理リンクの名前管理を自動管理 (net0, net1 など)

–自由な名前付けも可能

– ipadm (1M)• インタフェースの構成を管理

– IP インターフェース、IP アドレス、IPMP、プロトコルのプロパティなど

• ifconfig と /etc/hostname.<ifname> をリプレース

11


プロファイルベースのネットワーク構成手動ネットワーク設定について

• 手動ネットワーク構成

–物理インターフェース(L2)の構成設定は dladm コマンドに集約

# dladm show-phys

LINK MEDIA STATE SPEED DUPLEX DEVICE

net1 Ethernet unknown 0 unknown e1000g1


net0 Ethernet up 1000 full e1000g0


vboxnet0 Ethernet up 1000 full vboxnet0

$ dladm show-link –Z

LINK ZONE CLASS MTU STATE OVER

net1 global phys 1500 unknown --


net0 global phys 1500 up --


vboxnet0 global phys 1500 up --

vnic0 global vnic 1500 up net0

12


プロファイルベースのネットワーク構成手動ネットワーク設定について

• 手動ネットワーク構成

–インターフェースの構成(L3)は ipadmコマンドに集約• 複雑化した ifconfig コマンドをリプレース

–機能別にサブコマンドを提供することでオペレーションを容易に

– ifconfig も継続利用可能

• 一部機能は ipadm の API を利用するように変更されている

• 永続およびテンポラリ設定(reboot 実行時まで) の提供

–再起動で設定変更前に戻すことが可能なモードを用意

–ネットワーク構成変更のテストを柔軟に実施

• ndd コマンドによるパラメータ設定方法も統合(一部 dladm へ)

–比較マップ: ndd コマンドと ipadm コマンドhttp://docs.oracle.com/cd/E37932_01/html/E36462/gmafe.html#scrolltoc

13

http://docs.oracle.com/cd/E37932_01/html/E36462/gmafe.html#scrolltoc


Oracle Solaris 10 と Oracle Solaris 11.1 の比較ifconfig と ipadm コマンドの比較

• ipadm では、機能別にシンプルに

Oracle Solaris 10 (ifconfig) Oracle Solaris 11.1 (ipadm)

plumb/unpumb

ipadm create-ip

ipadm delete-ip

ipadm enable-addr

ipadm disable-addr

[address[/prefix-length] [dest-address]]

[addif address[/prefix-length]] [removeif

address[/prefix-length]][netmask mask]

[destination dest-address]{auto-dhcp|dhcp}

[primary][wait seconds]extend | release |

start

ipadm create-addr -T static

ipadm create-addr -T dhcp

ipadm show-addr

ipadm delete-addr

ipadm refresh-addr

[deprecated | -deprecated] [preferred |

-preferred] [private | -private] [zone

zonename | -zones | -all-zones][xmit | -xmit]

ipadm show-addrprop

ipadm set-addrprop

ipadm reset-addrprop

up/downipadm up-addr

ipadm down-addr

14


プロファイルベースのネットワーク構成• 手動ネットワーク設定について

# ipadm

NAME CLASS/TYPE STATE UNDER ADDR

lo0 loopback ok -- --

lo0/v4 static ok -- 127.0.0.1/8

lo0/v6 static ok -- ::1/128

net0 ip ok -- --

net0/v4 static ok -- 192.168.100.22/24

# ipadm show-if

IFNAME CLASS STATE ACTIVE OVER

lo0 loopback ok yes –

# ipadm create-ip net0


# ipadm show-if

IFNAME CLASS STATE ACTIVE OVER

lo0 loopback ok yes --

net0 ip down no --

net1 ip down no --

# ipadm create-addr -T static -a local=192.168.2.1/24 net0/v4

# ipadm show-addr net0/v4primary

ADDROBJ TYPE STATE ADDR

net0/v4primary static ok 10.163.210.144/20

# ipadm create-addr -T dhcp net0/dhcp

コマンドオペレーションのみで設定が可能に。設定ファイルの編集忘れなどによるオペレーションミスを軽減

# ipadm help

The following subcommands are supported:

Address : create-addr delete-addr disable-addr

down-addr enable-addr refresh-addr

reset-addrprop set-addrprop show-addr

show-addrprop up-addr

Interface : disable-if enable-if reset-ifprop

set-ifprop show-if show-ifprop

IP interface : create-ip delete-ip

IPMP interface : add-ipmp create-ipmp delete-ipmp

remove-ipmp

Protocol property : reset-prop set-prop show-prop

VNI interface : create-vni delete-vni

15


Oracle Solaris SDNネットワークの仮想化機能

16


Solaris 10 Solaris 11 Solaris 11.1 Solaris 11.2

Oracle Solaris SDN のコンポーネント

IP Stack for Zones

VNIC and VSWITCH

Bandwidth Limits & Flows

Built-in Load Balancer

Datalink Multi-pathing

VNIC Migration

Edge Virtual Bridging

Datacenter Bridging

VxLAN

VNIC and Flow priorities

Reflective Relay

Elastic Virtual Switch

OpenStack

「仮想化・マルチテナント・スケーラビリティ・可観測性・優先順位付け」に焦点を

…さらに多くの機能を！

• Solaris SDN – Solaris に統合

–ファブリックの最適化• 既存ファブリックの持つ機能も活用

• トンネル機能などの有効活用

17


クラウド規模のネットワークを支える機能仮想化・マルチテナント・スケーラビリティ・可観測性・優先順位付けに焦点を

可用性

VNIC migration

DatalinkMultipathing

IPMP enhancements

VRRP

インフラストラクチャの収束

Storage and Network

Consolidation with Datacenter

Bridging

Datacenter Network

Virtualization with Edge Virtual

Bridging (EVB)

Reflective Relay

ネットワークの仮想化

仮想スイッチ

H/W 支援による仮想化

ゾーンにおける自動仮想

NIC

VLANによる隔離

アンチ・スプーフィング保護機

能

Ldoms用の仮想NIC


VxLAN

リソース制御

QoS機能の統合

帯域制御

Mapping to CPUs or CPU

pools for isolation

ゾーン機能との統合

アプリケーションのための仮想

NICと優先付

けフロー制御

パフォーマンス

並列ネットワーク仮想化アーキテ

クチャ

NUMA I/O フレームワーク

SR-IOV の統合

ダイナミック・ポーリング

Pre-mapped buffers

4x lower latency vs. KVM

大量受信オフロード(LSO)

仮想化にも適用可能な組み込まれたネットワーク機能

ルーティング

ファイアウォール

ロードバランサ

ブリッジ機能

管理

IPMP re-architecture

Vanity Naming

Centralized Datalink and IP administration and property consolidation

GLDv3 unification for legacy drivers

可観測性

Statistics for per-application flows

and datalinks

History integrated with

extended accounting

Capture local traffic through virtual switch

and IP loopback path

Automated network

diagnostics

API

Committed GLDv3 APIs

Pluggable TCP congestion algorithms

IP Filter hooks

Socket Filter API

Socket Flow API

Solaris 11.2 でサポートされる新機能

18


ネットワークの仮想化機能 “Crossbow”

クラウドのために設計されたネットワーク機能

– 仮想化によるネットワーク基盤の統合

• NIC, スイッチの仮想化

– 費用の削減をソフトウェアで実現

– 容易にネットワークのテスト環境を構築可能

• テストを繰り返すことで同時にクオリティも得られる

様々なネットワーク機能の統合– ファイアーウォール(ipfilter)

– ルーター冗長化機能 (VRRP)

– 負荷分散機能(Integrated Load Balancer)

– ブリッジング機能(RBridge)

– IPMP機能の実装を刷新, etc…

19


ネットワークの仮想化機能 “Crossbow”フローの制御と観測

管理者が指定するトラフィックフローに帯域制御を適用可能非帯域ゾーン内のデータリンクも対象

flowadm (1M) コマンドにて、送信元および宛先 IPアドレス、プロトコル、ポート番号などの情報からフロー定義を作成

Flowstat (1M) コマンドにてリアルタイムに観測が可能

拡張アカウンティング機能を利用することで、統計情報を取得可能

20


ネットワークの仮想化 “Crossbow”Crossbowの仮想NIC - VNIC

• 仮想ネットワークインターフェース VNIC

– 物理 NIC のように管理可能な仮想ネットワークインターフェース (VNIC)を提供

– VNIC ごとの専用ハードウェアおよびカーネル・リソースを割り当て可能

– VNICの統計情報に基づき、既存の管理ツールを再利用

– 設定済みの帯域幅制限に基づくリンク速度のコントロール

– Link aggregation interface から VNIC を生成可能、VNIC を IPMP グループ化することで、高可用性を実現

• MAC アドレスの生成

– ランダム、値指定、または工場出荷時の設定（複数のMACアドレスを提供するNICの場合）

• Solaris コア・ネットワーク・スタックに統合

– 専用ハードウェアや追加ソフトウェアは必要なし

• 標準規格ベースのエンドツーエンドのネットワーク仮想化

– VNICに割り当てられたVLANタグとPriority Flow Control (PFC)がハードウェア・レーンにスイッチの役割をさせる

21


ネットワークの仮想化 “Crossbow”Crossbowの仮想スイッチング - Etherstub

• MACレイヤはイーサネット･スイッチと同等のパケット交換動作を提供する

– 同じデータ・リンクの上にVNIC間のデータ・パスを作成

– VNICと物理ネットワーク間の接続性も提供

– VLANブロードキャスト・ドメインごとに、VLAN間を分離可能

• VNICを Etherstub 上に作成して、ハードウェアに依存しない仮想スイッチを作成可能

– 多数の Etherstub とVNICを作成し、任意の仮想ネットワーク・トポロジを構築可能

• VNIC間のデータパスはソフトウェアで実装

• ハードウェアへの往復が不要になり、パフォーマンスが向上

22


ネットワークの仮想化 “Crossbow”例:VNICとEtherstubの作成

# dladm show-physLINK MEDIA STATE SPEED DUPLEX DEVICEnet0 Ethernet up 1000 full e1000g1# dladm create-vnic -l net0 vnic0# dladm create-etherstub vswitch0# dladm show-etherstubLINKvswitch0# dladm create-vnic -l vswitch0 vnic1# dladm show-vnicLINK OVER SPEED MACADDRESS MACADDRTYPE VIDvnic0 net0 1000 2:8:20:3a:8b:2d random 0vnic1 vswitch0 0 2:8:20:d6:76:88 random 0# ifconfig -alo0: flags=2001000849<UP,LOOPBACK,RUNNING,MULTICAST,IPv4,VIRTUAL> mtu 8232 index 1

inet 127.0.0.1 netmask ff000000 net0: flags=1000843<UP,BROADCAST,RUNNING,MULTICAST,IPv4> mtu 1500 index 2

inet 192.168.100.11 netmask ffffff00 broadcast 192.168.100.255ether 2:8:20:f5:83:44

vnic0: flags=1000842<BROADCAST,RUNNING,MULTICAST,IPv4> mtu 1500 index 3inet 0.0.0.0 netmask 0 ether 2:8:20:3a:8b:2d

vnic1: flags=1000842<BROADCAST,RUNNING,MULTICAST,IPv4> mtu 9000 index 4inet 0.0.0.0 netmask 0 ether 2:8:20:d6:76:88

23


ネットワークの仮想化 “Crossbow”例:VNICとEtherstubの作成

# dladm show-phys



# dladm create-vnic -l net0 vnic0

# dladm create-etherstub vswitch0

# dladm show-etherstub

LINK

vswitch0

# dladm create-vnic -l vswitch0 vnic1

# dladm show-vnic

LINK OVER SPEED MACADDRESS MACADDRTYPE VID

vnic0 net0 1000 2:8:20:3a:8b:2d random 0

vnic1 vswitch0 0 2:8:20:d6:76:88 random 0

# ifconfig -a

lo0: flags=2001000849<UP,LOOPBACK,RUNNING,MULTICAST,IPv4,VIRTUAL> mtu 8232 index 1

inet 127.0.0.1 netmask ff000000

net0: flags=1000843<UP,BROADCAST,RUNNING,MULTICAST,IPv4> mtu 1500 index 2

inet 192.168.100.11 netmask ffffff00 broadcast 192.168.100.255

ether 2:8:20:f5:83:44

vnic0: flags=1000842<BROADCAST,RUNNING,MULTICAST,IPv4> mtu 1500 index 3

inet 0.0.0.0 netmask 0

ether 2:8:20:3a:8b:2d

vnic1: flags=1000842<BROADCAST,RUNNING,MULTICAST,IPv4> mtu 9000 index 4

inet 0.0.0.0 netmask 0

ether 2:8:20:d6:76:88

net0

(e1000g0)

vnic0

vynic1

vswitch0

vxnic0vynic1

vswitch1

yZone1

vnic1

vnic2

vnic3

vnic4

vnic5

vnic6

vnic7

• 例)物理 NIC から複数の仮想 NIC を生成しゾーンで利用

xZone2

• 例)物理switchと仮想NICで筐体内にネットワークを構築

24


VNIC マイグレーションサービスを止めることなく再構成可能

• vnic を利用している環境において透過的にデータリンクを移動可能

• 物理 NIC 障害時におけるダウンタイムを最小限に抑えることが可能

# dladm modify-vnic –l nic2 vnic1 vnic1 を nic2 に移動

# dladm modify-vnic –l nic2 –L nic1 nic1 に紐づく全ての vnic を nic2 へ移動


－専用リソース付きのハードウェア・レーンを生成しスケーラビリティを得ることを目指す

－スタック自身にネットワーク仮想化機能とQoS機能を内蔵

－動的ポーリングとパケットのチェーン化により効率向上を目指す

ネットワークの仮想化 “Crossbow”マルチコアとこれからのネットワークを見据えた設計

switch

Oracle Solaris 11物理 NICハードウェア・リング

/DMA

ハードウェア・リング

/DMA


/DMA

●●●

カーネル・スレッドとキュー




/DMA


クラシファイア

ハードウェア・レーン

VLANによる分離

26


ネットワークの仮想化 “Crossbow”ハードウェア・レーンとダイナミック・ポーリング

• NICハードウェア（Rx/Txリング、DMA）、カーネル・キュー/スレッド、およびCPUを分割して「ハードウェア・レーン」を作成し、VNICおよびフローに割り当てられるようにする

• 送受信リングにダイナミック・ポーリングを用い、レーンごとにパケット送受信速度をスケジュールする機能を搭載

• ダイナミック・ポーリングの効果

– 割り込み回数が少なくなり、

– コンテキスト・スイッチが少なくなり、

– 使用可能なCPU時間が増えた

mpstat（旧ドライバの場合）intr ithr csw icsw migr smtx srw syscl usr sys wt idl

10818 8607 4558 1547 161 1797 289 19112 17 69 0 12

mpstat（GLDv3 ドライバの場合）intr ithr csw icsw migr smtx srw syscl usr sys wt idl

2823 1489 875 151 93 261 1 19825 15 57 0 27

27


ネットワークの仮想化 “Crossbow”Crossbowにおけるフロー

• Crossbowのフローは以下の属性に基づくサービス（プロトコル + リモート/ローカル・ポート）

– 伝送（TCP、UDP、SCTP、iSCSIなど）

– IPアドレスとIPサブネット

– DSCPラベル

• 各フローに独自の帯域幅制限を割り当て可能

• フローごとに統計情報を維持

– flowstat(1M)でリアルタイム表示

– 拡張アカウンティングによる履歴

28


ネットワークの仮想化 “Crossbow”フローベースの帯域制御管理

• フロー制御管理コマンドを提供

– flowadm (1M)• 属性に従って構成されたネットワークパケットのリソース管理

• 帯域制御

# flowadm add-flow -l aggr0 -a transport=tcp,local_port=80 -p maxbw=100m httpflow

# flowadm show-flow

FLOW LINK IPADDR PROTO LPORT RPORT DSFLD

ftpflow1 aggr0 -- tcp 60000 -- --

ftpflow2 aggr0 -- tcp 60001 -- --

root@microserver:~# flowadm show-flowprop

FLOW PROPERTY VALUE DEFAULT POSSIBLE

ftpflow1 maxbw 1 -- --

29


ネットワークの仮想化 “Crossbow”ネットワークの統計情報関連コマンドの追加

• ネットワークの統計情報採取のコマンドを追加

– dlstat (1M)• データリンクの統計情報を報告

• 送受信のハードウェアリングとハードウェアレーンの情報を報告

• 拡張アカウンティング機能(acctadm)によるネットワーク使用率の履歴を採取可能

– flowstat (1M)• フローの統計情報を報告

• 拡張アカウンティング機能(acctadm)を利用することで、特定のネットワーク使用率の履歴を採取可能

• ネットワークの仮想化 “Corssbow” 機能と連携する

30


ネットワークの仮想化 “Crossbow”ネットワークの統計情報関連コマンドの追加

• 拡張アカウンティング機能(acctadm)による統計情報

アカウンティング機能の有効化

# acctadm -e extended -f /var/log/net.log net

# dlstat show-link -h -f /var/log/net.log

LINK DURATION IPKTS RBYTES OPKTS OBYTES BANDWIDTH

net0 120 688 64192 436 69425 0.008 Mbps

# dlstat show-link -h -f /var/log/net.log net0

LINK START END RBYTES OBYTES BANDWIDTH

net0 11:48:16 11:48:36 8840 7343 0.006 Mbps

net0 11:48:36 11:48:56 11006 8987 0.007 Mbps

net0 11:48:56 11:49:16 5079 5198 0.004 Mbps

net0 11:49:16 11:49:36 16139 24240 0.016 Mbps

net0 11:49:36 11:49:56 11258 13263 0.009 Mbps

net0 11:49:56 11:50:16 11870 10394 0.008 Mbps

net0 11:50:16 11:50:36 22018 17519 0.015 Mbps

アカウンティング機能の無効化# acctadm –x net

31


ネットワークの仮想化 “Crossbow”Solaris 11のネットワーク監視機能

• 既存のツール(snoop, wiresharkなど)で監視可能

–更に、以下の監視が可能に• Loopback device のトラフィック

• 共有IPゾーン間のトラフィック

– 例: # snoop –d lo0

• DTraceでパケットのトレースが可能になるIPプロバイダ

–送受信パケットやドロップされたパケットなど

– ipmpstat コマンドによる IPMP機能の監視

– dlstat と flowstat コマンドによる Crossbow 機能の監視

32


マルチテナント仮想ネットワークのコンセプト

クラウド・オーケストレーション・レイヤー

クラウド・ハードウェア・インフラストラクチャ

• テナント毎に独自の仮想ネットワークを割当

• それらを支えるインフラストラクチャ部分は共有

• テナント間のネットワークは隔離

• 仮想ネットワークコンポーネントを利用し任意の仮想ネットワークを構築

33


新しい仮想ネットワーク管理モデルElastic Virtual Switch (EVS)

• EVS は vport を持つ

• 各 vport は SLA, IP 構成などのプロファイルを保持

• 仮想 NIC は vport に接続されvport からプロファイルを継承

• データリンクは仮想スイッチのアップリンクとなる

• ネットワークの分離は VLAN

または VxLAN を使用

34

物理スイッチの様に扱える仮想スイッチ機能

34

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 35

物理スイッチの様に扱える仮想スイッチ機能

新しい仮想ネットワーク管理モデルElastic Virtual Switch (EVS)

35


Elastic Virtual Switch によるマルチテナント仮想ネットワーク

ゾーン、カーネルゾーン、LDOM

ゲストを VM として利用

ライブマイグレーションではElastic Virtual Switch がVM に従う

集中管理と可観測性の提供

VM 毎やテナント毎にSLA を実施

クラウド・コントローラから管理API を利用しEVS を制御

任意のファブリック上に展開可能

36


Openstack の全機能を Solaris 11.2 でサポート

37



38



• リンク・アグリゲーション（トランキング)

– 仮想環境に透過的

– スイッチ側の構成も必要

– 単一のスイッチでのみ利用

– 複数スイッチを構成する場合する、スイッチが持つ特別な機能を利用する(ISL – Inter-switch Link など)

• IP Multipathing (IPMP)

– 複数のスイッチ間でのフェイルオーバー

– スイッチの特別な設定は必要ない

– 仮想環境に適用する場合は Zone や VM 毎に構成が必要になる

39


レイヤーに跨がって設計される高可用性リンク・アグリゲーションの作成例

最初に 1 つの LINK インターフェースからアグリゲーションインターフェースを作成することも可能

その場合は、add-aggr サブコマンドで、LINK インターフェースを追加し構成する

# dladm show-phys






# dladm create-aggr -l net2 myaggr1

40


レイヤーに跨がって設計される高可用性リンク・アグリゲーションの作成例# dladm show-link

LINK CLASS MTU STATE OVER

net0 phys 1500 up --


net3 phys 1500 unknown --


myaggr1 aggr 1500 up net2

# dladm show-aggr

LINK MODE POLICY ADDRPOLICY LACPACTIVITY LACPTIMER

myaggr1 trunk L4 auto off short

# dladm show-aggr -x

LINK PORT SPEED DUPLEX STATE ADDRESS PORTSTATE

myaggr1 -- 1000Mb full up 8:0:27:5e:34:10 --

net2 1000Mb full up 8:0:27:5e:34:10 attached

# dladm add-aggr -l net3 myaggr1

41


レイヤーに跨がって設計される高可用性リンク・アグリゲーションの作成例# dladm show-aggr -x

LINK PORT SPEED DUPLEX STATE ADDRESS PORTSTATE

myaggr1 -- 1000Mb full up 8:0:27:5e:34:10 --

net2 1000Mb full up 8:0:27:5e:34:10 attached

net3 1000Mb full up 8:0:27:ab:7d:e attached

# dladm show-link

LINK CLASS MTU STATE OVER





myaggr1 aggr 1500 up net2 net3

42


Datalink Multipathing (DLMP)IPMPと Link Aggregation 機能の良い点を生かした新しい冗長化機能

• Link Aggregation 機能を利用した新しいモデル– aggr インターフェースとして構成するが、DLMP は IEEE 802.3ad 実装ではないことに注意

– 通信をレイヤーで分散する機能はない

– aggr から生成される仮想 NIC は物理インタフェースに分散される

– 仮想化機能と連携することで負荷分散の恩恵を得られる

• 複数のスイッチを跨いだ冗長構成が可能に

• スイッチに特別な設定は不要

• 仮想NIC とそれらを利用するゾーンなどの仮想マシンに透過的

# dladm create-aggr -m dlmp –l net0 –l net1 aggr0 ※aggr インターフェース作成時に指定

43


DataLink Multipathing (DLMP)エンタープライズ・クラウドに最適

• シンプルな管理と接続障害からの回復へ焦点を当てた機能

• L2 接続障害回避とマルチパスリンクのライブマイグレーション

– DLMP は、リンクベースまたはプローブベースの障害検知方法を提供

– Oracle Solaris Kernel Zones のために開発

• 利点：

– シンプルな管理モデルである IPMP と同等の機能を L3 に提供• 運用コストを削減。高価なスイッチも仮想マシンへの特別な設定も必要なし

– 複数の異なるベンダーのスイッチを使用していても、個別ベンダーによる拡張の影響を受けないため設備投資を削減可能

– 仮想マシンには透過的であるため運用における俊敏性を高める

44


レイヤーに跨がって設計される高可用性IPMP について

• IPMP について

– ipadm による構成方法に変更

– DefaultFixed プロファイル構成時に利用可能

–検査アドレスを必要としない新しいプローブベースの検知方法を追加• IPMP transitive probing (推移的プローブ)

– IPMP の情報を出力する pmpstat コマンドの提供# ipadm create-ip net0


# ipadm create-ipmp -i net0 -i net4 ipmp0

# ipadm create-addr -T static -a 192.168.10.13/24 ipmp0/v4

# ipmpstat -g

GROUP GROUPNAME STATE FDT INTERFACES

ipmp0 ipmp0 ok -- net0 net4

※リンクベースの設定

45



• IPMP 専用インターフェースの割り当てに変更

# ifconfig -a

net0: flags=1000843<UP,BROADCAST,RUNNING,MULTICAST,IPv4> mtu 1500 index 45


groupname ipmp0

ether 0:15:17:e:b0:2

net4: flags=61000843<UP,BROADCAST,RUNNING,MULTICAST,IPv4,STANDBY,INACTIVE> mtu 1500 index 46


groupname ipmp0

ether 0:15:17:e:b0:3

ipmp0: flags=8001000843<UP,BROADCAST,RUNNING,MULTICAST,IPv4,IPMP> mtu 1500 index 44

inet 192.168.10.13 netmask ffffff00 broadcast 10.157.49.255

groupname ipmp0

46



• IPMP は IP インターフェースの冗長化機能を提供

• 新しく追加された ipmpstat コマンド (1M) で IPMP のステータスを確認可能

• 新しいデザインにより下記機能との相互運用性を向上

– DHCP

– Solaris Zones

– Routing protocols$ ipmpstat –an

ADDRESS STATE GROUP INBOUND OUTBOUND

192.168.10.10 up ipmp0 net0 net0 net1

128.0.0.101 up field2 net7 net2 net7

128.0.0.102 down field2 -- --

47


レイヤーに跨がって設計される高可用性ILB と VRRP

• 統合ロードバランサ (ILB)機能 – ilbadm

–レイヤ 3 およびレイヤ 4 の負荷分散機能を提供可能• 参考: 2つのOracle Solarisゾーン間でロードバランシング機能を持つアプリケーションを設定する方法http://www.oracle.com/technetwork/jp/articles/servers-storage-admin/loadbalancedapp-1653020-ja.html

• 仮想ルーター冗長プロトコル (VRRP) - vrrpadm

– Virtual Router Redundancy Protocol Version 3 for IPv4 and IPv6

–仮想ルータによる経路の冗長化

– ILB と VRRP を組み合わせことでロードバランサの冗長化が可能

– Solaris 11.2 では、独自実装のレイヤー 3 VRRP をサポート• IPMP, Infiniband インターフェースをサポート

• 非大域ゾーン内での VRRP 構成をサポート

48

http://www.oracle.com/technetwork/jp/articles/servers-storage-admin/loadbalancedapp-1653020-ja.html

http://tools.ietf.org/id/draft-ietf-vrrp-unified-spec-02.txt


その他

49


その他デフォルトルーターの設定例# netstat –rn

Routing Table: IPv4

Destination Gateway Flags Ref Use Interface

-------------------- -------------------- ----- ----- ---------- ---------

10.143.65.0 10.143.65.74 U 2 0 net0

127.0.0.1 127.0.0.1 UH 2 48 lo0

Routing Table: IPv6

Destination/Mask Gateway Flags Ref Use If

--------------------------- --------------------------- ----- --- ------- -----

::1 ::1 UH 2 0 lo0

# route -p add default 10.143.65.1

add net default: gateway 10.143.65.1

add persistent net default: gateway 10.143.65.1

# netstat -rnf inet

Routing Table: IPv4

Destination Gateway Flags Ref Use Interface

-------------------- -------------------- ----- ----- ---------- ---------

default 10.143.65.1 UG 1 0

10.143.65.0 10.143.65.74 U 2 0 net0

127.0.0.1 127.0.0.1 UH 2 48 lo0


その他ネットワーク設定について

• name service の構成 (手動ネットワーク構成時)

– SMF による管理方法に変更

–参照用のファイルとして下記のファイルを継続提供• /etc/resolv.conf

• /etc/nsswitch.conf

• Host 情報をDNS server にて参照する設定方法

# svccfg -s "dns/client" setprop "config/nameserver = net_address: ( 192.168.1.1 )"

# svccfg -s "dns/client" setprop 'config/domain = astring: (“jp.oracle.com")'

# svccfg -s "name-service/switch" setprop 'config/host = astring: "files dns"'

# svcadm refresh name-service/switch

# svcadm enable dns/client

※ ファイルの直接編集では反映されない

51


その他ネットワーク設定について

• name service 構成のインポート(手動ネットワーク構成時)

–下記ファイルから構成情報をインポート可能に• /etc/resolv.conf

• /etc/nsswitch.conf

• 構成情報を記載済みの上記ファイルを配置後、下記を実行

# /usr/sbin/nscfg import –f dns/client

# /usr/sbin/nscfg import –f name-service/switch

# svccfg –s dns/client listprop (設定が反映されているか確認)

# svccfg –s name-service/switch (設定が反映されているか確認)

# svcadm enable dns/client

# svcadm refresh name-service/switch

52


その他ネットワークのチューニング

• TCP/IP のチューニングは ndd コマンドから ipadm へ– # ipadm get-prop/set-prop {tcp,ip,udp, icmp, sctp)

– ipadm への管理移行により設定は永続化

• TCP 送受信バッファの変更例– 例: Solaris 11 以降で Oracle Database の Direct NFS を利用する場合は、送受信サイズを拡大する必要あり [MOS ID 1352886.1]

# ipadm set-prop -p max_buf=1056768 tcp

# ipadm set-prop -p recv_buf=1056768 tcp

# ipadm set-prop -p send_buf=1056768 tcp

変更前(default)：tcp max_buf rw 1048576 -- 1048576 128000-1073741824

tcp recv_buf rw 128000 -- 128000 2048-1048576

tcp send_buf rw 49152 -- 49152 4096-1048576

変更後：tcp max_buf rw 1056768 1056768 1048576 1056768-1073741824

tcp recv_buf rw 1056768 1056768 128000 2048-1056768

tcp send_buf rw 1056768 1056768 49152 4096-1056768

操作サブコマンド

現在値の表示 ipadm show-prop –p

値の設定 ipadm set-prop -p

デフォルト値にリセット ipadm reset-prop –p

53


その他

• トラフィックの輻輳制御の実装 (Congestion Control)

バージョンアルゴリズム

Solaris 10 まで RFC 2581 準拠 (ハードコード)

Solaris 11 以降 Pluggable TCP Congestion Control 機能によりアルゴリズムを選定可能

newreno デフォルトアルゴリズム。制御メカニズムには、送信側の輻輳ウィンドウ、スロースタート、および輻輳回避があります。

highspeed 高速ネットワーク用のもっとも有名かつシンプルな NewReno の修正版の 1 つ。

cubic Linux 2.6 の現在のデフォルトアルゴリズム。輻輳回避フェーズを線形的なウィンドウ増加からcubic 関数に変更します。

vegas 実際のパケットロスを発生させずに輻輳を予測しようとする典型的な遅延ベースのアルゴリズム。

54


クラウド規模のネットワークを支える機能仮想化・マルチテナント・スケーラビリティ・可観測性・優先順位付けに焦点を

可用性

VNIC migration

DatalinkMultipathing

IPMP enhancements

VRRP

インフラストラクチャの収束

Storage and Network

Consolidation with Datacenter

Bridging

Datacenter Network

Virtualization with Edge Virtual

Bridging (EVB)

Reflective Relay

ネットワークの仮想化

仮想スイッチ

H/W 支援による仮想化

ゾーンにおける自動仮想

NIC

VLANによる隔離

アンチ・スプーフィング保護機

能

Ldoms用の仮想NIC


VxLAN

リソース制御

QoS機能の統合

帯域制御

Mapping to CPUs or CPU

pools for isolation

ゾーン機能との統合

アプリケーションのための仮想

NICと優先付

けフロー制御

パフォーマンス

並列ネットワーク仮想化アーキテ

クチャ

NUMA I/O フレームワーク

SR-IOV の統合

ダイナミック・ポーリング

Pre-mapped buffers

4x lower latency vs. KVM

大量受信オフロード(LSO)

仮想化にも適用可能な組み込まれたネットワーク機能

ルーティング

ファイアウォール

ロードバランサ

ブリッジ機能

管理

IPMP re-architecture

Vanity Naming

Centralized Datalink and IP administration and property consolidation

GLDv3 unification for legacy drivers

可観測性

Statistics for per-application flows

and datalinks

History integrated with

extended accounting

Capture local traffic through virtual switch

and IP loopback path

Automated network

diagnostics

API

Committed GLDv3 APIs

Pluggable TCP congestion algorithms

IP Filter hooks

Socket Filter API

Socket Flow API

Solaris 11.2 でサポートされる新機能

55


参考情報

56 56


参考情報

• Oracle Solaris 11 Downloads

– http://www.oracle.com/technetwork/server-storage/solaris11/downloads/index.html

• Oracle Solaris 11.2 Information Library (英語)

– http://docs.oracle.com/cd/E36784_01/

• Oracle Solaris 11.2 Information Library (日本語)

– http://docs.oracle.com/cd/E56342_01/

– Oracle Solaris ネットワークの管理

57

http://www.oracle.com/technetwork/server-storage/solaris11/downloads/index.html

http://docs.oracle.com/cd/E36784_01/

http://docs.oracle.com/cd/E56342_01/


参考情報Oracle Solaris 11.2 をすぐに試せる VM テンプレート• Oracle Solaris 11.2 VM Downloads

http://www.oracle.com/technetwork/server-storage/solaris11/downloads/vm-templates-2245495.html

– Oracle Solaris 11.1 VM for Oracle VM VirtualBox

• VirtualBox にインポートするだけで Oracle Solaris 11.2 を試用可能

• Oracle Solaris 10 VM Downloads http://www.oracle.com/technetwork/server-storage/solaris11/downloads/virtual-machines-1355605.html

– Oracle Solaris 10 VM Template for Oracle VM VirtualBox

• VirtualBox にインポートするだけで Oracle Solaris 10 1/13 を試用可能

– Oracle VM Template for Oracle Solaris 10 Zones for SPARC/x86

• Oracle Solaris 10 Zones の構成情報テンプレート

• Oracle Solaris 11.1 VM for Oracle VM VirtualBox と組み合わせることで、VirtulBox 上で Solaris 11.1 と Solaris 10 Zones の試用環境を構築可能

• Solaris 11.2が動作する環境でも利用可能

58

http://www.oracle.com/technetwork/server-storage/solaris11/downloads/vm-templates-2245495.html

http://www.oracle.com/technetwork/server-storage/solaris11/downloads/virtual-machines-1355605.html


参考情報

• 製品情報とダウンロードhttp://www.oracle.com/us/products/servers-storage/solaris/solaris11/

• Oracle Technology Networkhttp://www.oracle.com/technetwork/jp/server-storage/solaris11

• Oracle Solaris 開発者向けリソースhttp://oracle.co.jp/solaris-developer

• System administrators communityhttp://oracle.com/technetwork/systems

• @ORCL_Solaris

• facebook.com/SolarisJP

• SlideShare.net/SolarisJP

• SlideShare.net/SolarisJPNight (Solaris ナイトセミナー資料)

59

http://www.oracle.com/us/products/servers-storage/solaris/solaris11/

http://www.oracle.com/technetwork/jp/server-storage/solaris11

http://oracle.co.jp/solaris-developer

http://oracle.com/technetwork/systems


過去のディープダイブセミナーについて• Solaris ディープダイブ #1

– Oracle Solaris 11の最新機能をご紹介

• ZFS , IPS,システム/ネットワーク/ストレージの仮想化機能

• Solaris ディープダイブ #2

– Oracle Solaris 11 のインストールや導入方法をご紹介

• 複数のインストール方法、Automates Installer、Distribution Constructor

• Solarisディープダイブ #3

– 最新OSへの移行: Solaris 11 への移行のススメ

• Solaris ディープダイブ #4

– 予測的セルフヒーリング: SMF, FMA

資料は下記にて公開中slideshare.net/SolarisJP

60

【第二回 ゼロからはじめる oracle solaris 11】03...

Software

【第二回ゼロからはじめる oracle solaris 11】03...