openstack最新情報セミナー(2015年12月) ライトニング...
TRANSCRIPT
COPYRIGHT © 2015 MITSUBISHI ELECTRIC INFORMATION SYSTEMS CORPORATION ALL RIGHTS RESERVED 1 COPYRIGHT © 2014 MITSUBISHI ELECTRIC INFORMATION SYSTEMS CORPORATION ALL RIGHTS RESERVED COPYRIGHT © 2015 MITSUBISHI ELECTRIC INFORMATION SYSTEMS CORPORATION ALL RIGHTS RESERVED
Lightning Talk
2015年12月02日
三菱電機インフォメーションシステムズ(略称 MDIS )
吉川 晃平
ご注意
• 本書の内容の一部又は全部を当社に断りなく、いかなる形でも転載又は複製することは、固くお断りします。
• 本文記載の社名、製品名、ロゴは各社の商標または登録商標です。
• OpenStack® のワードマークと OpenStack のロゴは、米国とその他の国における OpenStack Foundation の登録商標/サービスマークまたは商標/サービスマークのいずれかであり、OpenStack Foundation の許諾の下に使用されています。
• VMware vSphere®、VMware ESXi™は米国およびその他の地域における VMware 商標および登録商標です。
COPYRIGHT © 2015 MITSUBISHI ELECTRIC INFORMATION SYSTEMS CORPORATION ALL RIGHTS RESERVED 2
自己紹介
吉川 晃平 (よしかわ こうへい)
発表者
• OpenStack: 勉強中
• 趣味:スキー
• 好きな食べ物: ラーメンパスタから肉チーズに改宗
インフラ系 システムエンジニア
経歴
• 海底ケーブルの監視GUI
• ISPのホームページ公開システム
• オンプレミスのWebポータル共通基盤 続きはWebで
COPYRIGHT © 2015 MITSUBISHI ELECTRIC INFORMATION SYSTEMS CORPORATION ALL RIGHTS RESERVED 3 3 COPYRIGHT © 2015 MITSUBISHI ELECTRIC INFORMATION SYSTEMS CORPORATION ALL RIGHTS RESERVED
3
COPYRIGHT © 2015 MITSUBISHI ELECTRIC INFORMATION SYSTEMS CORPORATION ALL RIGHTS RESERVED 4
発表の概要
社内にOpenStack®の講習やPoCを行うための環境をつくりました。
#技術的にはOpenStackと関係のない内容が多めです・・・
COPYRIGHT © 2015 MITSUBISHI ELECTRIC INFORMATION SYSTEMS CORPORATION ALL RIGHTS RESERVED 5
成果の概要
• 複数グループが同時にそれぞれのOpenStackを構築・検証できるようになりました
• 実際に社内ハンズオンを開催しました
• これからいろいろ活躍しそうです
COPYRIGHT © 2015 MITSUBISHI ELECTRIC INFORMATION SYSTEMS CORPORATION ALL RIGHTS RESERVED 6 6 COPYRIGHT © 2015 MITSUBISHI ELECTRIC INFORMATION SYSTEMS CORPORATION ALL RIGHTS RESERVED
6
COPYRIGHT © 2015 MITSUBISHI ELECTRIC INFORMATION SYSTEMS CORPORATION ALL RIGHTS RESERVED 7
きっかけ
社内で「OpenStackやりたいね」機運たかまる
なりゆきで私が担当者に
ひとりでやるより皆でやろう
社内ハンズオン講習いいね!
COPYRIGHT © 2015 MITSUBISHI ELECTRIC INFORMATION SYSTEMS CORPORATION ALL RIGHTS RESERVED 8 8 COPYRIGHT © 2015 MITSUBISHI ELECTRIC INFORMATION SYSTEMS CORPORATION ALL RIGHTS RESERVED
8
COPYRIGHT © 2015 MITSUBISHI ELECTRIC INFORMATION SYSTEMS CORPORATION ALL RIGHTS RESERVED 9
解決したい課題
講習会で受講者(社員・関連会社)が利用する 「OpenStackを作る環境」が必要になった。 ① 環境が貧しいなりにも受講毎に独立した環境を提供したい
② 講習会場や自学先からセキュアにアクセスできるようにしたい
弊社内講習会場 弊社検証機器 講師
受講者
VPN
弊社
COPYRIGHT © 2015 MITSUBISHI ELECTRIC INFORMATION SYSTEMS CORPORATION ALL RIGHTS RESERVED 10
Compute Node
学習に必要なマシン(一人)
Public network (Floating IP割当)
Controler
Node
Network
Node
em1 em1 em1
em2 em2 em2
em1
em2
em1
em2
default GW
受講者 VPN
OpenStack 管理用Network
テナント内Net (OvS)
Instance
Instance
Instance
em1
em2
※OpenStack Installation Guide for Ubuntu 14.04 kiloベース ( http://docs.openstack.org/kilo/install-guide/install/apt/content/index.html )
COPYRIGHT © 2015 MITSUBISHI ELECTRIC INFORMATION SYSTEMS CORPORATION ALL RIGHTS RESERVED 11
ハンズオンを開くとなると
default GW
受講者 VPN
グループ ① グループ ②
グループ ③ グループ ④
グループ ⑤ グループ ⑥
グループ ⑦ グループ ⑧
COPYRIGHT © 2015 MITSUBISHI ELECTRIC INFORMATION SYSTEMS CORPORATION ALL RIGHTS RESERVED 12
ハンズオンをひらくとなると・・・
1受講グループあたり
① [Controller node] (KVMでglance,nova,horizon,cinder,MQ,RDB格納)
② [Network node] (neutron)
③ [Compute node] (nova-compute )
×8グループ=24サーバー必要!
※OpenStack Installation Guide for Ubuntu 14.04 kiloベース ( http://docs.openstack.org/kilo/install-guide/install/apt/content/index.html )
COPYRIGHT © 2015 MITSUBISHI ELECTRIC INFORMATION SYSTEMS CORPORATION ALL RIGHTS RESERVED 13
リソースたりない
• ハンズオンを開くにはサーバー台数が全く足りない
–(物理サーバー数台)
• 固定IPが1つしかない
COPYRIGHT © 2015 MITSUBISHI ELECTRIC INFORMATION SYSTEMS CORPORATION ALL RIGHTS RESERVED 14 14 COPYRIGHT © 2015 MITSUBISHI ELECTRIC INFORMATION SYSTEMS CORPORATION ALL RIGHTS RESERVED
14
COPYRIGHT © 2015 MITSUBISHI ELECTRIC INFORMATION SYSTEMS CORPORATION ALL RIGHTS RESERVED 15
トライしたこと
① VMWare vSphere®でネストさせた仮想環境に講習環境を詰め込んだ
②講習会場-機器間にVPN経路を引いた
COPYRIGHT © 2015 MITSUBISHI ELECTRIC INFORMATION SYSTEMS CORPORATION ALL RIGHTS RESERVED 16
トライしたこと①仮想環境のネスト
• 検証に必要なサーバーをVMWare ESXi™上の仮想マシンで提供(KVM on ESXi)
• シンプロビジョニング、オーバーコミットしまくり
• 当然スワップまみれ。性能は考慮しない。
物理 サーバ数台+物理SW
VMWare ESXi 、仮想SW (tagged VLAN)
受講グループ1
仮想マシン 1
Controller node
KVM
nova
KVM
glance
KVM
horizon
KVM
mariaDB
KVM
rabbitMQ
KVM
swift
KVM
cinder
仮想マシン 2
Network node
neutron
仮想マシン 3
Compute node
KVM
instance 1
KVM
instance N
×8
仮想マシン x 3
node x 3
vCenter Server VMWare
で 用意
受講者 が 作る
COPYRIGHT © 2015 MITSUBISHI ELECTRIC INFORMATION SYSTEMS CORPORATION ALL RIGHTS RESERVED 17
トライしたこと②会場から環境へのアクセス
• 検証環境内からは(VPNを介さず)インターネット疎通可能に
• 外部から検証環境へはVPN経由のみ許可
① 国外からのアクセス拒否
② ID/Password認証
③ SSL-VPN
④ ユーザーグループ毎に専用のネットワークスペース
VPNで許可
サーバー環境
外部サイト (リポジトリ等)
許可
拒否
講習会場
COPYRIGHT © 2015 MITSUBISHI ELECTRIC INFORMATION SYSTEMS CORPORATION ALL RIGHTS RESERVED 18 18 COPYRIGHT © 2015 MITSUBISHI ELECTRIC INFORMATION SYSTEMS CORPORATION ALL RIGHTS RESERVED
18
COPYRIGHT © 2015 MITSUBISHI ELECTRIC INFORMATION SYSTEMS CORPORATION ALL RIGHTS RESERVED 19
ネットワークスタック
物理配線 (Ethernet)
VLAN (L2SW, VMWare仮想スイッチ)
GREトンネル
[Open vSwitch]
仮想ブリッジ
Tenant Private
Tenant Floting
OpenStack (Kilo) nodes
vCenter Server
VPN GW
Internet GW
RIP Internet
◆Global IPが1個しかない。 ⇒がんばってやりくりするしか
COPYRIGHT © 2015 MITSUBISHI ELECTRIC INFORMATION SYSTEMS CORPORATION ALL RIGHTS RESERVED 20
受講者へ提供するネットワーク
物理配線 (Ethernet)
VLAN(L2SW, VMWare仮想スイッチ)
GREトンネル
[Open vSwitch]
仮想ブリッジ
Tenant Private
Tenant Floting
OpenStack nodes
vCenter Server
VPN GW
Internet GW
受講者へ提供する環境 [仮想マシンx3,サブネットx2 ]/受講者 × 8 グループ
RIP Internet
OpenStack 構築に専念!!
受講者x8grp
COPYRIGHT © 2015 MITSUBISHI ELECTRIC INFORMATION SYSTEMS CORPORATION ALL RIGHTS RESERVED 21
環境へのアクセス経路
物理配線 (Ethernet)
VLAN(L2SW, VMWare仮想スイッチ)
GREトンネル
[Open vSwitch]
仮想ブリッジ
Tenant Private
Tenant Floting
OpenStack nodes
vCenter Server
VPN GW
Internet GW
NAPT
VPN確立 IP・経路 リース
NAT RIP
Floating IP
Internet
ログイン時のユーザーIDに応じて接続先VLANを選択
受講者のネットワークアドレスは重複してもよいようにルーティングテーブル分割
受講者x8grp
テキストどおりの IPアドレス!
Tenant 1
Tenant 2
Tenant 3
Tenant 8
・・・
COPYRIGHT © 2015 MITSUBISHI ELECTRIC INFORMATION SYSTEMS CORPORATION ALL RIGHTS RESERVED 22
テナント内からインターネットへの経路
物理配線 (Ethernet)
VLAN(L2SW, VMWare仮想スイッチ)
GREトンネル
[Open vSwitch]
仮想ブリッジ
Tenant Private
Tenant Floting
OpenStack nodes
vCenter Server
VPN GW
Internet GW
NAPT
SNAT + Route Domain
SNAT
RIP
Floating IP
Internet
テナント内からInternetへはVPNを経由させず直接アクセスさせる。
テナント内サーバーからはdefaultGWにアクセスしてるだけにみせる。
受講者
apt-get叩けないと 講習にならないからね
COPYRIGHT © 2015 MITSUBISHI ELECTRIC INFORMATION SYSTEMS CORPORATION ALL RIGHTS RESERVED 23 23 COPYRIGHT © 2015 MITSUBISHI ELECTRIC INFORMATION SYSTEMS CORPORATION ALL RIGHTS RESERVED
23
COPYRIGHT © 2015 MITSUBISHI ELECTRIC INFORMATION SYSTEMS CORPORATION ALL RIGHTS RESERVED 24
VMWare設定:VLAN
受講グループ1用の VLAN (Tag付)
物理NICはVLAN ID=0 (タグつけたままトランク)
① 受講グループ毎のVLANを仮想スイッチ内に作る ② 物理アダプタは「VLAN ID=なし(0)」を選ぶ (Tagを付けたまま物理スイッチへ流す)
COPYRIGHT © 2015 MITSUBISHI ELECTRIC INFORMATION SYSTEMS CORPORATION ALL RIGHTS RESERVED 25
VMWare設定:仮想スイッチ
テナントの仮想ネットワークを流す 仮想スイッチの 「セキュリティ」→「ポリシー例外」 →「無差別モード」を 「承諾」に変更する。
COPYRIGHT © 2015 MITSUBISHI ELECTRIC INFORMATION SYSTEMS CORPORATION ALL RIGHTS RESERVED 26
VMWare設定:仮想マシン設定
KVM on ESXiネストする仮想マシンの.vmxファイルに vhv.enable = TRUE 行を追加する。(仮想マシン上でVT-xを有効にするため)
COPYRIGHT © 2015 MITSUBISHI ELECTRIC INFORMATION SYSTEMS CORPORATION ALL RIGHTS RESERVED 27
構築内容:ネストした仮想マシン
①受講者PC画面
②vCenter RDP
③Ubuntu Desktop
vCenter コンソール画面
④KVM上の Ubuntu Server
仮想マシンマネージャの コンソール画面
ちゃんと動きました
COPYRIGHT © 2015 MITSUBISHI ELECTRIC INFORMATION SYSTEMS CORPORATION ALL RIGHTS RESERVED 28
構築内容:VPNスタック
IP Geolocation Matching JP以外のIPを拒否
SSL-VPN ログイン
ID/Password認証
IDが所属するグループ毎に 場合分け
グループ毎に接続経路を割当 - 接続先VLAN
- ルーティングテーブル - 静的ルート
- リースIPレンジ
That's all !
COPYRIGHT © 2015 MITSUBISHI ELECTRIC INFORMATION SYSTEMS CORPORATION ALL RIGHTS RESERVED 29
国外srcIPからのアクセス拒否の例
JP以外からのアクセスなので 拒否
srcIPから地域を検索 CC=BG(ブルガリア)
C=EU (欧州)
COPYRIGHT © 2015 MITSUBISHI ELECTRIC INFORMATION SYSTEMS CORPORATION ALL RIGHTS RESERVED 30
ID認証とSSL-VPN確立
・・・普通につながります
COPYRIGHT © 2015 MITSUBISHI ELECTRIC INFORMATION SYSTEMS CORPORATION ALL RIGHTS RESERVED 31
ルーティングテーブルの分割
• Route Domainという仕組みを使い、受講グループ毎にルーティングテーブルを分割しました。 ①受講グループ向け
GWの設定 ②受講グループ・Internet間のSNAT
グループ11 ID=1111 グループ10 ID=1110
重複するアドレスを Route Domain idで区別する
重複するネットワークから1つの グローバルIPへSNATさせる
COPYRIGHT © 2015 MITSUBISHI ELECTRIC INFORMATION SYSTEMS CORPORATION ALL RIGHTS RESERVED 32 32 COPYRIGHT © 2015 MITSUBISHI ELECTRIC INFORMATION SYSTEMS CORPORATION ALL RIGHTS RESERVED
32
COPYRIGHT © 2015 MITSUBISHI ELECTRIC INFORMATION SYSTEMS CORPORATION ALL RIGHTS RESERVED 33
解決できたこと
• 同時に8グループ約20人がOpenStackを構築・検証できる環境を用意できました
COPYRIGHT © 2015 MITSUBISHI ELECTRIC INFORMATION SYSTEMS CORPORATION ALL RIGHTS RESERVED 34
解決できたこと
講師を招き社内でOpenStack構築の ハンズオンセミナーを開催することができました
弊社内講習会場 弊社検証機器 講師
受講者
VPN
弊社
COPYRIGHT © 2015 MITSUBISHI ELECTRIC INFORMATION SYSTEMS CORPORATION ALL RIGHTS RESERVED 35 35 COPYRIGHT © 2015 MITSUBISHI ELECTRIC INFORMATION SYSTEMS CORPORATION ALL RIGHTS RESERVED
35
COPYRIGHT © 2015 MITSUBISHI ELECTRIC INFORMATION SYSTEMS CORPORATION ALL RIGHTS RESERVED 36
課題
• 相変わらず貧弱なサーバー
–需要増えて重くなってきた・・・
– サーバー増やして仮想化ネストをやめて恒常的なBMS導入や物理機器のcinder/neutron連携も・・・・したいなと
COPYRIGHT © 2015 MITSUBISHI ELECTRIC INFORMATION SYSTEMS CORPORATION ALL RIGHTS RESERVED 37
今後の展望
講習後の環境は、
– CI/CD
– BMS制御
などいくつかのPoCで活用しています
COPYRIGHT © 2015 MITSUBISHI ELECTRIC INFORMATION SYSTEMS CORPORATION ALL RIGHTS RESERVED 38
最後に宣伝・・・
ホワイトボックス スイッチ
も取り組んでます
11/16 広報発表
出典:クラウドWatch http://cloud.watch.impress.co.jp/docs/news/20151116_730791.html
続きはWebで
COPYRIGHT © 2015 MITSUBISHI ELECTRIC INFORMATION SYSTEMS CORPORATION ALL RIGHTS RESERVED 39 39 COPYRIGHT © 2015 MITSUBISHI ELECTRIC INFORMATION SYSTEMS CORPORATION ALL RIGHTS RESERVED
39