peering ispのネットワークオペレーターは 普段何をやっているのか ·...
TRANSCRIPT
![Page 1: Peering ISPのネットワークオペレーターは 普段何をやっているのか · ISPのネットワークオペレーターは 普段何をやっているのか July2012](https://reader034.vdocuments.mx/reader034/viewer/2022042307/5ed2d20bb6166f20e26987b4/html5/thumbnails/1.jpg)
ISPのネットワークオペレーターは普段何をやっているのか
July 2012 NEC BIGLOBE, Ltd. Seiichi Kawamura
©2012 NEC BIGLOBE, Ltd. 1
Peering 管理者
![Page 2: Peering ISPのネットワークオペレーターは 普段何をやっているのか · ISPのネットワークオペレーターは 普段何をやっているのか July2012](https://reader034.vdocuments.mx/reader034/viewer/2022042307/5ed2d20bb6166f20e26987b4/html5/thumbnails/2.jpg)
agenda
• IntroducDon to BIGLOBE’s operaDon team
• What peering managers do (in BIGLOBE’s case)
• challenges and the future of peering
©2012 NEC BIGLOBE, Ltd. 2
![Page 3: Peering ISPのネットワークオペレーターは 普段何をやっているのか · ISPのネットワークオペレーターは 普段何をやっているのか July2012](https://reader034.vdocuments.mx/reader034/viewer/2022042307/5ed2d20bb6166f20e26987b4/html5/thumbnails/3.jpg)
自己(自社)紹介
• BIGLOBEでPeering Management、SDN開発、IPv6 evangelismを担当
• NECビッグローブ株式会社 – 設立:2006年 7月 – 従業員:約600名 – ブロードバンド接続ユーザ:285万人
( 2012年3月時点)
– 月間総PV:9.7億 *
©2012 NEC BIGLOBE, Ltd. 3
* ネットレイティングス調べ
![Page 4: Peering ISPのネットワークオペレーターは 普段何をやっているのか · ISPのネットワークオペレーターは 普段何をやっているのか July2012](https://reader034.vdocuments.mx/reader034/viewer/2022042307/5ed2d20bb6166f20e26987b4/html5/thumbnails/4.jpg)
運用の体制 (BIGLOBEの場合)
©2012 NEC BIGLOBE, Ltd. 4
24/365の監視・保守
サーバ ネットワーク
構築・運用
インフラ バックボーン
開発
サービス システム
ファシリティ
![Page 5: Peering ISPのネットワークオペレーターは 普段何をやっているのか · ISPのネットワークオペレーターは 普段何をやっているのか July2012](https://reader034.vdocuments.mx/reader034/viewer/2022042307/5ed2d20bb6166f20e26987b4/html5/thumbnails/5.jpg)
ネットワークオペレーター
©2012 NEC BIGLOBE, Ltd. 5
24/365の監視・保守
サーバ ネットワーク
構築・運用
インフラ バックボーン
開発
サービス システム
ファシリティ
![Page 6: Peering ISPのネットワークオペレーターは 普段何をやっているのか · ISPのネットワークオペレーターは 普段何をやっているのか July2012](https://reader034.vdocuments.mx/reader034/viewer/2022042307/5ed2d20bb6166f20e26987b4/html5/thumbnails/6.jpg)
やってること
• 285万会員のISPサービスコアとアクセス – アクセス網交渉、ファイバ調達 – エッジ・コアルータ運用 – Peering、渉外、ポリシー策定、アドレス管理
• 数万物理サーバのデータセンターネットワーク – コアスイッチ、ToR、仮想スイッチ運用 – middle box(FW, IDS, VPNなど)運用 – 個別相談対応・・・
• 運用ツールの開発
©2012 NEC BIGLOBE, Ltd. 6
![Page 7: Peering ISPのネットワークオペレーターは 普段何をやっているのか · ISPのネットワークオペレーターは 普段何をやっているのか July2012](https://reader034.vdocuments.mx/reader034/viewer/2022042307/5ed2d20bb6166f20e26987b4/html5/thumbnails/7.jpg)
Why Peer?
• (例えば)BIGLOBEのユーザとOCNユーザとの間の通信が快適になる – インターネット接続の原点 – これを快適にしていく活動
• 他社提供のAPI(データストリームとか)のレスポンスを良くする
• Transitの売買 • など
©2012 NEC BIGLOBE, Ltd. 7
![Page 8: Peering ISPのネットワークオペレーターは 普段何をやっているのか · ISPのネットワークオペレーターは 普段何をやっているのか July2012](https://reader034.vdocuments.mx/reader034/viewer/2022042307/5ed2d20bb6166f20e26987b4/html5/thumbnails/8.jpg)
設定、運用 ・帯域、コスト管理 ・障害対応 ・HW作業、BGPセッション設定 ・local policy運用
交渉、戦略検討 ・Peeringポリシー策定、運用 ・Transit、回線調達 ・新POP開拓 ・コスト計算
Peering担当者とは
©2012 NEC BIGLOBE, Ltd. 8
AS2518 AS2518
AS2518
AS2518
AS2518
AS2518
![Page 9: Peering ISPのネットワークオペレーターは 普段何をやっているのか · ISPのネットワークオペレーターは 普段何をやっているのか July2012](https://reader034.vdocuments.mx/reader034/viewer/2022042307/5ed2d20bb6166f20e26987b4/html5/thumbnails/9.jpg)
Diving deeper into
Peering Management
9 ©2012 NEC BIGLOBE, Ltd.
![Page 10: Peering ISPのネットワークオペレーターは 普段何をやっているのか · ISPのネットワークオペレーターは 普段何をやっているのか July2012](https://reader034.vdocuments.mx/reader034/viewer/2022042307/5ed2d20bb6166f20e26987b4/html5/thumbnails/10.jpg)
トラフィックマネジメント
©2012 NEC BIGLOBE, Ltd. 10
ビジネス:セールス & コストバランス ユーザにどういうExperienceを提供したいか
何のために?
![Page 11: Peering ISPのネットワークオペレーターは 普段何をやっているのか · ISPのネットワークオペレーターは 普段何をやっているのか July2012](https://reader034.vdocuments.mx/reader034/viewer/2022042307/5ed2d20bb6166f20e26987b4/html5/thumbnails/11.jpg)
トラフィックその①:回線
• 回線の利用率 vs 回線のコスト • 管理で使うもの – 主にcacD – 回線の構成(コスト)はexcelです – 回線毎レポート生成をweeklyに(自作ツール)
– PNI or IX or Transitでしきい値、増設判断などの違いがある
©2012 NEC BIGLOBE, Ltd. 11
![Page 12: Peering ISPのネットワークオペレーターは 普段何をやっているのか · ISPのネットワークオペレーターは 普段何をやっているのか July2012](https://reader034.vdocuments.mx/reader034/viewer/2022042307/5ed2d20bb6166f20e26987b4/html5/thumbnails/12.jpg)
©2012 NEC BIGLOBE, Ltd. 12
JPNAP
JPIX
Equinix Tokyo
Equinix SJ
2914
2516 6453
Content系PNI
ISP系PNI core1
core2
lit fiber
dark fiber
sub sea cable dark fiber
dark fiber
cross connect cross connect
cross connect
dark fiber
AS2518 as of July 2012
![Page 13: Peering ISPのネットワークオペレーターは 普段何をやっているのか · ISPのネットワークオペレーターは 普段何をやっているのか July2012](https://reader034.vdocuments.mx/reader034/viewer/2022042307/5ed2d20bb6166f20e26987b4/html5/thumbnails/13.jpg)
トラフィックその②:Peer
• Peerしたい/してる相手とのトラフィック – Originベースでのトラフィック量 – Top traffic generaDng origin – Flowデータ
©2012 NEC BIGLOBE, Ltd. 13
IX接続部分は IX事業者提供のflowデータ(GUI)
PNI、transitは自前運用の商用
ツール
![Page 14: Peering ISPのネットワークオペレーターは 普段何をやっているのか · ISPのネットワークオペレーターは 普段何をやっているのか July2012](https://reader034.vdocuments.mx/reader034/viewer/2022042307/5ed2d20bb6166f20e26987b4/html5/thumbnails/14.jpg)
率直に思うこと
• もっと良い管理方法は絶対ある – トラフィックその①の要素とその②の要素を統
合で管理できるのが理想 – 気軽に使える良いツールが無いのも事実 – transit売りor global operaDonでないとお金も時間
もかけられない
• どことPeerするとどのようにトラフィックが動くのか、inbound側の予測ツールがほしい
©2012 NEC BIGLOBE, Ltd. 14
![Page 15: Peering ISPのネットワークオペレーターは 普段何をやっているのか · ISPのネットワークオペレーターは 普段何をやっているのか July2012](https://reader034.vdocuments.mx/reader034/viewer/2022042307/5ed2d20bb6166f20e26987b4/html5/thumbnails/15.jpg)
例えば
©2012 NEC BIGLOBE, Ltd. 15
AS 65001
AS 65010
AS 65020
AS 2518
transit
transit
transit
transit
![Page 16: Peering ISPのネットワークオペレーターは 普段何をやっているのか · ISPのネットワークオペレーターは 普段何をやっているのか July2012](https://reader034.vdocuments.mx/reader034/viewer/2022042307/5ed2d20bb6166f20e26987b4/html5/thumbnails/16.jpg)
例えば
©2012 NEC BIGLOBE, Ltd. 16
AS 65001
AS 65010
AS 65020
AS 2518
transit
transit
transit
transit
![Page 17: Peering ISPのネットワークオペレーターは 普段何をやっているのか · ISPのネットワークオペレーターは 普段何をやっているのか July2012](https://reader034.vdocuments.mx/reader034/viewer/2022042307/5ed2d20bb6166f20e26987b4/html5/thumbnails/17.jpg)
例えば
©2012 NEC BIGLOBE, Ltd. 17
AS 65001
AS 65010
AS 65020
AS 2518
transit
transit
transit
transit
Peer!
安くなった!
![Page 18: Peering ISPのネットワークオペレーターは 普段何をやっているのか · ISPのネットワークオペレーターは 普段何をやっているのか July2012](https://reader034.vdocuments.mx/reader034/viewer/2022042307/5ed2d20bb6166f20e26987b4/html5/thumbnails/18.jpg)
シンプル?
• 65010とPeerするまで、65010が65001のtransitである事は見えない
• これが見えたら、すごい効率的なpeeringができる – トランジット事業には悪影響かも・・・ – 上流可視化
©2012 NEC BIGLOBE, Ltd. 18
local policyは外から隠蔽されているため guessingするしかない
![Page 19: Peering ISPのネットワークオペレーターは 普段何をやっているのか · ISPのネットワークオペレーターは 普段何をやっているのか July2012](https://reader034.vdocuments.mx/reader034/viewer/2022042307/5ed2d20bb6166f20e26987b4/html5/thumbnails/19.jpg)
©2012 NEC BIGLOBE, Ltd. 19
コスト観点のみ でpeeringすること
はできない・・・
![Page 20: Peering ISPのネットワークオペレーターは 普段何をやっているのか · ISPのネットワークオペレーターは 普段何をやっているのか July2012](https://reader034.vdocuments.mx/reader034/viewer/2022042307/5ed2d20bb6166f20e26987b4/html5/thumbnails/20.jpg)
ロケーション
• 物理的なロケーション – 逆引き重要 – 国、市、データセンター名 – 今のところPeeringDBが大活躍
• PeeringDBとtracerouteの結果を合わせて – 「どのIXに接続すると」「どことPeerできて」「レイテ
ンシがどれくらい改善するのか」がわかる • 問題:キャリアニュートラルでないセンターは
相当隠蔽されている
©2012 NEC BIGLOBE, Ltd. 20
![Page 21: Peering ISPのネットワークオペレーターは 普段何をやっているのか · ISPのネットワークオペレーターは 普段何をやっているのか July2012](https://reader034.vdocuments.mx/reader034/viewer/2022042307/5ed2d20bb6166f20e26987b4/html5/thumbnails/21.jpg)
効果を測るには
• inbound品質改善はどう測る? – NLNOG RING – (ロケーション選択できる)クラウドを借りる
• Sollayer, amazon, OVHあたりを借りればかなり安くプローブがグローバルにたくさんおける • プローブでtcpのスループット試験
– 各地にちらばっているlooking glass
©2012 NEC BIGLOBE, Ltd. 21
![Page 22: Peering ISPのネットワークオペレーターは 普段何をやっているのか · ISPのネットワークオペレーターは 普段何をやっているのか July2012](https://reader034.vdocuments.mx/reader034/viewer/2022042307/5ed2d20bb6166f20e26987b4/html5/thumbnails/22.jpg)
最後はこれ
©2012 NEC BIGLOBE, Ltd. 22
![Page 23: Peering ISPのネットワークオペレーターは 普段何をやっているのか · ISPのネットワークオペレーターは 普段何をやっているのか July2012](https://reader034.vdocuments.mx/reader034/viewer/2022042307/5ed2d20bb6166f20e26987b4/html5/thumbnails/23.jpg)
Beering
• 結局peeringでは – 人間ネットワーキング>>>ツール
• ロケーション情報、回線事情をお互いにdisclose
• 新しくIXにつないだら自己紹介! – 結構メール来る
• でも本当はツールをもっと強化したい
©2012 NEC BIGLOBE, Ltd. 23
![Page 24: Peering ISPのネットワークオペレーターは 普段何をやっているのか · ISPのネットワークオペレーターは 普段何をやっているのか July2012](https://reader034.vdocuments.mx/reader034/viewer/2022042307/5ed2d20bb6166f20e26987b4/html5/thumbnails/24.jpg)
課題
• 日本人は隠しがち – かつての自分も例外ではありません・・・
• Tier構造がどうなっているというデータはもっとあってもいいはず
©2012 NEC BIGLOBE, Ltd. 24
![Page 25: Peering ISPのネットワークオペレーターは 普段何をやっているのか · ISPのネットワークオペレーターは 普段何をやっているのか July2012](https://reader034.vdocuments.mx/reader034/viewer/2022042307/5ed2d20bb6166f20e26987b4/html5/thumbnails/25.jpg)
たどりついた原則
©2012 NEC BIGLOBE, Ltd. 25
Peering は、目的に沿った情報を 公開している人ほど、
まともで目的に沿った Peeringを達成できている
![Page 26: Peering ISPのネットワークオペレーターは 普段何をやっているのか · ISPのネットワークオペレーターは 普段何をやっているのか July2012](https://reader034.vdocuments.mx/reader034/viewer/2022042307/5ed2d20bb6166f20e26987b4/html5/thumbnails/26.jpg)
例
• 成功しているASは – looking glassまたはroute serverを公開している – 研究目的に経路を提供している – peeringDBに情報を公開している – IRRの経路情報をアップデートしている – Peering Policyが適切に公開されている
©2012 NEC BIGLOBE, Ltd. 26
![Page 27: Peering ISPのネットワークオペレーターは 普段何をやっているのか · ISPのネットワークオペレーターは 普段何をやっているのか July2012](https://reader034.vdocuments.mx/reader034/viewer/2022042307/5ed2d20bb6166f20e26987b4/html5/thumbnails/27.jpg)
CDNがもたらす影響
• 今後Peeringの力学に大きな影響をもたらすと思われる
• キャッシュ設置vsPeerでもらう • ISP独自キャッシュ、CDN FederaDon、など
様々な施策
©2012 NEC BIGLOBE, Ltd. 27
透明化活動は今からやっておいた方が全体のメリットになるのでは?
注意
![Page 28: Peering ISPのネットワークオペレーターは 普段何をやっているのか · ISPのネットワークオペレーターは 普段何をやっているのか July2012](https://reader034.vdocuments.mx/reader034/viewer/2022042307/5ed2d20bb6166f20e26987b4/html5/thumbnails/28.jpg)
まとめ
• Peeringは「足でかせぐ」地道なプロセス • Inbound traffic予測がもっとうまくできるように
なると良い • Tier関係(上流)可視化がもっと進んでほしい • 今後はCDNの存在感に注目 • もう少しscienDficなプロセスになるような工夫
を試してみたい
©2012 NEC BIGLOBE, Ltd. 28
![Page 29: Peering ISPのネットワークオペレーターは 普段何をやっているのか · ISPのネットワークオペレーターは 普段何をやっているのか July2012](https://reader034.vdocuments.mx/reader034/viewer/2022042307/5ed2d20bb6166f20e26987b4/html5/thumbnails/29.jpg)
【参考】有益な情報を提供してくれる
• bgp.he.net, lg.he.net • peeringdb.com (whoisでもひけます) • radb • 各IXのポータル(ほぼ会員限定機能) • RIPE Labs提供ツール(RISなど)
©2012 NEC BIGLOBE, Ltd. 29