wakamonog6 “ispのネットワーク”ってどんなネットワーク？

“ISPのネットワーク”ってどんなネットワーク？

wakamonog meeting 6 ルーティングチュートリアルチュートリアル

松本智

Satoshi Matsumoto

自己紹介

• 松本智（まつもとさとし）

• お仕事 – ネットワークエンジニア

• いわゆるインターネット屋さん

– Iネットワーク設計・構築・運用・ツール開発・コミュニティ活動等 • 必要なことをひと通りやってます

– 好きなコマンドはshow bgp summary

• 趣味

– ビール – 車

Q.ISPが売っているものって何？

たとえば

• 様々なものが身近なところで売られている – 個人向け

• Flets等のブロードバンドインターネット • モバイル通信サービス • 公衆無線LAN

– 企業向け • 専用線 • VPN • 店舗向けワイヤレスインターネット接続等 • モバイル通信サービス

ネットワークとの“接続性“

• ISPは“接続性”を売っている

– 大半はインターネットへの接続性

• ブロードバンド、専用線、モバイル…

• インターネットという広大なネットワークとの接続性

– 中には閉域網への接続性 • PBB(Private Backbone)

• VPNによる拠点間の接続

• データセンターと自社を直結した接続サービス

• 特定のNWとの接続性

– どちらも、ネットワーク同士の接続性を提供している

A.ISPは接続性を売っている NWとNWをつなげるのが仕事

Q.“ISPのネットワーク”とはどんなネットワークか？

“ISPのネットワーク“のイメージ

• 世間的にバックボーンと呼ばれているもの

–実態はISPが自社で保有するネットワーク

– AS(Autonomous System, 自律システム）として世の中的に露出している

• IIJ：AS2497、KDDI：AS2516、OCN：AS4713、などなど

• 無数の“ISPのネットワーク”等がつながってインターネットの一部となっている

“ISPのネットワーク”の目的

• 接続性を提供すること –誰に（Who）

• お客様やお客様が使うサービスに

–どこと（Where） • インターネットや、お客様個別のネットワーク

–どう（How） • 専用線やFlets、モバイル等

• ISPが提供するサービス

–繋ぐ（Routing/Forwarding） • パケットを運ぶ

ISPが提供するサービス

• 様々な形で接続性を提供 – インターネットに繋ぐ

• 専用線、ブロードバンド、モバイル

– コンテンツを預かる • ホスティング、クラウド

• そしてそれらをインターネットに繋ぐ

– 各種ネットワークサービス • メール、ホスティング

• 事業者によって様々

• サービスを介して様々なトラフィックが発生する

“ISPのネットワーク”の役割

• 様々なサービスで発生したトラフィックを運ぶこと！

– トラフィックは、通信先に届いて初めて価値が出る

– そんなトラフィックを丁寧に一つもこぼさず正確に素早く運ぶこと

– もちろん到達性の保証はより高レイヤーで実装するべき

– ISPのネットワーク品質を信頼できるのも日本のすごいところ

– 縁の下で支えている人がたくさん居ます

– それが “ISPのネットワーク”の仕事

11

A.ISPが提供するサービスで発生したトラフィックを運ぶためのネットワーク

Q.“ISPのネットワーク”はどんな構成？

“ISPのネットワーク”の基本的な構成

• サービスを提供するための設備 – サービス収容ルータ

• サービスで発生したトラフィックを運ぶ設備 – バックボーンルータ

• 他のASと接続するための設備 – IXルーター

この３役の連携プレイで構成している

※名称は様々ですが役割としては概ねこの３つ

サービス収容ルータ

専用線


ブロードバンド


モバイル


クラウド

バックボーンルータ






IXルータ IXルータ

他のASのネットワーク


発生したトラフィックは各ルータを通って様々なところに運ばれていく

Internet eXchange

Internet eXchange

扱う技術要素・規模感は様々

• サービスの規模に合わせや設備設計 – サービスが出すトラフィックを元に規模感を想定

• 1Gbpsしか出さないサービスに100Gbpsのポートは無駄 • 必要な需要に合わせた設備を作って、高コスト効率化 • もちろん、将来サービスが成長することも見込む

– サービス毎に使う技術も様々 • 基本的なrouting / forwarding に加えて • 個別のセッションを管理したりVPNを構成したり等 • サービス独自の機能を利用している

• サービス収容ルータに機能を集約させることでバックボーンを扱いやすくする

時流にのって常に進化

• トラフィックを運ぶ使命のために

–ニーズに答えて常に進化

–増える国際トラフィック

– DR（災害）対策

–新しい技術の採用

• 100G Ethernet の活用

• MPLSによる広域閉域網

• モバイル用交換機

• などなど

17

“ISPのネットワーク”の経路制御の例

• IGPとEGPの使い分け – IGP

• トポロジを管理する • 具体的にはOSPF • 機器のLoopbackやPtoP、BGP Nexthopとなるセグメント（IXのセグメントやPeerのセグメント）の経路をArea0で共有

• トラフィックバランスの制御

– EGP • 到達性を管理する • 具体的にはBGP • 各サービスで使う個別の経路

– ex) あるデータセンターで使う経路は纏めて広報 » 細かい制御はデータセンター内の閉じたところで行う

– PrivateASとして“分離独立”させることもある

• 他ASから受け取った経路 – トラフィック制御をするための様々な工夫を実施

• 自ASの経路を外部に広報

“ISPのネットワーク”の経路制御の例

バックボーン


IXルータ



• 外部ASから受け取った経路をBGPでバックボーンに注入 • 国や地域によって community をつける IXルータ


• サービス個別の経路をBGPやOSPFでバックボーンに注入

• バックボーンではOSPFでトポロジを管理 • OSPF Area 0

• BGPで個別の経路を保有 • 各サービスに経路を提供

大阪東京

OSPFによる経路制御

• トポロジを管理する – より障害に強く輻輳しにくいNWを作るため – ECMP等でのトラフィックバランスの制御





• OSPFのコストを調整してバックアップパスを確保

• 回線が切れたら自動で迂回がかかる

Cost 1000

Cost 10

Cost 10 Cost

1000

大阪から東京に向かうトラフィックは２本の回線にバランスする

BGPによる経路制御

• AS内外、サービス毎にPrefixを区別して制御 – 用途、目的をわかりやすくするように経路を作る

• 質の良い経路を維持して、良いサービスを実現するのが目的

– BGP communityによる経路の色付け • サービス毎に区別する

– このサービスにはこのcommunity をつけるルール

– community（サービス）ごとに制御をかけられるようになる

• お客様に渡したい特定の経路 – 他ASのリージョン経路（日本国内のみやUS飲みなど）

» 日本国内の細かい経路はほしいが海外はdefaultで良い等

» BGP communityを活用することで実装できる

Private ASを使ったサービスネットワークの分離


サービス

• バックボーンはグローバルASで運用 • AS内で一意のポリシー

• バックボーンから見るとサービスへの大雑把な経路は知っている状態

• サービス内部の細かい経路制御には感知しない • サービスに対してバックボーンがトランジットを提供

• 縦関係の相互接続

• 個別のサービス毎にプライベートASを運用 • サービスの経路に特定の community をつけてバックボーンに広報する

• サービス内では細やかな経路制御が可能 • 経路制御を変更してもバックボーンに影響が出ない • メンテナンスがしやすくなる

eBGP

Peering戦略

• “ISPのネットワーク”をより強くするための戦略 – 世界への到達性をもっと良くする

• それがPeering戦略 – 到達性が良くなると、サービスの品質が上がる

• 様々な問題が起こるので頑張って解決 – 海外との遅延が大きい

» TransitASを経由すると遠い、どこを通るか制御できない

» 自前でPeeringして近くする

– 特定の国との通信が夜間に輻輳する

» Peering帯域の増強等

• 国や地域の特性を強く受ける – Peering文化にも違いがある

A.サービスを提供しやすく運用しやすい構成を

あらゆる手段で実現する

“ISPのネットワーク”とは

• “ISP “ は様々な形で接続性を提供

• “ISPのネットワーク“ はサービスで発生したトラフィックを運ぶためのネットワーク

• “ISPのネットワーク“ はサービスを提供しやす

く運用に無理が出ない構成で、常に進化し続けるネットワーク

wakamonog6 “ispのネットワーク”って どんなネットワーク？

Internet

wakamonog6 “ispのネットワーク”ってどんなネットワーク？