ヤフーのip clos ネットワーク -...
TRANSCRIPT
![Page 1: ヤフーのIP CLOS ネットワーク - JANOG...data-center-fabric-the-next-generation-facebook-data-center-network/ IP CLOS ネットワークとは P11 n East-West Traffic 増 に対応](https://reader033.vdocuments.mx/reader033/viewer/2022060403/5f0e89be7e708231d43fb9ac/html5/thumbnails/1.jpg)
P
ヤフーのIP CLOS ネットワークサイトオペレーション本部
インフラ技術3部村越 健哉
![Page 2: ヤフーのIP CLOS ネットワーク - JANOG...data-center-fabric-the-next-generation-facebook-data-center-network/ IP CLOS ネットワークとは P11 n East-West Traffic 増 に対応](https://reader033.vdocuments.mx/reader033/viewer/2022060403/5f0e89be7e708231d43fb9ac/html5/thumbnails/2.jpg)
P⾃⼰紹介 2
n 名前u村越 健哉(むらこし けんや)
n 所属uサイトオペレーション本部 インフラ技術3部
n 仕事uヤフーのプロダクションネットワーク全般
![Page 3: ヤフーのIP CLOS ネットワーク - JANOG...data-center-fabric-the-next-generation-facebook-data-center-network/ IP CLOS ネットワークとは P11 n East-West Traffic 増 に対応](https://reader033.vdocuments.mx/reader033/viewer/2022060403/5f0e89be7e708231d43fb9ac/html5/thumbnails/3.jpg)
Pアジェンダ 3
n Hadoopネットワーク変遷n IP CLOS ネットワーク構成 詳細
u設計u構築u運⽤
n Hadoopテスト結果n 課題と今後の展望
![Page 4: ヤフーのIP CLOS ネットワーク - JANOG...data-center-fabric-the-next-generation-facebook-data-center-network/ IP CLOS ネットワークとは P11 n East-West Traffic 増 に対応](https://reader033.vdocuments.mx/reader033/viewer/2022060403/5f0e89be7e708231d43fb9ac/html5/thumbnails/4.jpg)
PP 4
Hadoopネットワーク変遷
![Page 5: ヤフーのIP CLOS ネットワーク - JANOG...data-center-fabric-the-next-generation-facebook-data-center-network/ IP CLOS ネットワークとは P11 n East-West Traffic 増 に対応](https://reader033.vdocuments.mx/reader033/viewer/2022060403/5f0e89be7e708231d43fb9ac/html5/thumbnails/5.jpg)
PHadoopネットワーク変遷 5
n Stack/Virtual Chassis構成u当初のHadoop⽤ネットワークは3〜10ラック程度uアップリンクは10Gbps、Active-Standby構成uToRのStack/VCで対応
n 問題点uスケールに限界
l Stack/VCでは10ラック程度、400ノードくらいまでu安定性に問題があった
10G
![Page 6: ヤフーのIP CLOS ネットワーク - JANOG...data-center-fabric-the-next-generation-facebook-data-center-network/ IP CLOS ネットワークとは P11 n East-West Traffic 増 に対応](https://reader033.vdocuments.mx/reader033/viewer/2022060403/5f0e89be7e708231d43fb9ac/html5/thumbnails/6.jpg)
PHadoopネットワーク変遷 6
n L2 Fabric構成u全体をL2 Fabric構成にすると30〜50ラック程度に制限されるu2台のL2 Fabric構成とChannel構成によって数の制約を向上uToRのアップリンクは20Gまたは80Gへ
L2 Fabric
・・・・・ ・・・・・80G 80G 20G20G
100台以上90台以上
![Page 7: ヤフーのIP CLOS ネットワーク - JANOG...data-center-fabric-the-next-generation-facebook-data-center-network/ IP CLOS ネットワークとは P11 n East-West Traffic 増 に対応](https://reader033.vdocuments.mx/reader033/viewer/2022060403/5f0e89be7e708231d43fb9ac/html5/thumbnails/7.jpg)
PHadoopネットワーク変遷 7
n L2 Fabric構成uBUM Traffic でコアスイッチのCPUが⾼騰
l Hadoop側でチューニングしてもらうuスケールに限界
l シャーシのモジュール数に依存
![Page 8: ヤフーのIP CLOS ネットワーク - JANOG...data-center-fabric-the-next-generation-facebook-data-center-network/ IP CLOS ネットワークとは P11 n East-West Traffic 増 に対応](https://reader033.vdocuments.mx/reader033/viewer/2022060403/5f0e89be7e708231d43fb9ac/html5/thumbnails/8.jpg)
PHadoopネットワーク変遷 8
n 要件 2015年春頃u120〜200ラックu1ラックあたりのアップリンク 100〜200G
l サーバのNICは10G、1ラック20台弱u場所はUS DC
![Page 9: ヤフーのIP CLOS ネットワーク - JANOG...data-center-fabric-the-next-generation-facebook-data-center-network/ IP CLOS ネットワークとは P11 n East-West Traffic 増 に対応](https://reader033.vdocuments.mx/reader033/viewer/2022060403/5f0e89be7e708231d43fb9ac/html5/thumbnails/9.jpg)
PP 9
IP CLOSネットワーク構成
概要
![Page 10: ヤフーのIP CLOS ネットワーク - JANOG...data-center-fabric-the-next-generation-facebook-data-center-network/ IP CLOS ネットワークとは P11 n East-West Traffic 増 に対応](https://reader033.vdocuments.mx/reader033/viewer/2022060403/5f0e89be7e708231d43fb9ac/html5/thumbnails/10.jpg)
PIP CLOS ネットワークとは 10
n Google, Facebook, Amazon, Yahoo…uOTT(Over The Top)が採⽤しているDCネットワーク構成
引⽤「Introducing data center fabric, the next-generation Facebook data center network」
https://code.facebook.com/posts/360346274145943/introducing-data-center-fabric-the-next-generation-facebook-data-center-network/
![Page 11: ヤフーのIP CLOS ネットワーク - JANOG...data-center-fabric-the-next-generation-facebook-data-center-network/ IP CLOS ネットワークとは P11 n East-West Traffic 増 に対応](https://reader033.vdocuments.mx/reader033/viewer/2022060403/5f0e89be7e708231d43fb9ac/html5/thumbnails/11.jpg)
PIP CLOS ネットワークとは 11
n East-West Traffic 増⼤に対応n スケーラビリティの向上
uボックススイッチのみであればいくらでもスケール可能n 可⽤性の向上
uSpineやアップリンクなど落ちても問題ない構成にn 運⽤コストの低減
uOSPF,BGPなど⼀般的な構成なので、どんな会社のものでもOK
![Page 12: ヤフーのIP CLOS ネットワーク - JANOG...data-center-fabric-the-next-generation-facebook-data-center-network/ IP CLOS ネットワークとは P11 n East-West Traffic 増 に対応](https://reader033.vdocuments.mx/reader033/viewer/2022060403/5f0e89be7e708231d43fb9ac/html5/thumbnails/12.jpg)
P【CLOS】構成概要 12
n 概要uSpine:某A社シャーシ、Leaf:某A社とWhite Box半々
・・・・・
Internet
・・・・・
Spine
Core
Router
Layer3Layer2
・・・・・ ・・・・・
OCPサーバ STDサーバ
![Page 13: ヤフーのIP CLOS ネットワーク - JANOG...data-center-fabric-the-next-generation-facebook-data-center-network/ IP CLOS ネットワークとは P11 n East-West Traffic 増 に対応](https://reader033.vdocuments.mx/reader033/viewer/2022060403/5f0e89be7e708231d43fb9ac/html5/thumbnails/13.jpg)
P【CLOS】構成概要 13
n 概要uSpine-Leaf間はBGPuLeafのUplinkは40Gx4=160G
・・・・・
Internet
・・・・・
Spine
Core
Router
Layer3Layer2
ECMPBGP
・・・・・ ・・・・・
OCPサーバ STDサーバ
160G
![Page 14: ヤフーのIP CLOS ネットワーク - JANOG...data-center-fabric-the-next-generation-facebook-data-center-network/ IP CLOS ネットワークとは P11 n East-West Traffic 増 に対応](https://reader033.vdocuments.mx/reader033/viewer/2022060403/5f0e89be7e708231d43fb9ac/html5/thumbnails/14.jpg)
PP14
IP CLOSネットワーク構成
設計
![Page 15: ヤフーのIP CLOS ネットワーク - JANOG...data-center-fabric-the-next-generation-facebook-data-center-network/ IP CLOS ネットワークとは P11 n East-West Traffic 増 に対応](https://reader033.vdocuments.mx/reader033/viewer/2022060403/5f0e89be7e708231d43fb9ac/html5/thumbnails/15.jpg)
P15
n ケーブルuMPOケーブルの取り回しが悪いのでSMF利⽤
n アドレスuSpine-Leaf間は/31uLeaf配下は/26, /27
【CLOS】設計
・・・・・
Internet
・・・・・
Spine
Core
Router
Layer3Layer2
40G LR/31
/26 /27 ・・・・・
![Page 16: ヤフーのIP CLOS ネットワーク - JANOG...data-center-fabric-the-next-generation-facebook-data-center-network/ IP CLOS ネットワークとは P11 n East-West Traffic 増 に対応](https://reader033.vdocuments.mx/reader033/viewer/2022060403/5f0e89be7e708231d43fb9ac/html5/thumbnails/16.jpg)
P16
n ボックスのみかシャーシを取り⼊れるかuボックススイッチのみでいく場合
l 40Gx32portスイッチ、40Gx4port+10Gx48portスイッチl 200ラック程度の構成にするには3層で形成する必要があるl 3層にすれば、スケールは充分l スイッチの数が増⼤する
l 配線,BGP neighbor・IP数など管理が⼤変
【CLOS】設計
![Page 17: ヤフーのIP CLOS ネットワーク - JANOG...data-center-fabric-the-next-generation-facebook-data-center-network/ IP CLOS ネットワークとは P11 n East-West Traffic 増 に対応](https://reader033.vdocuments.mx/reader033/viewer/2022060403/5f0e89be7e708231d43fb9ac/html5/thumbnails/17.jpg)
P17
n ボックススイッチ構成
uSpine 12台、Leaf 16台の場合l ToR 12(Spineに依存)x 16セット = 192台(ラック)
【CLOS】設計
・・・
・・
・・・
・・
・・・
・・
・・・
・・Spine 12台
Leaf 16台
・・ ・・ ・・ ・・・・・ToR12台
![Page 18: ヤフーのIP CLOS ネットワーク - JANOG...data-center-fabric-the-next-generation-facebook-data-center-network/ IP CLOS ネットワークとは P11 n East-West Traffic 増 に対応](https://reader033.vdocuments.mx/reader033/viewer/2022060403/5f0e89be7e708231d43fb9ac/html5/thumbnails/18.jpg)
P【CLOS】 設計 18
n シャーシ構成を取り⼊れる場合u前ページのSpine-LeafをシャーシにするイメージuシャーシSlot8 40Gx32portだと8モジュールx32=256 Leafuシャーシだとスケールに限界がでるu配線が少なくて済むので、管理は簡単になる
![Page 19: ヤフーのIP CLOS ネットワーク - JANOG...data-center-fabric-the-next-generation-facebook-data-center-network/ IP CLOS ネットワークとは P11 n East-West Traffic 増 に対応](https://reader033.vdocuments.mx/reader033/viewer/2022060403/5f0e89be7e708231d43fb9ac/html5/thumbnails/19.jpg)
P19
n シャーシスイッチ構成
uSlot 8モジュールの場合l 8 x 32port = 256台(ラック)
【IP CLOS】設計
・・・
・・
・・・
・・
・・・
・・
・・・
・・
・・ ・・ ・・ ・・・・・
![Page 20: ヤフーのIP CLOS ネットワーク - JANOG...data-center-fabric-the-next-generation-facebook-data-center-network/ IP CLOS ネットワークとは P11 n East-West Traffic 増 に対応](https://reader033.vdocuments.mx/reader033/viewer/2022060403/5f0e89be7e708231d43fb9ac/html5/thumbnails/20.jpg)
P【CLOS】 設計 20
n 3層構造と検討結果、2層を選択u管理するものが多い
l IF、IPアドレス、BGP neighbor、ケーブル…uホップ数の違い
l ToR-Leaf-ToR, ToR-Leaf-Spine-Leaf-ToRuコストの変化
l 以前に較べてシャーシ型のポート単価が下がった
![Page 21: ヤフーのIP CLOS ネットワーク - JANOG...data-center-fabric-the-next-generation-facebook-data-center-network/ IP CLOS ネットワークとは P11 n East-West Traffic 増 に対応](https://reader033.vdocuments.mx/reader033/viewer/2022060403/5f0e89be7e708231d43fb9ac/html5/thumbnails/21.jpg)
P21
n BGPかOSPFかu検証でBGPに決定u制御しやすさu将来的にanycast構成を検討した場合
l ホスト、VM側でQuaggaなどによりrouting protocolを動作l OSPFでは、helloのマルチキャストが定期的にすべてのVMへ
u安定性
【CLOS】設計
![Page 22: ヤフーのIP CLOS ネットワーク - JANOG...data-center-fabric-the-next-generation-facebook-data-center-network/ IP CLOS ネットワークとは P11 n East-West Traffic 増 に対応](https://reader033.vdocuments.mx/reader033/viewer/2022060403/5f0e89be7e708231d43fb9ac/html5/thumbnails/22.jpg)
PP22
IP CLOSネットワーク構成
構築
![Page 23: ヤフーのIP CLOS ネットワーク - JANOG...data-center-fabric-the-next-generation-facebook-data-center-network/ IP CLOS ネットワークとは P11 n East-West Traffic 増 に対応](https://reader033.vdocuments.mx/reader033/viewer/2022060403/5f0e89be7e708231d43fb9ac/html5/thumbnails/23.jpg)
P【CLOS】構築 23
n 実際の構成
当日公開
![Page 24: ヤフーのIP CLOS ネットワーク - JANOG...data-center-fabric-the-next-generation-facebook-data-center-network/ IP CLOS ネットワークとは P11 n East-West Traffic 増 に対応](https://reader033.vdocuments.mx/reader033/viewer/2022060403/5f0e89be7e708231d43fb9ac/html5/thumbnails/24.jpg)
P【CLOS】構築 24
n 実際の構成
当日公開
![Page 25: ヤフーのIP CLOS ネットワーク - JANOG...data-center-fabric-the-next-generation-facebook-data-center-network/ IP CLOS ネットワークとは P11 n East-West Traffic 増 に対応](https://reader033.vdocuments.mx/reader033/viewer/2022060403/5f0e89be7e708231d43fb9ac/html5/thumbnails/25.jpg)
P【CLOS】構築 25
n 納品〜設定uSpineは先⾏構築uLeafはラック納品のため、順次構築u設定はZTP
・・・・・
Internet
・・・・・
SpineCore
Router
・・・・・ ・・・・・
OCPサーバ STDサーバ
Leaf
![Page 26: ヤフーのIP CLOS ネットワーク - JANOG...data-center-fabric-the-next-generation-facebook-data-center-network/ IP CLOS ネットワークとは P11 n East-West Traffic 増 に対応](https://reader033.vdocuments.mx/reader033/viewer/2022060403/5f0e89be7e708231d43fb9ac/html5/thumbnails/26.jpg)
P【CLOS】構築 26
n 苦労した点u場所がUSなので2-3週間出張x2で構築uラック納品なので、⼀⻫に構築・設定できないuラック納品の遅延uケーブル接続とリンクアップ確認
l ケーブル接続は現地の業者に依頼
![Page 27: ヤフーのIP CLOS ネットワーク - JANOG...data-center-fabric-the-next-generation-facebook-data-center-network/ IP CLOS ネットワークとは P11 n East-West Traffic 増 に対応](https://reader033.vdocuments.mx/reader033/viewer/2022060403/5f0e89be7e708231d43fb9ac/html5/thumbnails/27.jpg)
PP27
IP CLOSネットワーク構成
運⽤
![Page 28: ヤフーのIP CLOS ネットワーク - JANOG...data-center-fabric-the-next-generation-facebook-data-center-network/ IP CLOS ネットワークとは P11 n East-West Traffic 増 に対応](https://reader033.vdocuments.mx/reader033/viewer/2022060403/5f0e89be7e708231d43fb9ac/html5/thumbnails/28.jpg)
P【CLOS】運⽤ 28
n Leafから⾒た経路
![Page 29: ヤフーのIP CLOS ネットワーク - JANOG...data-center-fabric-the-next-generation-facebook-data-center-network/ IP CLOS ネットワークとは P11 n East-West Traffic 増 に対応](https://reader033.vdocuments.mx/reader033/viewer/2022060403/5f0e89be7e708231d43fb9ac/html5/thumbnails/29.jpg)
P29【CLOS】運⽤n Leafから⾒たBGP neighbor
![Page 30: ヤフーのIP CLOS ネットワーク - JANOG...data-center-fabric-the-next-generation-facebook-data-center-network/ IP CLOS ネットワークとは P11 n East-West Traffic 増 に対応](https://reader033.vdocuments.mx/reader033/viewer/2022060403/5f0e89be7e708231d43fb9ac/html5/thumbnails/30.jpg)
P【CLOS】運⽤ 30
n Spineから⾒たBGP neighbor
![Page 31: ヤフーのIP CLOS ネットワーク - JANOG...data-center-fabric-the-next-generation-facebook-data-center-network/ IP CLOS ネットワークとは P11 n East-West Traffic 増 に対応](https://reader033.vdocuments.mx/reader033/viewer/2022060403/5f0e89be7e708231d43fb9ac/html5/thumbnails/31.jpg)
P31【CLOS】運⽤n Leaf Traffic
![Page 32: ヤフーのIP CLOS ネットワーク - JANOG...data-center-fabric-the-next-generation-facebook-data-center-network/ IP CLOS ネットワークとは P11 n East-West Traffic 増 に対応](https://reader033.vdocuments.mx/reader033/viewer/2022060403/5f0e89be7e708231d43fb9ac/html5/thumbnails/32.jpg)
P【CLOS】運⽤ 32
n SpineのバージョンアップuAS-Path prependで孤⽴させる
・・・・・・・・・・
Spine
Leaf
例)xxx.net.cc1# show ip routeshow ip routeCodes: K - kernel route, C - connected, S - static, R - RIP,
O - OSPF, I - IS-IS, B - BGP, A - Babel, T - Table,> - selected route, * - FIB route
B>* 0.0.0.0/0 [20/0] via xxx.80.130.26, swp50, 00:01:37* via xxx.80.130.28, swp51, 00:01:37* via xxx.80.130.30, swp52, 00:01:37
B>* xxx.80.128.8/32 [20/0] via xxx.80.130.26, swp50, 00:01:37* via xxx.80.130.28, swp51, 00:01:37* via xxx.80.130.30, swp52, 00:01:37
B>* xxx.80.128.9/32 [20/0] via xxx.80.130.26, swp50, 00:01:37* via xxx.80.130.28, swp51, 00:01:37* via xxx.80.130.30, swp52, 00:01:37
xxx.net.cc1# show ip bgpBGP table version is 311, local router ID is 100.80.128.43Status codes: s suppressed, d damped, h history, * valid, > best, = multipath,
i internal, r RIB-failure, S Stale, R RemovedOrigin codes: i - IGP, e - EGP, ? - incomplete
Network Next Hop Metric LocPrf Weight Path* 0.0.0.0 xxx.80.130.24 0 65000 65530 65001 64550 i*= xxx.80.130.30 0 65000 65001 64550 i*= xxx.80.130.28 0 65000 65001 64550 i*> xxx.80.130.26 0 65000 65001 64550 i* xxx.80.128.8/32 xxx.80.130.24 0 65000 65530 65001 i*= xxx.80.130.30 0 65000 65001 i*= xxx.80.130.28 0 65000 65001 i*> xxx.80.130.26 0 65000 65001 i* xxx.80.128.9/32 xxx.80.130.24 0 65000 65530 65001 i*= xxx.80.130.28 0 65000 65001 i*= xxx.80.130.30 0 65000 65001 i*> xxx.80.130.26 0 65000 65001 i
as-path prepend 65530
![Page 33: ヤフーのIP CLOS ネットワーク - JANOG...data-center-fabric-the-next-generation-facebook-data-center-network/ IP CLOS ネットワークとは P11 n East-West Traffic 増 に対応](https://reader033.vdocuments.mx/reader033/viewer/2022060403/5f0e89be7e708231d43fb9ac/html5/thumbnails/33.jpg)
P【CLOS】運⽤ 33
n Spineのバージョンアップumaintenance mode(A社スイッチ)
l GSHUT community
![Page 34: ヤフーのIP CLOS ネットワーク - JANOG...data-center-fabric-the-next-generation-facebook-data-center-network/ IP CLOS ネットワークとは P11 n East-West Traffic 増 に対応](https://reader033.vdocuments.mx/reader033/viewer/2022060403/5f0e89be7e708231d43fb9ac/html5/thumbnails/34.jpg)
P【CLOS】運⽤ 34
n Spineのバージョンアップumaintenance mode(A社スイッチ)
l GSHUT community
![Page 35: ヤフーのIP CLOS ネットワーク - JANOG...data-center-fabric-the-next-generation-facebook-data-center-network/ IP CLOS ネットワークとは P11 n East-West Traffic 増 に対応](https://reader033.vdocuments.mx/reader033/viewer/2022060403/5f0e89be7e708231d43fb9ac/html5/thumbnails/35.jpg)
PP35
Hadoopテスト
![Page 36: ヤフーのIP CLOS ネットワーク - JANOG...data-center-fabric-the-next-generation-facebook-data-center-network/ IP CLOS ネットワークとは P11 n East-West Traffic 増 に対応](https://reader033.vdocuments.mx/reader033/viewer/2022060403/5f0e89be7e708231d43fb9ac/html5/thumbnails/36.jpg)
PHadoopテスト 36
n 5TB Terasort
![Page 37: ヤフーのIP CLOS ネットワーク - JANOG...data-center-fabric-the-next-generation-facebook-data-center-network/ IP CLOS ネットワークとは P11 n East-West Traffic 増 に対応](https://reader033.vdocuments.mx/reader033/viewer/2022060403/5f0e89be7e708231d43fb9ac/html5/thumbnails/37.jpg)
PHadoopテスト 37
n 40TB Distcp
![Page 38: ヤフーのIP CLOS ネットワーク - JANOG...data-center-fabric-the-next-generation-facebook-data-center-network/ IP CLOS ネットワークとは P11 n East-West Traffic 増 に対応](https://reader033.vdocuments.mx/reader033/viewer/2022060403/5f0e89be7e708231d43fb9ac/html5/thumbnails/38.jpg)
PP38
課題と展望
![Page 39: ヤフーのIP CLOS ネットワーク - JANOG...data-center-fabric-the-next-generation-facebook-data-center-network/ IP CLOS ネットワークとは P11 n East-West Traffic 増 に対応](https://reader033.vdocuments.mx/reader033/viewer/2022060403/5f0e89be7e708231d43fb9ac/html5/thumbnails/39.jpg)
PMPTCPの利⽤ 39
n Multi-Path TCPuセッションごとに偏りが出てしまう
l MP-TCP kernel moduleで解消へl Hadoopのテストで失敗中。。
MPTCP MPTCP
flow
sub-flow
![Page 40: ヤフーのIP CLOS ネットワーク - JANOG...data-center-fabric-the-next-generation-facebook-data-center-network/ IP CLOS ネットワークとは P11 n East-West Traffic 増 に対応](https://reader033.vdocuments.mx/reader033/viewer/2022060403/5f0e89be7e708231d43fb9ac/html5/thumbnails/40.jpg)
Pこれからの課題と展望 40
n ACL問題u社内間の通信はセグメントごとにSVIでACL管理uコアスイッチで膨⼤なACL設定が必要uSpine-LeafのLeaf側へ設定をもっていくか、あるいはホスト単位か
n 今後の展望uHadoopネットワークのみではなく、その他のProductionへ展開uSpineやLeafのアップリンクが落ちても深夜対応しない構成へ!
![Page 41: ヤフーのIP CLOS ネットワーク - JANOG...data-center-fabric-the-next-generation-facebook-data-center-network/ IP CLOS ネットワークとは P11 n East-West Traffic 増 に対応](https://reader033.vdocuments.mx/reader033/viewer/2022060403/5f0e89be7e708231d43fb9ac/html5/thumbnails/41.jpg)
P最後に 41
n IP CLOS ネットワークを採⽤uSpine-Leafはどんなスイッチも採⽤可能な構成へ
![Page 42: ヤフーのIP CLOS ネットワーク - JANOG...data-center-fabric-the-next-generation-facebook-data-center-network/ IP CLOS ネットワークとは P11 n East-West Traffic 増 に対応](https://reader033.vdocuments.mx/reader033/viewer/2022060403/5f0e89be7e708231d43fb9ac/html5/thumbnails/42.jpg)
P42
![Page 43: ヤフーのIP CLOS ネットワーク - JANOG...data-center-fabric-the-next-generation-facebook-data-center-network/ IP CLOS ネットワークとは P11 n East-West Traffic 増 に対応](https://reader033.vdocuments.mx/reader033/viewer/2022060403/5f0e89be7e708231d43fb9ac/html5/thumbnails/43.jpg)
P
Thank you for your
kind attention!
43