ハードウエアでネットワーク・プロ -...
TRANSCRIPT
![Page 1: ハードウエアでネットワーク・プロ - Open-Itopenit.kek.jp/workshop/2013/hit/presentation/04-sitcp...ハードウエアでネットワーク・プロ トコルを処理](https://reader030.vdocuments.mx/reader030/viewer/2022040510/5e578d0dd1c55514627541a3/html5/thumbnails/1.jpg)
![Page 2: ハードウエアでネットワーク・プロ - Open-Itopenit.kek.jp/workshop/2013/hit/presentation/04-sitcp...ハードウエアでネットワーク・プロ トコルを処理](https://reader030.vdocuments.mx/reader030/viewer/2022040510/5e578d0dd1c55514627541a3/html5/thumbnails/2.jpg)
ハードウエアでネットワーク・プロトコルを処理 › TCP, UDP, IP, ICMP, ARP, Etnernet
回路規模が小さい › FPGAなどに搭載可能
高速データ転送 › GbEのバンド幅を100%使用したTCP通信可能
データ収集技術講演会@HIT
ハードウエアベースのTCP/IP/Ethernetプロセッサ
2
![Page 3: ハードウエアでネットワーク・プロ - Open-Itopenit.kek.jp/workshop/2013/hit/presentation/04-sitcp...ハードウエアでネットワーク・プロ トコルを処理](https://reader030.vdocuments.mx/reader030/viewer/2022040510/5e578d0dd1c55514627541a3/html5/thumbnails/3.jpg)
SFP (GbE I/F) FPGA
光I/FはFPGAに直接接続可能
データ収集技術講演会@HIT 3
すばる望遠鏡 主焦点カメラ用に 開発したCCD読み出しボード
SiTCPが 実装されている
![Page 4: ハードウエアでネットワーク・プロ - Open-Itopenit.kek.jp/workshop/2013/hit/presentation/04-sitcp...ハードウエアでネットワーク・プロ トコルを処理](https://reader030.vdocuments.mx/reader030/viewer/2022040510/5e578d0dd1c55514627541a3/html5/thumbnails/4.jpg)
検出信号処理回路とPC間I/Fの不統一
› あまりにも多くのI/F種類が存在
› 独自規格も存在、長期間の保守管理が不利
検出信号処理回路に課せられる制限が強い
› 大きさ、消費電力、コストの制限、高速データ転送
› 技術的に困難、市販組み込みCPUボードでは不可
データ収集技術講演会@HIT
高エネルギー物理実験の検出器システムのために開発
検出器システムI/Fの問題点
4
![Page 5: ハードウエアでネットワーク・プロ - Open-Itopenit.kek.jp/workshop/2013/hit/presentation/04-sitcp...ハードウエアでネットワーク・プロ トコルを処理](https://reader030.vdocuments.mx/reader030/viewer/2022040510/5e578d0dd1c55514627541a3/html5/thumbnails/5.jpg)
検出信号処理回路とPC間I/Fの不統一
› あまりにも多くのI/F種類が存在
› 時には独自規格、保守管理の面で不利
検出信号処理回路に課せられる制限が強い
› 大きさ、消費電力、コストの制限、高速データ転送
› 技術的に困難、市販組み込みCPUボードでは不可
データ収集技術講演会@HIT
高エネルギー物理実験の検出器システムのために開発
検出器システムI/Fの問題点
広く使用されている TCP + Ethernetで統一
5
![Page 6: ハードウエアでネットワーク・プロ - Open-Itopenit.kek.jp/workshop/2013/hit/presentation/04-sitcp...ハードウエアでネットワーク・プロ トコルを処理](https://reader030.vdocuments.mx/reader030/viewer/2022040510/5e578d0dd1c55514627541a3/html5/thumbnails/6.jpg)
6
PC
センサーなど
メンテナンス、開発の効率化 直接PCを接続してメンテナンス、開発
安価で豊富 な周辺機器
開発の効率化 ソケットプログラミング(標準OS)
デバイスドライバ開発、
プロトコル処理はOSがサポート
PCへのデータ転送、
拡張性を解決するだけでなく
データ収集技術講演会@HIT
![Page 7: ハードウエアでネットワーク・プロ - Open-Itopenit.kek.jp/workshop/2013/hit/presentation/04-sitcp...ハードウエアでネットワーク・プロ トコルを処理](https://reader030.vdocuments.mx/reader030/viewer/2022040510/5e578d0dd1c55514627541a3/html5/thumbnails/7.jpg)
データ収集技術講演会@HIT
http://techon.nikkeibp.co.jp/NED/pc/より
日経エレクトロニクス最新号
7
![Page 8: ハードウエアでネットワーク・プロ - Open-Itopenit.kek.jp/workshop/2013/hit/presentation/04-sitcp...ハードウエアでネットワーク・プロ トコルを処理](https://reader030.vdocuments.mx/reader030/viewer/2022040510/5e578d0dd1c55514627541a3/html5/thumbnails/8.jpg)
検出信号処理回路とPC間I/Fの不統一
› あまりにも多くのI/F種類が存在
› 時には独自規格、保守管理の面で不利
検出信号処理回路に課せられる制限が強い
› 大きさ、消費電力、コストの制限、高速データ転送
› 技術的に困難、市販組み込みCPUボードでは不可
データ収集技術講演会@HIT
高エネルギー物理実験の検出器システムのために開発
検出器システムI/Fの問題点
広く使用されている TCP + Ethernetで統一
8
![Page 9: ハードウエアでネットワーク・プロ - Open-Itopenit.kek.jp/workshop/2013/hit/presentation/04-sitcp...ハードウエアでネットワーク・プロ トコルを処理](https://reader030.vdocuments.mx/reader030/viewer/2022040510/5e578d0dd1c55514627541a3/html5/thumbnails/9.jpg)
検出信号処理回路とPC間I/Fの不統一
› あまりにも多くのI/F種類が存在
› 時には独自規格、保守管理の面で不利
検出信号処理回路に課せられる制限が強い
› 大きさ、消費電力、コストの制限、高速データ転送
› 技術的に困難、市販組み込みCPUボードでは不可
データ収集技術講演会@HIT
高エネルギー物理実験の検出器システムのために開発
検出器システムI/Fの問題点
広く使用されている TCP + Ethernetで統一
ハードウエア化により 小型化、高速化を同時に実現
9
![Page 10: ハードウエアでネットワーク・プロ - Open-Itopenit.kek.jp/workshop/2013/hit/presentation/04-sitcp...ハードウエアでネットワーク・プロ トコルを処理](https://reader030.vdocuments.mx/reader030/viewer/2022040510/5e578d0dd1c55514627541a3/html5/thumbnails/10.jpg)
SFP (GbE I/F) FPGA
データ収集技術講演会@HIT 10
FPGA内に全回路実装可能
SiTCPが 実装されている
MACアドレスなどを格納する外部ROMは必要
Xilinx FPGAでは約2000 Slice
![Page 11: ハードウエアでネットワーク・プロ - Open-Itopenit.kek.jp/workshop/2013/hit/presentation/04-sitcp...ハードウエアでネットワーク・プロ トコルを処理](https://reader030.vdocuments.mx/reader030/viewer/2022040510/5e578d0dd1c55514627541a3/html5/thumbnails/11.jpg)
Server→ Client Client → Server
Avg. Utilization ~ 95% (950 Mbps)
理論限界値
TCPセグメントの正味の転送レート
高速+安定
200msec毎の平均転送レート データ収集技術講演会@HIT 11
![Page 12: ハードウエアでネットワーク・プロ - Open-Itopenit.kek.jp/workshop/2013/hit/presentation/04-sitcp...ハードウエアでネットワーク・プロ トコルを処理](https://reader030.vdocuments.mx/reader030/viewer/2022040510/5e578d0dd1c55514627541a3/html5/thumbnails/12.jpg)
ハードウエアによるTCP/IP/Ethernet通信
› 10Mbps~1Gbps Ethernet
› Ethernetのバンド幅の上限値で安定したTCPデータ通信
› Slow control機能(UDP使用)
容易な実装
› 小さい回路規模
› FPGAライブラリ (Xilinx)として配布
› 使いやすい容易なユーザI/F
ソケットプログラミングによりPCインタフェースが簡単!!
データ収集技術講演会@HIT 12
![Page 13: ハードウエアでネットワーク・プロ - Open-Itopenit.kek.jp/workshop/2013/hit/presentation/04-sitcp...ハードウエアでネットワーク・プロ トコルを処理](https://reader030.vdocuments.mx/reader030/viewer/2022040510/5e578d0dd1c55514627541a3/html5/thumbnails/13.jpg)
検出器
Front-end
回路
PC
開発するボード
SiTCP
仮想パイプを ネットワーク(TCP通信)で実現
SiTCPに書き込めば、PCへデータを転送できる
OSの標準ソケットプログラミングでOK
SiTCPは小さい、FPGA内に実装可能
データ収集技術講演会@HIT 13
![Page 14: ハードウエアでネットワーク・プロ - Open-Itopenit.kek.jp/workshop/2013/hit/presentation/04-sitcp...ハードウエアでネットワーク・プロ トコルを処理](https://reader030.vdocuments.mx/reader030/viewer/2022040510/5e578d0dd1c55514627541a3/html5/thumbnails/14.jpg)
1. 物性:パルス中性子実験 JPARC-MLF
2. 素粒子(宇宙線)
東京大学宇宙線研究所 Super Kamiokande
3. 宇宙、天文:可視光望遠鏡
国立天文台(Hyper Suprime-Cam)
4. 火山:Cosmic-muon Radiography
東京大学地震研究所
データ収集技術講演会@HIT 14
![Page 15: ハードウエアでネットワーク・プロ - Open-Itopenit.kek.jp/workshop/2013/hit/presentation/04-sitcp...ハードウエアでネットワーク・プロ トコルを処理](https://reader030.vdocuments.mx/reader030/viewer/2022040510/5e578d0dd1c55514627541a3/html5/thumbnails/15.jpg)
NEUNET: SiTCP+佐藤回路をFPGAに実装
データ収集技術講演会@HIT 15
![Page 16: ハードウエアでネットワーク・プロ - Open-Itopenit.kek.jp/workshop/2013/hit/presentation/04-sitcp...ハードウエアでネットワーク・プロ トコルを処理](https://reader030.vdocuments.mx/reader030/viewer/2022040510/5e578d0dd1c55514627541a3/html5/thumbnails/16.jpg)
2006年春SiTCPを最初に採用
SiTCP開発はSKグループの貢献が非常に大きい(デバック時の多大な貢献)
2008年9月神岡にインストールされた
› 約500モジュール使用
イーサネットベースDAQシステム
データ収集技術講演会@HIT 16
![Page 17: ハードウエアでネットワーク・プロ - Open-Itopenit.kek.jp/workshop/2013/hit/presentation/04-sitcp...ハードウエアでネットワーク・プロ トコルを処理](https://reader030.vdocuments.mx/reader030/viewer/2022040510/5e578d0dd1c55514627541a3/html5/thumbnails/17.jpg)
110枚CCD読みだし
› 2GByte/1画像
主焦点カメラに組み込む
(すばる望遠鏡 次世代主焦点カメラ)
CCD読みだしモジュール(東大 相原研)
主焦点カメラ
イーサネットベースDAQシステム
データ収集技術講演会@HIT 17
![Page 18: ハードウエアでネットワーク・プロ - Open-Itopenit.kek.jp/workshop/2013/hit/presentation/04-sitcp...ハードウエアでネットワーク・プロ トコルを処理](https://reader030.vdocuments.mx/reader030/viewer/2022040510/5e578d0dd1c55514627541a3/html5/thumbnails/18.jpg)
18
モジュール1枚で読みだし可 Webブラウザによるデータ読みだし
各地の火山を観測 › 薩摩硫黄島硫黄岳
› 浅間山
› 桜島…
H.K.M.Tanaka, et. al., Geophys. Res. Lett., L01304, doi:10.1029/2008GL036451, 2009.
Webページ
![Page 19: ハードウエアでネットワーク・プロ - Open-Itopenit.kek.jp/workshop/2013/hit/presentation/04-sitcp...ハードウエアでネットワーク・プロ トコルを処理](https://reader030.vdocuments.mx/reader030/viewer/2022040510/5e578d0dd1c55514627541a3/html5/thumbnails/19.jpg)
19
ドリフトチェンバー用読み出しモジュール
Belle-II検出器
CDC
この隙間に入れる
フロントエンドで必要な全ての機能を搭載
アナログ処理 (ASIC)
ADC
デジタル処理 FPGA
ネットワーク GbE
データ収集技術講演会@HIT Webページ
![Page 20: ハードウエアでネットワーク・プロ - Open-Itopenit.kek.jp/workshop/2013/hit/presentation/04-sitcp...ハードウエアでネットワーク・プロ トコルを処理](https://reader030.vdocuments.mx/reader030/viewer/2022040510/5e578d0dd1c55514627541a3/html5/thumbnails/20.jpg)
SiTCPはハードウエアベースのネットワークプロセッサ
› TCP/IP/Ethernet
特徴
› 回路規模が小さい(約2000 Slice)
› Ethernetのバンド幅上限でTCPデータ転送可能
› 大規模データ転送アプリケーションに適している
データ収集技術講演会@HIT 20
![Page 21: ハードウエアでネットワーク・プロ - Open-Itopenit.kek.jp/workshop/2013/hit/presentation/04-sitcp...ハードウエアでネットワーク・プロ トコルを処理](https://reader030.vdocuments.mx/reader030/viewer/2022040510/5e578d0dd1c55514627541a3/html5/thumbnails/21.jpg)
SiTCPのWebページ
› http://e-sys.kek.jp/tech/sitcp/
21
詳細は下のWebページをご覧ください
ありがとうございました。
データ収集技術講演会@HIT
![Page 22: ハードウエアでネットワーク・プロ - Open-Itopenit.kek.jp/workshop/2013/hit/presentation/04-sitcp...ハードウエアでネットワーク・プロ トコルを処理](https://reader030.vdocuments.mx/reader030/viewer/2022040510/5e578d0dd1c55514627541a3/html5/thumbnails/22.jpg)
データ収集技術講演会@HIT
付録
22
![Page 23: ハードウエアでネットワーク・プロ - Open-Itopenit.kek.jp/workshop/2013/hit/presentation/04-sitcp...ハードウエアでネットワーク・プロ トコルを処理](https://reader030.vdocuments.mx/reader030/viewer/2022040510/5e578d0dd1c55514627541a3/html5/thumbnails/23.jpg)
検出器
Front-end
回路
SiTCP
(FPGA)
PC
開発するボード
仮想高速データパイプを ネットワークで実現
Ethernet
FPGAをネットワークに接続する技術
しかも、TCP/IP高速転送可能!
TCP通信
データ収集技術講演会@HIT 23
![Page 24: ハードウエアでネットワーク・プロ - Open-Itopenit.kek.jp/workshop/2013/hit/presentation/04-sitcp...ハードウエアでネットワーク・プロ トコルを処理](https://reader030.vdocuments.mx/reader030/viewer/2022040510/5e578d0dd1c55514627541a3/html5/thumbnails/24.jpg)
FPGA PHY
FPGA
ROM EEPROM
RJ45
外付け部品が少ない!
75mm
150mm
2GBの画像データを処理するカード
データ収集技術講演会@HIT 24
![Page 25: ハードウエアでネットワーク・プロ - Open-Itopenit.kek.jp/workshop/2013/hit/presentation/04-sitcp...ハードウエアでネットワーク・プロ トコルを処理](https://reader030.vdocuments.mx/reader030/viewer/2022040510/5e578d0dd1c55514627541a3/html5/thumbnails/25.jpg)
SFP FPGA
EEPRO
M
FPGA
ROM EEPROM
外付け部品は無いも同然!
光I/FはFPGAに直接接続可能
データ収集技術講演会@HIT 25
![Page 26: ハードウエアでネットワーク・プロ - Open-Itopenit.kek.jp/workshop/2013/hit/presentation/04-sitcp...ハードウエアでネットワーク・プロ トコルを処理](https://reader030.vdocuments.mx/reader030/viewer/2022040510/5e578d0dd1c55514627541a3/html5/thumbnails/26.jpg)
SiTCP (FPGA)
FPGAデータ Xilinx ROM
Xilinxが定めたIF信号
EEPROM AT93C46D
ネットワークパラメータ格納用ROM
MACアドレスなど
SiTCPの信号を接続するのみ
TCP用FIFO I/F
Slow Control
ここのみ独自I/F
用途が異なる 2種類のI/Fがある
MII Ethernet
PHY Ethernet
データ収集技術講演会@HIT 26