a stable broadcast algorithm for distributed environments and its implementation
DESCRIPTION
A Stable Broadcast Algorithm for Distributed Environments and Its Implementation. 分散環境での Stable な ブロードキャストアルゴリズムの 提案と実装. 近山・田浦研究室 高橋 慧 (56428). 修士論文審査 2008 年 2 月 13 日. ブロードキャストとは :. 多数のノードへ同じデータを転送すること 転送元 (Source) から転送先 (Destination) へ 一般に広く用いられる ファイルの転送・ストリーミングなど. Data. Data. Data. - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: A Stable Broadcast Algorithm for Distributed Environments and Its Implementation](https://reader031.vdocuments.mx/reader031/viewer/2022012922/56815c2d550346895dca0abd/html5/thumbnails/1.jpg)
A Stable Broadcast Algorithm for Distributed Environments
and Its Implementation
近山・田浦研究室 高橋 慧 (56428)
分散環境での Stable なブロードキャストアルゴリズムの提案と実装
1修士論文審査 2008 年 2 月 13 日
![Page 2: A Stable Broadcast Algorithm for Distributed Environments and Its Implementation](https://reader031.vdocuments.mx/reader031/viewer/2022012922/56815c2d550346895dca0abd/html5/thumbnails/2.jpg)
多数のノードへ同じデータを転送すること転送元 (Source) から転送先 (Destination) へ
一般に広く用いられるファイルの転送・ストリーミングなど
2
ブロードキャストとは :
Data Data Data Data Data
![Page 3: A Stable Broadcast Algorithm for Distributed Environments and Its Implementation](https://reader031.vdocuments.mx/reader031/viewer/2022012922/56815c2d550346895dca0abd/html5/thumbnails/3.jpg)
バンド幅が重要になるパイプライン転送により性能が改善される
転送先ノードがデータを中継
3
大きなデータのブロードキャスト
Data Data Data Data Data
![Page 4: A Stable Broadcast Algorithm for Distributed Environments and Its Implementation](https://reader031.vdocuments.mx/reader031/viewer/2022012922/56815c2d550346895dca0abd/html5/thumbnails/4.jpg)
4
クラスタ内や分散環境でも広く用いられる同じデータに対し異なる処理大きな辞書をローカルディスクにコピー
単純な手法では様々な問題が発生するリンク共有による性能低下遅いノードによる性能低下
並列計算でのブロードキャスト
![Page 5: A Stable Broadcast Algorithm for Distributed Environments and Its Implementation](https://reader031.vdocuments.mx/reader031/viewer/2022012922/56815c2d550346895dca0abd/html5/thumbnails/5.jpg)
N 本の転送がリンクを共有すると、転送のバンド幅は最悪 (1/N) になってしまう1 種類のデータ転送については、同じリンクを
何度も通らないことが望ましい
5
問題 1: リンク共有による影響
500Mbps
500Mbps
Link Capacity: 1Gbps
![Page 6: A Stable Broadcast Algorithm for Distributed Environments and Its Implementation](https://reader031.vdocuments.mx/reader031/viewer/2022012922/56815c2d550346895dca0abd/html5/thumbnails/6.jpg)
バンド幅が小さな ( 遅い ) ノードがパイプラインに参加すると、全体の性能が低下してしまうバンド幅の小さなノードは他のノードの邪魔を
しないことが望ましい
6
問題 2: 「遅い」ノードによる影響
Slow
10 10
100
本来はバンド幅 100 で転送可能
パイプラインだとバンド幅 10 に性能低
下
![Page 7: A Stable Broadcast Algorithm for Distributed Environments and Its Implementation](https://reader031.vdocuments.mx/reader031/viewer/2022012922/56815c2d550346895dca0abd/html5/thumbnails/7.jpg)
「 Stable なブロードキャスト」という概念を提案遅いノードが速いノードの邪魔をしない全ノードが可能な最大バンド幅でデータを受信
木構造ネットワークで実際に Stable なブロードキャストアルゴリズムを提案Stable であることを数学的に証明一般のグラフネットワークでも性能改善
実験の結果、不均質な環境で既存手法に比べ 2.5 倍の合計バンド幅を達成
7
本研究の貢献
![Page 8: A Stable Broadcast Algorithm for Distributed Environments and Its Implementation](https://reader031.vdocuments.mx/reader031/viewer/2022012922/56815c2d550346895dca0abd/html5/thumbnails/8.jpg)
研究の概要問題設定
大きなメッセージのブロードキャストStability の定義
関連研究提案するアルゴリズム実験・評価結論
8
発表の流れ
![Page 9: A Stable Broadcast Algorithm for Distributed Environments and Its Implementation](https://reader031.vdocuments.mx/reader031/viewer/2022012922/56815c2d550346895dca0abd/html5/thumbnails/9.jpg)
対象 : 大きなメッセージのブロードキャストノード間での一対一転送を組み合わせて実現
ネットワークトポロジ・バンド幅は既知とするトポロジは高速に推定可能
4 クラスタ・ 256 ノードの推定に 16 秒Shirai et al. A Fast Topology Inference - A building block for network-aware parallel computing. (HPDC 2007)
リンクのバンド幅も高速に測定可能長沼他 . ネットワークトポロジを考慮したバンド幅推定の高速化手法 . ( 情報処理学会学生セッション , 2008 年 3 月 発表予定 )
9
問題設定
![Page 10: A Stable Broadcast Algorithm for Distributed Environments and Its Implementation](https://reader031.vdocuments.mx/reader031/viewer/2022012922/56815c2d550346895dca0abd/html5/thumbnails/10.jpg)
メッセージ伝達時間は遅延とバンド幅で決まる
メッセージが大きい場合、到達時間においてバンド幅のみが重要になる
( 到達時間 ) = ( 遅延 ) +
メッセージサイズ 1GB ・バンド幅 1Gbps ・ 遅延 50msだと、到達時間の 99% 以上がバンド幅の項
10
バンド幅と遅延
( メッセージの大きさ )( バンド幅 )
![Page 11: A Stable Broadcast Algorithm for Distributed Environments and Its Implementation](https://reader031.vdocuments.mx/reader031/viewer/2022012922/56815c2d550346895dca0abd/html5/thumbnails/11.jpg)
中継を用いず、転送元ノードが直接全ノードに転送すると、転送元ノードがボトルネックになる
転送先ノードが中継を行うと、各ノードがより多くのバンド幅でデータを受け取ることができる( パイプライン転送 )
11
中継の必要性
このリンクが混雑
中継した場合 混雑解消
![Page 12: A Stable Broadcast Algorithm for Distributed Environments and Its Implementation](https://reader031.vdocuments.mx/reader031/viewer/2022012922/56815c2d550346895dca0abd/html5/thumbnails/12.jpg)
12
多くの既存アルゴリズムは、全ノードに同じバンド幅でデータが届くのを前提としていた
実際には大きなバンド幅で接続されたノードは、より早くデータを受け取ることが望ましいデータが到着したら独立に処理を開始可能
非同期的なブロードキャスト
![Page 13: A Stable Broadcast Algorithm for Distributed Environments and Its Implementation](https://reader031.vdocuments.mx/reader031/viewer/2022012922/56815c2d550346895dca0abd/html5/thumbnails/13.jpg)
13
転送時間による評価 : 最も遅いノードにデータが到着する時間で評価ノード間の同期が不要な場合には適さない
合計バンド幅による評価 :各ノードが受け取るバンド幅の合計で評価全ノードが同量のデータを受け取るのであれば、
転送時間と同じ結果となる各ノードが異なった量のデータを受け取る場合
の性能評価に適切である
ブロードキャストの性能評価
![Page 14: A Stable Broadcast Algorithm for Distributed Environments and Its Implementation](https://reader031.vdocuments.mx/reader031/viewer/2022012922/56815c2d550346895dca0abd/html5/thumbnails/14.jpg)
各ノードに届くバンド幅が、バンド幅の少ないノードを追加しても減らないこと、と定義する
ブロードキャストが Stable なら以下も満たされる合計バンド幅最大転送時間最小
14
Stable なブロードキャストとは :
100
A A10
100
バンド幅 :100 バンド幅 :100 (変化無し )
ノード追加
![Page 15: A Stable Broadcast Algorithm for Distributed Environments and Its Implementation](https://reader031.vdocuments.mx/reader031/viewer/2022012922/56815c2d550346895dca0abd/html5/thumbnails/15.jpg)
研究の概要問題設定関連研究提案するアルゴリズム実験・評価結論
15
発表の流れ
![Page 16: A Stable Broadcast Algorithm for Distributed Environments and Its Implementation](https://reader031.vdocuments.mx/reader031/viewer/2022012922/56815c2d550346895dca0abd/html5/thumbnails/16.jpg)
転送元ノードから直接多数のノードに転送実装が容易ノード数に比例した時間が必要ノード数が増えると性能が大きく低下
16
FlatTree アルゴリズム
このリンクが混雑
![Page 17: A Stable Broadcast Algorithm for Distributed Environments and Its Implementation](https://reader031.vdocuments.mx/reader031/viewer/2022012922/56815c2d550346895dca0abd/html5/thumbnails/17.jpg)
転送元ノードから転送先ノードを順番に辿る転送元のボトルネックを解消リンク共有が発生し性能低下
17
トポロジを考慮しないパイプライン
リンク共有が発生
![Page 18: A Stable Broadcast Algorithm for Distributed Environments and Its Implementation](https://reader031.vdocuments.mx/reader031/viewer/2022012922/56815c2d550346895dca0abd/html5/thumbnails/18.jpg)
BitTorrent は、転送時のバンド幅から中継構造を変化させ、合計バンド幅を順次向上させる
中継に枝分かれが多く、またリンク共有も回避されないため、クラスタ内でのブロードキャストには向かない
18
BitTorrent でのブロードキャスト [†]
[†] Wei et al. Scheduling Independent Tasks Sharing Large Data Distributed with BitTorrent. (In GRID ’05)
ある時点での中継図
リンクのバンド幅を1/3 しか使えない
![Page 19: A Stable Broadcast Algorithm for Distributed Environments and Its Implementation](https://reader031.vdocuments.mx/reader031/viewer/2022012922/56815c2d550346895dca0abd/html5/thumbnails/19.jpg)
トポロジ情報を用い、転送元から深さ優先にパイプラインを構築リンク共有が起こらない木構造だと最も遅いノードにとって最短で受信完了
遅いノードによる性能低下が発生
19
深さ優先パイプライン [†]
このリンクが細いとパイプライン全体の
性能が低下
[†] Shirai et al. A Fast Topology Inference - A building block for network-aware parallel computing. (HPDC 2007)
![Page 20: A Stable Broadcast Algorithm for Distributed Environments and Its Implementation](https://reader031.vdocuments.mx/reader031/viewer/2022012922/56815c2d550346895dca0abd/html5/thumbnails/20.jpg)
バンド幅付きトポロジを用い、現在の転送ツリーからのバンド幅が最大であるノードを順次追加遅いノードによる性能低下を緩和
リンク共有が発生する
20
Dijkstra 法によるツリー構築 [†]
[†] Wang et al. A novel data grid coherence protocol using pipeline-based aggressive copy method. (GPC, pages 484–495, 2007)
リンク共有が発生
![Page 21: A Stable Broadcast Algorithm for Distributed Environments and Its Implementation](https://reader031.vdocuments.mx/reader031/viewer/2022012922/56815c2d550346895dca0abd/html5/thumbnails/21.jpg)
FPFR: Fast Parallel File Replicationバンド幅付きトポロジ情報を用いる複数のストリームを用いることで、深さ優先パ
イプラインより合計バンド幅を向上アルゴリズム
複数のツリーを深さ優先で構築 ツリー群を同時に用いてデータ転送
21
FPFR アルゴリズム [†]
[†] Izmailov et al. Fast Parallel File Replication in Data Grid. (GGF-10, March 2004.)
![Page 22: A Stable Broadcast Algorithm for Distributed Environments and Its Implementation](https://reader031.vdocuments.mx/reader031/viewer/2022012922/56815c2d550346895dca0abd/html5/thumbnails/22.jpg)
深さ優先にツリーを構築し、最小バンド幅をスループットとする
さらに深さ優先に次の木を構築する 以前のツリーが用いるバンド幅を差し引いて構築する バンド幅が 0 のリンクは連結されていないと見なす
全ての転送先を辿れなくなったら、ツリー構築を終了するSecond Tree
22
FPFR におけるツリー群の構築
最小バンド幅
First Tree
![Page 23: A Stable Broadcast Algorithm for Distributed Environments and Its Implementation](https://reader031.vdocuments.mx/reader031/viewer/2022012922/56815c2d550346895dca0abd/html5/thumbnails/23.jpg)
ファイルを断片に分け、各ツリーが異なる断片を並列に送信する各ツリーのスループットに比例した量を送る
23
FPFR におけるデータ転送
First Tree: データ前半を送信 Second Tree: データ後半を送信
![Page 24: A Stable Broadcast Algorithm for Distributed Environments and Its Implementation](https://reader031.vdocuments.mx/reader031/viewer/2022012922/56815c2d550346895dca0abd/html5/thumbnails/24.jpg)
FPFR アルゴリズムは既存手法より合計バンド幅を改善したが、 Stable ではない 遅いノードが他のノードに影響してしまう
トポロジが木構造の場合は深さ優先パイプラインと全く同じ計画となり、性能向上されない
24
FPFR の問題点
このリンクが細いと全体の性能が低下
![Page 25: A Stable Broadcast Algorithm for Distributed Environments and Its Implementation](https://reader031.vdocuments.mx/reader031/viewer/2022012922/56815c2d550346895dca0abd/html5/thumbnails/25.jpg)
研究の概要問題設定関連研究提案するアルゴリズム
ツリー構築転送の実行ブロードキャストツールの実装
実験・評価結論
25
発表の流れ
![Page 26: A Stable Broadcast Algorithm for Distributed Environments and Its Implementation](https://reader031.vdocuments.mx/reader031/viewer/2022012922/56815c2d550346895dca0abd/html5/thumbnails/26.jpg)
FPFR を改良トポロジを用い、深さ優先にツリー群を構築す
る一部の転送先のみ結ぶツリーも転送に用いる
FPFR からの改善点各リンクが対称な木構造トポロジにおいては
Stable であることを証明した合計バンド幅最大かつ転送時間最短
任意のトポロジに対し合計バンド幅を改善
26
提案するアルゴリズム
![Page 27: A Stable Broadcast Algorithm for Distributed Environments and Its Implementation](https://reader031.vdocuments.mx/reader031/viewer/2022012922/56815c2d550346895dca0abd/html5/thumbnails/27.jpg)
27
FPFR と同様に深さ優先にツリーを構築全ての Destination をたどれなくなっても、引
き続き一部の Destination を結ぶツリーを作るデータ送信は全てのツリーを平行に用いる
ツリー群の構築 (例 )
Third Tree Fourth Tree
到達不能 到達不能到達不能
![Page 28: A Stable Broadcast Algorithm for Distributed Environments and Its Implementation](https://reader031.vdocuments.mx/reader031/viewer/2022012922/56815c2d550346895dca0abd/html5/thumbnails/28.jpg)
28
T0, T1, T2 の 3 本のストリームを用いて転送 Stage1: T0, T1, T2 全てを用いて転送
C がデータ全体を受け取ったら終了 Stage2: T0, T1 を用いて転送
以前 T2 が送信した断片を転送 B がデータ全体を受け取ったら終了
Stage3: T0 を用いて転送 以前 T1 が送信した断片を転送
データ送信の例
A BS CT0
T1
T2
A BS CT0
T1
A BS CT0
![Page 29: A Stable Broadcast Algorithm for Distributed Environments and Its Implementation](https://reader031.vdocuments.mx/reader031/viewer/2022012922/56815c2d550346895dca0abd/html5/thumbnails/29.jpg)
29
木構造 ( かつリンクの上下バンド幅が対称 ) ではStable全ノードが可能な最大バンド幅でデータを受信合計バンド幅最大完了時間最短 ( 最も遅いノードが最短で同期さ
れる )任意のトポロジに対し合計バンド幅を改善
FPFR(及びそれに類する手法 ) が有効に利用ではないバンド幅を用いることができるため
遅いノードの影響が小さい
提案アルゴリズムの特徴
![Page 30: A Stable Broadcast Algorithm for Distributed Environments and Its Implementation](https://reader031.vdocuments.mx/reader031/viewer/2022012922/56815c2d550346895dca0abd/html5/thumbnails/30.jpg)
30
先に提案したアルゴリズムを利用した、ブロードキャストツール (ucp) を実装した効率的な中継計画を立てる
Stable なブロードキャストアルゴリズムNAT ・ Firewall 下で動作する
逆向きの接続・中継を利用対話的に使え、使い勝手が良い
scp や rsync に類似した書式正規表現によるホスト指定
ブロードキャストツールの実装
$ ucp hongo000:/source/ptn hongo:/destination/ptn
![Page 31: A Stable Broadcast Algorithm for Distributed Environments and Its Implementation](https://reader031.vdocuments.mx/reader031/viewer/2022012922/56815c2d550346895dca0abd/html5/thumbnails/31.jpg)
31
研究の概要問題設定関連研究提案するアルゴリズム実験・評価
シミュレーション実機評価
結論
発表の流れ
![Page 32: A Stable Broadcast Algorithm for Distributed Environments and Its Implementation](https://reader031.vdocuments.mx/reader031/viewer/2022012922/56815c2d550346895dca0abd/html5/thumbnails/32.jpg)
32
4 クラスタの実機のトポロジを用い、以下の 4 手法を比較するシミュレータを実装した 提案手法深さ優先 (FPFR) Dijkstra ランダム
( トポロジを用いないパイプライン )各手法の合計バンド幅を計算した
10, 50, 100 ノードのブロードキャスト 転送元・転送先を変え、 10回ずつシミュレート 様々なバンド幅の条件を試行した
( リンクの上下のバンド幅が非対称な条件を含む )
(1) シミュレーションによる評価
… …
… …110 nodes 81 nodes
36 nodes 4 nodes
![Page 33: A Stable Broadcast Algorithm for Distributed Environments and Its Implementation](https://reader031.vdocuments.mx/reader031/viewer/2022012922/56815c2d550346895dca0abd/html5/thumbnails/33.jpg)
33
100Mbps と 1Gbps のリンクをランダムに混在FlatTree に対する性能向上を縦軸として表示100 ノードで FlatTree の 40 倍、深さ優先
(FPFR) の 3.0 倍速いノードが遅いノードに影響されないため
シミュレーション・条件 1
10 50 1000
5
10
15
20
25
30
35
40
45OursDepthFirstDijkstraRandom (best)Random
(Number of Destinations)
100
100 100
1000
1000 1000
![Page 34: A Stable Broadcast Algorithm for Distributed Environments and Its Implementation](https://reader031.vdocuments.mx/reader031/viewer/2022012922/56815c2d550346895dca0abd/html5/thumbnails/34.jpg)
34
スイッチ間が 100M-1Gbps に一様分布FlatTree に対する性能向上を縦軸として表示100 ノードで FlatTree の 36 倍、深さ優先
(FPFR) の 1.2 倍
シミュレーション・条件 2
10 50 1000
5
10
15
20
25
30
35
40
OursDepthFirstDijkstraRandom(Best)Random
(Number of Destinations)
1000 1000
100~1000 100~1000
![Page 35: A Stable Broadcast Algorithm for Distributed Environments and Its Implementation](https://reader031.vdocuments.mx/reader031/viewer/2022012922/56815c2d550346895dca0abd/html5/thumbnails/35.jpg)
35
合計 8 種類のバンド幅分布で実験した500-1000Mbps の間に一様分布100-1000Mbps の間に一様分布100Mbps と 1000Mbps を混在スイッチ間を 100-1000Mbps の間に一様分布
1条件を除き、提案手法が最も高い合計バンド幅を達成した特にバンド幅の分散が大きい場合に大きく性能向上上下で異なるバンド幅を 100-1000Mbps 間に一様
分布させた場合のみ、 Dijkstra の 98% の性能に留まった
シミュレーションのまとめ
![Page 36: A Stable Broadcast Algorithm for Distributed Environments and Its Implementation](https://reader031.vdocuments.mx/reader031/viewer/2022012922/56815c2d550346895dca0abd/html5/thumbnails/36.jpg)
36
4 クラスタ 10, 47, 105 ノードでブロードキャストノード間のバンド幅は 1Gbps から 10Mbps の
間に分散4 手法の合計バンド幅を比較した
提案手法深さ優先 (FPFR)Dijkstraランダム (100回のうち最高のスケジュール )
さらに、理論上の最大値とも比較した各ノードが転送元から独立にデータを受け取っ
た場合の、バンド幅の合計値
(2) 実機での評価
![Page 37: A Stable Broadcast Algorithm for Distributed Environments and Its Implementation](https://reader031.vdocuments.mx/reader031/viewer/2022012922/56815c2d550346895dca0abd/html5/thumbnails/37.jpg)
37
既存手法に比べ 2.5 倍以上の性能理論最大値に比べると 0.5-0.7 倍に留まった
用いたノードが上下のネットワークをフルに用いることができないため (例えば一方向の送信では 900Mbps 処理できるが、受信と送信を同時に行うと合計 750Mbpsに低下してしまう )
合計バンド幅の評価
Ours DepthFirst Dijkstra Random Simulated012345678
Agg
rega
te B
andw
idth
(a) Broadcast (10 Nodes)
(Gbps)
Ours DepthFirst Dijkstra Random Simulated0
102030405060708090
100
Aggr
egat
e Ba
ndw
idth
(c) Broadcast (105 Nodes)
(Gbps)(Gbps)(Gbps)
Ours DepthFirst Dijkstra Random Simulated05
1015202530354045
Agg
rega
te B
andw
idth
(b) Broadcast (47 Nodes)
(Gbps)
![Page 38: A Stable Broadcast Algorithm for Distributed Environments and Its Implementation](https://reader031.vdocuments.mx/reader031/viewer/2022012922/56815c2d550346895dca0abd/html5/thumbnails/38.jpg)
38
9 ノードでのブロードキャストにバンド幅の小さな 1 ノードを追加した際、既存ノードの合計バンド幅の変化を観測
考察 :深さ優先 (FPFR) に比べ、遅いノードを追加しても既存
ノードのバンド幅が変化していない Dijkstra に比べ、合計バンド幅が 1.6 倍
Stability の評価実験
00.5
11.5
22.5
33.5
44.5 Before the Join
After the Join
Agg
rega
te B
andw
idth
(Gbps)(Gbps)(Gbps)
![Page 39: A Stable Broadcast Algorithm for Distributed Environments and Its Implementation](https://reader031.vdocuments.mx/reader031/viewer/2022012922/56815c2d550346895dca0abd/html5/thumbnails/39.jpg)
研究の概要問題設定関連研究提案するアルゴリズム実装・評価結論
発表の流れ
39
![Page 40: A Stable Broadcast Algorithm for Distributed Environments and Its Implementation](https://reader031.vdocuments.mx/reader031/viewer/2022012922/56815c2d550346895dca0abd/html5/thumbnails/40.jpg)
Stable なブロードキャストという概念を提案
実際に木構造で Stable なアルゴリズムを提案数学的に証明実機において既存手法の 2.5 倍の合計バンド幅シミュレーションで様々な条件での性能向上を確認
バンド幅が小さなノードを追加しても性能低下しない
それを用いたブロードキャストツールを実装 40
本発表のまとめ
![Page 41: A Stable Broadcast Algorithm for Distributed Environments and Its Implementation](https://reader031.vdocuments.mx/reader031/viewer/2022012922/56815c2d550346895dca0abd/html5/thumbnails/41.jpg)
41
グラフ構造トポロジにおいて合計バンド幅を最大化するアルゴリズム常に Stable なアルゴリズムは存在しない
バンド幅変化を検知し転送構造を変化させる、転送の再構築アルゴリズム
タスクスケジュラーとの連携
今後の課題
![Page 42: A Stable Broadcast Algorithm for Distributed Environments and Its Implementation](https://reader031.vdocuments.mx/reader031/viewer/2022012922/56815c2d550346895dca0abd/html5/thumbnails/42.jpg)
42
国際会議 Kei Takahashi, Hideo Saito, Takeshi Shibata and Kenjiro Taura. A Stable Broadcast Algorithm. To appear in the Seventh IEEE International Symposium on Cluster Computing and the Grid (CCGrid2008), May 2008
研究会報告 高橋慧 , 田浦健次朗 , 近山隆 . トポロジを考慮しソース選択を行うデータ転送スケジュラー . 並列 /分散 /協調処理に関するサマーワークショップ(SWoPP2007), 旭川,2007年8月.
高橋慧 , 田浦健次朗 , 近山隆 . マイグレーションを支援する分散集合オブジェクト. 並列 /分散 /協調処理に関するサマーワークショップ(SWoPP2005), 武雄,2005年8月.
ポスター発表 高橋慧 , 田浦健次朗 , 近山隆 . マイグレーションを支援する分散集合オブジェクト. 先進的計算基盤システムシンポジウム(SACSIS2005),筑波.2005 年5月.
学会発表