第２回「ネットワーク生態系と空間デザイン」シンポジウム

ネットワーク構造の可視化

平成１６年３月５日

NTT コミュニケーション科学基礎研究所

研究のねらい

• 複雑なデータはネットワークで表現できる–ウェブページのハイパーリンクネットワーク–生物学の遺伝子制御ネットワーク–社会学のソーシャルネットワーク–単語間の意味ネットワーク

• ネットワーク（関係データ）を可視化する意義–ネットワーク全体構造の直感的な把握支援–直接「ブラウジング」による新知識の発見支援–異常現象の早期発見システムに向けたコア技術

隣接行列と距離行列

提案法：隣接行列を直接用いた可視化法

1 0 1 0 00 1 0 1 01 0 1 1 10 1 1 1 00 0 1 0 1

変換

可視化

ネットワークを表す 0 3 1 2 23 0 2 1 31 2 0 1 12 1 1 0 21 3 1 2 0

1

23 4

5

1 23

45

距離行列ノード間のグラフ距離（最短経路長）を成分とする行列

12345

1 2 3 4 512345

1 2 3 4 5

可視化

隣接ノード を非隣接ノードより

近くに配置ノード間のグラフ距離（最短経路長）≑ ユークリッド空間における距離

ノード番号

ノード番号

より柔軟な配置が可能だが、アルゴリズムの実装が課題

ノード数が少ない場合は有効

1

11 1

A = (ai,j)隣接行列

隣接⇒1非隣接⇒0

提案法の基本アイデアとメリットばねモデル提案法

と ai,j とのクロスエントロピー の和を

ニューラルネットのオンライン学習で最小化

,( ) [0,1], (0) 1, ( ) 0i jdρ ρ ρ∈ = ∞ =A = (ai,j) ：隣接行列， ：距離に基づく類似度

,( )i jdρ

, , , , ,ln( ( )) (1 ) ln(1 ( ))= − − − −i j i j i j i j i jE a d a dρ ρ

,i jE

∞0

1,exp( )

2i jd

ρ = −

,( )i jdρ が ai,j にできるだけ一致する時最小となる⇒

類似度関数• N ：ネットワークのノード数• A = (ai,j) ：隣接行列 ai,j = 1 or 0, ai,j = aj, i （無向を仮定）

• x1,...,xN ： N個のノードの座標，K：埋め込み次元数• di,j = || xi– xj ||2 （通常のユークリッド距離）

ρ>

0

1

,exp( )2i jd

ρ = −

クロスエントロピーに基づく埋め込み法

隣接ノード を非隣接ノードより近くに配置

［類似度の近似］ 各ノードにおいて連続類似度 ρ (di,j)が離散類似度 ai,jの最も良い近似となるように配置

「隣接」 ＝ 「ai,j = 1」「近く」 ＝ 「類似度ρ (di,j)→１」

（ρ ：i,jの類似度関数，x1,...,xNはパラメータで，これを調節）

「類似度ρ (di,j) 」≒「 ai,j （離散類似度） 」

, , , , ,ln( ( )) (1 ) ln(1 ( ))i j i j i j i j i jE a d a dρ ρ= − − − −ρ (di,j) と ai,jとのクロスエントロピーを最小化

埋め込み法の目的関数,

, ,2 21|| || (1 ) ln(1 exp( || || ))

2 2i j

i j i ji j i jaE x x a x x= − − − − −

,

12

1 1 1|| ||

2i j

N N n

ii j i i

J E xµ−

= = + =

= +∑ ∑ ∑正則化のためのWeight-Decay項

目的関数

• i を固定したとき，ai,jはノード j の２値「ラベル」を定義

• N 個の２値分類問題を同時に解くことと解釈可能（x1,...,xNがパラメータ）

ラベル１ ラベル０

学習アルゴリズム

(1) t = 1 とし， x1,...,xN をランダムに初期化

(2) 勾配ベクトル Jx1

(1), ..., JxN

(1) を計算

(3) i = arg maxj{|Jxj

(t)|2} となる xiを選択

(4) |Jxi

(t)|2 < εならば x1,...,xN を出力し終了

(5) 変分ベクトル ∆xiを計算

(6) Jx1

(t), ..., JxN

(t)を用いてJx1

(t+1), ..., JxN

(t+1)を更新

(7) xi = xi + ∆xiによって xi を更新

(8) t = t + 1 とし，ステップ(3)へ

∆xi =– λJxi

(t)–H-1 Jxi

(t) if J (t+1) < J (t)

otherwise

2 ( )t

ti i

JHx x∂

=∂ ∂

2 ( )( 1) ( ) 0i i

tt t

x x iti i

JJ J xx x

+ ∂≈ + ∆ =

∂ ∂

Ｆ 値に基づく評価のアイデア［現実の埋め込み］

( )i iB rixir∃分離球面

各ノード iにおいて違反ゼロの完全分離球面が存在

違反ゼロ

［理想的埋め込み］

ix違反あり

違反ゼロにはできない

• 各ノード i にてF値の意味で違反度最小となる Bi(ri) を構成• 全ノードのF 値の平均で埋め込みの良さを評価

Ｆ 値に基づく評価全ノードのF値の平均で埋め込みの良さを評価

F値： Precision と Recall の調和平均

Precision6( )

13i iP r =

半径が小さいほうが有利

Recall5( )9i iR r =

半径が大きいほうが有利

1 1( ) 1/{ (1 ) }( ) ( )i i

i i i i

F rP r R r

α α= + −1

ˆ( )Ni i

i

F rFN=

= ∑ 通常α=1/2

比較に用いた従来法

' 2CMDS

1trace{( ) }2

J = − −YOY XX

1 1' 22 2

SC trace{( ) }J = −- -

D BD XX

CMDS: Torgersonによる古典的ＭＤＳ

SC: スペクトラルクラスタリング

G=(gi,j )：グラフ距離行列O=(oi,j )： oi,j= gi,j £ gi,jY: N-次元 Young-Householder 変換行列

B =(bi,j )： exp (– gi,j /2)D =(di,j )：対角行列， di,i= Bの第i行の全要素の和

,,

,1

ˆ i ji j N

i jj

xx

x=

=∑

によって結果を球面上に表示

,

21,

KK 21 1

( || ||)12

i j

N Ni j i j

i j i

g x xJ

g

−

= = +

− −= ∑ ∑

KK: Kamada & Kawaiによるばねモデル

実データを用いた評価実験

5 10 15 20 250

0.2

0.4

0.6

0.8

1

0

0.2

0.4

0.6

0.8

1

0

0.2

0.4

0.6

0.8

1

次元

MDS

KK

CoPE

SC

2 3 4 5 6 7 8 9

MDS

KKCoPE

SC

2 3 4 5 6 7 8 9

MDS

KK

CoPE

SC

ノード数 328， リンク数 456 ノード数1061， リンク数 2080 ノード数 2870，リンク数 9337

CoPE: 提案法，MDS: 多次元尺度法，KK: ばねモデル，SC: スペクトラルクラスタリング

大腸菌の遺伝子制御ネットワーク

NIPS掲載論文の共著者ネットワーク

ＮＴＴドメインに属するWWWページ

★縦軸は、隣接ノードが非隣接ノードより近くに配置されている割合，横軸は埋め込みの次元

配置の良さ

Ｆ

２次元への埋め込み結果（古典MDS ）

２次元への埋め込み結果（バネモデル）

２次元の埋め込み結果（提案法）

３次元の埋め込み結果

E.Coli： 大腸菌の遺伝子制御ネットワーク

NIPS： NIPS掲載論文の共著者ネットワーク

NTT： ＮＴＴドメインに属するWWWページ

KECL： CS研ドメインに属するWWWページ