ベイジアンネットワーク概説

3.3 ベイジアンネットワークの母数推定

茨城大学工学部佐々木稔

はじめに サンプルデータ数の影響を考慮した推論

母数（パラメトリック）モデルの導出 母数モデル

確率構造 BS のとき、 3.2 節より

θijk : 親ノード変数集合 pa(Xi) のうち、 j 番目の　　　　　パターンをとり、 Xi = k となる条件付き確率

の母数 Θ= {θijk} (i=1, ・・・ , n ; j=1, ・・・ , qi ; k=0, ・・・ ,ri-1)

n

isiiSn BXpaXpBXXXp

121 ,|)|,,,(

iXi = k

W1 = a1 Wt = at

W = （ a1, a2, ・・・ , at ）がパターンこのパターンが qi 個存在

W = （ a1, a2, ・・・ , at ）と Xi = kとなるデータ数が Nijk

Θについての尤度 Xを所与としたときのパラメータ Θについての尤度 多項分布に従う この尤度が最大となる母数を求める

n

i

q

j

r

k

Nijk

n

i

q

j

r

k

Nijkr

kijk

r

kijk

s

i iijk

i iijk

i

i

N

NBp

1 1

1

0

1 1

1

01

0

1

0

!

!,|

X

)1(10

)1(10)1(10

1

01

01

0

1

0

!!!

!

!

!

irij

i

ijij

i

i

iijk

i

i

N

rijNij

Nij

rijijij

r

kijkr

k

Nijkr

kijk

r

kijk

NNN

N

N

N

全試行回数

ラベル 0 1 ・・・ ri - 1

確率 θij0 θij1

・・・θij(ri -1)

回数 Nij0 Nij1

・・・Nij(ri -1)

独立試行確率の計算

事前分布の推定 パラメータ θ についての事前分布 p(θ|BS) 自然共益事前分布の導入

ディリクレ (Dirichlet) 分布 事前、事後の分布形を同一にする N’ijk は Nijk に対応するハイパーパラメータ

n

i

q

j

r

k

Nijkr

kijk

r

kijk

s

i iijk

i

i

N

N

Bp1 1

1

0

1

1

0

1

0|

事前分布の推定 i, j, k 以外は積分するとベータ分布になる

1

2

)1(110

2

||

ijk

ii

Nijk

ijk

ijk

rnqsijksijk

N

N

ddBpBp

母数値とベータ分布の形状

0

1

2

3

4

5 ホールデン事前分布

β(0.5, 0.5)

β(10, 9)

β(1.0, 1.0)

母数推定 事後分布 p(X, θ|BS) 尤度と事前分布の積

n

i

q

j

r

k

NNijk

n

i

q

j

r

k

NNijkr

kijk

r

kijk

s

i iijkijk

i iijkijk

i

i

N

N

Bp

1 1

1

0

1

1 1

1

0

1

1

0

1

0|,

X

母数推定 事後分布 p(X, θ|BS) を最大化する

このとき、

より、

ijk

n

i

q

j

r

kijkijks

i i

NNBp log 1|,log1 1

1

0

X

2

0k)1( 1

i

i

r

ijkrij

1log1 log1|,log1 1

2

0

2

0

n

i

q

j

r

k

r

kijkijkijkijkijkijks

i i i

NNNNBp X

母数推定 θijk で偏微分したものが 0 となる θijk を求める

0

1

11

|,log

1 1

2

02

0

n

i

q

j

r

kr

kijk

ijkijk

ijk

ijkijk

ijk

s

i i

i

NNNN

d

Bpd

X

母数推定推定値は

ただし、ijij

ijkijkijk NN

NN

1

0

1

0

, ii r

kijkij

r

kijkij NNNN

数値例 θijk の推定値と真の値との平均二乗誤差 3.2 節のデータを利用

3.2節のデータの推定値真の値 N’ijk=0 N’ijk=1 N’ijk=1/2

p(X2=1|X1=1) 0.8 0.8 0.76 0.78

p(X2=1|X1=0) 0.2 0 0.14 0.08

p(X3=1|X1=1) 0.8 0.8 0.76 0.78

p(X3=1|X1=0) 0.2 0 0.14 0.08

p(X4=1|X2=1, X3=1) 0.8 0.66 0.64 0.65

p(X4=1|X2=1, X3=0) 0.2 0.5 0.5 0.5

p(X4=1|X2=0, X3=1) 0.6 0.5 0.5 0.5

p(X4=1|X2=0, X3=0) 0.2 0.4 0.43 0.41

p(X5=1|X3=1) 0.8 0.67 0.64 0.42

p(X5=1|X3=0) 0.2 0.33 0.35 0.34

真の値との二乗誤差 0.0193 0.015 0.028