NC 2004 10 18研究会 （ 年 月 日） 1

ベイジアンネットと確率推論変分原理からの再帰的確率推論アルゴリズムの解説

東北大学 大学院情報科学研究科田中　和之

kazu@statp.is.tohoku.ac.jphttp://www.statp.is.tohoku.ac.jp/~kazu/

参考文献参考文献田中和之・樺島祥介編田中和之・樺島祥介編 , “, “ ミニ特集ミニ特集 //ベイズ統計・統計力学と情報処ベイズ統計・統計力学と情報処理”理” , , 計測自動制御学会誌「計測と制御」計測自動制御学会誌「計測と制御」 20032003 年年 88月号．月号．田中和之，田中利幸，渡辺治他著，“連載田中和之，田中利幸，渡辺治他著，“連載 //確率的情報処理と統計力確率的情報処理と統計力学　学　 ------様々なアプローチとそのチュートリアル様々なアプローチとそのチュートリアル ---”，数理科学2004年 11月号から開始．

NC 2004 10 18研究会 （ 年 月 日） 2

確率的情報処理と確率伝搬法

確率的情報処理ベイジアンネット

確率モデル

ベイズの公式

確率伝搬法

J. Pearl: Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference (Morgan Kaufmann, 1988).

NC 2004 10 18研究会 （ 年 月 日）NC 2004 10 18研究会 （ 年 月 日） 33

進化する確率伝搬法進化する確率伝搬法進化する確率伝搬法進化する確率伝搬法

確率伝搬法と統計力学的近似解析手法との等価性確率伝搬法と統計力学的近似解析手法との等価性Y. Kabashima and D. Saad, Belief propagation vs. TAP for decoding corrupted messages, Europhys. Lett. 44 (1998). M. Opper and D. Saad (eds), Advanced Mean Field Methods ---Theory and　 Practice (MIT Press, 2001).

クラスター変分法による確率伝搬法の一般化の提案クラスター変分法による確率伝搬法の一般化の提案J. S. Yedidia, W. T. Freeman and Y. Weiss, Generalized belief propagation, Advances in Neural Information Processing Systems, 13 (2001, MIT Press).

情報幾何としての確率伝搬法の解釈情報幾何としての確率伝搬法の解釈 S. Ikeda, T. Tanaka and S. Amari: Stochastic reasoning, free

energy, and information geometry, Neural Computation, Vol.16, No.9, pp.1779-1810, 2004.

確率伝搬法と統計力学的近似解析手法との等価性確率伝搬法と統計力学的近似解析手法との等価性Y. Kabashima and D. Saad, Belief propagation vs. TAP for decoding corrupted messages, Europhys. Lett. 44 (1998). M. Opper and D. Saad (eds), Advanced Mean Field Methods ---Theory and　 Practice (MIT Press, 2001).

クラスター変分法による確率伝搬法の一般化の提案クラスター変分法による確率伝搬法の一般化の提案J. S. Yedidia, W. T. Freeman and Y. Weiss, Generalized belief propagation, Advances in Neural Information Processing Systems, 13 (2001, MIT Press).

情報幾何としての確率伝搬法の解釈情報幾何としての確率伝搬法の解釈 S. Ikeda, T. Tanaka and S. Amari: Stochastic reasoning, free

energy, and information geometry, Neural Computation, Vol.16, No.9, pp.1779-1810, 2004.

NC 2004 10 18研究会 （ 年 月 日）NC 2004 10 18研究会 （ 年 月 日） 44

本チュートリアル講演のトピッ本チュートリアル講演のトピックスクス

本チュートリアル講演のトピッ本チュートリアル講演のトピックスクス

確率推論における確率伝搬法確率推論における確率伝搬法K. Tanaka: “Probabilistic inference by means of cluster K. Tanaka: “Probabilistic inference by means of cluster variation method and linear response theory”, IEICE variation method and linear response theory”, IEICE Transactions, Transactions, E86-DE86-D (2003). (2003).

確率的画像処理における確率伝搬法確率的画像処理における確率伝搬法K. Tanaka, H. Shouno, M. Okada and D. M. Titterington: AccuracK. Tanaka, H. Shouno, M. Okada and D. M. Titterington: Accuracy of the Bethe Approximation for Hyperparameter Estimation in y of the Bethe Approximation for Hyperparameter Estimation in Probabilistic Image Processing, J. Phys. A: Math. & Gen., Probabilistic Image Processing, J. Phys. A: Math. & Gen., 3737 (20 (2004).04).

NC 2004 10 18研究会 （ 年 月 日） 5

確率の知識（１）

AABBA

A

BAAB

PrPr,Pr

Pr

,PrPr

A

B

条件付き確率と結合確率条件付き確率と結合確率

事象Ａの起こる確率 }Pr{A

事象 Aと事象 Bの結合確率 BABA Pr,Pr

NC 2004 10 18研究会 （ 年 月 日） 6

確率の知識（２）

A C D

DCBAB ,,,PrPr

結合確率分布と周辺確率分布の一般的関係

ＡＡ ＢＢ

ＣＣ ＤＤ

周辺化周辺化

NC 2004 10 18研究会 （ 年 月 日） 7

簡単な確率推論

AABBC

AABBAC

BABACCBA

PrPrPr

PrPr,Pr

,Pr,Pr,,Pr

BA

B

CBA

CBA

C

CACA

,

,,Pr

,,Pr

Pr

,PrPr

A

B

C

A

B

C

ABPr

BCBAC Pr,Pr

A

B

C

NC 2004 10 18研究会 （ 年 月 日） 8

より複雑な確率推論

1A

3A

2A

4A

6A 5A

13V

67V

24V

25V346V

568V

8A7A

複雑になるほどノー複雑になるほどノードの個数は多くなりドの個数は多くなり計算困難が深刻にな計算困難が深刻になるる

NC 2004 10 18研究会 （ 年 月 日） 9

より複雑な確率推論

)()(

)()()(

)()()(

)()()(

)()()(

)()()(

2

2233

311342245225

445566

7667543346865568

311342245225

7667543346865568

882211

,,,

,,,,,1

,,,

,,,,,1

,,,Pr

aWaW

aaWaaWaaW

aWaWaW

aaWaaaWaaaW

Z

aaVaaVaaV

aaVaaaVaaaVZ

aAaAaAP

a

8,,2,1 iaia

1A

3A

2A

4A

6A 5A

13W

67W

24W

25W346W

568W

8A7A

2W

5W

4W

3W

6W

NC 2004 10 18研究会 （ 年 月 日） 10

周辺確率分布

iaii PaP

\

)(a

a

kji aaakjiijk PaaaP

,,\

),,(a

a

ji aajiij PaaP

,\

),(a

a

882211 ,,,Pr aAaAaAP a

信念（ Belief ）

1A

3A

2A

4A

6A 5A

13W

67W

24W

25W346W

568W

8A7A

2W

5W

4W

3W

6W

NC 2004 10 18研究会 （ 年 月 日） 11

扱い易いモデルと計算困難なモデル

どの枝もそれぞれで独立に和がとれる．

それぞれで独立に和をとることが困難．

閉路のないグラフ上の確率モデル

閉路のあるグラフ上の確率モデル

dcba

dcba

dcba

),(),(),(),(

),(),(),(,

xDxCxBxA

xDxCxBxAa b c d

a

b

cd

a

b

cd

a b c d

dcba xW ,,,,

NC 2004 10 18研究会 （ 年 月 日） 12

より複雑なグラフ上の確率モデル

8,,2,1 iaia

)()(

)()()(

)()()(

)()()()(

2

2233

311342245225

445566

7667543346865568

,,,

,,,,,1

aWaW

aaWaaWaaW

aWaWaW

aaWaaaWaaaW

ZP

a

1A

3A

2A

4A

6A 5A

13W

67W

24W

25W346W

568W

8A7A

2W

5W

4W

3W

6W

NC 2004 10 18研究会 （ 年 月 日） 13

周辺確率分布のメッセージによる近似表現

1A

3A

2A

4A

6A 5A

8A7A

346W

133M244M

676M

5686M

667665686

42443133

643346346

643346 ,,1

,,

aMaM

aMaM

aaaWZ

aaaP

667665686

63466666

661

aMaM

aMaWZ

aP

3 4

64334666 ,,a a

aaaPaP

3466M

3A 4A

6A 5A

8A7A

676M

5686M

6W

1A

3A

2A

4A

6A 5A

13W

67W

24W

25W346W

568W

8A7A

2W

5W

4W

3W

6W

NC 2004 10 18研究会 （ 年 月 日） 14

メッセージの固定点方程式

3 4 6

3 4

)()()(

),,(

)()()(

),,(

)(

4244313366

643346

4244313366

643346

63466

a a a

a a

aMaMaW

aaaW

aMaMaW

aaaW

aM

確率伝搬アルゴリズム

1A

3A

2A

4A

6A

)( 3133 AM )( 4244 AM

)( 63466 AM

1A

3A

2A

4A

6A 5A

13W

67W

24W

25W346W

568W

8A7A

2W

5W

4W

3W

6W

NC 2004 10 18研究会 （ 年 月 日） 15

確率モデルとカルバックライブラー情報量

a\a

aa )()( QQ ：周辺確率分布

a

aa

a P

QQPQD ln)(

a

a

a

1)(

0

Q

Q

a

aa

a W

QQWQDD ln)(

a

a

a

1)(

0

Q

Q

a

a

a

1)(

0

W

W

)()()()()(

)()()()()()()(

22233445566

3113422452257667543346865568 ,,,,,,,,1

aWaWaWaWaW

aaWaaWaaWaaWaaaWaaaW

ZP a

1A

3A

2A

4A

6A 5A

13W

67W

24W

25W346W

568W

8A7A

2W

5W

4W

3W

6W

NC 2004 10 18研究会 （ 年 月 日） 16

試行関数

)()(

)()()(

)()()(

)()()()(

2

2233

311342245225

445566

7667543346865568

,,,

,,,,,

aQaQ

aaQaaQaaQ

aQaQaQ

aaQaaaQaaaQQ

a

a\a

aa )()( QQ ：周辺確率分布

1A

3A

2A

4A

6A 5A

8A7A

13W

67W

24W

25W

346W

568W

3A

3A

6A

5A

5A

4A

4A

6A

6A

2A2A

ZDDDD

DDDDDDPQD

ln2 6543

56867252434613

a

aa

a P

QQPQD ln)(

a

a

a

1)(

0

f

f1A

3A

2A

4A

6A 5A

13W

67W

24W

25W346W

568W

8A7A

2W

5W

4W

3W

6W

NC 2004 10 18研究会 （ 年 月 日） 17

クラスター変分法の戦略

•各クラスター γ に対する周辺確率分布 P ＱQγ(aγ) を その規格化条件と Reducibility を拘束条件として D[Q|P] を最小にするように変分原理によって決定する．（注意： Q(a) の規格化条件 Σa f(a)=1 は要請しない変分で得られた f(a) が D[Q|P] 0 ≧ を満たす保証はなくなる . ）

ZDDDD

DDDDDDPQD

ln2 6543

56867252434613

5

4

5225

422422

,

,

a

a

aaQ

aaQaQ

)(

)()(

•確率分布を少数ノードからなるクラスターに対する周辺確率分布の積の形に近似する．その近似形と元々の確率分布の間の KL情報量の表式を考える．

1A

3A

2A

4A

6A 5A

13W

67W

24W

25W346W

568W

8A7A

2W

5W

4W

3W

6W

NC 2004 10 18研究会 （ 年 月 日） 18

周辺確率分布のメッセージによる近似表現

1A

3A

2A

4A

6A 5A

8A7A

346W

133M244M

676M

5686M

667665686

42443133

643346346

643346 ,,1

,,

aMaM

aMaM

aaaWZ

aaaP

667665686

63466666

661

aMaM

aMaWZ

aP

3 4

64334666 ,,a a

aaaPaP

3466M

3A 4A

6A 5A

8A7A

676M

5686M

6W

NC 2004 10 18研究会 （ 年 月 日） 19

メッセージの固定点方程式

3 4 6

3 4

)()()(

),,(

)()()(

),,(

)(

4244313366

643346

4244313366

643346

63466

a a a

a a

aMaMaW

aaaW

aMaMaW

aaaW

aM

確率伝搬アルゴリズム

1A

3A

2A

4A

6A

133M 244M

3466M

1A

3A

2A

4A

6A 5A

13W

67W

24W

25W346W

568W

8A7A

2W

5W

4W

3W

6W

NC 2004 10 18研究会 （ 年 月 日） 20

固定点方程式と反復法

固定点方程式 ** MM

反復法

23

12

01

MM

MM

MM

繰り返し出力を入力に入れることに繰り返し出力を入力に入れることにより，固定点方程式の解が数値的により，固定点方程式の解が数値的に得られる．得られる．

0M1M

1M

0

xy

)(xy

y

x*M

NC 2004 10 18研究会 （ 年 月 日） 21

数値実験

4393.0)1(5607.0)1( 88 PP

4360.0)1(5640.0)1( 88 PP

Belief Propagation

Exact

8\8765432188 ),,,,,,,()(

a

aaaaaaaaPaPa

85 ,\876543218558 ),,,,,,,(),(

aa

aaaaaaaaPaaPa

1A

3A

2A

4A

6A 5A

13W

67W

24W

25W346W

568W

8A7A

3629.0)1,1( 0871.0)1,1(

0764.0)1,1( 4736.0)1,1(

5858

5858

PP

PP

3636.0)1,1( 0864.0)1,1(

0724.0)1,1( 4776.0)1,1(

5858

5858

PP

PP

NC 2004 10 18研究会 （ 年 月 日） 22

数値実験

8261.04393.0

3629.0

Pr

,Pr

Pr

Present

PresentPresent

PresentPresent

Dyspnea

DyspneaBronchitis

DyspneaBronchitis

A

AA

AA

1A

3A

2A

4A

6A 5A

13W

67W

24W

25W346W

568W

8A7A

3W4W

5W

6W

確率伝搬法確率伝搬法確率伝搬法確率伝搬法

NC 2004 10 18研究会 （ 年 月 日） 23

自動化が急務．パラメータのデータからの学習

EM アルゴリズムクラスター変分法の更なる拡張の試み

Region Graph MethodMax-Product Method

自動化が急務．パラメータのデータからの学習

EM アルゴリズムクラスター変分法の更なる拡張の試み

Region Graph MethodMax-Product Method

ベイジアンネットの今後の動向ベイジアンネットの今後の動向

NC 2004 10 18研究会 （ 年 月 日） 24

画像修復の確率モデル

原画像 劣化画像

通信路

雑音

劣化画像

原画像原画像劣化画像劣化画像原画像

Pr

Pr|Pr|Pr

NC 2004 10 18研究会 （ 年 月 日） 25

ベイズの公式と確率的画像処理

y

x

yxf yx ,,f yxg yx ,,g

fg

fP ,fgP g原画像 劣化画像

,

,,,

g

ffggf

P

PPP

zgz dPzf yxyx ,,ˆ,,

事前確率

事後確率

劣化過程

画素

NC 2004 10 18研究会 （ 年 月 日） 26

周辺尤度最大化によるハイパパラメータ推定

PR

POS

Z

ZdPPP

2

,,,,

gzzzgg

,max argˆ,ˆ,

gP

f g

周辺化周辺化

g ,gP

fP ,fgP g

yxf yx ,,f

原画像

周辺尤度 yxg yx ,,g

劣化画像

y

x

zgz dPzf yxyx ˆ,ˆ,ˆ,,

NC 2004 10 18研究会 （ 年 月 日） 27

画像修復の劣化過程と事前確率劣化過程

事前確率

,, ,, yxyx gf

),(

21,,

2,1, 22

exp1

yxyxyxyxyx ffff

ZP

PR

f

),(

2,,22

1exp

2

1,

yxyxyx gfP

fg

),(1.,,1, ,,

,,

1

,

,,,

yxyxyxyxyx ffff

Z

P

PPP

g

g

ffggf

POS

2

',',2

','','22

,,2',',','

, 2

1

8

1

8

1exp, yxyxyxyxyxyxyxyx

yxyx ffgfgfff

事後確率

2,

,,,

,0~ Nn

nfg

yx

yxyxyx

NC 2004 10 18研究会 （ 年 月 日） 28

周辺確率の導入

zgz dPzffP yxyxyxyx ,,)( ,,,,

zgz dPzfzf

ffP

yxyxyxyx

yxyxyxyx

,,

),(

','',',,

',',','

,

dPdPzf yxyxyx ,,, ,,ˆ zgz

NC 2004 10 18研究会 （ 年 月 日） 29

変分計算により得られる確率伝搬法の周辺確率密度関数の近似表式

yxyxyxyx

yxyxyx dzzfPfP ,1,1,,1

,,, ,

),( yx

)1,( yx

),1( yx ),1( yx

)1,( yx

1,,yxyxMyx

yxM,1

,

1,,yxyxM

yxyxM

,1,

)1,1( yx

),( yx

)1,( yx

),1( yx ),1( yx

)1,( yx

1,,yxyxMyx

yxM,1

,

)( ,1,

, yxyxyx fM

1,1,1

yxyxM

)1,1( yx

1,1,1

yxyxM

),2( yx

yxyxM,2

,1

yx

yxyxyx

yxyxyx

yxyx

yxyxyxyx

yxyxyx

yxyx

yxyxyx

yxyxyx

yxyxyx

yx

fMfMfM

fMfMfM

ffZ

ffP

,11,1

,1,11,1

,1,1,2

,1

,1,

,,1,

,,,1

,

,1,,1

,,1,

,1,,1

, ,1

,

yxyxyxyx

yxyx

yxyx

yxyxyx

yxyx

yxyx

fMfM

fMfMZ

fP

,1,

,,1,

,

,,1

,,,1

,,

,,1

NC 2004 10 18研究会 （ 年 月 日） 30

確率伝搬法におけるメッセージ更新規則

),( yx

)1,( yx

),1( yx ),1( yx

)1,( yx

1,,yxyxMyx

yxM,1

,

1,,yxyxM

yxyxM

,,1

'',

,

1,,

1,,

,1,

,1,

1,,

1,,

,1,

,1,,

,1

ddMMM

dMMMM

yxyx

yxyx

yxyx

yxyx

yxyx

yxyx

yxyx

yxyxyx

yx

固定点方程式

MM

反復法

2',',

',',

',',','

, 2

1exp

2)( yx

yxyxyx

yxyxyx

yxM

NC 2004 10 18研究会 （ 年 月 日） 31

固定点方程式と反復法

固定点方程式 ** MM

反復法

23

12

01

MM

MM

MM

繰り返し出力を入力に入れることに繰り返し出力を入力に入れることにより，固定点方程式の解が数値的により，固定点方程式の解が数値的に得られる．得られる．

0M1M

1M

0

xy

)(xy

y

x*M

NC 2004 10 18研究会 （ 年 月 日） 32

ガウシアングラフィカルモデルを用いた画像修復

原画像原画像

MSE:315MSE:315MSE: 325MSE: 325

MSE: 545MSE: 545 MSE: 447MSE: 447MSE: 411MSE: 411

MSE: 1512MSE: 1512

劣化画像劣化画像 確率伝搬法確率伝搬法

平滑化フィルター平滑化フィルター メジアンフィルターメジアンフィルター

厳密解

ウィーナーフィルター

2

,,,

ˆ

yx

yxyx ff||

1MSE

NC 2004 10 18研究会 （ 年 月 日） 33

ガウシアングラフィカルモデルを用いた画像修復

原画像原画像

MSE:306MSE:306MSE: 324MSE: 324

MSE: 369MSE: 369 MSE: 259MSE: 259MSE: 268MSE: 268

MSE: 1409MSE: 1409

劣化画像劣化画像 確率伝搬法確率伝搬法

平滑化フィルター平滑化フィルター メジアンフィルターメジアンフィルター

厳密解

ウィーナーフィルター

2

,,,

ˆ

yx

yxyx ff||

1MSE

NC 2004 10 18研究会 （ 年 月 日） 34

理論的方向パラメータのデータからの学習ライン場の導入適応画像処理フィルターへの発展

実用的方向画像圧縮領域分割移動体検出

理論的方向パラメータのデータからの学習ライン場の導入適応画像処理フィルターへの発展

実用的方向画像圧縮領域分割移動体検出

確率的画像処理の今後の動向確率的画像処理の今後の動向

NC 2004 10 18研究会 （ 年 月 日） 35

本チュートリアル講演のキーワー本チュートリアル講演のキーワードド確率伝搬法（Belief Propagation）確率推論（Bayesian Network）確率的画像処理 (Markov Random Field)

NC 2004 10 18研究会 （ 年 月 日）NC 2004 10 18研究会 （ 年 月 日） 3636

確率伝搬法の更なる応用確率伝搬法の更なる応用確率伝搬法の更なる応用確率伝搬法の更なる応用誤り訂正符号における低密度パリティ検査（誤り訂正符号における低密度パリティ検査（ LDPCLDPC ）符号）符号Y. Kabashima and D. Saad: Statistical mechanics of 　 low-density parity-check codes (Topical Review), J. Phys. A, 37 (2004). S. Ikeda, T. Tanaka and S. Amari: Information geometry of turbo and low-density parity-check codes, IEEE Transactions on Information Theory, 50 (2004).

移動体通信の移動体通信の CDMACDMA 復調方式復調方式T. Tanaka: A statistical-mechanics approach to large-system analysis of CDMA multiuser detectors, IEEE Transactions on Information Theory, 48 (2002).Y. Kabashima: A CDMA multiuser detection algorithm on the basis of belief propagation, J. Phys. A, 36 (2003).

充足可能性問題充足可能性問題（（ SATSAT ））O. C. Martin, R. Monasson, R. Zecchina: Statistical mechanics methods and phase transitions in optimization problems, Theoretical Computer Science, 265 　 (2001).M. Mezard, G. Parisi, R. Zecchina: Analytic and algorithmic solution of random satisfability problems, Science, 297 (2002).

誤り訂正符号における低密度パリティ検査（誤り訂正符号における低密度パリティ検査（ LDPCLDPC ）符号）符号Y. Kabashima and D. Saad: Statistical mechanics of 　 low-density parity-check codes (Topical Review), J. Phys. A, 37 (2004). S. Ikeda, T. Tanaka and S. Amari: Information geometry of turbo and low-density parity-check codes, IEEE Transactions on Information Theory, 50 (2004).

移動体通信の移動体通信の CDMACDMA 復調方式復調方式T. Tanaka: A statistical-mechanics approach to large-system analysis of CDMA multiuser detectors, IEEE Transactions on Information Theory, 48 (2002).Y. Kabashima: A CDMA multiuser detection algorithm on the basis of belief propagation, J. Phys. A, 36 (2003).

充足可能性問題充足可能性問題（（ SATSAT ））O. C. Martin, R. Monasson, R. Zecchina: Statistical mechanics methods and phase transitions in optimization problems, Theoretical Computer Science, 265 　 (2001).M. Mezard, G. Parisi, R. Zecchina: Analytic and algorithmic solution of random satisfability problems, Science, 297 (2002).

NC 2004 10 18研究会 （ 年 月 日） 37

確率的情報処理の動向確率的情報処理の動向田中和之・樺島祥介編著 , “ ミニ特集 / ベイズ統計・統計力学と情報処理” , 計測自動制御学会誌「計測と制御」 2003 年 8 月号．田中和之，田中利幸，渡辺治 他著，“連載 / 確率的情報処理と統計力学　 --- 様々なアプローチとそのチュートリアル ---” ，数理科学 2004 年 11 月号から開始．

田中和之・樺島祥介編著 , “ ミニ特集 / ベイズ統計・統計力学と情報処理” , 計測自動制御学会誌「計測と制御」 2003 年 8 月号．田中和之，田中利幸，渡辺治 他著，“連載 / 確率的情報処理と統計力学　 --- 様々なアプローチとそのチュートリアル ---” ，数理科学 2004 年 11 月号から開始．