物理フラクチュオマティクス論応用確率過程論 (2006 年 6 月 13 日 )

2006/6/13 ( )物理フラクチュオマティクス論東北大 1

物理フラクチュオマティクス論応用確率過程論

(2006 年 6 月 13 日 )

東北大学大学院情報科学研究科田中和之[email protected]://www.smapip.is.tohoku.ac.jp/~kazu/

本講義の田中和之助教授担当分の Webpage:http://www.smapip.is.tohoku.ac.jp/~kazu/PhysicalFluctuomatics/2006/


本講義の参考文献

田中和之・樺島祥介編 , ミニ特集 /ベイズ統計・統計力学と情報処理 , 計測と制御 2003年 8月号．田中和之，村田昇，赤穂昭太郎他著，小特集 /確率を手なづける秘伝の計算技法～古くて新しい確率・統計モデルのパラダイム～，電子情報通信学会誌 2005年 9月号．人工知能学会編：人工知能学事典，共立出版 , 2005年 12月 (田中和之，樺島祥介，岡田真人他分担執筆 )．田中和之編著 : 数理科学臨時別冊 SCG ライブラリ「確率的情報処理と統計力学　 ---様々なアプローチとそのチュートリアル ---」，サイエンス社， 2006年 9月刊行．田中和之著 : 確率モデルによる画像処理技術入門，森北出版， 2006年末刊行予定．


前回（５月９日）までの田中助教授担当分のまとめ

確率的情報処理とベイジアンネットワーク（ 5 月 2 日）確率的計算技法の基礎 (5 月 2 日 )

マルコフ連鎖モンテカルロ法確率伝搬法

ベイジアンネットワークと確率的情報処理の応用事例（ 5 月 9日）

確率的画像処理確率推論

今回の話題（６月１３日）統計的学習理論

モデル選択と EM アルゴリズム

2006/6/132006/6/13 (物理フラクチュオマティクス論(物理フラクチュオマティクス論)東北大)東北大

44

ContentsContentsContentsContents

1. 序論：確率的情報処理とベイジアンネットワーク（５月２日）2. 確率的計算技法の基礎

--- マルコフ連鎖モンテカルロ法と確率伝搬法 --- （５月２日）3. 確率的画像処理とベイジアンネットワーク --- マルコフ確率場

と確率伝搬法 --- （５月９日）4. 確率推論とベイジアンネットワーク --- グラフィカルモデルと確

率伝搬法 --- （５月９日）5. 統計的学習理論とモデル選択（６月１３日）6. 確率的情報処理のこれまでとこれから（６月１３日）


ベイズの公式による確率的推論の例（１）

A 教授はたいへん謹厳でこわい人で，機嫌の悪いときが 3/4 を占め，機嫌のよい期間はわずかの 1/4 にすぎない．教授には美人の秘書がいるが，よく観察してみると，教授の機嫌のよいときは， 8 回のうち 7 回までは彼女も機嫌がよく，悪いのは 8 回中 1 回にすぎない．教授の機嫌の悪いときで，彼女の機嫌のよいときは 4 回に 1 回である．秘書の機嫌からベイズの公式を使って教授の機嫌を確率的に推論することができる .

甘利俊一：情報理論 ( ダイヤモンド社， 1970) より


ベイズの公式による確率的推論の例（２）

教授は機嫌の悪いときが 3/4 を占め，機嫌のよい期間はわずかの 1/4 にすぎない．

4

1Pr 教授機嫌良い

4

3Pr 教授機嫌悪い

教授の機嫌のよいときは， 8 回のうち 7 回までは彼女も機嫌がよく，悪いのは 8 回中 1 回にすぎない．

教授の機嫌の悪いときで，彼女の機嫌のよいときは 4 回に 1 回である．

8

7Pr 教授機嫌良い秘書機嫌良い

4

1Pr 教授機嫌悪い秘書機嫌良い


ベイズの公式による確率的推論の例（３）

4


4

3Pr 教授機嫌悪い

8


4

1Pr 教授機嫌悪い秘書機嫌良い

32

13

4

3

4

1

4

1

8

7

PrPr

PrPr

Pr

教授機嫌悪い教授機嫌悪い秘書機嫌良し

教授機嫌良し教授機嫌良し秘書機嫌良し

秘書機嫌良し


ベイズの公式による確率的推論の例（４）

4


32

13Pr 秘書機嫌良い

8


13

7

3213

41

87

Pr

PrPr

Pr

秘書機嫌良し

教授機嫌良し教授機嫌良し秘書機嫌良し

秘書機嫌良し教授機嫌良し


統計的学習理論とデータ

教授の機嫌のよいときは， 8 回のうち 7 回までは秘書も機嫌がよく，悪いのは 8 回中 1 回にすぎない．

8


観察により得られたデータから確率を求めた例

すべての命題に対してデータが完全かつ十分に得られている場合

標本平均，標本分散などから確率を決定することができる．

「教授の機嫌の悪いときで，彼女の機嫌のよいとき」のデータが分からなかったらどうしよう ?

不完全データ


統計的学習理論とモデル選択

データから確率モデルの確率を推定する操作

モデル選択

統計的学習理論における確率モデルのモデル選択の代表例

最尤推定に基づく定式化

EM アルゴリズムによるアルゴリズム化確率伝搬法，マルコフ連鎖モンテカルロ法によるアルゴルズムの実装

赤池情報量基準 (AIC) ，赤池ベイズ情報量基準 (ABIC) etc.

更なる拡張

不完全データにも対応


最尤推定

1

0

2

22 2

1exp

2

1,

N

iiggP

,maxargˆ,ˆ,

gP

データ

0

,

0,

ˆ,ˆ

ˆ,ˆ

gP

gP

1

0

N

iig

N

iigN 1

22 1

極値条件

平均 μ と標準偏差 σ が与えられたときの確率密度関数をデータが与えられたときの平均 μ と分散σ2 に対する尤もらしさを表す関数（尤度関数）とみなす．

g

標本平均標本分散

1

1

0

Ng

g

g

g

,

パラメータ


1

1

0

Nf

f

f

f

最尤推定

1

0

2

22 2

1exp

2

1,

N

iii fgfgP

,,maxargˆ,ˆ,

gfP

データ

0

,

0,

ˆ,ˆ

ˆ,ˆ

gP

gP

11

0

2

N

iif

1

1

22 1 N

iii fg

N

極値条件

1

0

2

2exp

2

N

iiffP

fPfgPgfP

,,,

1

1

0

Ng

g

g

g

パラメータ


1

1

0

Nf

f

f

f

最尤推定

1

0

2

22 2

1exp

2

1,

N

iii fgfgP

gP

maxargˆ データ

0

,1

ˆ

gP

1

1

22 11ˆ

N

iigN

極値条件

1

0

2

2

1exp

2

1N

iiffP

ff

fPfgPgfPgP

,,

1

1

0

Ng

g

g

g

ハイパパラメータ

パラメータ

fdgfPff

,ˆ

gP

fPfgPgfP

,,

ベイズの公式

不完全データ

f

が分からなかったらどうしよう

を考えよう．わかっている場合

は完全にまず fP

周辺尤度

不完全データ


信号処理の確率モデル

原信号観測信号

通信路

雑音

周辺尤度

事前確率尤度事後確率

観測信号

原信号原信号観測信号観測信号原信号

Pr

Pr|PrPr

白色ガウス雑音原信号観測信号

i

fi

i

gi

ベイズの公式


原信号の事前確率

Bijji ff

ZfP 2

Prior 2

1exp

1

画像データの場合

Ω ：すべてのノード（画素）の集合

B：すべての最近接ノード（画素）対の

集合

1 次元信号データの場合


データ生成過程

加法的白色ガウス雑音 (Additive White Gaussian Noise)

2,0~ Nfg ii

iii gffgP 2

22 2

1exp

2

1,


信号処理の確率モデル

iii fgfgP 2

22 2

1exp

2

1,

Bijji ff

ZfP 2

prior 2

1exp

1

1

1

0

Nf

f

f

f

データ

1

1

0

Ng

g

g

g


i

fi

i

gi

不完全データ

パラメータ

fdfPfgP

fPfgPgfP

,

,,,

fdgfPff ii

,,ˆ

事後確率


1

1

0

Nf

f

f

f

信号処理の最尤推定

,maxargˆ,ˆ,

gP

データ

0

,,0

,

ˆ,ˆˆ,ˆ

gPgP

極値条件

fdfPfgPgP ,,

1

1

0

Ng

g

g

g


パラメータ

不完全データ

周辺尤度


1

1

0

Nf

f

f

f

最尤推定と EM アルゴリズム

データ

0

,,0

,

ˆ,ˆˆ,ˆ

gPgP

極値条件

fdfPfgPgP ,,

1

1

0

Ng

g

g

g


パラメータ

fdgfPgfP

Q

,,ln,,

,,

)(),(,maxarg

)1()1(

Update:Step M

)(),(, Calculate :Step E

),(ttQ

t,σtα

ttQ

0

,,

0,,

,

,

Q

Q

EM アルゴリズムが収束すれば周辺尤度の極値条件の解になる．

Q関数

周辺尤度

不完全データ


1 次元信号のモデル選択

EM Algorithm

i

i

i

0 127 255

0 127 255

0 127 255

100

0

200

100

0

200

100

0

200

if

ig

if

Original Signal

Degraded Signal

Estimated Signal

40

0.04

0.03

0.02

0.01

α(t)

0

α(0)=0.0001, σ(0)=100


ノイズ除去のモデル選択

原画像劣化画像 EM アルゴリズムと確率伝搬法

α(0)=0.0001σ(0)=100

推定画像

MSE

327 0.000611 36.30

MSE

260 0.000574 34.00

2ˆ||

1MSE

i

ii ff

40


ガウス混合モデル

N

iiaaP

1

K

k

k1

1

1

1

0

Na

a

a

a

)1(

)1(

)0(

K

N

iii

ii

afaa

afP1

2

22

1exp

2

1,,

1

1

0

Na

a

a

a

1

1

0

Nf

f

f

f

)(

)2(

)1(

,

)(

)2(

)1(

KK


ガウス混合モデルのベイズ推定

N

iiaaP

1

N

iii

ii

afaa

afP1

2

22

1exp

2

1,,

a

aPafP

aPafP

faP

,,

,,

,,,

1

1

0

Na

a

a

a

データ

1

1

0

Nf

f

f

f


パラメータ

不完全データ

事後確率ベイズの公式


ガウス混合モデルの EM アルゴリズム

1

1

0

Na

a

a

a

データ

1

1

0

Nf

f

f

f


パラメータ

不完全データ

周辺尤度

N

i

K

k

i

a

k

kf

k

k

γaPσ,μ,afP

,σ,μfP

1 12

2

2exp

2

,,maxargˆ,ˆ,ˆ

,,fP

EM アルゴリズム

a

faPfaPQ

,,,ln,,,,,,,

)(),(),(,,maxarg)1()1(),1(),,(

tttQtσ,tt

1043

21

,1924 ,1923

,1272 ,641


γaP

104321

,1924 ,1923

,1272 ,641

N

i

K

k

i

a

k

kf

k

k

γaPσ,μ,afP

,σ,μfP

1 12

2

2exp

2

周辺確率

,,afP

a

aPafP

aPafPfaP

,,

,,,,, 事後確率

11.04ˆ,53.03ˆ

16.02ˆ,20.01ˆ

6.74ˆ,5.73ˆ

5.72ˆ,5.71ˆ

,5.1914ˆ ,5.1273ˆ

,6.912ˆ ,4.631ˆ

推定結果

観測データ観測データのヒストグラム

ガウス混合モデルの数値実験


Bijaa

ii jia

γZγaP ,

PR

exp1

204321

,1924 ,1923

,1272 ,641

Gauss Mixture ModelGauss Mixture Model

＋＋ Potts ModelPotts Model

＋＋ EM AlgorithmEM Algorithm

＋＋ Belief PropagationBelief Propagation

a f

aポッツモデル

,,afP

ガウス混合モデルの数値実験


ガウス混合モデルによる領域分割の数値実験

観測画像ヒストグラム Gauss Mixture

Model

Gauss Mixture

Model and

Potts Model

Belief Belief

PropagationPropagation

0101.05 ,4.145 ,8.2245

3982.04 ,7.114 ,4.1684

3375.03 ,6.233 ,6.1303

0711.02 ,0.182 ,2.422

1831.01 ,7.21 ,7.121


統計的学習理論による移動体検出

Segmentation

ANDDetection

ba

cb

Gauss Mixture Model and Potts Model with Belief PropagationGauss Mixture Model and Potts Model with Belief Propagation

Segmentation

a

b

c

2006/6/132006/6/13 (物理フラクチュオマティクス論(物理フラクチュオマティクス論)東北大)東北大

2929

ContentsContentsContentsContents1. 序論：確率的情報処理とベイジアンネットワーク（５月

２日）2. 確率的計算技法の基礎

--- マルコフ連鎖モンテカルロ法と確率伝搬法 --- （５月２日）

3. 確率的画像処理とベイジアンネットワーク --- マルコフ確率場と確率伝搬法 --- （５月９日）

4. 確率推論とベイジアンネットワーク --- グラフィカルモデルと確率伝搬法 --- （５月９日）

5. 統計的学習理論とモデル選択（６月１３日）6. 確率的情報処理のこれまでとこれから（６月１３日）


学術的循環学術的循環

モノの理とコトの技の学術的循環

物理学情報工学

統計科学

物質の性質・自然現象の理解・予言データからの情報の抽出・加工

共通の数理

モノの理コトの技

情報統計力学確率的情報処理

コトの技を通してモノの理を鍛える

モノの理による新たなコトの技の創出

田中和之編著田中和之編著 : : 数理科学別冊「確率的情報処理と統計力学　数理科学別冊「確率的情報処理と統計力学　 ------様々なアプローチとそのチュートリアル様々なアプローチとそのチュートリアル ------ 」，サイエンス」，サイエンス社，社， 20062006 年年 99 月刊行．月刊行．


たくさんが関連して集まり構成されたシステム：

情報と物理が扱う対象に共通する概念

モノ（物質）分子

０ ,1 101101110001

010011101110101000111110000110000101000000111010101110101010ビッ

トコト（データ）

分子が集まって物質を形成し，モノになる．

ビットが集まってデータを形成し，コトとなる．

共通点：たくさんが関連

分子同士は引っ張り合っている．

並びをきちんと決めることによって意味のある文章になる．

主な研究対象情報工学：コト

データ物理：モノ

物質・自然現象

モデル化とアルゴリズム化の両面で有効

共通の数理を持つならば物理学で提案された計算技法と解明されたモデルの性質が確率的情報処理システムの設計に役に立つ．


確率的情報処理 (Probabilistic Information Processing) の Web を介しての更なる拡大

通信理論・像情報処理・確率推論ICT 技術の要請に耐えうる統計科学

コトの物理学としての定着

ポイントはやはり「たくさんが関連」

確率的情報処理のこれからの数理的基盤

統計科学

統計的学習理論

情報統計力学

日常生活の情報処理

データマイニング

複雑ネットワーク科学

次回の田中助教授担当時（７月 14 日）の本講義でのテーマ


本講演の参考文献

田中和之・樺島祥介編 , “ミニ特集 /ベイズ統計・統計力学と情報処理” , 計測自動制御学会誌「計測と制御」 2003年 8月号．田中和之，村田昇，赤穂昭太郎他著，小特集 /確率を手なづける秘伝の計算技法～古くて新しい確率・統計モデルのパラダイム～，電子情報通信学会誌2005年 9月号．田中和之編著 : 数理科学臨時別冊 SCG ライブラリ「確率的情報処理と統計力学　 ---様々なアプローチとそのチュートリアル ---」，サイエンス社，2006年 9月刊行．田中和之著 : 確率モデルによる画像処理技術入門，森北出版， 2006 年末刊行予定．

物理フラクチュオマティクス論 応用確率過程論 (2006 年 6 月 13 日 )

Documents

物理フラクチュオマティクス論応用確率過程論 (2006 年 6 月 13 日 )