17th cvsaisentan takmin

第17回CV勉強会＠関東発表資料大規模確率場と確率的画像処理

3,4節

2011/11/06

Presented by takmin

おさらい

• 加法定理と乗法定理

Y

YXpXp ),()(

)()|(),( XpXYpYXp

加法定理

乗法定理

おさらい

• 加法定理と乗法定理

おさらい

• 最尤推定

N

n

nxpp1

)|()|( θθx

データが観測されたとき，そのデータが発生する確率（尤度）を最大化するパラメータを求めること

パラメータ観測データサンプル

尤度

おさらい

• ベイズ推論

N

n

nxpppp

p

ppp

1

)|()()()|(

)(

)()|()|(

θθθθx

x

θθxxθ

データが観測されたとき，パラメータがとる確率分布を求める

尤度事前分布

事後分布

ノイズ生成モデル

• 観測された画像yは元々の画像xに加法的白色ガウスノイズnが加わったものとみなす。

nXY (27) 観測画像元画像ノイズ X Y

n


観測画像 Y

元画像 X

ノイズ


目的

• 観測画像Yから元画像Xを推定したい。

• 方法

– Yが与えられた時の各画素iの期待値を求める。

)|( YiXE

1

0

)|Pr()|(Q

x

iiii

i

xXxXE YY

目的


• 方法


–各画素iの周辺分布を求める。

)|Pr( YiX

)|( YiXE

1 1 1 ||

)|Pr()|Pr(X X X X

i

i i

X

YXY

目的


• 方法



– Yが与えられた時のXの事後分布を求める。

)|Pr( YX

)|Pr( YiX

)|( YiXE

元画像Xの事後分布

• 観測画像Yが与えられた時の元画像Xの事後分布を推定したい。 )|Pr( YX

)Pr(

))Pr(|Pr()|Pr(

Y

XXYYX

ベイズの公式：

)Pr(Y )|Pr( XY )Pr(Xは定数なので、とを求める


観測画像 Y

元画像 X

ノイズ


},{

2)(2

1exp)|Pr()Pr(

ji

ji xxXX (1)

元画像 X

元画像Xの事前分布

• 元画像Xは、隣り合う画素同士の影響を受ける。

i j

元画像Xの尤度

観測画像 Y

元画像 X

• 観測された画像Yの各画素は元々の画像Xの対応する画素にのみ影響を受ける。

(28)

i

ii xy 2

2)(

2

1exp),|Pr()|Pr( XYXY

i

i



)Pr(

))Pr(|Pr()|Pr(

Y

XXYYX


},{

2)(2

1exp)Pr(

ji

ji xxX

i

ii xy 2

2)(

2

1exp)|Pr( XY

(1) (28)

定数




},{

22

2)(

2

1exp)(

2

1exp

),,|Pr()|Pr(

ji

ji

i

ii xxxy

YXYX

(29)

目的


• 方法




)|Pr( YX

)|Pr( YiX

)|( YiXE

各画素の周辺分布の計算

• 確率伝搬法を用いる。

–木構造のグラフに対する確率伝搬法(4.1節)

–閉路を含むグラフに対する確率伝搬法(4.2節)

• ハイパーパラメータを推定する(4.3節)

木構造のグラフに対する確率伝搬法

4 1 2 7

3

5

6

8

木構造のグラフの例


木構造グラフの各ノードの同時分布を以下で表す。

1

0

1

0 },{

},{

},{

},{

1 ||

),(

),(

)Pr(Q

x

Q

x ji

jiji

ji

jiji

xxf

xxf

xX(42)


木構造グラフの各ノードの同時分布を以下で表す。

1

0

1

0 },{

},{

},{

},{

1 ||

),(

),(

)Pr(Q

x

Q

x ji

jiji

ji

jiji

xxf

xxf

xX(42)

},{

2)(2

1exp)|Pr()Pr(

ji

ji xxXX

2

},{ )(2

1exp),( jijiji xxxxf

例：

(1)

の時、


4 1 2 7

3

5

6

8

),(),(),(

),(),(),(),(

),,,,,,,Pr(

82}8,2{72}7,2{62}6,2{

51}5,1{41}4,1{31}3,1{21}2,1{

87654321

xxfxxfxxf

xxfxxfxxfxxf

XXXXXXXX


4 1 2 7

3

5

6

8

}8,2{}7,2{}6,2{}5,1{}4,1{}3,1{}2,1{)Pr( fffffffX

を求めたい。 )Pr( 4X


4 1 2 7

3

5

6

8

1 2 3 5 6 7 8

}8,2{}7,2{}6,2{}5,1{}4,1{}3,1{}2,1{

4

)Pr(

X X X X X X X

fffffff

X



4 1 2 7

3

5

6

8

1 3 5 2 6 7 8

}8,2{}7,2{}6,2{}2,1{}5,1{}3,1{}4,1{

4

)Pr(

X X X X X X X

fffffff

X



1 3 5 2 6 7 8

}8,2{}7,2{}6,2{}2,1{}5,1{}3,1{}4,1{

4

)Pr(

X X X X X X X

fffffff

X

1

0 }\{

},{ )(),()(Q

x jk

iikjijijji

i i

xMxxfxΜ

“メッセージ” を以下のように定義

28Μ27Μ26Μ

12Μ

15Μ13Μ

41Μ


1

0 }\{

},{ )(),()(Q

x jk

iikjijijji

i i

xMxxfxΜ


i j


1

0 }\{

},{ )(),()(Q

x jk

iikjijijji

i i

xMxxfxΜ


i j ikΜ

ノードiに入ってきたメッセージの積を取る


1

0 }\{

},{ )(),()(Q

x jk

iikjijijji

i i

xMxxfxΜ


i j ),(},{ jiji xxf

ikΜ

２変数関数をかける },{ jif


1

0 }\{

},{ )(),()(Q

x jk

iikjijijji

i i

xMxxfxΜ


i j ),(},{ jiji xxf

ikΜ jiΜ

iX を積分してメッセージを算出


ij

iij

i

ii xMZ

xX )(1

)Pr(

1

0

)(Q

x j

iiji

i i

xMZ

1

0 }\{

},{ )(),()(Q

x jk

iikjijijji

i i

xMxxfxΜ

メッセージ:

周辺分布:

i

ijM

確率伝搬法アルゴリズムまとめ

1. 端点から、メッセージを伝搬

i j ),(},{ jiji xxf

jiΜ

1

0

},{ ),()(Q

x

jijijji

i

xxfxΜ

２変数関数をで積分 },{ jifix


2.端点以外の各ノードでメッセージを伝搬

i j ),(},{ jiji xxf

jiΜ ikΜ

1

0 }\{

},{ )(),()(Q

x jk

iikjijijji

i i

xMxxfxΜ (45)


3. 根ノードから葉ノードへメッセージを伝搬


4. 葉ノードへ達したら、根ノードへメッセージを逆伝搬


5. 各ノードの周辺分布を以下の式から計算

ij

iij

i

ii xMZ

xX )(1

)Pr(

1

0

)(Q

x j

iiji

i i

xMZ

i

ijM

(46)

(48)


6. 各リンクに接続された２変数の同時分布を以下の式から計算

i j },{ jif

}\{}\{

},{

},{

)()(),(1

),Pr(il

jjl

jk

iikjiji

ji

jjii

ji

xMxMxxfZ

xXxX

1

0 }\{}\{

1

0

},{},{ )()(),(Q

x il

jjl

jk

iik

Q

x

jijiji

i jij

xMxMxxfZ

(47)

(49)

閉路を含むグラフ

閉路を含むグラフの例

画像がこのパターン

確率伝搬法のメッセージがループしてしまう。

閉路を含むグラフ各ノードの同時分布

1

0

1

0 },{

},{

},{

},{

1 ||

),(

),(

)|Pr(Q

x

Q

x ji

jiji

ji

jiji

xxf

xxf

yYxX (51)

(1)

},{

22

2)(

2

1exp)(

2

1exp),,|Pr(

ji

ji

i

ii xxxyYX

2

2

2

2

2

},{ )(8

1exp)(

8

1exp)(

2

1exp),( jjiijijiji xyxyxxxxf

(29)

観測画像がYの時の元画像Xの事後分布：

i j

(52)

閉路を含むグラフに対する確率伝搬法

• 木構造グラフでは、以下の式が成り立つ

–木構造グラフにおける周辺確率と同時確率の関係

},{ )Pr()Pr(

),Pr()Pr(

)Pr(

ji jjii

jjii

i

iixXxX

xXxXxX

xX

(50)


• 閉路においても同様の関係が近似的に成り立つとする

},{

},{

)()(

),()(

)(

ji jjjiii

jjiiji

i

iiixXPxXP

xXxXPxXP

P xX

(70)

)(XP )|Pr( YXこのとができるだけ近い分布を取るようにしたい。


• P(X)とPr(X|Y)のカルバック・ライブラー情報量ができるだけ小さくなるようにしたい。

X YX

XXXYX

)|Pr(

)(ln)()(||)|Pr(

PPPK (71)

以下の拘束条件の元、ラグランジュ未定乗数法で解く

)( 1)(1

0

ixXPQ

x

iii

i

)},({ 1),(1

0

1

0

},{

jixXxXPQ

x

Q

x

jjiiji

i j

)},{,( ),()(1

0

},{

jiixXxXPxXPQ

x

jjiijiiii

j

(67)

(68)

(69)


以下が導ける（証明略）

1

0

1

0 }\{

},{

1

0 }\{

},{

)(),(

)(),(

)(Q

x

Q

x jk

iikjiji

Q

x jk

iikjiji

jji

i j i

i i

xMxxf

xMxxf

xΜ

メッセージ

(60)

ij

iij

i

ii xMZ

xX )(1

)|Pr( yY

1

0

)(Q

x j

iiji

i i

xMZ

(55)

(57)


以下が導ける（証明略）

1

0

1

0 }\{

},{

1

0 }\{

},{

)(),(

)(),(

)(Q

x

Q

x jk

iikjiji

Q

x jk

iikjiji

jji

i j i

i i

xMxxf

xMxxf

xΜ

メッセージ

(60)

}\{}\{

},{

},{

)()(),(1

)|,Pr(

il

jjl

jk

iikjiji

ji

jjii

ji

xMxMxxfZ

xXxX yY

1

0 }\{}\{

1

0

},{},{ )()(),(Q

x il

jjl

jk

iik

Q

x

jijiji

i jij

xMxMxxfZ

(56)

(58)

LBPアルゴリズムまとめ

1. 全てのメッセージの初期値を1にする

1Μ


2. 以下の式に従いメッセージを更新する

1

0

1

0 }\{

},{

1

0 }\{

},{

)(),(

)(),(

)(Q

x

Q

x jk

iikjiji

Q

x jk

iikjiji

jji

i j i

i i

xMxxf

xMxxf

xΜ (60)


3. 収束するまでメッセージの更新を繰り返す

1

0

1

0 }\{

},{

1

0 }\{

},{

)(),(

)(),(

)(Q

x

Q

x jk

iikjiji

Q

x jk

iikjiji

jji

i j i

i i

xMxxf

xMxxf

xΜ (60)


4. 以下の式に従い周辺確率を計算する

ij

iij

i

ii xMZ

xX )(1

)|Pr( yY

1

0

)(Q

x j

iiji

i i

xMZ

(55)

(57)

}\{}\{

},{

},{

)()(),(1

)|,Pr(

il

jjl

jk

iikjiji

ji

jjii

ji

xMxMxxfZ

xXxX yY

1

0 }\{}\{

1

0

},{},{ )()(),(Q

x il

jjl

jk

iik

Q

x

jijiji

i jij

xMxMxxfZ

(56)

(58)

目的


• 方法




)|Pr( YX

)|Pr( YiX

)|( YiXE

求まった？

元画像Xの推定

ij

iij

i

ii xMZ

xX )(1

)|Pr( yY (55)

観測画像Yが与えられた時の、元画像Xの各画素iにおける周辺確率が求まった！

1

0

)|Pr()|(Q

x

iiii

i

xXxXE YY

以下の式で各画素の期待値を計算

まだできない

ハイパーパラメータの推定

ij

iij

i

ii xMZ

xX )(1

)|Pr( yY (55)

1

0

1

0 }\{

},{

1

0 }\{

},{

)(),(

)(),(

)(Q

x

Q

x jk

iikjiji

Q

x jk

iikjiji

jji

i j i

i i

xMxxf

xMxxf

xΜ (60)

2

2

2

2

2

},{

)(8

1exp)(

8

1exp)(

2

1exp

),(

jjiiji

jiji

xyxyxx

xxf

(52)

こいつらがまだ不明なまま（ハイパーパラメータ）


ハイパーパラメータα、σを求めたい。

),|Pr(maxarg)ˆ,ˆ(),(

yY

観測している画像Yが出現する確率が最大になるようにパラメータの値を決定する。

最尤推定

(73)



yY

最尤推定を解く

(73)

通常は、

0),|Pr(ln

yY

0),|Pr(

yY

または、

),(

),(

となる、を求めるが、、、 ),(



yY


(73)

XX

XXYYXY )|Pr(),|Pr(),|,Pr(),|Pr( (72)

X

},{

22

2)(

2

1exp)(

2

1exp

ji

ji

i

ii xxxy

(1)式 (28)式

式が複雑で、簡単に極大値を計算できない。



yY


(73)

EMアルゴリズム


1. 関数Qを定義

X

yYXyYX

y

),|,Pr(ln))(),(,|Pr(

)),(),(|,(

tt

ttQ定数

(74)


1. 関数Qを定義

X

yYXyYX

y

),|,Pr(ln))(),(,|Pr(

)),(),(|,(

tt

ttQ


(74)

)),(),(|,(maxarg)ˆ,ˆ(),(

yttQ

3. σ(t)、α(t)を更新

)ˆ,ˆ()1(),1( tt


1. 関数Qを定義

X

yYXyYX

y

),|,Pr(ln))(),(,|Pr(

)),(),(|,(

tt

ttQ


(74)

)),(),(|,(maxarg)ˆ,ˆ(),(

yttQ

3. σ(t)、α(t)を更新

)ˆ,ˆ()1(),1( tt収束するまで繰り返す

目的


• 方法




)|Pr( YX

)|Pr( YiX

)|( YiXE

元画像Xの推定

ij

iij

i

ii xMZ

xX )(1

)|Pr( yY (55)

観測画像Yが与えられた時の、元画像Xの各画素iにおける周辺確率が求まった！

1

0

)|Pr()|(Q

x

iiii

i

xXxXE YY

以下の式で各画素の期待値を計算

ハイパーパラメータα、σも求まった！

以上！

まとめ

ノイズの乗った観測画像Yから元画像Xを推定した 1. ベイズの公式を使って、観測画像Yと元画像Xの関係をモデル化

2. 閉路での確率伝搬法（LBP）を用いて、元画像の各画素における周辺分布を計算

3. EMアルゴリズムを用いてハイパーパラメータを推定

4. 周辺分布を使用して、元画像Xの各画素の期待値を計算

ありがとうございました。

17th cvsaisentan takmin

Technology