HMMって僕にも分かりますか？HMM って僕にも分かりますか？

篠崎隆宏

東工大日本音響学会ビギナーズセミナー2013秋日本音響学会ビギナ ズセミナ 2013秋

1

はじめに（確率の復習）はじめに（確率の復習）

• 確率• 確率

– 事象の起こり易さを0から1の数値で表したもの

• 確率変数

試行 ダ 値が決まる変数– 試行によってランダムに値が決まる変数

• ベイズの定理ベイズの定理

( ) ( )YPYXP |( ) ( ) ( )( )XP

YPYXPXYP || = ( )XP

2

ExampleExample

• サイコロの目• サイコロの目

– 確率変数X : サイコロを振った時に出る目

– 確率分布

X=1 X=2 X=3 X=4 X=5 X=6

Pr(X=x) 1/6 1/6 1/6 1/6 1/6 1/6

• ピーナッツの重さ

– 確率変数X:ピーナッツ１粒の重さ確率変数X: ピ ナッツ１粒の重さ

– 確率密度分布3

度

1

2

確率

密度

3

00 0.2 0.4 0.6 0.8 1 1.2

確

ピーナツの重さX (g)

HMMとは？HMMとは？

Hidden Markov ModelHidden Markov Model(隠れマルコフモデル)(隠れマルコフモデル) の略ですの略です

4

では、Markov Modelとは？では、Markov Modelとは？

時間と共に確率分布が変化する確率変数の• 時間と共に確率分布が変化する確率変数の系列(X1,X2,X3, …)のモデルで、各時刻の確率1 2 3分布がその直前の変数値によって決まるもの

( )|P XXXX L( )( )1

321

|P,,,|P −−−

= tt

tttt

XXXXXX L

( )1|P −tt XX

AndreyMarkovXt 1の値が与えられれば、

5

1856‐1922t‐1 値 与 れれ 、

他の変数は関係ない

図で描くと図で描くと

( )( )321 ,,,,P TXXXX L

ベイズの定理（入れ子で使用）

( ) ( ) ( ) ( )121213121 ,,,|P,|P|PP −= TT XXXXXXXXXX LL

Markovモデルの仮定

( ) ( ) ( ) ( )123121 |P|P|PP −= TT XXXXXXX L

Markovモデルの仮定

X X X XX1 X2 X3 XT

変数をノード、依存関係を枝で表すと、

6

線形なグラフになる

変数値が有限離散の場合変数値が有限離散の場合

{ }N21X とするとオ トマトンや行列 { }NL,2,1Xt = とすると．．オートマトンや行列として表現可能

P(1|1) P(1|N) P(N|N)1

P(Xt|Xt‐1) Xt=1 Xt=2 …. Xt=N

X 1 P(1|1) P(2|1) P(N|1)1

NP(N|1)N

Xt‐1=1 P(1|1) P(2|1) P(N|1)

Xt‐1=2 P(1|2) P(2|2) P(N|2)

NP(N|1)

P(2|1)

P(N|2)

2

t 1 ( | ) ( | ) ( | )

:

2P(1|2) P(2|N)

P(N|2)

Xt‐1=N P(1|N) P(2|N) P(N|N)2P(2|2)

7Xtが単語の場合はN‐gramと呼ばれる

状態が観測できない(Hiddenな)場合状態が観測できない(Hiddenな)場合

P(1|1)P(1|N) P(N|N)

どの状態にいるのか

P(1|1)

1NP(N|1)

にいるのか見れない

P(2|1)

P(N|2)

2P(1|2) P(2|N)

P(2|2)

8

これだけでは余りどうしようもない。。。

隠れマルコフモデル (HMM)隠れマルコフモデル (HMM)

( )P(1|1)

( )opS1

( )

P(1|N) P(N|N)P(1|1)

o( )op

NS??P(N|1)

P(2|1)o( )op o

P(2|1)P(1|2)

P(N|2)

( )opS2 o?

P(2|N)

P(2|2)

o 状態遷移に伴うo 状態遷移に伴う出力信号が観測可

出力9時刻

出力信号列

状態遷移の推定状態遷移の推定

前提前提•初期状態はS0、最終状態はSNで、既知とする•T回の状態遷移を行い、遷移のたびに遷移先状態の出力確率回の状態遷移を行 、遷移のたびに遷移先状態の出力確率分布に従い信号を出力した

t=0 t=Tt=1N０

( ) ( ) ( )( )TKKKK 10最大事後確率状態系列

観測信号O o1 o2 oT( ) ( ) ( )( )

KHMMKP

TKKKK),|(maxarg

,,1,0 L

=

=最大事後確率状態系列

O

( ) ( ) ( )( ) ( ){ }T

tt

K

K

tKoPtKtKtKP )]([|]1[|1maxarg1

−→−= ∏=

出力分布遷移分布

10N

tK

SSSSSSSS ,,,,,,,, 3251120

1

L==

音声認識での利用音声認識での利用

音素/a/ 0 8 0 7 0 9 0 6音素/a/のHMM

1 0

0.8

0 2

0.7

0 3

0.9

0.1

0.6

0 4

( ) ( )op ( ) ( )s1 s3s2 s4

1.0 0.2 0.3 0.1 0.4

( )opS1( )opS2

( )opS3( )opS4

音響尤度o o o o

音響尤度

特徴量

音声信号

11

時刻音声信号

まとめまとめ

• マルコフモデル• マルコフモデル

– 確率変数の系列のモデルで、各時刻の状態遷移確率分布がそ 直前 時刻 変数 値確率分布がその直前の時刻の変数の値のみによって決まると仮定したもの

• 隠れマルコフモデル

状態を表す確率変数を外部から直接観測すること– 状態を表す確率変数を外部から直接観測することは出来ない（隠されている）とした、マルコフモデル

状態により決まる確率分布に従 た出力信号の– 状態により決まる確率分布に従った出力信号の観測は可

– 音声認識では隠された状態変数を音素や単語、出力信号を音声に対応させる

12