markov und hmm - ei.ruhr-uni-bochum.de · beispiel: ratte im labyrinth die...
Post on 17-Aug-2019
216 Views
Preview:
TRANSCRIPT
Markov KettenMarkov Ketten
Markov Ketten
Stochastischer Prozess XStochastischer Prozess
Zeitdiskret
Wertdiskret (diskrete Zustände)
iX
Wertdiskret (diskrete Zustände)
Markov Kette N‐ter Ordnung: Statistische Aussagen über den aktuellen Zustand können auf der Basis der Kenntnis von Naktuellen Zustand können auf der Basis der Kenntnis von N zurückliegenden Zuständen gemacht werden.
Für viele Anwendungen von besonderem Interesse: Markov KettenFür viele Anwendungen von besonderem Interesse: Markov Ketten erster Ordnung:
( ) ( ){ } ( ){ }1 2 11 2 1| |n n n n nn i n i n i n i n iP X x X x X x P X x X x
− − −− − −= = ∧ = ∧ = = =K
2
Beispiel: Ratte im Labyrinth
Die Ratte wechselt mit jedem
1 2 3
Die Ratte wechselt mit jedem Zeitschritt den Raum (=Zustand)
Die Auswahl jeder Tür des RaumesDie Auswahl jeder Tür des Raumes ist dabei zufällig und gleich wahrscheinlich
4 5 6 und hängt nicht davon ab, welche Räume die Ratte zuvor besucht hat
Die Folge der Raumnummern der besuchten Räume ist eine Markov‐
7 8 9besuchten Räume ist eine MarkovKette erster Ordnung
3
Beispiel: Ratte im LabyrinthZustandsgraph
1 2 31/3 1/3
1 2 31/2 1/2
1/41/3 1/2 1/31/3 1/2 1/41/3 1/2 1/31/3 1/2
1/4 1/3
4 5 61/41/3
1/2 1/2
1/31/4 1/2 1/31/3 1/2
7 8 91/3 1/3
1/2 1/2
4
1/3 1/3
Beispiel: Ratte im LabyrinthDie Übergangswahrscheinlichkeiten lassen sich leicht angeben:1 2 3
zu Raum (Zustand)
lassen sich leicht angeben:1 2 3
4 5 6
1 0 1/ 2 0 1/ 2 0 0 0 0 0⎛ ⎞
zu Raum (Zustand)
1 2 3 4 5 6 7 8 9
4 5 6
7 8 9 1 0 1/ 2 0 1/ 2 0 0 0 0 02 1/ 3 0 1/ 3 0 1/ 3 0 0 0 03 0 1/ 2 0 0 0 1/ 2 0 0 0
⎛ ⎞⎜ ⎟⎜ ⎟⎜ ⎟
7 8 9
3 0 1/ 2 0 0 0 1/ 2 0 0 04 1/ 3 0 0 0 1/ 3 0 1/ 3 0 05 0 1/ 4 0 1/ 4 0 1/ 4 0 1/ 4 0
⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟
Von Raum (Zustand) 5 0 1/ 4 0 1/ 4 0 1/ 4 0 1/ 4 06 0 0 1/ 3 0 1/ 3 0 0 0 1/ 37 0 0 0 1/ 2 0 0 0 1/ 2 0
⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟
( )
8 0 0 0 0 1/ 3 0 1/ 3 0 1/ 39 0 0 0 0 0 1/ 2 0 1/ 2 0
⎜ ⎟⎜ ⎟⎜ ⎟⎝ ⎠
Übergangsmatrix (Transition matrix)
0 1/ 2 0 1/ 2 0 0 0 0 01/ 3 0 1/ 3 0 1/ 3 0 0 0 0⎛ ⎞⎜ ⎟1/ 3 0 1/ 3 0 1/ 3 0 0 0 0
0 1/ 2 0 0 0 1/ 2 0 0 01/ 3 0 0 0 1/ 3 0 1/ 3 0 0
⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟1/ 3 0 0 0 1/ 3 0 1/ 3 0 0
0 1/ 4 0 1/ 4 0 1/ 4 0 1/ 4 00 0 1/ 3 0 1/ 3 0 0 0 1/ 3
Q⎜ ⎟⎜ ⎟=⎜ ⎟⎜ ⎟0 0 1/ 3 0 1/ 3 0 0 0 1/ 3
0 0 0 1/ 2 0 0 0 1/ 2 00 0 0 0 1/ 3 0 1/ 3 0 1/ 3
⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟
Z il i d 1 (Wk M t i )
0 0 0 0 / 3 0 / 3 0 / 30 0 0 0 0 1/ 2 0 1/ 2 0
⎜ ⎟⎜ ⎟⎝ ⎠
Zeilensummen sind 1 (Wk‐Matrix)
Wk von Zeile zu Spalte
( ) 1{ | }ij n j n iij
Q q P X x X x+= = = =
6
Wahrscheinlichkeit der Zustände nach n Schritten
0 1 1{ } (0)(0)
P X x pP
=⎛ ⎞ ⎛ ⎞⎜ ⎟ ⎜ ⎟= =⎜ ⎟ ⎜ ⎟M M
Anfangsverteilung
0
(0){ } (0)N N
PP X x p
= =⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎜ ⎟=⎝ ⎠ ⎝ ⎠
M M
Von Schritt n zu n+1: Summe der Wk aller Pfade, die zum j‐ten Zustand führen:
1 1 1 1( 1) { } { | } { }j n j n j n np n P X x P X x X x P X x+ ++ = = = = = =
1 2 2{ | } { }...
j j j
n j n nP X x X x P X x++ = = =
1{ | } { }n j n N n NP X x X x P X x++ = = =
( )N
ij iq p n= ∑
( )
1
1( )
ji
p n=
⎛ ⎞⎜ ⎟
∑
MSpalte der Matrix Q
7
( )1
( )j Nj
N
q qp n
⎜ ⎟= ⎜ ⎟⎜ ⎟⎝ ⎠
L MQ
Wahrscheinlichkeit der Zustände nach n Schritten
Matrixschreibweise: ( 1) ( )TP n Q P n+ =
Ausgehend von der Anfangswahrscheinlichkeit der Zustände:
(1) (0)TP Q P=
( )2(2) (1) (0) (0)T T T TP Q P Q Q P Q P= = =
( )3( )3(3) (2) (0)T TP Q P Q P= =
( )( ) (0)n
TP n Q P=
8
Beispiel: Ratte im Labyrinth 0 0 0 0
0 0 0 0 00 0 0 0c c c c
a a a a a⎛ ⎞⎜ ⎟⎜ ⎟
1a ≈
( ) ( ) ( )20 22 24
0 0 0 00 0 0 0 0
Q = Q Q0 0 0 0T T Tc c c c
a a a a a
b b b b b
⎜ ⎟⎜ ⎟⎜ ⎟ ≈ ≈⎜ ⎟
16
a
b
≈
≈( ) ( ) ( ) Q Q Q0 0 0 00 0 0 0 0
0 0 0 00 0 0 0 0
c c c ca a a a a
b b b b b⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟
31
b
c ≈0 0 0 0 00 0 0 0a a a ac c c c
a⎜ ⎟⎜ ⎟⎝ ⎠
4c
0 0 0 0 00 0 0 0
0 0 0 0 0
a a a ac c c c c⎛ ⎞⎜ ⎟⎜ ⎟
( ) ( ) ( )21 23 25
0 0 0 0 00 0 0 0
Q = Q Q0 0 0 0 0T T T
a a a ac c c c c
b b b b
⎜ ⎟⎜ ⎟⎜ ⎟ ≈ ≈⎜ ⎟( ) ( ) ( ) Q Q Q0 0 0 0 0
0 0 0 00 0 0 0 0
0 0 0 0a a a a
c c c c cb b b b ≈ ≈⎜ ⎟
⎜ ⎟⎜ ⎟⎜ ⎟
9
0 0 0 00 0 0 0 0a a ac
ac c c c⎜ ⎟⎜ ⎟
⎝ ⎠
Beispiel: Ratte im Labyrinth1. Variation im Zustandsgraph
b
1 2 3(b‐1)/3 (b‐1)/3
bb
1 2 3(b‐1)/2 (b‐1)/2(b‐1
(b‐1
(b‐1
(b‐1
(b‐1
(b‐1
(b‐1)/3(b‐1)/4
1)/2
1)/2
)/3
)/3
1)/4
1)/3
b
4 5 6(b‐1)/4(b‐1)/3(b (b(b (b(b(b
bb
(b 1)/2 (b 1)/2
b‐1)/2
b‐1)/2
b‐1)/3
b‐1)/3
b‐1)/3
b‐1)/4
7 8 9(b 1)/3 (b 1)/3
(b‐1)/2 (b‐1)/2
10
(b‐1)/3 (b‐1)/3b bb
Übergangsmatrix (Transition matrix)(1 ) / 2 0 (1 ) / 2 0 0 0 0 0
(1 ) / 3 (1 ) / 3 0 (1 ) / 3 0 0 0 00 (1 ) / 2 0 0 (1 ) / 2 0 0 0
b b bb b b b
b b b
− −− − −
⎛ ⎞⎜ ⎟⎜ ⎟⎜ ⎟0 (1 ) / 2 0 0 (1 ) / 2 0 0 0
(1 ) / 3 0 0 (1 ) / 3 0 (1 ) / 3 0 00 (1 ) / 4 0 (1 ) / 4 (1 ) / 4 0 (1 ) / 4 0
b b bb b b b
Q b b b b b
− −− − −
= − − − −
⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟
( ) ( ) ( ) ( )0 0 (1 ) / 3 0 (1 ) / 3 0 0 (1 ) / 30 0 0 (1 ) / 2 0 0 (1 ) / 2 00 0 0 0 (1 ) / 3 0 (1 ) / 3 (
Qb b b b
b b bb b b
− − −− −
1 ) / 3b
⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟0 0 0 0 (1 ) / 3 0 (1 ) / 3 (b b b− − 1 ) / 3
0 0 0 0 0 (1 ) / 2 0 (1 ) / 2b
b b b
⎜ ⎟−⎜ ⎟
⎜ ⎟− −⎝ ⎠
0 1 0 45 0 0 45 0 0 0 0 0⎛ ⎞0.1 0.45 0 0.45 0 0 0 0 00.3 0.1 0.3 0 0.3 0 0 0 00 0.45 0.1 0 0 0.45 0 0 0
⎛ ⎞⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟0.3 0 0 0.1 0.3 0 0.3 0 0
0 0.225 0 0.225 0.1 0.225 0 0.225 00 0 0 3 0 0 3 0 1 0 0 0 3
Q
⎜ ⎟⎜ ⎟⎜ ⎟=⎜ ⎟
für b = 0.10 0 0.3 0 0.3 0.1 0 0 0.30 0 0 0.45 0 0 0.1 0.45 00 0 0 0 0.3 0 0.3 0.1 0.3
⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟
11
0 0 0 0 0 0.45 0 0.45 0.1⎜ ⎟⎜ ⎟⎝ ⎠
Nach sehr vielen Schritten, auch für beliebig kleine b
a a a a a a a a a⎛ ⎞c c c c c c c c ca a a a a a a a a
a a a a a a a a a
⎛ ⎞⎜ ⎟⎜ ⎟⎜ ⎟
112
a ≈
( ) ( )10000 10001 Q QT T
c c c c c c c c c
c c c c c c c c cb b b b b b b b b⎜ ⎟⎜ ⎟= ≈⎜ ⎟⎜ ⎟
16
b ≈c c c c c c c c c
c c c c c c c ca a a a a a a a a
c
⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟
81c ≈
a a a a a a a a a⎜ ⎟⎝ ⎠
12
Definitionen (Markov Ketten)
Eine Markov Kette heißt ergodisch (irreduzierbar) wennEine Markov Kette heißt ergodisch (irreduzierbar), wenn jeder Zustand von jedem anderen Zustand (nach beliebig vielen Schritten) erreicht werden kannvielen Schritten) erreicht werden kann
Eine Markov Kette heißt regulär, wenn für irgendein n > 0 die Matrix Qn nur positive Elemente enthält.
Jede reguläre Markov Kette ist ergodisch.
In einer ergodischen Markov Kette haben alle Zustände dieIn einer ergodischen Markov Kette haben alle Zustände die gleichen Eigenschaften.
13
Definitionen: Zustände
Ein Zustand heißt periodischmit der Periode wenntEin Zustand heißt periodisch mit der Periode , wennaußer für , die Vielfache von sind,
wobei die größte ganze Zahl mit dieser Eigenschaft ist( ) 0jjq n = n vt=
tt
twobei die größte ganze Zahl mit dieser Eigenschaft ist. Ansonsten heißt ein Zustand aperiodisch.
t
Eine reguläre Markov Kette kann keine periodischen Zustände haben.
Im ursprünglichen Rattenbeispiel sind alle ZuständeIm ursprünglichen Rattenbeispiel sind alle Zustände periodisch mit Periode .
Die Kette im ursprünglichen Rattenbeispiel ist ergodisch aber2t =
Die Kette im ursprünglichen Rattenbeispiel ist ergodisch aber nicht regulär.
14
Beispiel: Ratte im Labyrinth2. Variation im Zustandsgraph
b
1 2 3(b‐1)/3 (b‐1)/3
b1
1 2 3(b‐1)/2 (b‐1
(b‐1
(b‐1
(b‐1
(b‐1
(b‐1)/3(b‐1)/4
1)/2
)/3
)/3
1)/4
1)/3
b
4 5 6(b‐1)/4(b‐1)/3(b (b(b (b(b(b
bb
(b 1)/2 (b 1)/2
b‐1)/2
b‐1)/2
b‐1)/3
b‐1)/3
b‐1)/3
b‐1)/4
7 8 9(b 1)/3 (b 1)/3
(b‐1)/2 (b‐1)/2
15
(b‐1)/3 (b‐1)/3b bb
Definitionen: Zustände
Ein Zustand heißt absorbierend wenn er nicht verlassenEin Zustand heißt absorbierend, wenn er nicht verlassen werden kann:
k h ß b b d1jjp =
Eine Markov Kette heißt absorbierend, wenn sie mindestens einen absorbierenden Zustand hat und dieser von jedem transienten Zustand aus (in beliebig vielen Schritten) erreicht werden kann
In Variation 2 des Beispiels ist der Zustand 1 absorbierend. DieIn Variation 2 des Beispiels ist der Zustand 1 absorbierend. Die Markov Kette ist ebenfalls absorbierend
Eine Markov Kette mit absorbierenden Zuständen kann weder lä h di h i
16
regulär noch ergodisch sein .
Übergangsmatrix (Transition matrix)1 0 0 0 0 0 0 0 0
(1 ) / 3 (1 ) / 3 0 (1 ) / 3 0 0 0 00 (1 ) / 2 0 0 (1 ) / 2 0 0 0b b b b
b b b− − −
⎛ ⎞⎜ ⎟⎜ ⎟⎜ ⎟0 (1 ) / 2 0 0 (1 ) / 2 0 0 0
(1 ) / 3 0 0 (1 ) / 3 0 (1 ) / 3 0 00 (1 ) / 4 0 (1 ) / 4 (1 ) / 4 0 (1 ) / 4 0
b b bb b b b
Q b b b b b
− −− − −
= − − − −
⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟
( ) ( ) ( ) ( )0 0 (1 ) / 3 0 (1 ) / 3 0 0 (1 ) / 30 0 0 (1 ) / 2 0 0 (1 ) / 2 00 0 0 0 (1 ) / 3 0 (1 ) / 3 (1 ) / 3
Qb b b b
b b bb b b b
− − −− −
⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟0 0 0 0 (1 ) / 3 0 (1 ) / 3 (1 ) / 3
0 0 0 0 0 (b b b b− − −
1 ) / 2 0 (1 ) / 2b b b
⎜ ⎟⎜ ⎟⎜ ⎟− −⎝ ⎠
1 0 0 0 0 0 0 0 0⎛ ⎞1 0 0 0 0 0 0 0 00.3 0.1 0.3 0 0.3 0 0 0 00 0.45 0.1 0 0 0.45 0 0 0
⎛ ⎞⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟0.3 0 0 0.1 0.3 0 0.3 0 0
0 0.225 0 0.225 0.1 0.225 0 0.225 00 0 0 3 0 0 3 0 1 0 0 0 3
Q
⎜ ⎟⎜ ⎟⎜ ⎟=⎜ ⎟
für b = 0.10 0 0.3 0 0.3 0.1 0 0 0.30 0 0 0.45 0 0 0.1 0.45 00 0 0 0 0.3 0 0.3 0.1 0.3
⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟
17
0 0 0 0 0 0.45 0 0.45 0.1⎜ ⎟⎜ ⎟⎝ ⎠
Absorbierende ZuständeDurch Umsortieren der Reihenfolge, so dass die absorbierenden Zustände die letzten sind ergibt sich die kanonische Form:Zustände die letzten sind, ergibt sich die kanonische Form:
T RQ
⎛ ⎞⎜ ⎟
n
nT
Q⎛ ⎞•⎜ ⎟it
0Q
I⎜ ⎟=⎜ ⎟⎝ ⎠
0Q
I⎜ ⎟=⎜ ⎟⎝ ⎠
mit
Die Matrix 2 31( )N I T I T T T−= − = + + + +K
heißt Fundamentalmatrix.
Die Reihe konvergiertDie Reihe konvergiert.
Das Matrixelement ist die erwartete Anzahl, wie oft sich die Kette im Zustand j befindet wenn sie im Zustand i gestartet wurde
ijnKette im Zustand j befindet, wenn sie im Zustand i gestartet wurde
18
Beispiel: Variation 2, Fundamentalmatrix1 0 0 0 0 0 0 0 0
0.3 0.1 0.3 0 0.3 0 0 0 0⎛ ⎞⎜ ⎟⎜ ⎟
0 0.45 0.1 0 0 0.45 0 0 00.3 0 0 0.1 0.3 0 0.3 0 00 0 225 0 0 225 0 1 0 225 0 0 225 0Q
⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟ für b = 0 1TR0 0.225 0 0.225 0.1 0.225 0 0.225 0
0 0 0.3 0 0.3 0.1 0 0 0.30 0 0 0.45 0 0 0.1 0.45 0
Q ⎜ ⎟=⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟
für b = 0.1TR0 0 0 0 0.3 0 0.3 0.1 0.30 0 0 0 0 0.45 0 0.45 0.1
⎜ ⎟⎜ ⎟⎜ ⎟⎝ ⎠
2.3611 1.3889 0.9722 2.2222 1.8056 0.8333 1.5278 1.11112 0833 2 7778 1 2500 2 7778 2 9167 1 1111 2 0833 1 6667
⎛ ⎞⎜ ⎟⎜ ⎟ 2.0833 2.7778 1.2500 2.7778 2.9167 1.1111 2.0833 1.6667
0.9722 0.8333 2.3611 2.22
N =
22 1.5278 1.3889 1.8056 1.1111 1.6667 1.3889 1.6667 3.8889 2.5000 1.3889 2.5000 1.6667
⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟N =
1.8056 1.9444 1.5278 3.3333 4.0278 1.3889 2.6389 2.2222 1.2500 1.1111 2.0833 2.7778 2.0833 2.7778 2.9167 1.6667
1 5278 1 3889 1 8056 3 3333 2 6389 1 9444 4 0278 2 2222
⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟ 1.5278 1.3889 1.8056 3.3333 2.6389 1.9444 4.0278 2.2222
1.6667 1.6667 1.6667 3.3333 3.3333 1.6667 3.3333 3.3333⎜ ⎟⎜ ⎟⎝ ⎠
Erwartete Schrittzahl bis zur Absorption 2.3611 1.3889 0.9722 2.2222 1.8056 0.8333 1.5278 1.1111
2 0833 2 7778 1 2500 2 7778 2 9167 1 1111 2 0833 1 6667⎛ ⎞⎜ ⎟⎜ ⎟ 2.0833 2.7778 1.2500 2.7778 2.9167 1.1111 2.0833 1.6667
0.9722 0.8333 2.3611 2.22
N ≈
22 1.5278 1.3889 1.8056 1.1111 1.6667 1.3889 1.6667 3.8889 2.5000 1.3889 2.5000 1.6667
⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟N ≈
1.8056 1.9444 1.5278 3.3333 4.0278 1.3889 2.6389 2.2222 1.2500 1.1111 2.0833 2.7778 2.0833 2.7778 2.9167 1.6667
1 5278 1 3889 1 8056 3 3333 2 6389 1 9444 4 0278 2 2222
⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟ 1.5278 1.3889 1.8056 3.3333 2.6389 1.9444 4.0278 2.2222
1.6667 1.6667 1.6667 3.3333 3.3333 1.6667 3.3333 3.3333⎜ ⎟⎜ ⎟⎝ ⎠
Start in 9und so viele SchritteIm Zustand 3 bis zur Absorption
Die Zeilensumme gibt die erwartete Anzahl von Schritten
Die Kette war so viele Schritte
bis zur Absorption, wenn in 9 gestartet wurde
viele SchritteIm Zustand 2 bis zur Absorption
20
Erwartete Schrittzahl bis zur Absorption 2.3611 1.3889 0.9722 2.2222 1.8056 0.8333 1.5278 1.1111
2 0833 2 7778 1 2500 2 7778 2 9167 1 1111 2 0833 1 6667⎛ ⎞⎜ ⎟⎜ ⎟ 2.0833 2.7778 1.2500 2.7778 2.9167 1.1111 2.0833 1.6667
0.9722 0.8333 2.3611 2.22
N ≈
22 1.5278 1.3889 1.8056 1.1111 1.6667 1.3889 1.6667 3.8889 2.5000 1.3889 2.5000 1.6667
⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟N ≈
1.8056 1.9444 1.5278 3.3333 4.0278 1.3889 2.6389 2.2222 1.2500 1.1111 2.0833 2.7778 2.0833 2.7778 2.9167 1.6667
1 5278 1 3889 1 8056 3 3333 2 6389 1 9444 4 0278 2 2222
⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟ 1.5278 1.3889 1.8056 3.3333 2.6389 1.9444 4.0278 2.2222
1.6667 1.6667 1.6667 3.3333 3.3333 1.6667 3.3333 3.3333⎜ ⎟⎜ ⎟⎝ ⎠
Die Zeilensumme gibt die erwartete Anzahl von Schritten 1⎛ ⎞
⎜ ⎟
Dies ist der Vektor dieser Zeilensummen
bis zur Absorption, wenn in 9 gestartet wurde
1t N ⎜ ⎟= ⎜ ⎟
⎜ ⎟⎝ ⎠
M
Bei gegebenen Anfangswahrscheinlichkeiten der nicht absorbierenden Zustände ist die erwartete Schrittzahl zur Absorption:
t (0)tr TP t
Erwartete Schrittzahl bis zur Absorption
2 3112 2222⎛ ⎞ 2 3112.2222 16.66670
12.222216.666712.2222
⎛ ⎞⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟
4 5 616.666718.8889
t
⎜ ⎟⎜ ⎟⎜ ⎟=⎜ ⎟⎜ ⎟ 4 5 6
12.2222 16.6667 18.666716.666718.8889
⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟
7 8 920.0000⎜ ⎟⎝ ⎠
7 8 916.6667 18.6667 20
12.222216.666712.2222
⎛ ⎞⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟16.66671 1 1 1 1 1 1 1(0) 14.691418.88899 9 9 9 9 9 9 916 6667
tr TP t⎜ ⎟
⎛ ⎞⎜ ⎟= =⎜ ⎟⎜ ⎟⎝ ⎠⎜ ⎟⎜ ⎟
22
16.666718.888920.0000
⎜ ⎟⎜ ⎟⎜ ⎟⎝ ⎠
Eigenschaften regulärer Markov Ketten
sind ergodischsind ergodisch,
haben keine periodischen oder absorbierenden Zustände
Für konvergiert die Matrix gegen eine Matrixmit identischen Zeilen n →∞ nQ
W TwDer Vektor gibt die stationäre Wahrscheinlichkeit der Zustände an, d.h. wenn nach sehr vielen Schritten
TwZustände an, d.h. wenn nach sehr vielen Schritten nachgesehen wird, ob die Ratte in Raum i ist, dann ist dies mit der Wahrscheinlichkeit der Fall.iwder Wahrscheinlichkeit der Fall.
ist unabhängig von der Anfangsverteilung der Wahrscheinlichkeiten
iwTw
(0)PWahrscheinlichkeiten
ist ein Fixvektor für die Abbildung mit und eindeutig:(0)P
Tw TQ
23
Tw Q w=
Variation 1 des Rattenbeispiels: Nach sehr vielen Schritten, auch für beliebig kleine b
a a a a a a a a a⎛ ⎞ a⎛ ⎞c c c c c c c c ca a a a a a a a a
a a a a a a a a a
⎛ ⎞⎜ ⎟⎜ ⎟⎜ ⎟
112
a ≈ca
a
⎛ ⎞⎜ ⎟⎜ ⎟⎜ ⎟
( )10000 QT
c c c c c c c c c
c c c c c c c c cb b b b b b b b b⎜ ⎟⎜ ⎟= ⎜ ⎟⎜ ⎟
112
6b ≈
c
cbw⎜ ⎟⎜ ⎟= ⎜ ⎟⎜ ⎟c c
a a a a a a a a ac c c c c c c
c c c c c c c c c
⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎝ ⎠
816
c ≈
c
ca⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟⎝ ⎠a a a a a a a a a⎜ ⎟
⎝ ⎠ a⎜ ⎟⎝ ⎠
Dies sind ungefähre Werte Gibt es auch eineDies sind ungefähre Werte. Gibt es auch eine Berechnungsvorschrift für die stationäre Verteilung?
24
Stationäre Wahrscheinlichkeitsverteilungdurch „Raten“ und überprüfen:
4 Eingänge bei 5
3 Eingänge bei 2 4 6 83 Eingänge bei 2, 4, 6, 8
2 Eingänge bei 1, 3, 7, 9
Insgesamt 4 + 4*3 +4*2 = 24
Vermutete stationäre Aufenthaltswahrscheinlichkeit:
Mitte: 4/24 = 1/6 Kante: 3/24=1/8 Ecke: 2/24=1/12Mitte: 4/24 = 1/6, Kante: 3/24=1/8, Ecke: 2/24=1/12
Einsetzen in zeigt, dass die Gleichung mit diesen Wk füll i Al i d f d V k di i ä
Tw Q w=Wk erfüllt ist. Also ist der gefundene Vektor die stationäre Wk‐Verteilung.
25
Berechnung der stationären Verteilung
TQ (1 1) 1Tw Q w= (1 1) 1w =Lunter der Nebenbedingung
1 1 1⎛ ⎞ ⎛ ⎞1 1 1w
⎛ ⎞ ⎛ ⎞⎜ ⎟ ⎜ ⎟=⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎜ ⎟
L
M O M M
1 1 1⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠L
U w e=
Z ibt d
( )TQ I U w e− + = ( ) 1Tw Q I U e−
= − +
Zusammen ergibt das:
( ) ( )Q
26
Reguläre Markov‐Ketten
Nach wie vielen erwarteten Schritten mij geht die Kette jbeim Start im Zustand i in den Zustand j ? (mean first passage time)
Wird j vorübergehend als absorbierender Zustand betrachtet, kann der Rest der Berechnung der Schrittzahl bis zur Absorption durchgeführt werden, um die Antwort zu erhalten
Wie viele Schritte ri braucht die Kette, um vom Zustand iiaus in den Zustand i zurückzukehren? (recurrence time)
Die erwartete Schrittzahl wird durch die Kehrwerte der stationäre Aufenthaltswahrscheinlichkeiten gegeben.
1 1 1 1 1 1 1 1 1w ⎛ ⎞⎜ ⎟12 8 12 8 6 8 12 8 12
w = ⎜ ⎟⎝ ⎠
27( )12 8 12 8 6 8 12 8 12r =
Reguläre Markov‐Ketten
Fundamentalmatrix einer regulären Markov‐Kette:
( ) 1Z I Q W
−
= − +
Nach wie vielen erwarteten Schritten mij geht die Kette b i St t i Z t d i i d Z t d j ?
( )
beim Start im Zustand i in den Zustand j ? (mean first passage time)
Wird j vorübergehend als absorbierender Zustand betrachtet, kann der Rest der Berechnung der Schrittzahl bis zur Absorption durchgeführt werden um die Antwort zu erhaltendurchgeführt werden, um die Antwort zu erhalten
Oder kann über die Fundamentalmatrix mitz z−
berechnet werden
jj ijij
j
z zm
w−
=
28
berechnet werden.
Rattenbeispiel (Variation1, regulär):
0 6 7 16 7 6 7 6 7 13 3 16 7 13 3 20 0⎛ ⎞0 6.7 16.7 6.7 6.7 13.3 16.7 13.3 20.012.2 0 12.2 11.1 5.6 11.1 18.9 13.3 18.9⎛ ⎞⎜ ⎟⎜ ⎟16.7 6.7 0 13.3 6.7 6.7 20.0 13.3 16.712 2 11 1 18 9 0 5 6 13 3 12 2 11 1 18 9
⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟12.2 11.1 18.9 0 5.6 13.3 12.2 11.1 18.916.7 10.0 16.7 10.0 0 10.0 16.7 10.0 16.7M =⎜ ⎟⎜ ⎟⎜ ⎟18.9 11.1 12.2 13.3 5.6 0 18.9 11.1 12.216.7 13.3 20.0 6.7 6.7 13.3 0 6.7 16.7
⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟18.9 13.3 18.9 11.1 5.6 11.1 12.2 0 12.2
20 0 13 3 16 7 13 3 6 7 6 7 16 7 6 7 0
⎜ ⎟⎜ ⎟⎜ ⎟⎝ ⎠20.0 13.3 16.7 13.3 6.7 6.7 16.7 6.7 0⎜ ⎟⎝ ⎠
29
( )12 8 12 8 6 8 12 8 12r =
Rattenbeispiel (ursprünglich, nicht regulär):
0 6 15 6 6 12 15 12 18⎛ ⎞0 6 15 6 6 12 15 12 1811 0 11 10 5 10 17 12 17⎛ ⎞⎜ ⎟⎜ ⎟⎜ ⎟15 6 0 12 6 6 18 12 1511 10 17 0 5 12 11 10 17⎜ ⎟⎜ ⎟⎜ ⎟15 9 15 9 0 9 15 9 1517 10 11 12 5 0 17 10 11
M⎜ ⎟⎜ ⎟=⎜ ⎟17 10 11 12 5 0 17 10 1115 12 18 6 6 12 0 6 15
⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟17 12 17 10 5 10 11 0 1118 12 15 12 6 6 15 6 0
⎜ ⎟⎜ ⎟⎜ ⎟⎝ ⎠18 12 15 12 6 6 15 6 0⎝ ⎠
( )12 8 12 8 6 8 12 8 12r30
( )12 8 12 8 6 8 12 8 12r =
Beispiel: Google PageRank
W b Webpage0 33Problem:
Webpage A
Webpage B
0.33
0.33
1 0
Absorbierende Zustände (Dangling Links)
0 330.50
1.0(Dangling Links)
Webpage D
0.33
0.50
Webpage C
W b 1 0Webpage E
1.0
31
1.0
Beispiel: Google PageRank
W b Webpage0 33
0.2
Webpage A
Webpage B
0.33
0.33
1 0
0.2
0 330.50
1.0
Webpage D
0.33
0.50
Webpage C
W b
0.2
Webpage E
0.20.2
32
1.0
Übergangsmatrix aufstellen
0 0.33 0.33 0 0.33⎛ ⎞⎜ ⎟0 0 0 1.0 0
0 5 0 0 0 5 0LinkQ
⎜ ⎟⎜ ⎟
= ⎜ ⎟0.5 0 0 0.5 00.2 0.2 0.2 0.2 0.2
Q = ⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟0 0 1.0 0 0⎜ ⎟⎜ ⎟⎝ ⎠
33
Beispiel: Google PageRank
W b Webpage0 33
0.2
Webpage A
Webpage B
0.33
0.33
1 0
0.2
0 330.50
1.0
Webpage D
0.33
0.50
Webpage C
W b
0.2
Webpage E
0.20.2
34
1.0
Beispiel: Google PageRank
Alternativmodell: Zufälliger Wechsel zwischen denAlternativmodell: Zufälliger Wechsel zwischen den Webseiten ohne Beachtung von Links
hl b b kAuswahl einer bestimmten Webseite kmit Wahrscheinlichkeit vk (personalization vector)
Übergangsmatrix: 1Zufall TQ v
⎛ ⎞⎜ ⎟= ⎜ ⎟M1
Q v= ⎜ ⎟⎜ ⎟⎝ ⎠
M
35
Übergangsmatrix aufstellen
0 2 0 2 0 2 0 2 0 2⎛ ⎞0.2 0.2 0.2 0.2 0.20.2 0.2 0.2 0.2 0.2
Zufall
⎛ ⎞⎜ ⎟⎜ ⎟⎜ ⎟0.2 0.2 0.2 0.2 0.2
0.2 0.2 0.2 0.2 0.2
ZufallQ = ⎜ ⎟⎜ ⎟⎜ ⎟
0.2 0.2 0.2 0.2 0.2⎜ ⎟⎜ ⎟⎝ ⎠
Dann ist auch die folgende Matrix eine stochastische Matrix:Matrix:
(1 )Google Link ZufallQ Q Qα α= + − [0,1]α ∈
36
Google PageRank
Die stationäre Aufenthaltswahrscheinlichkeit diesesDie stationäre Aufenthaltswahrscheinlichkeit dieses Zufalls‐Surfers auf der Webseite bestimmt den PageRank
B h üb It ti ( )nGoogleQBerechnung über Iteration von
Im Beispiel:( )GoogleQ
0.1874⎛ ⎞⎜ ⎟
0.99α =0.12550 2498w
⎜ ⎟⎜ ⎟⎜ ⎟ für
( )0.2 0.2 0.2 0.2 0.2v =0.24980.3117
w = ⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟
für
0.1255⎜ ⎟⎜ ⎟⎝ ⎠
37
Beispiel: Texte aus Markov‐Ketten
1. Ordnung:t I amy, vin. id wht omanly heay atuss n macon aresethe hired boutwhe t, tl, ad torurest t plur I wit hengamind tarer-plarody thishand.
2. OrdnungTher I the heingoind of-pleat, blur it dwere wing waske hat trooss. Yout lar on wassing, an sit." "Yould," "I that vide was nots ther.
3. OrdnungI has them the saw the secorrow. And wintails on my my ent, thinks, fore
f fvoyager lanated the been elsed helder was of him a very free bottlemarkable,
4.OrdnungHi h d " "E tl h l d t bl d b H ki ! Th t it f thHis heard." "Exactly he very glad trouble, and by Hopkins! That it on of thewho difficentralia. He rushed likely?" "Blood night that.
Quelle: http://www.codinghorror.com/blog/2008/06/markov‐and‐you.html
38http://www.beetleinabox.com/mkv_input.html
Hidden Markov‐Models (HMM)
0,3 0 9
1 2 31,0 0,1
0,9
1 2 3
0,7
,
1,00,10,8
0,1
A B C0,60,1
0,2,
Nur die emittierten Symbole A, B, und C sind beobachtbarZusätzlich Matrix E der Emissionswahrscheinlichkeiten
{ | }e P Y y X x= = =39
{ | }ij j ie P Y y X x= = =
top related