1

OBSAH

MARKOVOVSKÉ ŘETĚZCE ................................................................... 2

5.1 Stochastické procesy ............................................................................... 2

5.2 Markovovské řetězce s diskrétním časem DTMC – Discrete Time Markov

Chain .............................................................................................................. 2

5.2.1 Definice Markovovského řetězce ................................................................ 3

5.2.2 Matice přechodu ......................................................................................... 4

5.2.3 Stabilizovaný stav systému ........................................................................ 6

5.3 Bodový proces .......................................................................................... 8

5.4 Markovovské procesy se spojitým časem CTMC – Continuous Time

Markov Chain ............................................................................................... 11

5.4.1 Matice přechodu ....................................................................................... 12

5.4.2 Matice intenzit........................................................................................... 12

5.4.3 Graf diferenciálních přechodů .................................................................. 14

5.4.4 Kolmogorovovy diferenciální rovnice ........................................................ 15

5.4.5 Stabilizovaný stav ..................................................................................... 15

5.4.6 Vnořený Markovovský řetězec s diskrétním časem .................................. 16

5.4.7 Postup při analýze CTMC ......................................................................... 17

2

MARKOVOVSKÉ ŘETĚZCE

V této kapitole shrneme základní definice a výsledky teorie stochastických procesů které je

možné využít při analýze obecných stochastických Petriho sítí i jejich rozšíření, nejpoužívanější

třídy zobecněných stochastických Petriho sítí (GSPN). Markovovské procesy se také využívají

při analýze systémů hromadné obsluhy. Vyšetřování frontových systémů je v podstatě

vyšetřováním stavů stochastických procesů. Pokud zákazníci vstupují v Poissonovském toku a

délka obsluhy je exponenciální náhodná veličina, pak takovýto systém hromadné obsluhy je

Markovovským řetězcem. Cílem není podrobný popis matematického aparátu stochastických

procesů, ale spíšeje vysvětlení základním pojmů a intuitivní popis struktury Markovovských

řetězců.

5.1 Stochastické procesy

Zkoumáme-li jak se mění náhodná veličina v čase, mluvíme o stochastickém procesu,

přesněji:

Definice:Stochastickým procesem {X(t), tR} je množina náhodných veličin X(t) definovaných

nad stejným pravděpodobnostním prostorem.

Příkladem stochastického procesu může být intenzita provozu měřená v průběhu dne, počet

studentů v posluchárně, nebo vývoj hodnot cen akcií. Klasifikace stochastických procesů je

závislá na třech faktorech: stavovém prostoru, parametrickém prostoru a statistické závislosti

náhodných veličin X(t) pro různé hodnoty parametru t.

Definice: Stavový prostor S je množina možných hodnot X(t). Jednotlivé stavy procesu označme

ei, pak S={e1,e2,...,en, …}. Stavový prostor může být spojitý, nebo diskrétní. Pro stochastický

proces s diskrétním stavovým prostorem používáme termín stochastický řetězec.

Parametrický prostor: množina hodnot (časového) parametru t. Stochastický proces můžeme

zkoumat v průběhu spojitého časového úseku, nebo v diskrétních okamžicích.

Obr. 0.1

Příkladem stochastického procesu se spojitým stavovým

prostorem je teplota měřená během dne, nebo rychlost

vozidel projíždějících daným místem. Příkladem

stochastického procesu s diskrétním stavovým

prostorem Obr. 0.1 je počet aut před křižovatkou, počet

zákazníků v obchodě, či počet žetonů v jednom místě.

Procesy s diskrétním stavovým prostorem se někdy

nazývají náhodné řetězce. V dalším textu se budeme

zabývat jen náhodnými řetězci. V reálných aplikacích

vždy můžeme spojitý stavový prostor převést na

diskrétní už jenom tím, že měříme s jistou přesností.

5.2 Markovovské řetězce s diskrétním časem

DTMC – Discrete Time Markov Chain

Uvažujme nyní stochastický proces diskrétní v čase i v úrovni. Daný systém se v každém

okamžiku nachází právě v jednom z dané množiny stavů. Bez újmy na obecnosti můžeme

předpokládat, že okamžiky změn tvoří aritmetickou posloupnost 0,1,2,3,... . Odečítáme-li

např. počet aut v tunelu každých 10 minut, bude začátek pozorování označen jako stav v nultém

3

kroku, po 10 minutách budeme mít stav 1, počet aut za 20 minut bude stav po 2 krocích atd..

Proces je popsán posloupností náhodných veličin X1, X2, ..., Xn. Nechť S={e1,e2,...,en, …} je

stavový prostor, pak skutečnost, že v i-tém kroku je systém ve stavu e2 zapíšeme 2iX e .

5.2.1 Definice Markovovského řetězce

Říkáme, že řetězec je Markovovský1, jestliže pravděpodobnosti, s nimiž nastávají

jednotlivé změny – přechody mezi dvěma stavy – nejsou ovlivňovány předchozí historií procesu.

2 01 2 0 1( / , , , ) ( / )

nn j n i n i i n j n i ijP X e X e X e X e P X e X e p n

Pravděpodobnost pij(n) nazveme pravděpodobností přechodu ze stavu ei do stavu ej.

Jinými slovy: Pravděpodobnost přechodu systému ze stavu ei do stavu ej není nijak závislá

na tom, jak se systém do stavu ej dostal. Markovovské řetězce jsou velmi dobře popsány, existuje

celá řada jejich vlastností, které můžeme s výhodou využívat při analýze systémů, proto se

Markovovy řetězce používají všude tam, kde lze podmínku procesu „bez paměti“ přijmout, nebo

alespoň přijmout částečně, za jistých omezení.

V následujících úvahách se omezíme jen na homogenní Markovovy řetězce.

Definice: Stochastický proces nazýváme homogenní, jestliže pro jakékoliv stavy ei, ej

pravděpodobnosti přechodu pij(n) nezávisí na okamžiku n, v němž se přechod uskutečňuje, tj.

pij(0) = pij(1) = pij(2) =…

Argument n při zápisu pravděpodobností přechodu můžeme vynechat, protože na něm hodnota

psti nezáleží. pij(n)=pij

Markovovy procesy používáme v mnohých praktických aplikacích, a pokud je to jen

trochu možné, přijímáme předpoklad, že je proces homogenní. Hlavním významem přijmutí

předpokladu homogenity je fakt, že se analýza takovýchto systémů podstatně zjednoduší.

Příklad: Sledujeme intenzitu cyklistické dopravy na daném úseku komunikace. Intenzita

dopravy je vyjádřena počtem cyklistů na určitém profilu pozemní komunikace za jednotku času.

Intenzita dopravy se mění spojitě v průběhu celého zkoumaného intervalu-vznikají tak variace

intenzit dopravy. Používaný je denní, týdenní i roční cyklus variací intenzit dopravy. Na Obr. 0.2

je zobrazení denní variace relativních intenzit cyklistické dopravy v pracovní den. Stav systému

je aktuální počet cyklistů v měřených lokalitách. Ke změně stavu dojde, když cyklista opustí

monitorovací prostor, nebo naopak, když do něj přijede.

Je zřejmé, že pravděpodobnosti změny stavu se během dne výrazně mění, není tedy

takovýto proces možné považovat za homogenní. Abychom mohli, s jistou dávkou velkorysosti,

předpoklad homogenity přijmout je zapotřebí rozdělit zkoumaný časový úsek na kratší intervaly

a v nich nahradit funkci Variace intenzity za konstantní funkci. V případě cyklistické dopravy

zřejmě můžeme přijmout předpoklad, že je daná intenzita konstantní v průběhu 30 minut.

1 Třídu stochastických procesů bez paměti popsal v roce 1907 ruský matematik A. A. Markov

4

Obr. 0.2: Denní variace intenzit cyklistické dopravy-průměr ze 120 stanovišť v ČR naměřený v květnu 2007

Intenzita se mění spojitě, my ji ale spojitě zkoumat nemusíme. Předpokládejme např., že

intenzitu naměříme každých 5 minut. Intenzita dopravy tak může být chápána jako stochastický

řetězec diskrétní v čase i v úrovni. Jednotlivé stavy v daném kroku zkoumání jsou vyjádřeny

nezáporným číslem představujícím intenzitu provozu. Pokud pravděpodobnost změny stavu

(příjezdu/odjezdu cyklistů) nejsou závislá na historii procesu, pak můžeme proces zkoumat jako

Markovovský řetězec s diskrétním časem (DTMC). Otázkou zůstává, jak takovýto systém

přehledně popsat.

5.2.2 Matice přechodu

Pravděpodobnosti přechodu pij sestavíme do tzv. matice přechodu P = ( pij). Matice

přechodu je čtvercová, její rozměr je rovný počtu stavů systému.

11 12 1

21 22 2

1 2

n

n

ij

n n nn

p p p

p p pP p

p p p

Z podstaty hodnot pij má matice přechodu homogenního DTMC speciální strukturu:

1. všechny prvky matice jsou čísla v intervalu [0,1]

2. řádkové součty jsou rovny jedné 1ij

j

p .

Mluvíme o tzv. stochastických maticích.

. Tyto pravděpodobnosti sestavíme do tzv. stavového vektoru rozdělení pravděpodobnosti.

Stavový vektor v n-tém kroku označíme

1 2, , , ,na n a n a n a n

Vektor má tolik složek, kolik je možných stavů systému. i-tá složka vektoru představuje pst, že

se systém nachází ve stavu ei. i n ia n P X e .

5

Pokud matice přechodu poskytuje dokonalý popis procesu, pak jsme schopni jednoznačně určit

pravděpodobnosti, že se systém v daném kroku nachází v daném stavu.

Známe-li stavový vektor v n-tém kroku, umíme pomocí matice přechodu vypočítat stavový

vektor v n+1 kroku. Ze vzorce úplné pravděpodobnosti

1j i ij

i

a n a n p .

Přepíšeme-li tento zápis do maticové formy dostáváme hezký rekurentní vztah

1a n a n P

Známe-li tedy počáteční rozdělení pravděpodobnosti a matici přechodu, umíme vypočítat

stavové vektory rozdělení pravděpodobnosti pro všechny další kroku – můžeme vyšetřovat

dynamiku procesu.

2

1 0

2 1 0

0 n

a a P

a a P a P

a n a P

Důsledkem těchto vzorců a nezávislosti pravděpodobností na historii procesu i na aktuálním

kroku dostáváme Chapman-Kolmogorovovu rovnost.

Příklad: Sledujeme aktuální pozici studentů během dne. Výuka probíhá ve třech budovách:

Florenc, Konvikt a Horská. Rozvrh studentů neznáme, migrace studentů se nám jeví jako

stochastický proces. Na základě relativních četností odhadneme pravděpodobnosti přejíždění.

Proces sledujeme v diskrétních časových okamžicích, vždy po dvou vyučovacích hodinách.

Matice přechodu při pořadí míst „Florenc, Konvikt, Horská“ nechť má tvar:

0,6 0,2 0,2

0,5 0,25 0,25

0,4 0,4 0,2

P

Pravděpodobnosti zakreslíme pomocí orientovaného grafu. Vrcholy grafu jsou stavy procesu –

budovy, hrany grafu jsou ohodnoceny pravděpodobnostmi přechodu. Protože součet

pravděpodobností všech přechodů z jednoho daného stavu je jedna, jsou řádkové součty matice

přechodu 1 a ze stejného důvodu musí být u stavového grafu součet hodnot hran vycházejících

z jednoho uzlu také jedna.

6

Obr. 0.3:Stavový graf Markovovského řetězce

Jestliže víme, že na začátku dne v 8:00 je student v Konviktu, známe počáteční stavový vektor

rozložení pravděpodobnosti. S jistotou víme, že na začátku je systém(student) ve stavu

„Konvikt“. Při daném pořadí míst „Florenc, Konvikt, Horská“ je 0 (0,1,0)a .

Pravděpodobnosti, pozice studenta o příští přednášce,tj v dalším kroku je dána

1 0 0,5; 0,25;0,25a a P . Z rovnice 0 na n a P můžeme vypočítat stavový vektor

pro obecný n-tý krok. Výpočet n-té mocniny matice je možný provést různými způsoby, např.

pokud má matice jednoduchou strukturu můžeme využít diagonální matici.

Chapman-Kolmogorovova rovnost

Označme pij(2)

pravděpodobnost, že systém, který byl v určitém okamžiku ve stavu ei bude

po 2 přechodech ve stavu ej (Nezávisle na tom, jakým mezikrokem systém prošel). Potom (2)

ij ik kj

k

p p p , tj. 2 2P P . Obecněji ( ) ( 1) ( ) ( )n n m n m

ij ik kj ik kj

k k

p p p p p , tedy můžeme psát

n m n mP P P

.

5.2.3 Stabilizovaný stav systému

Rozložení pravděpodobností stavů systému se může po delší době ustálit, tj. všechny složky

stavového vektoru mohou konvergovat lim k kn

a n a

.

1 2lim ( ) lim ( ), lim ( ), , lim ( ),kn n n n

a a n a n a n a n

Dynamika systému je závislá na konstantní matici přechodu a na počátečním stavu, tedy obecně i

limitní chování může být na počátečním stavu závislé

lim ( ) (0) lim n

n na n a P

Pokud tomu tak není a limitní rozdělení stavového vektoru jsou identická pro všechny počáteční

stavy, pak mluvíme o stabilizovaném systému.

Definice: Pokud je limitní rozložení lim ( ) (0) lim n

n na n a P

nezávislé na počátečním rozložení

0a , pak říkáme, že je systém stabilizován.

Zamysleme se nyní nad tím, jak určit, zda je systém stabilizován. Je zřejmé, že nutnou

podmínkou stabilizace systému je, aby pro n konvergovaly pravděpodobnosti pik(n)

.

7

( )lim ( ) (0) lim n

k i ikn n

i

a n a p

Pokud budou pro všechna i ( )lim n

ikn

p

identické, pak je můžeme vytknout před sumu a využitím

vlastnosti vektoru rozdělení psti (0) 1i

i

a ,dostáváme

( )lim ( ) (0) lim (0)n

k i ik i k kn n

i i

a n a p a a a

.

Tedy, pokud jsou prvky ve sloupcích matice lim nP identické, systém je stabilizovaný.

Právě dokázaná věta nemá při řešení praktických příkladů příliš velký význam, protože je

většinou velmi obtížné určit obecnou mocninu matice nP .Uvědomme si, že matice P má rozměr

rovný počtu stavů, přitom je většinou velmi řídká – má velké množství nul. V teorii

Markovovských procesů existuje celá řada nutných či postačujících podmínek pro stabilizaci

systému, založených na klasifikaci stavů, tato teorie ale překračuje rámec skript a nebudeme ji

zde rozepisovat.

Pokud máme zjištěno, že je systém stabilizovaný, pak můžeme vypočítat stabilizovaný stav

a přímo, řešením homogenní soustavy lineárních rovnic

a a P

Rovnice vyplývá přímo ze vztahu 1a n a n P . Za předpokladu že je systém

stabilizovaný,můžeme psát lim 1 limn n

a n a n a

.

Příklad: Vraťme se k příkladu stěhování studentů Fakulty dopravní. Matice přechodu byla

zadána ve tvaru.

0,6 0,2 0,2

0,5 0,25 0,25

0,4 0,4 0,2

P

Platí, že pokud je stavový graf procesu s konečnou množinou stavů silně souvislý, pak je systém

stabilizovaný. Vypočítejme vektor rozložení pravděpodobnosti stavu. Rovnici a a P můžeme

přepsat do tvaru TI P a o , kde I je jednotková matice. Dále postupujeme Gaussovou

eliminací. Hodnost matice soustavy TI P je dva, řešení je jednoparametrický systém

25,12,10 ,Ra t t R . Vektor rozložení pravděpodobnosti má součet všech složek roven

jedné, tedy výsledný stabilizovaný stav má pravděpodobnosti

25 12 10, ,

47 47 47a

V našem konkrétním příkladě je výpočet stabilizovaného řešení nesmyslný, protože prakticky

tento stochastický proces trvá jen několik kroků, délka zkoumané posloupnosti stěhování je

omezena koncem vyučování v 20:00. Za tak krátkou dobu se proces zřejmě nestačí stabilizovat.

Existuje ale celá řada aplikací, pro které je výpočet stabilizovaného stavu podstatný a v mnohém

případě i postačující pro další analýzu. Klasickým příkladem jsou dopravní systémy či

komunikační protokoly. Obecně jsou to všechny aplikace, kde pracujeme s vzájemně

nezávislými entitami a nezajímá nás dynamika procesu.

8

Prozatím jsme zkoumali Markovovské řetězce v diskrétních časových okamžicích, tzv.

krocích. Abychom mohli stochastický proces X(t) zkoumat jako množinu se spojitým

parametrickým prostorem tR musíme uvažovat posloupnost změn stavu jako bodový proces.

Proto, dříve než přistoupíme ke studiu stochastického řetězce se spojitým časem vysvětlíme

základní metody analýzy bodového procesu.

5.3 Bodový proces

Představme si posloupnost nějakých událostí, které nastávají náhodně v čase. Příkladem mohou

být příjezdy vozidel k celnici, příchody cestujících do stanice metra, nebo porucha nějakého

zařízení, která vyžaduje opravu.

Zápis procesu

Okamžiky změny stavu stochastického procesu (v našem případě okamžiky vstupu zákazníků do

systému) můžeme zapsat různými způsoby Obr. 0.4.

1. posloupnost časových okamžiků t1, t2, ..., tn

2. posloupnost intervalů 1, 2, ..., n

3. počet událostí během časového intervalu [s, s+t] - funkce N(s,t)

Obr. 0.4

Tyto zápisy jsou vzájemně ekvivalentními a podle potřeby zvolíme, který je pro nás v danou

chvíli nejvýhodnější. Některé vlastnosti a definice je možné přehledněji zapsat v jednom zápise,

pro jiné je výhodnější volit jiný typ zápisu. Přechod mezi jednotlivými zápisy je triviální:

1

1

1

0

; 0,1, 2,

; 1, 2,

( , )

k k k

n

n k

k

n n

t t k

t n

N s t n st tt

Pro každé k je k – délka intervalu mezi k-tou a k+1 událostí spojitá náhodná veličina, její

distribuční funkci označme ( )kA t . Dle definice

( ) { }, 0,1,2,k kA t P t k

Funkce N(s,t) je po částech konstantní funkce, body nespojitosti jsou okamžiky příchodu t1, t2,

..., tn.

Pro pevné s,t je počet událostí N(s,t) diskrétní náhodná veličina. Označme její

pravděpodobnostní funkci

, , , 0,1,nv s t P N s t n n 0

0; 0, ( , ) 1n

n

t s v s t

Střední počet událostí v časovém intervalu [s, s+t] pak vypočítáme z definice střední hodnoty

0

[ ( , )] ( , )n

n

E N s t n v s t

9

Jednotlivé požadavky se mohou vzájemně ovlivňovat, proces se může dynamicky měnit,

intervaly mezi jednotlivými událostmi mohou mít dokonce i jiné rozdělení. Je tedy účelné

rozlišovat mezi jednotlivými typy procesů. Uveďme si zde definice jen několik základních typů

Proces s nezávislými přírůstky

pro libovolnou k-tici vzájemně disjunktních intervalů [s1, s1+t1]; [s2, s2+t2]; ...; [sk, sk+tk];

… je {N(s1, s1+t1), N(s2, s2+t2), ... , N(sk, sk+tk); ...} posloupnost nezávislých náhodných veličin.

Regenerativní proces (proces obnovy)

n je posloupnost nezávislých náhodných veličin.

Rekurentní proces

n je posloupnost nezávislých náhodných veličin se stejným rozdělením

pravděpodobnosti.

Homogenní proces

pravděpodobnosti, že během intervalu [s, s+t] nastane n událostí

( , ) ( ( , ) ); 0,1,2nv s t P N s t n n jsou závislé pouze na délce intervalu t a ne na jeho

počátku s, tedy N(s,t) má pro libovolné s vždy stejný zákon rozložení jako N(0, t).

[ ( )] [ ( )] [ ( )] [ ( )] [ (1)]E N t u E N t E N u E N t t E N t

a pro homogenní procesy má smysl definovat intenzitu procesu

Definice: Intenzitou homogenního procesu nazveme střední počet událostí za časovou jednotku

[ (1)]E N .

Ordinární proces

ve velmi krátkém časovém okamžiku nastane více než jedna událost jen se zanedbatelnou

pravděpodobností, řádově menší než je délka tohoto intervalu. Nedochází ke kumulování

událostí.

0 1

0

1lim 0t

v t v t

t

Při praktických aplikacích většinou pojmy procesu s nezávislými přírůstky a

regenerativního procesu splývají, obecně ale mezi nimi je rozdíl. Tak například průjezdy

motorových vozidel určitým místem tvoří proces s nezávislými přírůstky, protože řidiči se

rozhodují většinou vzájemně nezávisle, zda daným místem pojedou, ale už tento tok nebývá

regenerativní, protože se auta, která jedou za sebou vzájemně ovlivňují. Pokud je ale proces

ordinální, pak proces s nezávislými přírůstky je současně regenerativní. Pro ordinární homogenní

proces podmínky regenerativnosti a rekurence splývají.

Poissonovský tok

ordinární homogenní proces s nezávislými přírůstky

Pro ordinární beznásledný homogenní vstupní tok událostí pravděpodobnost, že za časový

interval délky t nastane právě k událostí, je

( ( , ) ) ( , )

!

k

t

k

tP N s t k v s t e

k

Poissonův tok je až na konstantu jednoznačně určen. Z definice střední hodnoty

10

ukážeme, že parametr je intenzitou procesu

1

0 0 0

[ ( )]! 1 ! !

k k k

t t t

k k k

t t tE N t ke e t e t t

k k k

Poissonovský tok patří mezi nejdůležitější toky, je ze všech stochastických procesů

nejjednodušší, protože pro jeho matematický popis můžeme použít aparát Markovovských

procesů. Intervaly mezi událostmi Poissonovského toku jsou vzájemně nezávislé veličiny s

exponenciálním rozdělením. Dosazením do předchozího vztahu dostaneme distribuční funkci

exponenciálního rozdělení.

0( ) 1 , 1 tA t P t v s t e

Tedy pro hustotu pravděpodobnosti náhodné veličiny představující délku intervalu mezi

vstupy

( ) ( ) ta t A t e .

Obr. 0.5:Hustota pravděpodobnosti délky intervalu mezi událostmi

Z grafu exponenciální náhodné veličiny Obr. 0.5 je zřejmé, že pravděpodobnost krátkých

intervalů mezi událostmi je větší než psti delších časových rozestupů. V elementárním toku se

nejčastěji vyskytují krátké intervaly mezi událostmi, tj změny stavů se realizují v sériích

krátkých sledů Obr. 0.6. To je vlastnost všeobecně známá např. ze rčení „Do třetice všeho

dobrého a zlého“, které používáme pro vyjádření toho, že na sobě navzájem nezávislé události,

které se nestávají příliš často přicházejí ve shlucích oddělených delším časovým rozestupem.

Obr. 0.6:Zobrazení posloupnosti okamžiků událostí v Poissonosvském procesu – události se stávají ve shlucích

Díky vlastnosti exponenciální náhodné veličiny je Poissonovský tok Markovovský proces

ryzího množení. Exponenciální náhodná veličina je jediná spojitá náhodná veličina bez paměti,

tj. pravděpodobnosti změny stavu jsou nezávislé na historii procesu. Přesněji, pravděpodobnost,

že v elementárním toku nenastane v intervalu délky T žádná událost, víme-li že od vstupu

předešlého požadavku už uplynul čas t<T je nezávislá na tomto čase t.

0

0

P( ) eP( / ) = = = e = P( )

P( ) e

t u

u

t

v t ut ut u t u

t v t

11

Pro Poissonovský tok platí vlastnosti, která nám při analýze systémů výrazně usnadňují výpočty.

Při analýze stochastických Petriho sítí využíváme vlastností superpozice a náhodného výběru.

1. Superpozice: Složením dvou Poissonovských procesů o intenzitách 1 a 2 vznikne opět

Poissonův proces s intenzitou =1+2 (Obr. 0.7).

2. Náhodný výběr: Vybíráme-li s pstí p z daného Poissonovského procesu s intenzitou , pak

výsledný proces je Poissonovský s intenzitou p.

Obr. 0.7: Složením dvou Poissonovských procesů je Poissonův proces s intenzitou rovnou součtu intenzit

vstupujících Poissonovských procesů.

5.4 Markovovské procesy se spojitým časem

CTMC – Continuous Time Markov Chain

Nyní spojíme znalosti získané z předchozích dvou kapitol. Většinu základních pojmů

CTMC získáme analogií z diskrétního časového prostoru. Budeme nyní zkoumat stochastický

řetězec s diskrétním stavovým prostorem a spojitým časem. Příkladem může být sledování počtu

aut v jistém úseku komunikace.

Definice: Proces je Markovovský (CTMC), jestliže znalost několika minulých hodnot funkce X

nepřináší o rozložení pravděpodobnosti její současné hodnoty X(t) více informace nežli znalost

jediné – té poslední z nich.

1 1 0 0( ( ) / ( ) , ( ) , , ( ) ) ( ( ) / ( ) )i n n n n i n nP X t e X t e X t e X t e P X t e X t e

Označme ( , ) ( ( ) / ( ) )ij j ip s t P X s t e X s e pravděpodobnosti přechodu.

Stejně jakou diskrétních Markovovských řetězců budeme se nadále zabývat jen

homogenními procesy. Daný proces je homogenní, jsou-li pravděpodobnosti pij(s,t) závislé

pouze na délce časového úseku t, nikoliv na jeho počátku s. Budeme nadále považovat psti

přechodu jen za funkce času t a budeme zapisovat pij(t)

Zvolme pevně jeden stav systému. Nechť se systém v tomto stavu právě teď nachází.

Označme spojitou náhodnou veličinu doby setrvání stavu v systému. Pravděpodobnost změny

systému v příštím, krátkém časovém úseku t musí být z definice Markovovského procesu

nezávislá na historii procesu, tj musí být exponenciální náhodná veličina. Uvažujeme-li jen dvě

možnosti, buď systém ve stavu setrvá, nebo jej opustí, pak dostáváme analogii DTMC a CTMC

Obr. 0.8.

12

Obr. 0.8

Pst. setrvání systému ve stavu 1 tP t e t o t

Pst., že během intervalu t systém stav opustí 1tP t e t o t

5.4.1 Matice přechodu

Všechny funkce přechodu ze stavu ei do stavu ej sestavíme do matice časových funkcí

P(t)=(pij(t)). Matice přechodu má speciální strukturu.

1. obor hodnot funkcí přechodu je interval [0,1]

2. řádkové součty jsou rovny jedné 1ij

j

p t .

3. diagonální funkce jsou klesající, nediagonální funkce jsou rostoucí

4. 0P E

Příklad grafů prvků matice přechodu je na (Obr. 0.9).

Uvědomme si, že prvky matice přechodu pij(t) nejsou určeny jen délkou intervalu přechodu

ze stavu ei do stavu ej. Situace je poněkud složitější, protože za čas t může systém projít mnoha

změnami. Prvky matice přechody je třeba chápat v následujícím smyslu. Nechť je v čase t0

systém ve stavu ei. Pak pravděpodobnost, že v čase t0+t je systém ve stavu ej je dána

pravděpodobností pij(t). Naše úvahy jsou omezeny jen na homogenní procesy, kdy se chování

systému v průběhu intervalu zkoumání neměnní, tedy pravděpodobnosti přechodu nejsou závislé

na počátku pozorování t0 a proto argument t0 a při zápisu pij(t). nepoužíváme.

Pro popis Markovovských řetězců s diskrétním časem se využívá matice přechodu, která je

stochastickou konstantní maticí. Pro daný okamžik t je matice přechodu také stochastickou

maticí, ale zadání řetězce se spojitým časem pomocí matice, jejíž prvky jsou funkce času je

prakticky nerealizovatelné. Stěží si představíme statistický průzkum v terénu, jehož výstupem

bude takováto matice. Proto pro zadávání systému využíváme jiných charakteristik, které je

možné odhadnout na základě reálných dat získaných ze statistického průzkumu. Zavádíme

intenzity přechodu mezi stavy a intenzity výstupu ze stavu. Matice intenzit sestavená z těchto

hodnot bude používána podobně, jako matice přechodu pro procesy s diskrétním časem..

5.4.2 Matice intenzit

Matice přechodu pro diskrétní čas je tvořena pravděpodobnostmi přechodu v jednom kroku,

podobně matice intenzit bude tvořena infinitezimálními intenzitami pro nekonečně krátký

interval t

13

Intenzity přechodu ze stavu ei do stavu ej. i j . 0

( )lim

ij

ijt

p tq

t

Intenzity výstupu ze stavu ei

0

1lim

ii

iit

p tq

t

Q = (qij) – matice intenzit (infinitesimální generátor)

Pro homogenní procesy intenzity přechodu nezávisí na délce intervalu, ale jen na čase

pozorování, vyjadřují počet přechodů za časovou jednotku, proto je matice intenzit homogenních

procesů konstantní.

Zkoumáme li chování procesu lokálně, rozlišujeme pro jeden aktuální stav jen dvě

možnosti. Buď systém ve stavu zůstane, nebo jej opustí. Doba setrvání homogenního Markovova

procesu X(t) ve stavu ei má exponenciální rozdělení s parametrem - . Parametr exponenciálního

rozdělení je až na znaménko rovna intenzitě výstupu.

0 0 0

1 1lim lim lim

1

t tii

iit t t

p t e eq

t t

Věta: Vztah mezi maticí intenzit a přechodu popisují následující vzorce:

1. 0dP

t Qdt

Důkaz:

0

0 0

( ) lim

0(0) lim lim

ij ij

ijt

ij ij ij

ijt t

p t t p tp t

t

p t p p tp

t t

(0)ij ijp q

Analogicky bychom dokázali, že (0)ii iip q . Právě dokázaná vlastnost říká, že matice intenzit je

sestavena se směrnic tečen grafu funkcí pij(t) v bodě t=0.

2. t+E P Q , Řádkové součty matice intenzit jsou 0. Nediagonální prvky jsou kladné, prvek

na diagonále je záporný

Důkaz: nejprve pro nediagonální prvky

0

( )lim 0

ij ij

t

p t tq

t t

tj ( ) ( )ij ijp t tq o t

( ) ( )ij ijp t tq o t

pro diagonální prvky

1 ii ij ij

j i j i

p t p t q t o t

0 0

1lim lim

ij

i jii

ii ijt t

i j

q t o tp t

q qt t

Z předchozích dvou vztahů

14

( ) 1 ( )ii iip t tq o t

Matice intenzit může být jakákoliv čtvercová matice, jejíž všechny nediagonální prvky

jsou nezáporné a řádkové součty jsou 0. Pro homogenní proces je matice intenzit konstantní.

Lineární aproximací t+E P Q prakticky zdiskretizujeme CTMC, změnu stavů

zkoumáme jen pro dostatečně malé intervaly t

Příklad: CTMC je dán maticí přechodu

2 2

2 2

1 1

2 2 2 2

1 1

2 2 2 2

t t

t t

e e

P te e

Grafy funkcí pravděpodobností přechodu jsou znázorněny na Obr. 0.9. Řádkový součet musí

dávat konstantní funkci 1, obory hodnot všech funkcí v matici přechodu musí být [0, 1].

Z matice přechodu určíme matici intenzit 0dP

Q tdt

= 1 1

1 1Q

. Matice intenzit

je sestavena se směrnic tečen grafu funkcí pij(t) v bodě t=0.

Obr. 0.9-Grafy pravděpodobností přechodu

Systém je stabilizovaný

1 1

1 12 2lim

1 1 2 2

2 2

tP t a

.

5.4.3 Graf diferenciálních přechodů

Podobně, jako jsme graficky znázornily vztahy mezi stavy Markovovského řetězce

s diskrétním časem pomocí stavového grafu, používáme pro řetězec se spojitým časem graf

diferenciálních přechodů. Uzlu představují stavy procesu, pokud existuje nenulová intenzita

přechodu qij, pak vede orientovaná hrana ze stavu ei do stavu ej. Hranu ohodnotíme intenzitou

15

přechodu. Pro pořádek můžeme všem vrcholům dodat smyčky ohodnocené intenzitou výstupu.

Intenzita výstupu je jednoznačně určena intenzitami přechodu

ii ij

i j

q q

,

tedy součet všech hran vycházejících z daného uzlu musí být nula. Graf diferenciálních přechodů

z předcházejícího příkladu je na Obr. 0.10. Systém má dva stavu, označme je „O“ a „1“. Obě

intenzity přechodu jsou jedna.

Obr. 0.10: Graf diferenciálních přechodů dvoustavového procesu

5.4.4 Kolmogorovovy diferenciální rovnice

Struktura matice přechodu je pro řetězce se spojitým časem komplikovaná, v praxi postupujeme

obráceně, nejprve empiricky určíme intenzity přechodu qij jako odhad středního počtu

změny i je e za časovou jednotku, poté dopočítáme intenzity výstupu z podmínky 0ij

j

q .

Pokud známe matici intenzit Q můžeme určit matici přechodu ze systému přímých

(zpětných ) Kolmogorovýh rovnic.

( ) ( )P t P t Q , 0P E

Soustava lineárních diferenciálních rovnic s konstantními koeficienty má řešení ve tvaru

( ) (0) QtP t P e . P(t) je určena až na násobek konstantní maticí P t V t C . Konstantní

matici C vypočítáme z podmínky 0P E . Platí: 10 0 0P V C C V .

Shrňme: Nechť Q je matice intenzit, pak matice přechodu CTMC je ve tvaru

1 0P t V t V ,

1 2 1

1 2; ; ;t t t

nV t e v e v e v ,

kde 1 2, , , n jsou vlastní čísla matice Q a 1 2, , , nv v v jsou vlastní vektory k příslušným

vlastním číslům, psané do sloupce.

5.4.5 Stabilizovaný stav

Pravděpodobnosti stavů e1,e2,e3,…sestavíme do stavového vektoru

1 2( ) ( ( ), ( ), , ( ), );k i ia t a t a t a t a t P X t e

Podobně jako u Markovovských řetězců s diskrétním časem, stavový vektor vypočítáme

z počátečního rozdělení a s matice přechodu

( ) (0) ( )a t a P t (0.1)

16

Konvergují li složky stavového vektoru nezávisle na počátečním rozložení lim ( )j jt

a a t

, pak

říkáme, že je systém stabilizovaný. Podobně jako u DTMC je možné rozhodnout o stabilizaci

systému ze struktury matice limt

P t

. Jsou li limitní pravděpodobnosti nezávislé na indexu i,

pak můžeme psát.

lim ( ) lim (0) ( ) lim ( )j j i ij ijt t t

i

a a t a p t p t

V praxi je výpočet matice P(t) komplikovaný a většinou i nemožný, o stabilizaci systému

rozhodneme jinými metodami, např. pomocí klasifikace stavů vnořeného DTMC a metodami

teorie grafů.

Věta: Stabilizovaný vektor rozdělení pravděpodobností stabilizovaného Markovovského řetězce

se spojitým časem vypočítáme ze soustavy homogenních lineárních rovnic.

a Q o (0.2)

Důkaz: Derivací (1.1) získáme rovnici 0a t a P t . Dosadíme vztah

z Kolmogorovových rovnic 0a t a P t Q . Limitním přechodem dostáváme

lim limt t

a t a t Q

Protože předpokládáme, že proces je stabilizovaný limt

a t a

, musí pro všechny složky

vektoru ( )a t existovat horizontální asymptota lim 0t

a t

. Dosazením limit dostáváme přímo

dokazovaný vztah. 0 a Q .

5.4.6 Vnořený Markovovský řetězec s diskrétním časem

Markovovský řetězec se spojitým časem můžeme převést na proces s diskrétním časem (DTMC)

a metody analýzy DTMC využijeme pro zkoumání vlastností řetězce se spojitým časem CTMC.

Některé z výrazných vlastnost, jako např. stabilitu mají tyto dva procesy společné. Přechod ke

vnořenému řetězci s diskrétním časem realizujeme tak, že neuvažujeme čas strávený v nějakým

stavu a registrujeme jen přechody.

Matice přechodu vnořeného DTMC:

; pro

0 pro

ij

ij ij

ij

i j

ij

qS s s i j

q

s i j

1

DS E Q Q

, QD je matice tvořená intenzitami výstupu – diagonálními prvky matice

intenzit. DQ diag Q

CTMC je ireducibilní právě tehdy, je-li ireducibilní vnořený DTMC.

Je-li ã stabilizovaný stav vnořeného DTMC, pak je stabilizovaný i původní CTMC a pro

jeho stabilizovaný stav platí:

17

1

1

D

D

a Qa

a Q

5.4.7 Postup při analýze CTMC

Pokud stojíme před úkolem analyzovat reálný stochastický proces, je vždy příjemné,

pokud zkoumaný proces je Markovovský. Abychom aparát markovovských řetězců mohli

použít, musíme nejprve verifikovat metodami matematické statistiky, že se skutečně jedná o

Markovovský řetězec. Pokud se naše hypotézy potvrdí, resp. nevyvrátí na základě naměřeného

souboru dat,můžeme odhadnout intenzity přechodu a na základě nich vypočítat požadované

charakteristiky. Postup můžeme shrnout do následujících kroků.

1. Sestrojení grafu diferenciálních přechodů na základě dané formulace problému

2. Sestavení matice pravděpodobnosti přechodů, resp. matice intenzity přechodů (Sestavení

soustavy diferenciálních rovnic na základě matice intenzit a její vyřešení)

3. Nalezení stacionárního řešení

4. Výpočet požadovaných charakteristik

Příklad: Sledujeme stav datového projektoru. Označme T1 náhodnou veličinu představující

délku setrvání projektoru v bezvadném stavu. Za časovou jednotku zvolíme měsíc. Pst, že je

přístroj po uplynutí času t[měsíc] od poslední opravy stále v bezvadném stavu P(T1>t) = e-2t

.

Označme T2 náhodnou veličinu představující délku setrvání projektoru v bezvadném stavu. Je-li

přístroj pokažený, pak pst, že za čas t nedošlo k opravě P(T2>t)=e-20t

. Určete stabilizovaný stav.

Řešení: Proces má dva stavy: „OK“-přístroj je v pořádku a „KO“ – přístroj potřebuje opravu.

Protože délky setrvání systému v obou stavech jsou náhodné veličiny s exponenciálním

rozdělením, je popsaný proces Markovovský. Parametry exponenciálního rozdělení jsou

intenzitami výstupu. Při pořadí stavů , např. „přístroj je v pořádku, přístroj potřebuje opravu“.

2 2

20 20Q

Obr. 0.11- Graf diferenciálních přechodů pro stav projektoru

Systém má konečnou množinu stavů, graf diferenciálních přechodů je silně souvislý, tedy,

podobně jako pro DTMC, platí, že systém je stabilizovaný. Stabilizovaný vektor získáme

řešením rovnice (1.2). Matice Q má hodnost 1, řešením je jednoparametrický systém

1 2 1 2, ; 2 20 0a a a a a . Normalizační podmínku a1+a2=1 splňuje vektor 10 1

;11 11

a

.

Výsledek nám říká, že po nějakém čase, když už je systém ustálený, je pravděpodobnost, že je

přístroj v pořádku rovna 1

10

11a , pravděpodobnost, že datový přístroj potřebuje opravu je

2

1

11a .