teoria dei processi stocastici manno, [email protected], 1 teoria dei processi stocastici 1....
Embed Size (px)
TRANSCRIPT
Antonio Manno, [email protected], www.statistica.too.it
1
TEORIA DEI PROCESSI STOCASTICI
1. Generali t dei processi stocastici
Lutili zzo dei processi stocastici deriva dall esigenza di descrivere un
fenomeno aleatorio in evoluzione nel tempo.
Si definisce processo stocastico una famiglia di variabili casuali i ndicizzate
da un parametro Tt e lo si denota con { }Ttxt ; .
Se T coincide con l insieme dei numeri naturali , allora si ha il caso di una
successione di variabili casuali .
Il processo stocastico detto a parametro discreto se T discreto, mentre
detto a parametro continuo qualora T sia continuo.
Poich la singola variabile casuale tx del processo funzione dello spazio
degli eventi , per mettere in risalto questo aspetto spesso si soliti
indicare un processo stocastico con la notazione { }Ttxt :)( .
Fissato Tt , )(tx una variabile casuale, mentre fissato un evento ,
allora )(tx una funzione reale della variabile t e viene chiamata
traiettoria o realizzazione del processo stocastico.
Ogni variabile casuale assume valori in un insieme E detto spazio degli
stati. Un processo detto discreto o continuo a seconda che i valori assunti
dalle variabili casuali )(tx siano discreti o continui.
Un processo si dice che noto se si conoscono tutte le distribuzioni
congiunte di quante e quali si vogliono variabili della famiglia. Seguendo
l impostazione assiomatica di Kolmogorov, un processo { }Ttxt ; noto se
Antonio Manno, [email protected], www.statistica.too.it
2
si conosce Ttttn n ,,,; 21
( ) { }ntttnttt xXxXxXxxxF nn = ,,,Pr,,, 2121,,, 2121 . La famiglia di funzioni ( )nttt xxxF n ,,, 21,,, 21 chiamata legge temporale del
processo.
Le funzioni appartenenti a tale famiglia devono soddisfare le seguenti
propriet:
devono essere funzioni simmetriche delle variabili ( )ii xt , ;
Ttttn n ,,,; 21 e ( ) 1121 ,,, nnxxx deve verificarsi che
( ) ( )121,,,21,,, ,,,,,, 12121lim +
= ntttttt
x
xxxFxxxFnn
.
Si dice distribuzione o funzione di ripartizione del primo ordine del
processo stocastico tX , la funzione di ripartizione della singola variabile
casuale tX , per t fissato, ossia:
{ }xXtxF t = Pr),( .
Dati due istanti temporali 1t e 2t e le variabili casuali 21 , tt XX , la loro
distribuzione congiunta si dice distribuzione del secondo ordine del
processo e si indica:
{ }212121 21 ,Pr),,,( xXxXttxxF tt = . La funzione di densit, se esiste, sar:
21
21212
2121
),,,(),,,(
xx
ttxxFttxxf
= .
La funzione caratteristica associata al processo tX sar:
( ) ( )[ ]ntntntt
xuxui
nxx eEuu++=
11
1,,1,, .
Si definisce momento se esiste, la funzione:
( ) { }nnn
rt
rt
rtnrr XXXEttm
2
2
1
11,,1,, = .
Antonio Manno, [email protected], www.statistica.too.it
3
Quindi, la funzione valor medio, indicata con m(t), definita da
[ ]tXEtm =)( ; mentre la funzione ( )21, ttK la funzione di autocovarianza del processo stocastico e precisamente:
( ) ( )21
,cov, 21 tt XXttK = .
Un processo stocastico si definisce ad incrementi non correlati se ii tt
XX +1
,
per ogni i, una successione di variabili non correlate; si dice ad
incrementi ortogonali se ii tt
XX +1
una successione di variabili aleatorie
ortogonali , cio per cui [ ] 01
=+ ii tt
XXE , mentre denominato ad incrementi
indipendenti se tale successione una successione di variabili casuali
indipendenti.
Particolare attenzione meritano i processi gaussiani, ossia processi in cui le
distribuzioni congiunte sono di tipo normale, per cui Tttn n ,,;1 1 , si
ha:
( ) ( ) ( )( ) ( )( )
=
p qqqpppq
n
ntt tmxtmxxxf n 2
1exp2,, 22
1
1,,1
.
Un processo stocastico detto stazionario in senso stretto se la funzione di
distribuzione ( )nttt xxxF n ,,, 21,,, 21 invariante rispetto ad uno spostamento
sull asse del tempo T, ovvero:
{ } { }nttntt xXxXxXxX nn = ++ ,,Pr,,Pr 11 11 . Un processo stocastico stazionario in senso debole se i primi due
momenti della distribuzione non dipendono dagli i ndici temporali; ovvero
la media [ ]tXE e la varianza [ ]tXVar sono costanti al variare di Tt e se
( )21 tt
XXE funzione della differenza di indici in valore assoluto e non dei
singoli i ndici Ttt 21, .
Antonio Manno, [email protected], www.statistica.too.it
4
Un processo stocastico tX ad incrementi stazionari se il processo
thtt XXY = + stazionario per ogni h. Si dice che asintoticamente
stazionario se ( )hthtxxF nnh
++
,;,, 11lim ed indipendente da h.
Un processo stocastico tX , con m(t)=0 e var(t)=2 uguale per ogni t e con
[ ] 0,cov =+ktt XX 0k , ossia una successione di variabili casuali
indipendenti e identicamente distribuite (i.i.d.) chiamato processo white
noise e si indica ( )2,0~ WNX t . Dato un processo a parametro discreto, considerando la successione delle
medie temporali =
=T
ttT XT
M1
1 , si dice ergodica se la sua varianza tende a
zero al divergere della dimensione tempo. In un processo ergodico la
successione delle medie temporali approssima bene il suo valore atteso
( )TME . Il seguente teorema fornisce una condizione necessaria e suff iciente
aff inch le medie temporali di un processo stocastico siano ergodiche.
Teorema: Sia nX un processo per il quale ),(),cov( stKXX st = sia limitata,
cio esiste una costante 0K tale che K(t,t) 0K , per t=1,2,; sia
=
==t
stt tsKt
MXtC1
),(1
),cov()( ; affinch valga che 0)(lim = TT
MVar
necessario e sufficiente che 0)(lim =
tCt
.
Ossia TM sono ergodiche se e solo se, quando la grandezza campionaria t
cresce, vi man mano minore covarianza fra la media del campione tM e
lultima osservazione tX , in modo che l informazione campionaria
contenuta in tX non sia troppo connessa a quella di tM e quindi sia
ridondante.
Antonio Manno, [email protected], www.statistica.too.it
5
Il teorema ergodico di Slutsky dimostra che le medie temporali di un
processo stazionario in senso debole sono ergodiche se e solo se la
funzione R(v), pari a ( )vtt XXE + , converge a zero nel senso di Cesro per
v , ossia 0)(1lim1
0
=
=
t
vt
vRt
Considerando un processo a parametro continuo { }TtX t 0; , si definisce
valor medio =T
tT dtxM 0.
Lergodicit del valor medio la versione nel tempo della legge dei
grandi numeri.
In generale, considerando il processo stocastico tX e una funzione
momento ( )( )tXE , allora si dice che il processo ergodico rispetto tale
parametro se lo stimatore temporale ( )tn X converge in media quadratica a
( )( )tXE .
2. Processi stocastici pi comuni
Se tW un processo white noise a media nulla e varianza 2 , ossia
( )2,0~ WNWt ed il processo tX definito come
==
0jjtjt WX , con 10 =
e
Antonio Manno, [email protected], www.statistica.too.it
6
=
=
=+q
jjnj
p
iinin ZaXX
01
dove il processo { }nZ n ; un processo white noise.
Casi particolari di un processo ARMA(p,q) sono i processi a medie mobili
di ordine q, indicati con MA(q), in cui:
=
=q
jjnjn ZaX
0
e i processi autoregressivi di ordine p, indicati con AR(p), ossia:
n
p
jjnjn ZXaX +=
=
1
.
Definendo un modello ARMA(p,q) sulle differenze d-esime del processo
nX si ottiene un processo ARIMA di ordine p,d,q, indicato con
ARIMA(p,d,q), dove p indica le componenti autoregressive, d lordine di
differenziazione e q lordine delle componenti di tipo MA.
Un processo stocastico indipendente se la distribuzione congiunta
uguale al prodotto delle distribuzioni marginali , ossia:
{ } { }=
=n
iitntt xXxXxX in
11 Pr,,Pr 1 .
Un processo a tempo discreto detto di rinnovamento se le variabili casuali
,, 21 XX sono indipendenti, identicamente distribuite e a valori non
negativi. In altre parole, un processo stocastico di rinnovamento si ripete
probabili sticamente, ovvero possibile identificare una sequenza di punti
detti di rigenerazione, a partire dai quali il processo si comporta, in termini
probabili stici, sempre nello stesso modo. Il tempo fra due punti di
rigenerazione detto ciclo di rigenerazione.
Un processo stocastico a tempo discreto { }nX n ; detto di Markov se la
probabilit di stato al tempo n+1 dipende soltanto dallo stato al tempo
attuale, n, e non dalla storia precedente, ovvero se si ha:
Antonio Manno, [email protected], www.statistica.too.it
7
{ } { }nnnnnon iXjXiXiXiXjX ======= ++ |Pr,,,|Pr 11101 .
Un processo a tempo continuo { }Ttxt ; detto di Markov se per ogni
sequenza di valori tttt n 10 si ha:
{ } { }nttnttt iXjXiXiXjX nn ====== |Pr,,|Pr 00 . Dal vincolo sulle distribuzioni che definisce i processi markoviani, si
deduce che per un processo markoviano a tempo discreto il tempo di
permanenza in uno stato segue una distribuzione geometrica, mentre un
processo markoviano a tempo continuo una variabile casuale con
distribuzione esponenziale negativa. Ci si verifica poich un processo
markoviano un processo privo di memoria e le uniche distribuzioni che
godono di tale propriet sono appunto le distribuzioni geometrica ed
esponenziale.
Un processo molto interessante quello chiamato random walk ossia
passeggiata aleatoria, che rappresenta il movimento di una particella nello
spazio, identificandone la sua posizione al tempo n. Tale posizione dipende
dalla posizione precedente e da una variabile casuale indipendente;
formalmente definito come somma di una sequenza di variabili
{ }iY indipendenti e identicamente distribuite, per cui =
=n
iin YX
1
. Il processo
nX discreto o continuo a seconda che siano discrete o continue le
variabili { }iY .
Dall analisi di una passeggiata aleatoria in 2 dimensioni scaturisce il noto
processo di Wiener W(t), caratterizzato dal fatto di avere una distribuzione
marginale di tipo gaussiano con media nulla e varianza t .
Considerando due istanti temporali si ha ),min(),( 2121 ttttR = . Il processo
di Wiener, detto anche moto Browniano, un particolare processo
Markoviano continuo, la cui densit soddisfa lequazione del calore. In
Antonio Manno, [email protected], www.statistica.too.it
8
generale un moto Browniano un processo { }0);( ttW , avente le seguenti caratteristiche:
- W(0)=0;
- ha incrementi indipendenti e stazionari;
- per ogni t>0, ),0(~)( tNtW ;
Nel caso 1= si parla di Moto Browniano Standard.
Un processo stocastico molto noto in letteratura quello di conteggio Si
definisce processo di conteggio una famiglia di variabili casuali { }0);( ttN
a valori interi non negativi, ognuno dei quali conta il numero di successi
o arrivi nell intervallo temporale (0,t]. Per cui N(t) un processo che
gode delle seguenti propriet:
- 0)( tN ;
- N(t) a valori interi;
- se s
Antonio Manno, [email protected], www.statistica.too.it
9
Precisamente se N(t)=n, ossia nell intervallo (0,t) si sono verificati n arrivi,
allora 1+ nn TtT , cio il tempo di attesa per lennesimo arrivo minore o
uguale a t, mentre il tempo di attesa per l(n+1)-esimo arrivo maggiore o
uguale a t.
La successione { }nTn ; detta processo di punto su + e nT ln-esimo
punto aleatorio del processo di punto. Il principale processo di punto il
processo di Poisson; il processo { }nTn ; si dice processo di Poisson
omogeneo di intensit 0> se e solo se il processo di conteggio associato
{ }0);( ttN verifica le seguenti condizioni:
- 0, ts , [ ])()( tNstN + una variabile casuale di Poisson di media
( )s , cio { } ( )!
)()(Prk
sektNstN
ks ==+ ;
- N(t) ha incrementi indipendenti;
- N(0)=0.
Dalle precedenti condizioni si nota che un processo di Poisson ha
incrementi stazionari e che ( ) [ ] ttNVartNE == )()( . Se N(t) un processo di Poisson di intensit , la distribuzione di nT si
ottiene osservando che { } { }ntNtTn )( e si ricava quindi la distribuzione
Erlangiana: ( ) ( )( )!11
=
n
tetf
nt
Tn
.
Per n=1 si ha la distribuzione esponenziale negativa.
Il processo di Poisson non omogeneo, invece, un processo stocastico nel
quale una funzione non negativa definita su + tale che ( )
Antonio Manno, [email protected], www.statistica.too.it
10
- N(t) un processo ad incrementi indipendenti.
Tale processo di intensit )(t , per cui si ha:
{ }
== t dss
kt
ek
dssktN 0
)(0
!
)()(Pr
.
Si parla, invece, di processo di punto generale se dalle condizioni
precedenti si toglie il vincolo degli i ncrementi indipendenti.
Una generalizzazione consiste nel supporre che la probabilit che un evento
si verifichi ad un dato istante di tempo dipenda dal numero di eventi che si
sono gi verificati, come nel caso delle nascite in una popolazione,
poich si pensa che dipendano dal numero di genitori.
Assumendo N(0)=N, e che la popolazione iniziale sia soggetta a soli
arrivi , il sistema delle equazioni che definisce il processo :
+==
)()()('
)()('
11 tptptp
tptp
jjjjj
NNN
per j=N+1,N+2, con le condizioni iniziali 1)0( =Np e 0)0( =jp se j>N.
Un processo che soddisfa tali equazioni detto di pura nascita. Se NN =
il processo si dice di Yule-Furry e vale:
( ) NjttNj eeNjj
tp
= 11
)( .
Condizione necessaria e suff iciente aff inch lunica soluzione del sistema
di equazioni di un processo di pura nascita sia una distribuzione di
probabilit propria, ossia che 1)( =j
j tp , che la serie j j
1 diverga. Se
tale serie converge allora risulta 1)(
Antonio Manno, [email protected], www.statistica.too.it
11
qualunque li vello finito, ossia il processo diverge e si registra il fenomeno
dell esplosione.
Se invece si assume che nella popolazione si verifichino sia partenze che
arrivi , cio ingressi e uscite (nascite e morti) il sistema che definisce tale
processo, detto di nascite e morti, si ottiene considerando anche
un intensit di uscite o morti, per cui:
+++=+=
++ )()()()()('
)()()('
1111
11000
tptptptp
tptptp
jjjjjjjj
con 1)0( =Np e 0)0( =jp se Nj .
3. I processi di Markov
Nell ambito dei processi stocastici particolare attenzione meritano una
classe di processi che prende il nome di processi markoviani.
Considerando il caso di processi stocastici a parametro discreto, con T
coincidente con l insieme dei numeri naturali , per cui facendo esplicito
riferimento ad una successione di variabili casuali { }nX n ; indicizzate dal
parametro n, un processo di Markov finito caratterizzato da una
particolare relazione di dipendenza: precisamente, qualunque sia l intero n,
qualunque siano i valori 11
,,,,niiij
xxxx nell insieme delle loro possibili
determinazioni { }Nxxx ,,, 21 , la distribuzione di 1+nX condizionatamente
alla sua storia precedente, ossia all insieme ( )nXXX ,,, 21 uguale alla
probabilit di 1+nX condizionatamente alla singola variabile nX , ossia vale
la seguente relazione:
{ } { }injniininjn xXxXxXxXxXxX n ======= ++ 1111 Pr,,,Pr 11 .
Antonio Manno, [email protected], www.statistica.too.it
12
La distribuzione di X al tempo 1 detta distribuzione iniziale del processo;
indicando con ( ) { }ixXia == 11 Pr , con i=1,2,,N, la distribuzione iniziale
sar indicata con il vettore 1a , che composto da:
( ) ( ) ( )( )Naaaa 1111 ,,2,1 =
Le varie probabilit condizionate { }injn xXxX ==+1Pr , ossia la generica probabilit che ha il sistema di passare dallo stato i al tempo n allo stato j al
tempo (n+1), sono dette probabilit di transizione del sistema ed in
generale dipendono dagli i ndici (i,j,n); se tale probabilit non dipende dal
tempo n allora il processo detto omogeneo, inteso come omogeneo nel
tempo e si parla di catene markoviane omogenee. In questo caso si indicano
tali probabilit con il parametro ijp , dove precisamente vale:
{ }injnij xXxXp === +1Pr . Poich si stanno considerando processi finiti , con N stati, allora le
probabilit { }ijp vengono raccolte in una matrice quadrata P di dimensioni ( )NN , detta matrice stocastica di transizione:
=
NNNN
N
N
ppp
ppp
ppp
P
21
22221
11211
I parametri { }ijp , essendo delle probabilit , devono soddisfare i seguenti vincoli:
- 0ijp per ogni coppia (i,j);
- 11
==
N
jijp per ogni i.
In virt della relazione che definisce un processo di Markov, si deduce che
basta conoscere la distribuzione iniziale del sistema e la matrice stocastica
di transizione, per conoscere la distribuzione dell intero processo
Antonio Manno, [email protected], www.statistica.too.it
13
stocastico. Vediamo, quindi, come ricavare da queste informazioni le varie
distribuzioni del processo.
Posto ( ) { }kxXka == 22 Pr , con k=1,2,,N, tali probabilit sono ricavabili
dalla relazione:
( ) ( ) ( ) ( ) Nkkk pNapapaka 121112 21 +++=
in base al teorema di disintegrazione della probabilit di un evento, per cui
considerando 2a il vettore delle probabilit di 2X , ossia ( ) ( )( )Naaa 222 ,...,1= , esso pu essere espresso nella seguente notazione matriciale:
Paa = 12
analogamente si pu determinare la distribuzione di probabilit della
variabile X al tempo 3 3a :
Paa = 23
in cui i singoli termine del vettore sono determinati da: ( ) ( )=
=N
iikpiaka
123 .
Allo stesso modo si possono determinare le altre distribuzioni di probabilit
di X ai vari istanti temporali . per interessante studiare il comportamento
delle probabilit di transizione in vari passi. Precisamente, se si indica con )2(
ijp la probabilit di transizione in due colpi ossia
{ }injnij xXxXp === +2)2( Pr , si pu verificare che tale valore dato:
=
=N
kkjikij ppp
1
)2( .
Successivamente possibile calcolare la probabilit di transizione in tre
colpi ossia:
==
==N
kkjik
N
kkjikij ppppp
1
)2(
1
)2()3(
e indicando con un numero intero inferiore ad n, la probabilit di
transizione di ordine n:
Antonio Manno, [email protected], www.statistica.too.it
14
( ) ( )=
=N
k
nkjik
nij ppp
1
)( .
Queste equazioni sono dette relazioni di Chapman - Kolmogoroff .
Se si raccolgono le probabilit di transizione del generico ordine n in una
matrice, indicata con )(nP , le relazioni precedenti possono essere scritte
nella seguente forma matriciale:
( )
......................
.......................)1(
1
)2(1123
12
=
====
nn Paa
PaPPaPaa
Paa
Le distribuzioni congiunte a coppie, ossia { }jkih xXxX == ,Pr , per ogni coppia k>h, sono ricavabili i n virt di semplici leggi di calcolo delle
probabilit , per cui vale:
{ } ( ) )(,Pr hkijhjkih piaxXxX === . Le distribuzioni congiunte di tre o pi variabili sono ricavabili
considerando, iterativamente, la legge delle probabilit composte per eventi
qualsiasi e non indipendenti, nella quale si fa un forte uso delle probabilit
condizionate.
3.1 Classificazione e ordinamento degli stati
Nella sezione precedente si notato come lo studio di catena markoviana
sia ricondotto allo studio della matrice di transizione P ed alle sue potenze,
che esprimono le probabilit di transizione di ordine n.
Se l insieme degli N stati possibili indicato con S, considerando due
generici stati i e j, si dice che lo stato i comunica con lo stato j se esiste un
Antonio Manno, [email protected], www.statistica.too.it
15
intero n tale che 0)( >nijp , ossia se possibile che il sistema passi dallo stato
i allo stato j, in un numero qualsiasi di colpi . Se i comunica con j si
scriver ji , dove il simbolo indica la relazione di comunicativit. Per
convenzione si pone 1)0( =iip , in modo che ogni stato i comunichi con se
stesso, per cui vale ii .
Levento certo pu essere partizionato in quattro eventi:
- ( ) ( ) ijji
- ( ) ( ) ijji
- ( ) ( ) ijji
- ( ) ( ) ijji .
Dove levento ( )A rappresenta la negazione dell evento (A). Considerando
il primo evento, in base al quale i comunica con j e j comunica con i, si
definisce con T tale relazione di bi-comunicativit fra i due stati, ossia:
( ) ( ) ijjiiTj = .
Godendo delle propriet riflessiva, simmetrica e transiti va, la relazione T
una relazione di equivalenza, per cui possibile classificare i vari stati del
sistema in classi di equivalenza; tutti gli stati equivalenti allo stato i
apparterranno alla stessa classe di equivalenza, che denotiamo con [i].
In generale l insieme degli stati S sar decomposto in varie classi
[ ] [ ] [ ]kiii ,...,, 21 ; considerando due diversi classi di equivalenza [ ]ai e [ ]bi , pu
accadere che uno stato della prima classe possa comunicare con uno stato
della seconda classe, in tal caso tutti gli stati della prima classe
comunicheranno con gli elementi della seconda classe, ma ovviamente non
possibile il viceversa, perch altrimenti gli stati delle due classi
apparterrebbero ad un' unica classe di equivalenza. Se si verifica una tale
situazione, allora si dir che [ ]bi una classe inferiore alla [ ]ai , in tal modo,
Antonio Manno, [email protected], www.statistica.too.it
16
pertanto, si stabili sce un ordinamento parziale tra le classi di equivalenza;
una classe detta massima se non inferiore a nessun altra, mentre detta
minima se nessuna classe inferiore a questa.
Quanto scritto sopra, corrisponde ad affermare che una classe di
equivalenza massima se nessuno dei suoi stati pu essere raggiunto da
stati di altre classi, mentre minima se nessuno dei suoi stati pu
raggiungere stati di altre classi.
Considerando catene finite, ossia con un numero di stati N finito, queste
avranno sempre una classe minima ed una massima; le classi minime
vengono dette ergodiche, se tale classe si riduce ad un solo stato allora
questo detto stato assorbente. Le classi non ergodiche sono dette di
passaggio e lo stesso nome viene attribuito agli stati che le compongono.
Individuate le classi di equivalenza conveniente riordinare gli stati, in
modo che stati appartenenti a classi di ordine inferiore vengano posizionati
prima rispetto a stati delle altre classi; in questa maniera si ottiene una
forma particolare della matrice stocastica di transizione, detta canonica. La
forma canonica della matrice stocastica di transizione del tipo:
=
55555
4444
333
22
1
0
0
00
000
PRRRR
PRRR
PRR
PR
P
P
Gli elementi appartenenti al triangolo superiore della matrice sono tutti
nulli e indicano stati non comunicanti. Le sub-matrici quadrate indicate con
il simbolo iP sono le matrici di transizione corrispondenti alle classi di
equivalenza [i], le sub-matrici iR possono avere valori tutti nulli , se la
classe [i] ergodica, oppure no. Se la matrice iR una matrice con tutti
valori nulli , allora anche la matrice 1iR ha tutti valori nulli .
Antonio Manno, [email protected], www.statistica.too.it
17
Le potenze n-esime della matrice P espressa in forma canonica, sono
matrici aventi la stessa struttura.
3.2 Problemi di assorbimento
Lo studio del comportamento della matrice )(nP al variare di n, consente di
capire il comportamento asintotico del processo. Da un punto di vista
intuiti vo, si capisce che in un sistema finito si finir ad un certo punto in
una classe ergodica, per cui da quel momento in poi il sistema salter da
uno stato all altro di tale classe, senza pi giungere in uno stato di altre
classi, si dice in tal caso che il sistema viene assorbito, e risulta interessante
studiare la probabilit ed i tempi medi di attesa del sistema in classi
ergodiche.
In ogni catena finita, quindi, la probabilit che il sistema raggiunga in un
numero finito di colpi una classe ergodica pari ad 1, ossia certo.
Indicando con [ ]jkg la probabilit che il sistema sia assorbito prima o poi
nella classe [j] a partire da un qualsiasi stato di passaggio k e con [ ])(njkg la
probabilit che lassorbimento avvenga esattamente all n-esimo colpo, si ha
che:
[ ] [ ] 11
)( =
=jk
n
njk gg
dove luguaglianza si ha qualora esista una sola classe ergodica e questa sia
proprio [j]; indicando con l insieme degli stati di passaggio, valgono
inoltre le seguenti uguaglianze:
[ ][ ]
[ ] [ ]
+
=
=
i
njiki
njk
jlkljk
gpg
pg
)()1(
)1(
Antonio Manno, [email protected], www.statistica.too.it
18
Combinando le due precedenti equazioni, in maniera iterativa, si perviene
ad un sistema di equazioni li neari, la cui soluzione fornisce le probabilit di
assorbimento nella classe [j], precisamente, considerando un qualsiasi stato
di passaggio k:
[ ] [ ][ ]
+=jl
kli
jikijk pgpg
.
Trovata la probabilit di assorbimento nella classe [j]del sistema, partendo
da un generico stato di passaggio k, interessante calcolare il tempo medio
di attesa aff inch tale fenomeno si verifichi. A tal fine, si indichi con kT la
variabile casuale che esprime il tempo di attesa per lassorbimento del
sistema in una classe ergodica a partire dallo stato di passaggio k;
considerando una coppia generica (i,k) di stati di passaggio, si ha che il
numero medio delle volte in cui il sistema, uscendo da k, passa allo stato i ,
in un qualsiasi numero di passi, indicato con il simbolo kim :
Antonio Manno, [email protected], www.statistica.too.it
19
indicata per convenzione con P, di tipo stocastico, per cui lo studio di una
classe ergodica di stati, corrisponde allo studio di una catena ergodica.
Una catena ergodica detta regolare se esiste un numero intero 0n tale che
per valori di n maggiori di esso, ossia per 0nn , tutti gli elementi )(n
ijp
relativi alla potenza n-esima della sua matrice di transizione P risultino
positi vi, ossia se si verifica che ogni stato della classe raggiungibile a
partire da tutti gli altri stati, in un numero finito di colpi e, a partire da un
valore abbastanza grande 0n , ci si verifichi in ogni istante in cui si
considera il sistema. Se si considera una catena regolare, un risultato molto
importante fornito dal teorema di Markov, secondo il quale la potenza n-
esima della matrice di transizione, ossia )(nP , converge, per n che diverge,
ad una matrice stocastica U che ha tutti gli elementi strettamente positi vi e
le righe tutte uguali; in termini formali , vale:
0lim )( >= j
nij
nup .,...,2,1 Nj =
La probabilit asintotica di appartenenza al generico strato j espressa dal
valore ju e ci evidenzia come il sistema ammetta una distribuzione
asintotica u indipendente dalla distribuzione iniziale, con ( )Nuuuu ,...,, 21=
che soddisfa lequazione:
Puu = .
La determinazione numerica del vettore u delle probabilit di appartenenza
asintotiche ottenuta risolvendo il sistema di equazioni seguente:
=
==
=
=
1
,...,2,1
1
1N
ii
N
iijij
u
Njpuu
Un importante propriet di cui gode la distribuzione limite u che essa
stazionaria ed lunica distribuzione stazionaria del processo. In relazione
Antonio Manno, [email protected], www.statistica.too.it
20
ad una catena markoviana, si dice che una distribuzione di probabili t v
stazionaria, se soddisfa la relazione: )(nPvv = .
Una catena regolare, inoltre, un processo stocastico stazionario in senso
forte, poich la distribuzione congiunta di qualsiasi numero di variabili del
processo non varia effettuando una traslazione rispetto al tempo, cio
qualunque sia l intero h e la traslazione temporale t, la distribuzione
congiunta di ( )hnnn
XXX ,...,,21
e quella di ( )tntntn hXXX +++ ,...,, 21 la medesima. Le probabilit asintotiche u hanno unulteriore propriet; infatti il valore
ju
1 rappresenta il tempo medio di ritorno nello stato j.
Considerando il processo ( )
n
jSn che indica il numero relativo di volte in
cui il processo { }nX si trova nello stato j, considerandolo in funzione di n,
qualunque sia la distribuzione iniziale 1a tale processo converge in
probabilit verso ju , in altri termini il valor medio della percentuale di
tempo in cui il sistema si trova nello stato j asintoticamente uguale a ju :
tale risultato noto in letteratura come teorema ergodico. Inoltre, se
( )[ ]j
n
nc
n
jS=
varlim , con jc costante reale diversa da zero, qualunque sia la
distribuzione iniziale del processo, la successione ( )
j
jn
nc
nujS converge in
distribuzione ad una normale standardizzata: tale propriet denominata
teorema centrale del li mite per le catene markoviane regolari.
3.4 Catene ergodiche cicliche
Antonio Manno, [email protected], www.statistica.too.it
21
Considerando una catena markoviana, la probabilit )(niip esprime la
probabilit che il sistema uscente dallo stato i vi ritorni esattamente dopo n
colpi. Si ipotizzi che tale probabilit sia positi va soltanto per valori n
multipli di un certo intero id' , ossia:
0)( =niip se n non multiplo di id' ,
0)( niip se n multiplo di id' .
Ci si verifica ovviamente per 1' =id ; se ci si dovesse verificare solo per
tale valore di id' , allora lo stato i detto aperiodico, viceversa se esistono
altri valori di id' per cui tale propriet soddisfatta allora lo stato i detto
periodico ed il numero intero massimo fra quelli che soddisfano la
precedente propriet, indicato con id detto periodo dello stato i.
In una classe di equivalenza stato dimostrato che tutti gli stati hanno lo
stesso periodo oppure sono tutti aperiodici, per cui in una classe di
equivalenza che contiene gli stati i e j, si avr che ddd ji == e si dir che d
il periodo della classe e che la classe cicli ca di periodo d. Se tutti gli
stati della classe sono aperiodici, ossia d=1, allora la classe detta
aperiodica.
Prendendo in considerazione classi ergodiche cicli che di periodo d, stato
dimostrato che la classe pu essere decomposta in d sottoclassi distinte,
indicate con dCCC ,...,, 21 , che godono della seguente propriet:
- se il sistema in uno stato di hC , con h=1,2,,d, allora passer in un
solo colpo in uno stato di 1+hC ;
- se il sistema si trova nella sottoclasse dC , nel colpo successivo
passer nella sottoclasse 1C .
In una catena cicli ca, le potenze successive di una matrice di transizione
non possono presentare mai tutti gli elementi positi vi, ma ci saranno alcuni
Antonio Manno, [email protected], www.statistica.too.it
22
valori nulli; se si considera un indice l tale che dl
= ++ altrimenti
CjeCiseup hhjlndij
n 0
0lim 1)(
nel caso particolare in cui l=0, si ottiene che:
>
= altrimenti
Cjiseup hjndij
n 0
,0lim )(
Quanto mostrato implica che la successione delle potenze della matrice di
transizione P, ossia { })(nP , di una catena cicli ca non converge. Se si considera la successione delle medie aritmetiche, ossia
( ))()2( ...1 nPPPn
+++ , questa risulta convergente e la sua matrice limite ha
tutte le componenti positi ve e tutte le righe uguali . Se converge la
successione delle medie aritmetiche, si dice che la successione converge
alla Cesaro.
Volendo studiare il comportamento asintotico di una generica catena
markoviana, ossia volendone studiare la distribuzione )1(1= nn Paa per n
che diverge, si pu affermare che qualora la catena sia regolare o contiene
una sola classe ergodica e questa aperiodica, allora esiste una
distribuzione limite u indipendente dalle condizioni iniziali del sistema.
Tale vettore ha tutte le componenti positi ve nel primo caso, mentre sono
positi ve soltanto le componenti relative a stati ergodici nel secondo caso. In
assenza di classi ergodiche cicli che esiste la distribuzione limite, ma
qualora siano presenti pi classi ergodiche essa dipende dalla distribuzione
iniziale ed in particolare risulta:
[ ] jjin
ijn
ugp =
)(lim
dove lo stato i di passaggio, mentre lo stato j ergodico e con [ ]jig che
rappresenta la probabilit che il sistema uscendo dallo stato i venga
Antonio Manno, [email protected], www.statistica.too.it
23
assorbito nella classe [j]. In tale situazione occorre considerare le
probabilit che il sistema sia inizialmente allo stato i, ossia ( )ia1 . Se la catena cicli ca oppure contiene una sola classe ergodica cicli ca, si ha
una distribuzione limite indipendente dalla distribuzione iniziale qualora si
considera un limite alla Cesaro, ossia la convergenza della successione
delle medie aritmetiche.
Il ritorno ad uno stato i in una catena markoviana un evento ricorrente,
che certo se i ergodico, mentre pu non esserlo se invece uno stato di
passaggio. Il ritorno nello stato i un evento ricorrente anche se
inizialmente il sistema si trova in uno stato j diverso e i raggiungibile da j,
si parla al riguardo di evento ricorrente ritardato .
interessante notare come lo studio delle propriet di un processo
markoviano sia conducibile attraverso lanalisi degli autovalori { }Nii 1= della
matrice stocastica di transizione P. In generale risulta che essi sono, in
modulo, minori o uguali all unit, qualora esista un unico autovalore pari
all unit allora si pu osservare che esiste una distribuzione limite, che non
dipende dalle condizioni iniziali del sistema, con componenti che possono
essere tutte positi ve. Se esiste solo un autovalore che in modulo pari
all unit, allora la catena ammette una sola classe ergodica, se invece
esistono r autovalori che in modulo sono pari ad uno, allora la catena
presenta r classi ergodiche regolari.
3.5 Catene markoviane con un infinita numerabile di stati
Supponiamo, adesso, che l insieme S degli stati di una catena markoviana
non sia finito, ma che presenti una cardinalit del numerabile. Come per le
Antonio Manno, [email protected], www.statistica.too.it
24
catene finite, possibile considerare le relazioni di comunicativit e bi-
comunicativit fra gli stati del sistema e quindi raggruppare gli stati in
classi di equivalenza.
Mentre nelle catene finite sempre presente una classe minima ed una
massima, in questo caso ci non detto che si verifichi. Ad esempio,
potrebbe verificarsi che tutte le classi siano di passaggio e quindi siano di
passaggio tutti gli stati; si aggiunga che in una classe minima, ammesso che
esista, il ritorno in uno stato pu non essere un evento certo e pure qualora
sia certo, non detto che il suo tempo medio sia finito. Per tali ragioni, nel
caso di catene con un infinit numerabile di stati, conveniente operare
una classificazione degli stessi basata sul carattere della ricorrenza o del
ritorno. Si diranno, quindi, persistenti quegli stati per i quali il ritorno
certo e, a seconda che il suo tempo medio sia finito o meno, vengono detti
ergodici o nulli . Gli stati per i quali , invece, il ritorno non certo vengono
definiti transitori e tali stati vengono abbandonati dal sistema con
probabilit pari ad uno, in analogia agli stati di passaggio delle catene
finite. Considerando una catena costituente ununica classe di equivalenza,
detta irriducibile, si nota che tutti i suoi stati apparterranno ad uno ed uno
solo dei tre tipi sopra definiti .
3.6 Introduzione alle catene markoviane finite a parametro
continuo
Un processo { }TtX t ; nel quale le variabili casuali della famiglia sono
discrete, ma con l insieme T continuo, detto processo markoviano
discreto a parametro continuo se per ogni numero intero n,
Antonio Manno, [email protected], www.statistica.too.it
25
121 +
Antonio Manno, [email protected], www.statistica.too.it
26
( ) ( ) ( )tPata = 0 .
Come nel caso di catene discrete, se esiste un valore 0t tale che per ogni
0tt e per ogni coppia (i,j) risulti ( ) 0>tpij , allora la matrice P(t), per t che
diverge, converge verso una matrice avente tutte le righe uguali , si verifica
cio che:
( ) 0lim >= jijt
utp .
La distribuzione asintotica { }ju , anche in questo caso, non dipende dalla distribuzione iniziale del processo ed una distribuzione stazionaria.