teoria dei processi stocastici -...

of 26/26
Antonio Manno, [email protected] , www.statistica.too.it 1 TEORIA DEI PROCESSI STOCASTICI 1. Generalità dei processi stocastici L’utilizzo dei processi stocastici deriva dall’esigenza di descrivere un fenomeno aleatorio in evoluzione nel tempo. Si definisce processo stocastico una famiglia di variabili casuali indicizzate da un parametro T t e lo si denota con { } T t x t ; . Se T coincide con l’insieme dei numeri naturali, allora si ha il caso di una successione di variabili casuali. Il processo stocastico è detto a parametro discreto se T è discreto, mentre è detto a parametro continuo qualora T sia continuo. Poiché la singola variabile casuale t x del processo è funzione dello spazio degli eventi , per mettere in risalto questo aspetto spesso si è soliti indicare un processo stocastico con la notazione { } T t x t : ) ( ϖ . Fissato T t , ) ( ϖ t x è una variabile casuale, mentre fissato un evento ϖ , allora ) ( ϖ t x è una funzione reale della variabile t e viene chiamata traiettoria o realizzazione del processo stocastico. Ogni variabile casuale assume valori in un insieme E detto spazio degli stati. Un processo è detto discreto o continuo a seconda che i valori assunti dalle variabili casuali ) ( ϖ t x siano discreti o continui. Un processo si dice che è noto se si conoscono tutte le distribuzioni congiunte di quante e quali si vogliono variabili della famiglia. Seguendo l’impostazione assiomatica di Kolmogorov, un processo { } T t x t ; è noto se

Post on 16-Feb-2019

221 views

Category:

Documents

0 download

Embed Size (px)

TRANSCRIPT

Antonio Manno, [email protected], www.statistica.too.it

1

TEORIA DEI PROCESSI STOCASTICI

1. Generali t dei processi stocastici

Lutili zzo dei processi stocastici deriva dall esigenza di descrivere un

fenomeno aleatorio in evoluzione nel tempo.

Si definisce processo stocastico una famiglia di variabili casuali i ndicizzate

da un parametro Tt e lo si denota con { }Ttxt ; .

Se T coincide con l insieme dei numeri naturali , allora si ha il caso di una

successione di variabili casuali .

Il processo stocastico detto a parametro discreto se T discreto, mentre

detto a parametro continuo qualora T sia continuo.

Poich la singola variabile casuale tx del processo funzione dello spazio

degli eventi , per mettere in risalto questo aspetto spesso si soliti

indicare un processo stocastico con la notazione { }Ttxt :)( .

Fissato Tt , )(tx una variabile casuale, mentre fissato un evento ,

allora )(tx una funzione reale della variabile t e viene chiamata

traiettoria o realizzazione del processo stocastico.

Ogni variabile casuale assume valori in un insieme E detto spazio degli

stati. Un processo detto discreto o continuo a seconda che i valori assunti

dalle variabili casuali )(tx siano discreti o continui.

Un processo si dice che noto se si conoscono tutte le distribuzioni

congiunte di quante e quali si vogliono variabili della famiglia. Seguendo

l impostazione assiomatica di Kolmogorov, un processo { }Ttxt ; noto se

Antonio Manno, [email protected], www.statistica.too.it

2

si conosce Ttttn n ,,,; 21

( ) { }ntttnttt xXxXxXxxxF nn = ,,,Pr,,, 2121,,, 2121 . La famiglia di funzioni ( )nttt xxxF n ,,, 21,,, 21 chiamata legge temporale del

processo.

Le funzioni appartenenti a tale famiglia devono soddisfare le seguenti

propriet:

devono essere funzioni simmetriche delle variabili ( )ii xt , ;

Ttttn n ,,,; 21 e ( ) 1121 ,,, nnxxx deve verificarsi che

( ) ( )121,,,21,,, ,,,,,, 12121lim +

= ntttttt

x

xxxFxxxFnn

.

Si dice distribuzione o funzione di ripartizione del primo ordine del

processo stocastico tX , la funzione di ripartizione della singola variabile

casuale tX , per t fissato, ossia:

{ }xXtxF t = Pr),( .

Dati due istanti temporali 1t e 2t e le variabili casuali 21 , tt XX , la loro

distribuzione congiunta si dice distribuzione del secondo ordine del

processo e si indica:

{ }212121 21 ,Pr),,,( xXxXttxxF tt = . La funzione di densit, se esiste, sar:

21

21212

2121

),,,(),,,(

xx

ttxxFttxxf

= .

La funzione caratteristica associata al processo tX sar:

( ) ( )[ ]ntntntt

xuxui

nxx eEuu++=

11

1,,1,, .

Si definisce momento se esiste, la funzione:

( ) { }nnn

rt

rt

rtnrr XXXEttm

2

2

1

11,,1,, = .

Antonio Manno, [email protected], www.statistica.too.it

3

Quindi, la funzione valor medio, indicata con m(t), definita da

[ ]tXEtm =)( ; mentre la funzione ( )21, ttK la funzione di autocovarianza del processo stocastico e precisamente:

( ) ( )21

,cov, 21 tt XXttK = .

Un processo stocastico si definisce ad incrementi non correlati se ii tt

XX +1

,

per ogni i, una successione di variabili non correlate; si dice ad

incrementi ortogonali se ii tt

XX +1

una successione di variabili aleatorie

ortogonali , cio per cui [ ] 01

=+ ii tt

XXE , mentre denominato ad incrementi

indipendenti se tale successione una successione di variabili casuali

indipendenti.

Particolare attenzione meritano i processi gaussiani, ossia processi in cui le

distribuzioni congiunte sono di tipo normale, per cui Tttn n ,,;1 1 , si

ha:

( ) ( ) ( )( ) ( )( )

=

p qqqpppq

n

ntt tmxtmxxxf n 2

1exp2,, 22

1

1,,1

.

Un processo stocastico detto stazionario in senso stretto se la funzione di

distribuzione ( )nttt xxxF n ,,, 21,,, 21 invariante rispetto ad uno spostamento

sull asse del tempo T, ovvero:

{ } { }nttntt xXxXxXxX nn = ++ ,,Pr,,Pr 11 11 . Un processo stocastico stazionario in senso debole se i primi due

momenti della distribuzione non dipendono dagli i ndici temporali; ovvero

la media [ ]tXE e la varianza [ ]tXVar sono costanti al variare di Tt e se

( )21 tt

XXE funzione della differenza di indici in valore assoluto e non dei

singoli i ndici Ttt 21, .

Antonio Manno, [email protected], www.statistica.too.it

4

Un processo stocastico tX ad incrementi stazionari se il processo

thtt XXY = + stazionario per ogni h. Si dice che asintoticamente

stazionario se ( )hthtxxF nnh

++

,;,, 11lim ed indipendente da h.

Un processo stocastico tX , con m(t)=0 e var(t)=2 uguale per ogni t e con

[ ] 0,cov =+ktt XX 0k , ossia una successione di variabili casuali

indipendenti e identicamente distribuite (i.i.d.) chiamato processo white

noise e si indica ( )2,0~ WNX t . Dato un processo a parametro discreto, considerando la successione delle

medie temporali =

=T

ttT XT

M1

1 , si dice ergodica se la sua varianza tende a

zero al divergere della dimensione tempo. In un processo ergodico la

successione delle medie temporali approssima bene il suo valore atteso

( )TME . Il seguente teorema fornisce una condizione necessaria e suff iciente

aff inch le medie temporali di un processo stocastico siano ergodiche.

Teorema: Sia nX un processo per il quale ),(),cov( stKXX st = sia limitata,

cio esiste una costante 0K tale che K(t,t) 0K , per t=1,2,; sia

=

==t

stt tsKt

MXtC1

),(1

),cov()( ; affinch valga che 0)(lim = TT

MVar

necessario e sufficiente che 0)(lim =

tCt

.

Ossia TM sono ergodiche se e solo se, quando la grandezza campionaria t

cresce, vi man mano minore covarianza fra la media del campione tM e

lultima osservazione tX , in modo che l informazione campionaria

contenuta in tX non sia troppo connessa a quella di tM e quindi sia

ridondante.

Antonio Manno, [email protected], www.statistica.too.it

5

Il teorema ergodico di Slutsky dimostra che le medie temporali di un

processo stazionario in senso debole sono ergodiche se e solo se la

funzione R(v), pari a ( )vtt XXE + , converge a zero nel senso di Cesro per

v , ossia 0)(1lim1

0

=

=

t

vt

vRt

Considerando un processo a parametro continuo { }TtX t 0; , si definisce

valor medio =T

tT dtxM 0.

Lergodicit del valor medio la versione nel tempo della legge dei

grandi numeri.

In generale, considerando il processo stocastico tX e una funzione

momento ( )( )tXE , allora si dice che il processo ergodico rispetto tale

parametro se lo stimatore temporale ( )tn X converge in media quadratica a

( )( )tXE .

2. Processi stocastici pi comuni

Se tW un processo white noise a media nulla e varianza 2 , ossia

( )2,0~ WNWt ed il processo tX definito come

==

0jjtjt WX , con 10 =

e

Antonio Manno, [email protected], www.statistica.too.it

6

=

=

=+q

jjnj

p

iinin ZaXX

01

dove il processo { }nZ n ; un processo white noise.

Casi particolari di un processo ARMA(p,q) sono i processi a medie mobili

di ordine q, indicati con MA(q), in cui:

=

=q

jjnjn ZaX

0

e i processi autoregressivi di ordine p, indicati con AR(p), ossia:

n

p

jjnjn ZXaX +=

=

1

.

Definendo un modello ARMA(p,q) sulle differenze d-esime del processo

nX si ottiene un processo ARIMA di ordine p,d,q, indicato con

ARIMA(p,d,q), dove p indica le componenti autoregressive, d lordine di

differenziazione e q lordine delle componenti di tipo MA.

Un processo stocastico indipendente se la distribuzione congiunta

uguale al prodotto delle distribuzioni marginali , ossia:

{ } { }=

=n

iitntt xXxXxX in

11 Pr,,Pr 1 .

Un processo a tempo discreto detto di rinnovamento se le variabili casuali

,, 21 XX sono indipendenti, identicamente distribuite e a valori non

negativi. In altre parole, un processo stocastico di rinnovamento si ripete

probabili sticamente, ovvero possibile identificare una sequenza di punti

detti di rigenerazione, a partire dai quali il processo si comporta, in termini

probabili stici, sempre nello stesso modo. Il tempo fra due punti di

rigenerazione detto ciclo di rigenerazione.

Un processo stocastico a tempo discreto { }nX n ; detto di Markov se la

probabilit di stato al tempo n+1 dipende soltanto dallo stato al tempo

attuale, n, e non dalla storia precedente, ovvero se si ha:

Antonio Manno, [email protected], www.statistica.too.it

7

{ } { }nnnnnon iXjXiXiXiXjX ======= ++ |Pr,,,|Pr 11101 .

Un processo a tempo continuo { }Ttxt ; detto di Markov se per ogni

sequenza di valori tttt n 10 si ha:

{ } { }nttnttt iXjXiXiXjX nn ====== |Pr,,|Pr 00 . Dal vincolo sulle distribuzioni che definisce i processi markoviani, si

deduce che per un processo markoviano a tempo discreto il tempo di

permanenza in uno stato segue una distribuzione geometrica, mentre un

processo markoviano a tempo continuo una variabile casuale con

distribuzione esponenziale negativa. Ci si verifica poich un processo

markoviano un processo privo di memoria e le uniche distribuzioni che

godono di tale propriet sono appunto le distribuzioni geometrica ed

esponenziale.

Un processo molto interessante quello chiamato random walk ossia

passeggiata aleatoria, che rappresenta il movimento di una particella nello

spazio, identificandone la sua posizione al tempo n. Tale posizione dipende

dalla posizione precedente e da una variabile casuale indipendente;

formalmente definito come somma di una sequenza di variabili

{ }iY indipendenti e identicamente distribuite, per cui =

=n

iin YX

1

. Il processo

nX discreto o continuo a seconda che siano discrete o continue le

variabili { }iY .

Dall analisi di una passeggiata aleatoria in 2 dimensioni scaturisce il noto

processo di Wiener W(t), caratterizzato dal fatto di avere una distribuzione

marginale di tipo gaussiano con media nulla e varianza t .

Considerando due istanti temporali si ha ),min(),( 2121 ttttR = . Il processo

di Wiener, detto anche moto Browniano, un particolare processo

Markoviano continuo, la cui densit soddisfa lequazione del calore. In

Antonio Manno, [email protected], www.statistica.too.it

8

generale un moto Browniano un processo { }0);( ttW , avente le seguenti caratteristiche:

- W(0)=0;

- ha incrementi indipendenti e stazionari;

- per ogni t>0, ),0(~)( tNtW ;

Nel caso 1= si parla di Moto Browniano Standard.

Un processo stocastico molto noto in letteratura quello di conteggio Si

definisce processo di conteggio una famiglia di variabili casuali { }0);( ttN

a valori interi non negativi, ognuno dei quali conta il numero di successi

o arrivi nell intervallo temporale (0,t]. Per cui N(t) un processo che

gode delle seguenti propriet:

- 0)( tN ;

- N(t) a valori interi;

- se s

Antonio Manno, [email protected], www.statistica.too.it

9

Precisamente se N(t)=n, ossia nell intervallo (0,t) si sono verificati n arrivi,

allora 1+ nn TtT , cio il tempo di attesa per lennesimo arrivo minore o

uguale a t, mentre il tempo di attesa per l(n+1)-esimo arrivo maggiore o

uguale a t.

La successione { }nTn ; detta processo di punto su + e nT ln-esimo

punto aleatorio del processo di punto. Il principale processo di punto il

processo di Poisson; il processo { }nTn ; si dice processo di Poisson

omogeneo di intensit 0> se e solo se il processo di conteggio associato

{ }0);( ttN verifica le seguenti condizioni:

- 0, ts , [ ])()( tNstN + una variabile casuale di Poisson di media

( )s , cio { } ( )!

)()(Prk

sektNstN

ks ==+ ;

- N(t) ha incrementi indipendenti;

- N(0)=0.

Dalle precedenti condizioni si nota che un processo di Poisson ha

incrementi stazionari e che ( ) [ ] ttNVartNE == )()( . Se N(t) un processo di Poisson di intensit , la distribuzione di nT si

ottiene osservando che { } { }ntNtTn )( e si ricava quindi la distribuzione

Erlangiana: ( ) ( )( )!11

=

n

tetf

nt

Tn

.

Per n=1 si ha la distribuzione esponenziale negativa.

Il processo di Poisson non omogeneo, invece, un processo stocastico nel

quale una funzione non negativa definita su + tale che ( )

Antonio Manno, [email protected], www.statistica.too.it

10

- N(t) un processo ad incrementi indipendenti.

Tale processo di intensit )(t , per cui si ha:

{ }

== t dss

kt

ek

dssktN 0

)(0

!

)()(Pr

.

Si parla, invece, di processo di punto generale se dalle condizioni

precedenti si toglie il vincolo degli i ncrementi indipendenti.

Una generalizzazione consiste nel supporre che la probabilit che un evento

si verifichi ad un dato istante di tempo dipenda dal numero di eventi che si

sono gi verificati, come nel caso delle nascite in una popolazione,

poich si pensa che dipendano dal numero di genitori.

Assumendo N(0)=N, e che la popolazione iniziale sia soggetta a soli

arrivi , il sistema delle equazioni che definisce il processo :

+==

)()()('

)()('

11 tptptp

tptp

jjjjj

NNN

per j=N+1,N+2, con le condizioni iniziali 1)0( =Np e 0)0( =jp se j>N.

Un processo che soddisfa tali equazioni detto di pura nascita. Se NN =

il processo si dice di Yule-Furry e vale:

( ) NjttNj eeNjj

tp

= 11

)( .

Condizione necessaria e suff iciente aff inch lunica soluzione del sistema

di equazioni di un processo di pura nascita sia una distribuzione di

probabilit propria, ossia che 1)( =j

j tp , che la serie j j

1 diverga. Se

tale serie converge allora risulta 1)(

Antonio Manno, [email protected], www.statistica.too.it

11

qualunque li vello finito, ossia il processo diverge e si registra il fenomeno

dell esplosione.

Se invece si assume che nella popolazione si verifichino sia partenze che

arrivi , cio ingressi e uscite (nascite e morti) il sistema che definisce tale

processo, detto di nascite e morti, si ottiene considerando anche

un intensit di uscite o morti, per cui:

+++=+=

++ )()()()()('

)()()('

1111

11000

tptptptp

tptptp

jjjjjjjj

con 1)0( =Np e 0)0( =jp se Nj .

3. I processi di Markov

Nell ambito dei processi stocastici particolare attenzione meritano una

classe di processi che prende il nome di processi markoviani.

Considerando il caso di processi stocastici a parametro discreto, con T

coincidente con l insieme dei numeri naturali , per cui facendo esplicito

riferimento ad una successione di variabili casuali { }nX n ; indicizzate dal

parametro n, un processo di Markov finito caratterizzato da una

particolare relazione di dipendenza: precisamente, qualunque sia l intero n,

qualunque siano i valori 11

,,,,niiij

xxxx nell insieme delle loro possibili

determinazioni { }Nxxx ,,, 21 , la distribuzione di 1+nX condizionatamente

alla sua storia precedente, ossia all insieme ( )nXXX ,,, 21 uguale alla

probabilit di 1+nX condizionatamente alla singola variabile nX , ossia vale

la seguente relazione:

{ } { }injniininjn xXxXxXxXxXxX n ======= ++ 1111 Pr,,,Pr 11 .

Antonio Manno, [email protected], www.statistica.too.it

12

La distribuzione di X al tempo 1 detta distribuzione iniziale del processo;

indicando con ( ) { }ixXia == 11 Pr , con i=1,2,,N, la distribuzione iniziale

sar indicata con il vettore 1a , che composto da:

( ) ( ) ( )( )Naaaa 1111 ,,2,1 =

Le varie probabilit condizionate { }injn xXxX ==+1Pr , ossia la generica probabilit che ha il sistema di passare dallo stato i al tempo n allo stato j al

tempo (n+1), sono dette probabilit di transizione del sistema ed in

generale dipendono dagli i ndici (i,j,n); se tale probabilit non dipende dal

tempo n allora il processo detto omogeneo, inteso come omogeneo nel

tempo e si parla di catene markoviane omogenee. In questo caso si indicano

tali probabilit con il parametro ijp , dove precisamente vale:

{ }injnij xXxXp === +1Pr . Poich si stanno considerando processi finiti , con N stati, allora le

probabilit { }ijp vengono raccolte in una matrice quadrata P di dimensioni ( )NN , detta matrice stocastica di transizione:

=

NNNN

N

N

ppp

ppp

ppp

P

21

22221

11211

I parametri { }ijp , essendo delle probabilit , devono soddisfare i seguenti vincoli:

- 0ijp per ogni coppia (i,j);

- 11

==

N

jijp per ogni i.

In virt della relazione che definisce un processo di Markov, si deduce che

basta conoscere la distribuzione iniziale del sistema e la matrice stocastica

di transizione, per conoscere la distribuzione dell intero processo

Antonio Manno, [email protected], www.statistica.too.it

13

stocastico. Vediamo, quindi, come ricavare da queste informazioni le varie

distribuzioni del processo.

Posto ( ) { }kxXka == 22 Pr , con k=1,2,,N, tali probabilit sono ricavabili

dalla relazione:

( ) ( ) ( ) ( ) Nkkk pNapapaka 121112 21 +++=

in base al teorema di disintegrazione della probabilit di un evento, per cui

considerando 2a il vettore delle probabilit di 2X , ossia ( ) ( )( )Naaa 222 ,...,1= , esso pu essere espresso nella seguente notazione matriciale:

Paa = 12

analogamente si pu determinare la distribuzione di probabilit della

variabile X al tempo 3 3a :

Paa = 23

in cui i singoli termine del vettore sono determinati da: ( ) ( )=

=N

iikpiaka

123 .

Allo stesso modo si possono determinare le altre distribuzioni di probabilit

di X ai vari istanti temporali . per interessante studiare il comportamento

delle probabilit di transizione in vari passi. Precisamente, se si indica con )2(

ijp la probabilit di transizione in due colpi ossia

{ }injnij xXxXp === +2)2( Pr , si pu verificare che tale valore dato:

=

=N

kkjikij ppp

1

)2( .

Successivamente possibile calcolare la probabilit di transizione in tre

colpi ossia:

==

==N

kkjik

N

kkjikij ppppp

1

)2(

1

)2()3(

e indicando con un numero intero inferiore ad n, la probabilit di

transizione di ordine n:

Antonio Manno, [email protected], www.statistica.too.it

14

( ) ( )=

=N

k

nkjik

nij ppp

1

)( .

Queste equazioni sono dette relazioni di Chapman - Kolmogoroff .

Se si raccolgono le probabilit di transizione del generico ordine n in una

matrice, indicata con )(nP , le relazioni precedenti possono essere scritte

nella seguente forma matriciale:

( )

......................

.......................)1(

1

)2(1123

12

=

====

nn Paa

PaPPaPaa

Paa

Le distribuzioni congiunte a coppie, ossia { }jkih xXxX == ,Pr , per ogni coppia k>h, sono ricavabili i n virt di semplici leggi di calcolo delle

probabilit , per cui vale:

{ } ( ) )(,Pr hkijhjkih piaxXxX === . Le distribuzioni congiunte di tre o pi variabili sono ricavabili

considerando, iterativamente, la legge delle probabilit composte per eventi

qualsiasi e non indipendenti, nella quale si fa un forte uso delle probabilit

condizionate.

3.1 Classificazione e ordinamento degli stati

Nella sezione precedente si notato come lo studio di catena markoviana

sia ricondotto allo studio della matrice di transizione P ed alle sue potenze,

che esprimono le probabilit di transizione di ordine n.

Se l insieme degli N stati possibili indicato con S, considerando due

generici stati i e j, si dice che lo stato i comunica con lo stato j se esiste un

Antonio Manno, [email protected], www.statistica.too.it

15

intero n tale che 0)( >nijp , ossia se possibile che il sistema passi dallo stato

i allo stato j, in un numero qualsiasi di colpi . Se i comunica con j si

scriver ji , dove il simbolo indica la relazione di comunicativit. Per

convenzione si pone 1)0( =iip , in modo che ogni stato i comunichi con se

stesso, per cui vale ii .

Levento certo pu essere partizionato in quattro eventi:

- ( ) ( ) ijji

- ( ) ( ) ijji

- ( ) ( ) ijji

- ( ) ( ) ijji .

Dove levento ( )A rappresenta la negazione dell evento (A). Considerando

il primo evento, in base al quale i comunica con j e j comunica con i, si

definisce con T tale relazione di bi-comunicativit fra i due stati, ossia:

( ) ( ) ijjiiTj = .

Godendo delle propriet riflessiva, simmetrica e transiti va, la relazione T

una relazione di equivalenza, per cui possibile classificare i vari stati del

sistema in classi di equivalenza; tutti gli stati equivalenti allo stato i

apparterranno alla stessa classe di equivalenza, che denotiamo con [i].

In generale l insieme degli stati S sar decomposto in varie classi

[ ] [ ] [ ]kiii ,...,, 21 ; considerando due diversi classi di equivalenza [ ]ai e [ ]bi , pu

accadere che uno stato della prima classe possa comunicare con uno stato

della seconda classe, in tal caso tutti gli stati della prima classe

comunicheranno con gli elementi della seconda classe, ma ovviamente non

possibile il viceversa, perch altrimenti gli stati delle due classi

apparterrebbero ad un' unica classe di equivalenza. Se si verifica una tale

situazione, allora si dir che [ ]bi una classe inferiore alla [ ]ai , in tal modo,

Antonio Manno, [email protected], www.statistica.too.it

16

pertanto, si stabili sce un ordinamento parziale tra le classi di equivalenza;

una classe detta massima se non inferiore a nessun altra, mentre detta

minima se nessuna classe inferiore a questa.

Quanto scritto sopra, corrisponde ad affermare che una classe di

equivalenza massima se nessuno dei suoi stati pu essere raggiunto da

stati di altre classi, mentre minima se nessuno dei suoi stati pu

raggiungere stati di altre classi.

Considerando catene finite, ossia con un numero di stati N finito, queste

avranno sempre una classe minima ed una massima; le classi minime

vengono dette ergodiche, se tale classe si riduce ad un solo stato allora

questo detto stato assorbente. Le classi non ergodiche sono dette di

passaggio e lo stesso nome viene attribuito agli stati che le compongono.

Individuate le classi di equivalenza conveniente riordinare gli stati, in

modo che stati appartenenti a classi di ordine inferiore vengano posizionati

prima rispetto a stati delle altre classi; in questa maniera si ottiene una

forma particolare della matrice stocastica di transizione, detta canonica. La

forma canonica della matrice stocastica di transizione del tipo:

=

55555

4444

333

22

1

0

0

00

000

PRRRR

PRRR

PRR

PR

P

P

Gli elementi appartenenti al triangolo superiore della matrice sono tutti

nulli e indicano stati non comunicanti. Le sub-matrici quadrate indicate con

il simbolo iP sono le matrici di transizione corrispondenti alle classi di

equivalenza [i], le sub-matrici iR possono avere valori tutti nulli , se la

classe [i] ergodica, oppure no. Se la matrice iR una matrice con tutti

valori nulli , allora anche la matrice 1iR ha tutti valori nulli .

Antonio Manno, [email protected], www.statistica.too.it

17

Le potenze n-esime della matrice P espressa in forma canonica, sono

matrici aventi la stessa struttura.

3.2 Problemi di assorbimento

Lo studio del comportamento della matrice )(nP al variare di n, consente di

capire il comportamento asintotico del processo. Da un punto di vista

intuiti vo, si capisce che in un sistema finito si finir ad un certo punto in

una classe ergodica, per cui da quel momento in poi il sistema salter da

uno stato all altro di tale classe, senza pi giungere in uno stato di altre

classi, si dice in tal caso che il sistema viene assorbito, e risulta interessante

studiare la probabilit ed i tempi medi di attesa del sistema in classi

ergodiche.

In ogni catena finita, quindi, la probabilit che il sistema raggiunga in un

numero finito di colpi una classe ergodica pari ad 1, ossia certo.

Indicando con [ ]jkg la probabilit che il sistema sia assorbito prima o poi

nella classe [j] a partire da un qualsiasi stato di passaggio k e con [ ])(njkg la

probabilit che lassorbimento avvenga esattamente all n-esimo colpo, si ha

che:

[ ] [ ] 11

)( =

=jk

n

njk gg

dove luguaglianza si ha qualora esista una sola classe ergodica e questa sia

proprio [j]; indicando con l insieme degli stati di passaggio, valgono

inoltre le seguenti uguaglianze:

[ ][ ]

[ ] [ ]

+

=

=

i

njiki

njk

jlkljk

gpg

pg

)()1(

)1(

Antonio Manno, [email protected], www.statistica.too.it

18

Combinando le due precedenti equazioni, in maniera iterativa, si perviene

ad un sistema di equazioni li neari, la cui soluzione fornisce le probabilit di

assorbimento nella classe [j], precisamente, considerando un qualsiasi stato

di passaggio k:

[ ] [ ][ ]

+=jl

kli

jikijk pgpg

.

Trovata la probabilit di assorbimento nella classe [j]del sistema, partendo

da un generico stato di passaggio k, interessante calcolare il tempo medio

di attesa aff inch tale fenomeno si verifichi. A tal fine, si indichi con kT la

variabile casuale che esprime il tempo di attesa per lassorbimento del

sistema in una classe ergodica a partire dallo stato di passaggio k;

considerando una coppia generica (i,k) di stati di passaggio, si ha che il

numero medio delle volte in cui il sistema, uscendo da k, passa allo stato i ,

in un qualsiasi numero di passi, indicato con il simbolo kim :

Antonio Manno, [email protected], www.statistica.too.it

19

indicata per convenzione con P, di tipo stocastico, per cui lo studio di una

classe ergodica di stati, corrisponde allo studio di una catena ergodica.

Una catena ergodica detta regolare se esiste un numero intero 0n tale che

per valori di n maggiori di esso, ossia per 0nn , tutti gli elementi )(n

ijp

relativi alla potenza n-esima della sua matrice di transizione P risultino

positi vi, ossia se si verifica che ogni stato della classe raggiungibile a

partire da tutti gli altri stati, in un numero finito di colpi e, a partire da un

valore abbastanza grande 0n , ci si verifichi in ogni istante in cui si

considera il sistema. Se si considera una catena regolare, un risultato molto

importante fornito dal teorema di Markov, secondo il quale la potenza n-

esima della matrice di transizione, ossia )(nP , converge, per n che diverge,

ad una matrice stocastica U che ha tutti gli elementi strettamente positi vi e

le righe tutte uguali; in termini formali , vale:

0lim )( >= j

nij

nup .,...,2,1 Nj =

La probabilit asintotica di appartenenza al generico strato j espressa dal

valore ju e ci evidenzia come il sistema ammetta una distribuzione

asintotica u indipendente dalla distribuzione iniziale, con ( )Nuuuu ,...,, 21=

che soddisfa lequazione:

Puu = .

La determinazione numerica del vettore u delle probabilit di appartenenza

asintotiche ottenuta risolvendo il sistema di equazioni seguente:

=

==

=

=

1

,...,2,1

1

1N

ii

N

iijij

u

Njpuu

Un importante propriet di cui gode la distribuzione limite u che essa

stazionaria ed lunica distribuzione stazionaria del processo. In relazione

Antonio Manno, [email protected], www.statistica.too.it

20

ad una catena markoviana, si dice che una distribuzione di probabili t v

stazionaria, se soddisfa la relazione: )(nPvv = .

Una catena regolare, inoltre, un processo stocastico stazionario in senso

forte, poich la distribuzione congiunta di qualsiasi numero di variabili del

processo non varia effettuando una traslazione rispetto al tempo, cio

qualunque sia l intero h e la traslazione temporale t, la distribuzione

congiunta di ( )hnnn

XXX ,...,,21

e quella di ( )tntntn hXXX +++ ,...,, 21 la medesima. Le probabilit asintotiche u hanno unulteriore propriet; infatti il valore

ju

1 rappresenta il tempo medio di ritorno nello stato j.

Considerando il processo ( )

n

jSn che indica il numero relativo di volte in

cui il processo { }nX si trova nello stato j, considerandolo in funzione di n,

qualunque sia la distribuzione iniziale 1a tale processo converge in

probabilit verso ju , in altri termini il valor medio della percentuale di

tempo in cui il sistema si trova nello stato j asintoticamente uguale a ju :

tale risultato noto in letteratura come teorema ergodico. Inoltre, se

( )[ ]j

n

nc

n

jS=

varlim , con jc costante reale diversa da zero, qualunque sia la

distribuzione iniziale del processo, la successione ( )

j

jn

nc

nujS converge in

distribuzione ad una normale standardizzata: tale propriet denominata

teorema centrale del li mite per le catene markoviane regolari.

3.4 Catene ergodiche cicliche

Antonio Manno, [email protected], www.statistica.too.it

21

Considerando una catena markoviana, la probabilit )(niip esprime la

probabilit che il sistema uscente dallo stato i vi ritorni esattamente dopo n

colpi. Si ipotizzi che tale probabilit sia positi va soltanto per valori n

multipli di un certo intero id' , ossia:

0)( =niip se n non multiplo di id' ,

0)( niip se n multiplo di id' .

Ci si verifica ovviamente per 1' =id ; se ci si dovesse verificare solo per

tale valore di id' , allora lo stato i detto aperiodico, viceversa se esistono

altri valori di id' per cui tale propriet soddisfatta allora lo stato i detto

periodico ed il numero intero massimo fra quelli che soddisfano la

precedente propriet, indicato con id detto periodo dello stato i.

In una classe di equivalenza stato dimostrato che tutti gli stati hanno lo

stesso periodo oppure sono tutti aperiodici, per cui in una classe di

equivalenza che contiene gli stati i e j, si avr che ddd ji == e si dir che d

il periodo della classe e che la classe cicli ca di periodo d. Se tutti gli

stati della classe sono aperiodici, ossia d=1, allora la classe detta

aperiodica.

Prendendo in considerazione classi ergodiche cicli che di periodo d, stato

dimostrato che la classe pu essere decomposta in d sottoclassi distinte,

indicate con dCCC ,...,, 21 , che godono della seguente propriet:

- se il sistema in uno stato di hC , con h=1,2,,d, allora passer in un

solo colpo in uno stato di 1+hC ;

- se il sistema si trova nella sottoclasse dC , nel colpo successivo

passer nella sottoclasse 1C .

In una catena cicli ca, le potenze successive di una matrice di transizione

non possono presentare mai tutti gli elementi positi vi, ma ci saranno alcuni

Antonio Manno, [email protected], www.statistica.too.it

22

valori nulli; se si considera un indice l tale che dl

= ++ altrimenti

CjeCiseup hhjlndij

n 0

0lim 1)(

nel caso particolare in cui l=0, si ottiene che:

>

= altrimenti

Cjiseup hjndij

n 0

,0lim )(

Quanto mostrato implica che la successione delle potenze della matrice di

transizione P, ossia { })(nP , di una catena cicli ca non converge. Se si considera la successione delle medie aritmetiche, ossia

( ))()2( ...1 nPPPn

+++ , questa risulta convergente e la sua matrice limite ha

tutte le componenti positi ve e tutte le righe uguali . Se converge la

successione delle medie aritmetiche, si dice che la successione converge

alla Cesaro.

Volendo studiare il comportamento asintotico di una generica catena

markoviana, ossia volendone studiare la distribuzione )1(1= nn Paa per n

che diverge, si pu affermare che qualora la catena sia regolare o contiene

una sola classe ergodica e questa aperiodica, allora esiste una

distribuzione limite u indipendente dalle condizioni iniziali del sistema.

Tale vettore ha tutte le componenti positi ve nel primo caso, mentre sono

positi ve soltanto le componenti relative a stati ergodici nel secondo caso. In

assenza di classi ergodiche cicli che esiste la distribuzione limite, ma

qualora siano presenti pi classi ergodiche essa dipende dalla distribuzione

iniziale ed in particolare risulta:

[ ] jjin

ijn

ugp =

)(lim

dove lo stato i di passaggio, mentre lo stato j ergodico e con [ ]jig che

rappresenta la probabilit che il sistema uscendo dallo stato i venga

Antonio Manno, [email protected], www.statistica.too.it

23

assorbito nella classe [j]. In tale situazione occorre considerare le

probabilit che il sistema sia inizialmente allo stato i, ossia ( )ia1 . Se la catena cicli ca oppure contiene una sola classe ergodica cicli ca, si ha

una distribuzione limite indipendente dalla distribuzione iniziale qualora si

considera un limite alla Cesaro, ossia la convergenza della successione

delle medie aritmetiche.

Il ritorno ad uno stato i in una catena markoviana un evento ricorrente,

che certo se i ergodico, mentre pu non esserlo se invece uno stato di

passaggio. Il ritorno nello stato i un evento ricorrente anche se

inizialmente il sistema si trova in uno stato j diverso e i raggiungibile da j,

si parla al riguardo di evento ricorrente ritardato .

interessante notare come lo studio delle propriet di un processo

markoviano sia conducibile attraverso lanalisi degli autovalori { }Nii 1= della

matrice stocastica di transizione P. In generale risulta che essi sono, in

modulo, minori o uguali all unit, qualora esista un unico autovalore pari

all unit allora si pu osservare che esiste una distribuzione limite, che non

dipende dalle condizioni iniziali del sistema, con componenti che possono

essere tutte positi ve. Se esiste solo un autovalore che in modulo pari

all unit, allora la catena ammette una sola classe ergodica, se invece

esistono r autovalori che in modulo sono pari ad uno, allora la catena

presenta r classi ergodiche regolari.

3.5 Catene markoviane con un infinita numerabile di stati

Supponiamo, adesso, che l insieme S degli stati di una catena markoviana

non sia finito, ma che presenti una cardinalit del numerabile. Come per le

Antonio Manno, [email protected], www.statistica.too.it

24

catene finite, possibile considerare le relazioni di comunicativit e bi-

comunicativit fra gli stati del sistema e quindi raggruppare gli stati in

classi di equivalenza.

Mentre nelle catene finite sempre presente una classe minima ed una

massima, in questo caso ci non detto che si verifichi. Ad esempio,

potrebbe verificarsi che tutte le classi siano di passaggio e quindi siano di

passaggio tutti gli stati; si aggiunga che in una classe minima, ammesso che

esista, il ritorno in uno stato pu non essere un evento certo e pure qualora

sia certo, non detto che il suo tempo medio sia finito. Per tali ragioni, nel

caso di catene con un infinit numerabile di stati, conveniente operare

una classificazione degli stessi basata sul carattere della ricorrenza o del

ritorno. Si diranno, quindi, persistenti quegli stati per i quali il ritorno

certo e, a seconda che il suo tempo medio sia finito o meno, vengono detti

ergodici o nulli . Gli stati per i quali , invece, il ritorno non certo vengono

definiti transitori e tali stati vengono abbandonati dal sistema con

probabilit pari ad uno, in analogia agli stati di passaggio delle catene

finite. Considerando una catena costituente ununica classe di equivalenza,

detta irriducibile, si nota che tutti i suoi stati apparterranno ad uno ed uno

solo dei tre tipi sopra definiti .

3.6 Introduzione alle catene markoviane finite a parametro

continuo

Un processo { }TtX t ; nel quale le variabili casuali della famiglia sono

discrete, ma con l insieme T continuo, detto processo markoviano

discreto a parametro continuo se per ogni numero intero n,

Antonio Manno, [email protected], www.statistica.too.it

25

121 +

Antonio Manno, [email protected], www.statistica.too.it

26

( ) ( ) ( )tPata = 0 .

Come nel caso di catene discrete, se esiste un valore 0t tale che per ogni

0tt e per ogni coppia (i,j) risulti ( ) 0>tpij , allora la matrice P(t), per t che

diverge, converge verso una matrice avente tutte le righe uguali , si verifica

cio che:

( ) 0lim >= jijt

utp .

La distribuzione asintotica { }ju , anche in questo caso, non dipende dalla distribuzione iniziale del processo ed una distribuzione stazionaria.