lez 1 processi stocastici -  · - processi stocastici e processi markoviani - tecniche per la...

35
Enza Messina Metodi Computazionali A.A. 2009/10 Ragionamento probabilistico nel tempo Il compito di prendere una decisione dipende da: Informazioni parziali Informazioni rumorose Incertezza sui cambiamenti dell’ambiente nel corso del tempo E. Messina Metodi Computazionali

Upload: others

Post on 08-Aug-2020

6 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: lez 1 processi stocastici -  · - Processi stocastici e processi Markoviani - Tecniche per la generazione di numeri casuali . generazione di realizzazioni di variabili discrete

Enza Messina

Metodi Computazionali

A.A. 2009/10

Ragionamento probabilistico nel tempo

Il compito di prendere una decisionedipende da:

Informazioni parziali

Informazioni rumorose

Incertezza sui cambiamenti dell’ambiente nelcorso del tempo

E. Messina Metodi Computazionali

Page 2: lez 1 processi stocastici -  · - Processi stocastici e processi Markoviani - Tecniche per la generazione di numeri casuali . generazione di realizzazioni di variabili discrete

Metodi Computazionali

- Processi stocastici e processi Markoviani

- Tecniche per la generazione di numeri casuali

. generazione di realizzazioni di variabili

discrete

. generazione di realizzazioni di variabili

continue

- Tecniche di simulazione

o Costruzione e validazione di modelli di simulazione

o Metodi Monte Carlo

o Tecniche di riduzione della varianza

o Analisi dei risultati

- Metodi per la stima dei parametri

Ragionamento probabilistico nel tempo

Per descrivere un mondo mutevole siusano:

una serie di variabili casuali

descritte da uno stato

in ogni istante temporale

Le relazioni fra variabili casuali in istantitemporali diversi descrivono l’evoluzionedello stato!

E. Messina Metodi Computazionali

Page 3: lez 1 processi stocastici -  · - Processi stocastici e processi Markoviani - Tecniche per la generazione di numeri casuali . generazione di realizzazioni di variabili discrete

Tempo e Incertezza

Modelli statici:

Il valore delle variabili non cambia nel tempo

Modelli dinamici

Il valore delle variabili cambia nel tempo

Lo stato corrente dipende dalla storia

Il processo di cambiamento e’ descritto da unaserie di “fotografie” (time slice) ognuna dellequali contiene un insieme di variabili casuali

E. Messina Metodi Computazionali

Metodi Computazionali

Processi stocastici e processi Markoviani

Tecniche per la generazione di numeri casuali generazione di realizzazioni di variabili discrete generazione di realizzazioni di variabili continue

Tecniche di simulazioneCostruzione e validazione di modelli di simulazioneMetodi Monte CarloTecniche di riduzione della varianzaAnalisi dei risultati

Metodi per la stima dei parametri

E. Messina Metodi Computazionali

Page 4: lez 1 processi stocastici -  · - Processi stocastici e processi Markoviani - Tecniche per la generazione di numeri casuali . generazione di realizzazioni di variabili discrete

Un processo stocastico { }TttX ),(

L’insieme T degli indici e lo spazio X degli stati possono essere continui o discreti.

• Processi stocastici a tempo continuo

• Processi stocastici a tempo discreto

• Processi stocastici a stati continui

• Processi stocastici a stati discreti

E. Messina7

Processo Stocasticoè:

un insieme di variabili casuali, (per ogni t, X(t) e’ una variabile casuale)

una variabile casuale che evolve nel tempo

{ }0),( >ttX

{ },...1,0),( =ttX

{ },...1,0, =nXn

Metodi Computazionali

E. Messina8

Processo Stocastico

Metodi Computazionali

X(t) = Valore di una caratteristica del sistema al tempo t, ovvero valore di

una variabile casuale che descrive lo stato del sistema al tempo t

X(t) numero di visitatori di una pagina web al tempo t

X(t) numero di visitatori di una pagina web fino al tempo t

X(t) numero di prodotti venduti fino al tempo t

X(t) valore di un portafoglio di titoli al tempo t

Page 5: lez 1 processi stocastici -  · - Processi stocastici e processi Markoviani - Tecniche per la generazione di numeri casuali . generazione di realizzazioni di variabili discrete

discrete-time, discrete-state

ttt XX += 1 t=1,2,3,...

Random Walk

}1,1{=t

5,0)1()1( =+=== tt pp

where and

-8

-7

-6

-5

-4

-3

-2

-1

0

1

2

3

0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

9

Esempio

E. Messina Metodi Computazionali

Changing p>0,5

we obtain a random walk with drift

0

2

4

6

8

10

12

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

p=0,8

Another way to generalize this process is to let assume continuous values

(discrete time continuous state stochastic process)t t N(0,1)

-2

-1

0

1

2

3

4

5

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

E. Messina1

0

Metodi Computazionali

Esempio

Page 6: lez 1 processi stocastici -  · - Processi stocastici e processi Markoviani - Tecniche per la generazione di numeri casuali . generazione di realizzazioni di variabili discrete

The first order autoregressive process given by the equation

titt baXX ++=

where a and b are constant, with -1<a<1 and t N(0,1)

a=0,5

b=1

-1

-0,5

0

0,5

1

1,5

2

2,5

3

3,5

4

4,5

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

E. Messina1

1

Metodi Computazionali

Esempio

EsempioSupponiamo di essere nell’ambito di un gioco d’azzardo.

Con probabilità p vinco 1$ e con probabilità 1-p perdo 1$; L’obiettivo è

quello di incrementare il proprio capitale fino a 4$.

Possiamo definire Xt come il valore del mio capitale (somma in mio

possesso) dopo aver giocato t volte.

Quindi, X0, X1,…,Xt possono essere visti come variabili casuali.

Se X0 = 2 X1 = 3 con prob. p

X1 = 1 con prob. 1-p

E. Messina1

2

Metodi Computazionali

Page 7: lez 1 processi stocastici -  · - Processi stocastici e processi Markoviani - Tecniche per la generazione di numeri casuali . generazione di realizzazioni di variabili discrete

Tale proprietà assicura che la distribuzione di probabilità per tutti i possibili

valori futuri del processo dipende solo dal loro valore corrente non dai valori

passati o da altre informazioni correnti

Una importante proprietà dei processi stocastici è la

Proprietà Markoviana

I processi stocastici che soddisfano questa proprietà sono detti Processi di Markov

E. Messina13

Metodi Computazionali

Proprietà dei Processi Markoviani

P( Xt+1 = it+1 | Xt = it , Xt-1 = it-1 , …, X1 = i1 , X0 = i0 )

= P( Xt+1 = it+1 | Xt = it )

Un processo stocastico a tempi discreti è una catena di Markov se,

per t = 1, 2, 3, … e per tutti gli stati, si ha che:

P( Xt+1 = j | Xt = i , Xt-1 = it-1 , …, X1 = i1 , X0 = i0 )

= P( Xt+1 = j| Xt = i )

Se P(X0= i) = qi

q = [q1… qi… qn] distribuzione probabilità iniziale

Catene di Markov

E. Messina Metodi Computazionali

Page 8: lez 1 processi stocastici -  · - Processi stocastici e processi Markoviani - Tecniche per la generazione di numeri casuali . generazione di realizzazioni di variabili discrete

Catene di Markov

Se la probabilità di un certo evento è indipendente dal tempo t la

catena di Markov si definisce stazionaria e si ha che:

P( Xt+1 = j | Xt = i) = pij

pij = probabilità che al tempo t+1 il sistema sarà nello stato j,

essendo nello stato i al tempo t.

Attenzione: non confondere stazionario con statico !!!!!

E. Messina Metodi Computazionali

Matrice delle probabilità

p11 p12 …. p1n

p21 p22 …. p2n

pn1 pn2 …. pnn

rappresenta la probabilità di raggiungere uno stato j

partendo da uno stato i della catena.

pij

0ij

p 0, ji 1

0

==

n

j

ijp

P =

MATRICE DI TRANSIZIONE

(a un passo)

E. Messina Metodi Computazionali

Page 9: lez 1 processi stocastici -  · - Processi stocastici e processi Markoviani - Tecniche per la generazione di numeri casuali . generazione di realizzazioni di variabili discrete

Rappresentazione grafica

Una matrice P delle probabilità di transizione è rappresentabile

graficamente da un grafo. Ogni nodo rappresenta uno stato e l’arco

(i,j) rappresenta la probabilità di transizione pij .

i kj

pjkpij

pii

E. Messina Metodi Computazionali

Esempio

Supponiamo che un’industria produca due tipi di Cola.

Una persona che, all’acquisto precedente, ha comprato Cola1, per il 90% di

possibilità comprerà ancora Cola1.

Chi ha comprato invece Cola2, per l’80% di possibilità comprerà ancora Cola2.

Matrice di transizione:

P =

Cola1

Cola2

Cola1

Cola2

0.100.90

0.800.20

E. Messina Metodi Computazionali

Page 10: lez 1 processi stocastici -  · - Processi stocastici e processi Markoviani - Tecniche per la generazione di numeri casuali . generazione di realizzazioni di variabili discrete

Esercizi1. Definire la matrice di transizione dell’esempio del gioco d’azzardo

2. Si consideri un sistema si stoccaggio nel quale la sequenza di eventi lungo

ogni periodo e’ la seguente:

- si osserva il livello i di magazzino all’inizio del periodo;

- se i <= 1, vengono ordinate (4-i) unità, mentre se i>=2 non viene emesso

nessun ordine.

Le consegne degli ordini sono immediate.

- la domanda d segue la seguente distribuzione di probabilità:

con probabilità 1/3 d=0

con probabilità 1/3 d= 1

con probabilità 1/3 d=2

- si osserva quindi il livello di magazzino all’inizio del prossimo periodo.

Determinare la matrice di transizione che caratterizza tale sistema di

stoccaggio.

E. Messina Metodi Computazionali

Esercizi

1. In un’urna sono contenute due palline, inizialmente bianche.

Ad ogni estrazione si procede come segue:

- se la pallina è bianca si lancia una moneta: se esce testa la dipingo di rosso

altrimenti la dipingo di nero.

- se la pallina estratta è rossa la dipingo di nero

- se la pallina estratta è nera la dipingo di rosso

Determinare la matrice di transizione che descrive questo “gioco”.

E. Messina Metodi Computazionali

Page 11: lez 1 processi stocastici -  · - Processi stocastici e processi Markoviani - Tecniche per la generazione di numeri casuali . generazione di realizzazioni di variabili discrete

Probabilità di transizione a n-passi

Domanda: Se una catena di Markov è in uno stato i al tempo m,

qual è la probabilità che dopo n passi sarà in uno stato j ?

P( Xm+n = j | Xm = i) = P( Xn = j | X0 = i) =Pij(n)

Si avrà che:

Pij(2) = pik · pkj prodotto scalare riga i colonna j

Pij(n) = ij-simo elemento di Pn

Risposta

k=1

n

E. Messina Metodi Computazionali

Esempio (2)

1. Se una persona usualmente compra Cola2, qual è la probabilità

che compri Cola1 dopo due acquisti ?

P( X2 = 1 | X0 = 2) =P21(2)

P2

= =0.100.90

0.800.20

0.100.90

0.800.20

0.170.83

0.660.34

E. Messina Metodi Computazionali

Page 12: lez 1 processi stocastici -  · - Processi stocastici e processi Markoviani - Tecniche per la generazione di numeri casuali . generazione di realizzazioni di variabili discrete

Esempio (3)

1. Se una persona usualmente compra Cola1, qual è la probabilità

che compri ancora Cola1 dopo tre acquisti ?

P( X1 = 1 | X0 = 1) =P11(3)

P3 = =

0.100.90

0.800.20

0.170.83

0.660.34

0.2190.781

0.5620.438

E. Messina Metodi Computazionali

Equazioni Chapman-Kolmogorov

E. Messina Metodi Computazionali

La probabilità di transizione a n-passi

{ } 0,,0| === + jiniXjXPP kkn

n

ij

può essere calcolata tramite le equazioni di Chapman-Kolmogorov

0,,0,0

==

+ jimnPPPk

m

kj

n

ik

mn

ij

)()()( mPnPmnP =+

Page 13: lez 1 processi stocastici -  · - Processi stocastici e processi Markoviani - Tecniche per la generazione di numeri casuali . generazione di realizzazioni di variabili discrete

Equazioni Chapman-Kolmogorov

E. Messina Metodi Computazionali

{ }iXjXPP mn

mn

ij === ++

0|

{ }= + ====

0 0|,k nmn iXkXjXP

{ } { }= + ======

0 00 |,|k nnmn iXkXPiXkXjXP

==

0k

n

ik

m

kj PP

Probabilità di transizione

La probabilità di essere in un certo stato j al tempo n, non

conoscendo lo stato di una catena di Markov al tempo 0, è:

qi Pij(n) = q · (colonna j di P n )

dove:

qi = probabilità che la catena sia nello stato i al tempo 0.

i

E. Messina Metodi Computazionali

Page 14: lez 1 processi stocastici -  · - Processi stocastici e processi Markoviani - Tecniche per la generazione di numeri casuali . generazione di realizzazioni di variabili discrete

Esempio (1)

1. Supponiamo che il 60% delle persone beva Cola1 e il 40%

beva Cola2. Dopo tre acquisti, qual è la percentuale delle

persone che berranno Cola1?

p = q · (colonna 1 di P3)

p = 0.60 0.40 = 0.64380.781

0.438

E. Messina Metodi Computazionali

Classificazione degli stati

Uno stato j è raggiungibile da uno stato i se esiste un cammino

che da i arriva a j :

E. Messina Metodi Computazionali

0>n

ijP per qualche n 0

Due stati i e j si dice che comunicano se j è raggiungibile da i e

viceversa.

Ogni stato comunica con se stesso per definizione e vale anche la

proprietà transitiva.

Una catena di Markov è detta irriducibile se tutti i suoi stati sono

comunicanti fra loro

Page 15: lez 1 processi stocastici -  · - Processi stocastici e processi Markoviani - Tecniche per la generazione di numeri casuali . generazione di realizzazioni di variabili discrete

Classificazione degli stati

Un insieme di stati S in una catena di Markov è un insieme

chiuso se nessuno stato fuori S è raggiungibile dagli stati in S.

Uno stato i si definisce stato assorbente se pii = 1.

E. Messina Metodi Computazionali

Classificazione degli stati

• Uno stato i si definisce stato transiente se esiste uno stato j

raggiungibile da i, ma i non è raggiungibile da j.

E. Messina Metodi Computazionali

•Uno stato che non è transiente viene definito stato ricorrente.

==1n

n

iiP

<=1n

n

iiP

Page 16: lez 1 processi stocastici -  · - Processi stocastici e processi Markoviani - Tecniche per la generazione di numeri casuali . generazione di realizzazioni di variabili discrete

Classificazione degli stati

• La ricorrenza è una proprietà di classe: se lo stato i è

ricorrente e lo stato j comunica con i allora lo stato j è ricorrente

E. Messina Metodi Computazionali

• Anche essere transiente è una proprietà di classe.

• Tutti gli stati di una catena di Markov finita (n. stati finito)

irriducibile sono ricorrenti

Classificazione degli stati

•Uno stato i è periodico di periodo k>1 se k è il più piccolo

numero tale che tutti i cammini che dallo stato i ritornano ad i

hanno una lunghezza che è un multiplo di k.

• Se uno stato non è periodico si definisce aperiodico.

• Se tutti gli stati in una catena sono ricorrenti, aperiodici e

comunicano l’uno con l’altro, la catena si definisce ergodica.

E. Messina Metodi Computazionali

Page 17: lez 1 processi stocastici -  · - Processi stocastici e processi Markoviani - Tecniche per la generazione di numeri casuali . generazione di realizzazioni di variabili discrete

Esempio (catena ergodica)

Una catena ergodica è, per esempio, la seguente:

P =0.3 0.7 0

0.5 0 0.5

0 0.25 0.75

1 320.3

0.7

0.5

0.25

0.5

0.75

E. Messina Metodi Computazionali

Quali stati sono transienti e quali ricorrenti ?

Esercizi

0 0 1/2 1/2

1 0 0 0

0 1 0 0

0 1 0 0

E. Messina Metodi Computazionali

0 0 0

0 0 0

0 0 0 0 0 0

0 0

Page 18: lez 1 processi stocastici -  · - Processi stocastici e processi Markoviani - Tecniche per la generazione di numeri casuali . generazione di realizzazioni di variabili discrete

Quali di queste matrici sono associabili a catene ergodiche ?

Esercizi (catena ergodica)

1/3 2/3 0

1/2 0 1/2

0 1/4 3/4

1/2 1/2 0 0

1/2 1/2 0 0

0 0 2/3 1/3

0 0 1/4 3/4

1/4 1/2 1/4

2/3 1/3 0

0 2/3 1/3

E. Messina Metodi Computazionali

Distribuzione d’equilibrio (steady state)

Sia P una matrice delle probabilità per una catena ergodica di n

stati, vale che:

lim Pij(n) = j

= [ 1 2 3 …. n] vettore distribuzione d’equilibrio

Dove:

= ·P

n +

E. Messina Metodi Computazionali

Page 19: lez 1 processi stocastici -  · - Processi stocastici e processi Markoviani - Tecniche per la generazione di numeri casuali . generazione di realizzazioni di variabili discrete

Esempio (Steady State)

.33.67.33.6730

.33.67.33.6740

.33.67.33.6720

.35.65.32.6810

.44.56.28.725

.56.44.22.783

.66.34.17.832

.80.20.10.901

P22(n)P21(n)P12(n)P11(n)n

STEADY STATE

E. Messina Metodi Computazionali

0.100.90

0.800.20

P=

Esempio (Steady State)

E. Messina Metodi Computazionali

0.100.90

0.800.20

P=

1002.09.0 +=

1018.01.0 +=

110=+{

Page 20: lez 1 processi stocastici -  · - Processi stocastici e processi Markoviani - Tecniche per la generazione di numeri casuali . generazione di realizzazioni di variabili discrete

Esercizi

1. Una macchina è utilizzata per produrre strumenti di precisione.

Se la macchina è in buone condizioni oggi allora lo sarà anche domani con una

probabilità del 90%.

Se la macchina non è in buone condizioni oggi allora sarà mal funzionante anche

domani con una probabilità dell’80%.

Quando la macchina è in buone condizioni produce 100 pezzi al giorno.

Quando la macchina è mal funzionante produce 60 pezzi al giorno.

In media quanti pezzi al giorno verrano prodotti ?

E. Messina Metodi Computazionali

Transitorio

Il comportamento di una catena di Markov prima di raggiungere la

distribuzione d’equilibrio è chiamato transitorio.

TRANSITORIO

E. Messina Metodi Computazionali

Page 21: lez 1 processi stocastici -  · - Processi stocastici e processi Markoviani - Tecniche per la generazione di numeri casuali . generazione di realizzazioni di variabili discrete

Passaggio Intermedio

Numero di transizioni attese prima di raggiungere lo stato j

essendo nello stato i in una catena ergodica:

mij = pij(1)+ pik· (1+mkj)

mij = 1+ pik· mkj

mii =

k j

1

i

E. Messina Metodi Computazionali

Esempio (passaggio intermedio)

Calcolo di quante bottiglie, in media, berrà un compratore di

Cola1 prima di cambiare a Cola2:

• m12 = 1+ p11 · m12 = 1+ 0.90 · m12 m12 = 10

Viceversa, per un compratore di Cola2 si avrà:

• m21 = 1+ p22· m21 = 1+ 0.80 · m21 m21 = 5

E. Messina Metodi Computazionali

Page 22: lez 1 processi stocastici -  · - Processi stocastici e processi Markoviani - Tecniche per la generazione di numeri casuali . generazione di realizzazioni di variabili discrete

Catene assorbenti (1)

Le catene assorbenti sono catene di Markov nelle quali

alcuni stati sono assorbenti, mentre tutti gli altri sono

stati transienti.

Definizione:

Uno stato i si definisce stato assorbente se pii = 1

E. Messina Metodi Computazionali

Catene assorbenti (2)

Possibili domande:

1. Qual’è il numero di passi che intercorrono prima

che, da uno stato transiente, venga raggiunto uno stato

assorbente ?2. Se una catena parte da uno stato transiente, qual è la

probabilità che termini in uno stato assorbente ?

E. Messina Metodi Computazionali

Page 23: lez 1 processi stocastici -  · - Processi stocastici e processi Markoviani - Tecniche per la generazione di numeri casuali . generazione di realizzazioni di variabili discrete

Matrice di transizioneLa matrice di transizione per una catena assorbente può

essere scritta come:

P =

Q matrice che rappresenta le relazioni tra gli stati transienti.

R matrice che rappresenta le transizioni da stati transienti a

stati assorbenti.

Q R

0 I

E. Messina Metodi Computazionali

Matrice fondamentale

1. Se siamo in uno stato transiente i, il numero di periodi

che si trascorreranno in uno stato transiente j prima

dell’assorbimento è:

ij-simo elemento della matrice (I-Q)-1

E. Messina Metodi Computazionali

Page 24: lez 1 processi stocastici -  · - Processi stocastici e processi Markoviani - Tecniche per la generazione di numeri casuali . generazione di realizzazioni di variabili discrete

Esempio

In una fabbrica le tre tipologie d’impiegati sono: junior, senior e partner.

Ci sono inoltre due stati assorbenti che riguardano due modalità per lasciare la

fabbrica: come non-partner o come partner. La matrice delle probabilità è la

seguente:

Junior

Senior

Partner

Lascia NP

Lascia P

Junior PartnerSenior Lascia PLascia NP

10000

01000

0.0500.9500

00.100.200.700

00.0500.150.80

Q

I0

R

E. Messina Metodi Computazionali

Esempio (1)

Quanto tempo passa un dipendente Junior nella fabbrica?

(I-Q)-1

=

• tempo che passa come Junior : m11= 5

• tempo che passa come Senior : m12 = 2.5 17.5 anni

• tempo che passa come Partner : m13 = 10

5 2.5 10

0 3.3 13.3

0 0 20

TOT.

E. Messina Metodi Computazionali

Page 25: lez 1 processi stocastici -  · - Processi stocastici e processi Markoviani - Tecniche per la generazione di numeri casuali . generazione di realizzazioni di variabili discrete

Probabilità d’assorbimento

2. Se siamo in uno stato transiente i, la probabilità di

arrivare in uno stato assorbente j è:

ij-simo elemento della matrice (I-Q)-1

·R

E. Messina Metodi Computazionali

Esempio (2)

Qual è la probabilità che un dipendente Junior lasci la

fabbrica come Partner?

(I-Q)-1

· R =

m12 = 0.5

0.5 0.5

0.3 0.7

0 1

RISPOSTA

E. Messina Metodi Computazionali

Page 26: lez 1 processi stocastici -  · - Processi stocastici e processi Markoviani - Tecniche per la generazione di numeri casuali . generazione di realizzazioni di variabili discrete

Esempio: The Drunkard’s walk

Un uomo cammina lungo Park Avenue, dove abita. Per raggiungere il bar deve

passare vicino a 3 lampioni. Ogni volta che arriva ad un lampione si appoggia e

poi riprende il cammino proseguendo in avanti o tornardo indietro con uguale

probabilità. Se arriva a casa o al bar si ferma.

Home

1

2

3

Bar

Home 21 Bar3

10000

1/201/200

01/201/20

001/201/2

00001

Q

I0

R

E. Messina Metodi Computazionali

Esempio: The Drunkard’s walk

1

2

3

Home

Bar

1 32 BarHome

10000

01000

1/2001/20

001/201/2

01/201/20

Q

I0

R

E. Messina Metodi Computazionali

Page 27: lez 1 processi stocastici -  · - Processi stocastici e processi Markoviani - Tecniche per la generazione di numeri casuali . generazione di realizzazioni di variabili discrete

Quante volte passa per lo stesso lampione?

(I-Q)= (I-Q)-1

=

Se parte dallo stato 2 il numero atteso di volte che passa per i

lampioni 1 2 e 3 prima di venire “assorbito” sono 1, 2 e 1.

3/2 1 1/2

1 2 1

1/2 1 3/2

E. Messina Metodi Computazionali

Esempio: The Drunkard’s walk

1 -1/2 0

-1/2 1 -1/2

0 -1/2 1

R = (I-Q)-1

·R =

Se parte dallo stato 2 la probabilità di tornare a casa è 3/4 e quella

di finire al bar è 1/4.

3/4 1/4

1/2 1/2

1/4 3/4

E. Messina Metodi Computazionali

Esempio: The Drunkard’s walk

1/2 0

0 0

0 1/2

Page 28: lez 1 processi stocastici -  · - Processi stocastici e processi Markoviani - Tecniche per la generazione di numeri casuali . generazione di realizzazioni di variabili discrete

Example: Academic Life

A. Assistant

Prof.: 20

B. Associate

Prof.: 60

T. Tenured

Prof.: 90

S. Out on the

Street: 10 D. Dead: 0

1.0

0.60.2

0.2

0.8

0.2

0.6

0.2

0.2

0.7

0.3

What is the expected lifetime income of an academic?

Courtsey of Michael Littman

Solving for Total Reward

L(i) is expected total reward receivedstarting in state i.

How could we compute L(A)?

Would it help to compute L(B), L(T), L(S),and L(D) also?

Page 29: lez 1 processi stocastici -  · - Processi stocastici e processi Markoviani - Tecniche per la generazione di numeri casuali . generazione di realizzazioni di variabili discrete

Solving the Academic Life

The expected income at state D is 0

L(T)=90+0.7x90+0.72x90+…

L(T)=90+0.7xL(T)

L(T)=300

T. Tenured

Prof.: 90

D. Dead: 0

0.7

0.3

Working Backwards

A. Assistant

Prof.: 20

B. Associate

Prof.: 60

T. Tenured

Prof.: 90

S. Out on the

Street: 10 D. Dead: 0

1.0

0.60.2

0.2

0.8

0.2

0.6

0.2

0.20.7

0.3

0

300

50

325287.5

Another question: What is the life expectancy of professors?

Page 30: lez 1 processi stocastici -  · - Processi stocastici e processi Markoviani - Tecniche per la generazione di numeri casuali . generazione di realizzazioni di variabili discrete

Stepping Stone Model

Let A be a nxn array of squares

Each square is initially any one of k different colors

For each step, a square is chosen at random

This square chooses one of its 8 neighbors at random and assumes its color

(boundary conditions …)

This is an example of absorbing Markov Chain: with probability 1 all the squares

will eventually all be the same color

Credit Rating: Typical Transition Matrix (1-Year)

Year-End Rating Initial

RatingAAA AA A BBB BB B CCC D

AAA 90.81 8.33 0.68 0.06 0.12 0 0 0

AA 0.70 90.65 7.79 0.64 0.06 0.14 0.02 0

A 0.09 2.27 91.05 5.52 0.74 0.26 0.01 0.06

BBB 0.02 0.33 5.95 86.93 5.30 1.17 0.12 0.18

BB 0.03 0.14 0.67 7.73 80.53 8.84 1.00 1.06

B 0 0.11 0.24 0.43 6.48 83.46 4.07 5.20

CCC 0.22 0 0.22 1.30 2.38 11.24 64.86 19.79

Page 31: lez 1 processi stocastici -  · - Processi stocastici e processi Markoviani - Tecniche per la generazione di numeri casuali . generazione di realizzazioni di variabili discrete

Example of Rating Transition Matrix*

* Moody’s Investors Service, July 1997. “Moody’s Rating Migration and Credit

Quality Correlation, 1920-1996”

Google’s Search Engine

Assumption: A link from page A to page B is a

recommendation of page B by the author of A

(we say B is successor of A)

Quality of a page is related to its in-degree

Recursion: Quality of a page is related to

its in-degree, and to

the quality of pages linking to it

PageRank [Brin and Page ‘98]

E. Messina Metodi Computazionali

Page 32: lez 1 processi stocastici -  · - Processi stocastici e processi Markoviani - Tecniche per la generazione di numeri casuali . generazione di realizzazioni di variabili discrete

Definition of PageRank

Consider the following infinite random walk

(surf):

Initially the surfer is at a random page

At each step, the surfer proceeds

to a randomly chosen web page with probability p

to a randomly chosen successor of the current page with

probability 1-p

The PageRank of a page d is the fraction of

steps the surfer spends at d in the limit.

E. Messina Metodi Computazionali

Random Web Surfer

What’s the probability of a page being visited?

E. Messina Metodi Computazionali

Page 33: lez 1 processi stocastici -  · - Processi stocastici e processi Markoviani - Tecniche per la generazione di numeri casuali . generazione di realizzazioni di variabili discrete

Markov Chains

Theorem: Under certain conditions:

There exists a unique stationary distribution q with qi > 0

for all i

Let N(i,t) be the number of times the Markov chain visits

state i in t steps. Then,

it t

tiN=

),(lim

E. Messina Metodi Computazionali

PageRankPageRank = the probability for this Markov chain,i.e.

where n is the total number of nodes in the graph

p is the probability of making a random jump.

Query-independent

Summarizes the “web opinion” of the page

importance

+=

Euv

voutdegreevPageRankpnpuPageRank

),(

)(/)()1(/)(

E. Messina Metodi Computazionali

Page 34: lez 1 processi stocastici -  · - Processi stocastici e processi Markoviani - Tecniche per la generazione di numeri casuali . generazione di realizzazioni di variabili discrete

PageRank

D

A B

PageRank of D is

(1-p)* ( 1/4th the PageRank of A + 1/3rd the PageRank of B ) +p/n

E. Messina Metodi Computazionali

Kth-Order Markov Chain

What we have discussed so far is the first-order

Markov Chain.

More generally, in kth-order Markov Chain, each

state transition depends on previous k states.

What’s the size of transition probability matrix?

X2 X3 X4X1

E. Messina Metodi Computazionali

Page 35: lez 1 processi stocastici -  · - Processi stocastici e processi Markoviani - Tecniche per la generazione di numeri casuali . generazione di realizzazioni di variabili discrete

Add-ins Excel

Per la risoluzione delle operazioni relative alle catene di

Markov sono presenti in rete add-ins free di Excel:

Sito per il download:

http://www.stanford.edu/~savage/software.htm

E. Messina Metodi Computazionali