l12-tfa catene di markov nuovi lucidi -...

Università di Roma “Tor Vergata” Corso di Teoria dei Fenomeni Aleatori, AA 2012/13

Docente Prof. Gaspare Galati

Catene di Markov SISTEMI CASUALI DINAMICI (PROCESSI) - UN ESEMPIO: I GUASTI “Frequenza” dei guasti:

N GUASTI

Catene di Markov SISTEMI CASUALI DINAMICI (PROCESSI) - UN ESEMPIO: I GUASTI

• Campionando il tempo con il passo Δ :

Regolare Guasto

P G( )

11- ( )P G

(Sistema non soggetto a manutenzioni)

Catene di Markov SISTEMI CASUALI DINAMICI (PROCESSI) - UN ESEMPIO: I GUASTI

Regolare Guasto

P G( )

P M( ) 1-P(M)

1- ( )P G • : probabilità che il sistema sia riparato nell’intervallo successivo al guasto.

1- ( )p G 0.99

R p G( ) 0.01

p M( ) 0.85 -p(M)1 0.15

P : MATRICE DELLE PROBABILITA’ DI TRANSIZIONE : vettore di stato = [ ]x x R GT

Esempio: SATELLITI e GUASTI

C: in funzionamento corretto

L: in guasto a lungo termine

B: in guasto a breve termine

M: in manovra

Catene di Markov – Premessa

PROCESSI STOCASTICI X(t)

TEMPO-CONTINUI (“A PARAMETRO

CONTINUO”

TEMPO-DISCRETI: t è un insieme di

valori discreti - esempio:

A valori continui

A valori discreti o “STATI”:

Catene di Markov – Cenni Storici

Le catene di Markov sono particolari processi a valori discreti, o

“stati”, introdotti da Andrei A. Markov (1856‐1922), allievo di

Tschebyshev. Il loro studio si è diffuso dalla metà del Novecento

per le applicazioni ai Sistemi fisici, biologici, sociali, economici in

cui le probabilità di un evento dipendono dal risultato

immediatamente precedente.

Catene di Markov • Un particolare tipo di processo a valori discreti è costituito

dalle catene di Markov, in cui il processo può assumere un

valore (lo stato del processo) all’interno di un dato insieme

finito o numerabile.

• Il processo è definito mediante le probabilità di passare da uno

stato ad un altro (probabilità di transizione).

Catene di Markov tempo-discreto

La sequenza di variabili aleatorie: 1 2X ,X ,... forma una

catena di Markov tempo‐discreta se per ogni n (n = 1, 2,…) e

per tutti valori possibili delle variabili aleatorie 1 2X ,X ,... si

n 1 1 2 2 n 1 n 1

n n 1 n 1

P X j X i ,X i ,...,X i

P X j X i− −

− −

⎡ ⎤= = = = =⎣ ⎦⎡ ⎤= = =⎣ ⎦

cioè se la probabilità che lo stato del processo all’istante n sia

j dipende solamente dallo stato all’istante precedente n‐1.

Catene di Markov omogenee Una catena di Markov è omogenea se le probabilità di transizione

(passaggio da uno stato ad un altro) sono costanti (non

dipendono dal tempo).

Nel seguito consideriamo il caso omogeneo.

Catena di Markov tempo-continua

Un processo ( )X t a valori interi non negativi è una catena di

Markov tempo‐continua se, per ogni s:

( ) ( ) ( ){ }( ) ( ){ }

P X t s j X t i, X l

P X t s j X t i

+ = = μ = =

= + = = 0 t≤ μ <

0 μ t t+s tempo

Esempio di una catena di Markov a 4 stati (A,B,C,D)

0.30.3

. .. .

0 3 0 3 0 4 00 0 0 1 0 90 8 0 0 0 20 0 0 1

⎡ ⎤⎢ ⎥⎢ ⎥=⎢ ⎥⎢ ⎥⎣ ⎦

P Matrice di transizione

La Matrice di Transizione • La somma delle probabilità di transizione da un generico stato

verso tutti gli altri e verso se stesso deve essere pari ad 1:

P 1 i=1,2,3,...,N=

essendo N il numero di stati del processo.

• Una matrice con queste caratteristiche (somma unitaria degli

elementi di ogni riga) è detta stocastica.

• Equivalentemente:

P u = u con u =[1,1...1]T

Esempio: Contatore

0 1 1 0t

FINESTRA NEL TEMPO

Esempio: Contatore (segue)

L L M0 1 11 2

q q q q

Esempio: M = 1000, L1 = 480, L2 = 520

1 ···

NB: = probabilità dello stato j

La Matrice di Transizione a 2 passi

2ij ik kj

P P P=

La matrice delle probabilità di transizione a due passi ( )2P ,

costituita da tutti gli elementi ( )2

ijP , si ottiene come prodotto

(righe x colonne) delle matrice delle probabilità di transizione

per se stessa:

( )2 2= ⋅ =P P P P

La Matrice di Transizione a n passi Per la generica probabilità di transizione a tre passi:

( ) ( )N

3 2ij ik kj

P P P=

( ) ( )3 2 2 3= ⋅ = ⋅ =P P P P P P

Più in generale, indicando con ( )n

( ) { }nij n m mP P X j X i+= = =

La matrice ( )nP di elementi ( )n

ijP si ottiene moltiplicando P

per se stessa n‐1 volte:

( )n n=P P

La Matrice di Transizione

• Le espressioni utilizzate del tipo:

( ) ( ) ( )N

n m n mij ik kj

P P P+

sono chiamate equazioni di Chapman‐Kolmogorov.

• Per ricavare le probabilità degli stati del processo

all’istante n occorre conoscere le probabilità dello stato

iniziale.

Probabilità degli Stati all’istante n

Se si dispongono delle probabilità iniziali (i 1,2,...,N= ):

}{i 1P X iα = =

le probabilità degli stati all’istante n si ottengono mediante il

Teorema della Probabilità Totale:

{ } { } { } ( )N N

nn 1 n 1 i ij

i 1 i 1

P X j P X i P X j X i P= =

= = = ⋅ = = = α∑ ∑

Probabilità degli Stati all’istante n

Se il vettore (trasposto) delle probabilità di stato è:

( ) }{ }{ }{, ,...,Tn

n n nx P X 1 P X 2 P X N⎡ ⎤ ⎡ ⎤= = = =⎣ ⎦⎣ ⎦

si ha:

( ) ( )T Tn n 1x x −⎡ ⎤ ⎡ ⎤= ⋅⎣ ⎦ ⎣ ⎦ P

e quindi:

( ) ( ) ( )T Tn 1 nx x⎡ ⎤ ⎡ ⎤= ⋅⎣ ⎦ ⎣ ⎦ P

Il concetto di Raggiungibilità

• Uno stato j è raggiungibile da uno stato i se esiste almeno

un istante n tale che ( )n

ijP 0> .

• Un insieme C di stati si dirà chiuso se da stati appartenenti

a C non è possibile raggiungere stati esterni a C.

Nella matrice delle probabilità di transizione:

ijP 0= i C, j C∀ ∈ ∀ ∉ .

STATI RICORRENTI E TRANSITORI

• Lo stato è transitorio se esiste uno stato

raggiungibile da , mentre non è raggiungibile da .

• Lo stato è ricorrente se:

cioè, se non è transitorio.

Il concetto di Stato Assorbente • Se l’insieme C è costituito da un singolo stato, questo si

chiama assorbente. Per il generico stato assorbente si ha quindi:

iiP 1= ijP 0= j i∀ ≠

DE 1 p

Uno stato assorbente è transitorio.

La figura mostra una Catena di Markov con un insieme chiuso (B,

C, D) ed uno stato assorbente E.

Catena di Markov Regolare

• Se esiste un numero finito m tale che in m passi tutti gli

stati sono raggiungibili a partire da qualsiasi stato, cioè:

( )mijP 0> i, j∀ ∀

la catena viene detta regolare.

• Per una catena regolare esiste quindi almeno una potenza

della matrice delle probabilità di transizione i cui elementi

sono tutti non nulli.

Teorema di Markov Ci sono condizioni sotto le quali le probabilità di stato

convergono al passare del tempo (esistono finiti i limiti):

{ }nnlim P X j j 1,...,N→∞

Tali condizioni sono date dal Teorema di Markov:

Se la catena è regolare (cioè esiste un m tale che ( )m

ijP 0> i, j∀ ∀ ), allora esistono delle quantità jπ tali che:

( )nij jn

lim P→∞

= π , ,...,i 1 2 N∀ =

Vettore Limite delle Probabilità di Stato

Le probabilità di stato jμ , per n che tende ad infinito, a

partire dallo stato iniziale i‐esimo avente probabilità iα

i 1,2,...,N= , si ottengono dalle relazioni:

( ) { } ( )

j n i ijn n ni 0

N N Nn

i ij i j j i jni 0 i 0 i 0

lim x lim P X j lim P

→∞ →∞ →∞=

→∞= = =

= μ = = = α =

= α ⋅ = α π = π α = π

∑ ∑ ∑

cioè sono uguali alle probabilità limite di transizione.

Vettore Limite delle Probabilità di Stato

Il vettore limite delle probabilità di stato π deve essere, per

le sue caratteristiche, invariante, cioè tale che (in virtù della

relazione già vista ( ) ( ) ( )T Tn 1 nx x⎡ ⎤ ⎡ ⎤= ⋅⎣ ⎦ ⎣ ⎦ P ) sia:

T TPπ ⋅ = π

π può essere determinato risolvendo il sistema di equazioni

lineari corrispondente a questa relazione di invarianza.

ESEMPIO DI VETTORE LIMITE

;P = x =x

Risolvendo

G Gcioè

Applicazioni

• Processi di Nascita e Morte

• Teoria delle file di attesa (teoria delle code)

• Molte altre

l12-tfa catene di markov nuovi lucidi -...

Documents

tfa templates

best · 2019. 11. 8. · bfw7 bfw8 bfw9 bfw10. 19 listwy...

l12 - schioppa

involvement ofwildtype p53protein inthecellcycle requires...

catene di markov - dei.unipd.itfornasini/10bis_catene di...

*tfa - postcard

tfa degradi

ordinanza obbligo catene

presentazione tfa

diagnostics with tfa, best practices - doag.org many log...

catene da neve

l12 - brown

tfa | lahistoria

catene e guida catene...catene e guida catene catene a rulli...

proiect tfa

appendix l12 - amazon web services · appendix l12 draft ea...

catene di markov

tfa presentation

tfa presentation1

sensa catene