Cadenas de MarkovCadenas de Markov

Proceso estocásticoProceso estocásticoCadena de MarkovCadena de MarkovEstadoEstadoTransiciónTransición

Probabilidad de transiciónProbabilidad de transición

Es la probabilidad que ocurra la transición Es la probabilidad que ocurra la transición del estado i al estado j, dado que se está en del estado i al estado j, dado que se está en el estado i.el estado i.

P{ X P{ X t + 1t + 1 = j / X = j / X tt = i } = i }

Probabilidades estacionarias de un pasoProbabilidades estacionarias de un paso

Si para cada i y j se cumple:Si para cada i y j se cumple:

P{ X P{ X t + 1t + 1 = j / X = j / X tt = i } = P{ X = i } = P{ X 11 = j / X = j / X 00 = i } = i }

entonces, se dice que las probabilidades de entonces, se dice que las probabilidades de un paso son estacionariasun paso son estacionarias

Notación: PNotación: Pijij

Probabilidad de transición en n pasosProbabilidad de transición en n pasos

P{ X P{ X t + nt + n = j / X = j / X tt = i } = P{ X = i } = P{ X nn = j / X = j / X 00 = i } = i }

Notación: PNotación: Pijij(n)(n)

Propiedades de PPropiedades de Pijij(n)(n)

1. Pij(n) ≥ 0 para todo i, j y n = 0, 1, 2, …

2. Pij(n) = 1 para todo i, j de 0 a M, y

n = 0, 1, 2, …

Notación matricial, P Notación matricial, P (n)(n)

00 11 22 MM

00 P00(n) P01

(n) P02(n) P0M

(n)

11 P10(n)

22 P20(n)

MM PM0(n) PMM

(n)

Ecuaciones de Chapman - Ecuaciones de Chapman - KolmogorovKolmogorov

Permite calcular la probabilidad de transición en n pasos

Pij(n) = Pik

(m) Pkj(n-m)

para todo i, j, n, 0 ≤ m ≤ n, y la sumatoria desde k=0, hasta k=M

La matriz de probabilidades de transición de La matriz de probabilidades de transición de n pasos se pueden obtener a partir de la n pasos se pueden obtener a partir de la matriz de probabilidades de transición de un matriz de probabilidades de transición de un pasopaso

P (n) = P * P * P * …. * P = P(n-1) * P

Clasificación de estadosClasificación de estados

Definiciones:Definiciones:AccesiblesAccesiblesComunicadosComunicados

Si Si dos estados se comunicandos estados se comunican, pertenecen a la , pertenecen a la misma clasemisma clase

Si todos los estados pertenecen a la misma clase, Si todos los estados pertenecen a la misma clase, entonces entonces la cadena es irreduciblela cadena es irreducible

ffiiii = probabilidad de que el proceso regrese = probabilidad de que el proceso regrese

al estado i, dado que comienza en el estado al estado i, dado que comienza en el estado i.i.

Estado recurrenteEstado recurrente: f: fiiii = 1 = 1

Estado transitorioEstado transitorio: f: fiiii < 1 < 1

Estado absorbenteEstado absorbente: p: piiii = 1 = 1

Tiempos de primera pasadaTiempos de primera pasada

El número de transiciones que hace el El número de transiciones que hace el proceso al ir de un estado i a un estado j por proceso al ir de un estado i a un estado j por primera vez, es el primera vez, es el tiempo de primera tiempo de primera pasadapasada

Cuando j = i, se habla de Cuando j = i, se habla de tiempo de tiempo de recurrencia para el estado irecurrencia para el estado i

ijij = tiempo esperado de primera pasada = tiempo esperado de primera pasada

ijij = infinito, = infinito, si si ffii ii (n)(n) < 1 < 1

ijij = = n * fn * fii ii (n)(n), , si si ffii ii

(n)(n) = 1 = 1

Cuando Cuando ffii ii (n)(n) = 1, = 1, se satisface la ecuación: se satisface la ecuación:

ijij = 1 + = 1 + ppik ik * * kj kj }}

donde la sumatoria varía para todo k donde la sumatoria varía para todo k distinto de jdistinto de j

Cuando i = j, Cuando i = j, ijij se llama se llama tiempo esperado tiempo esperado de recurrenciade recurrencia

Probabilidades de Estado EstableProbabilidades de Estado Estable

Es la probabilidad de que le sistema se Es la probabilidad de que le sistema se encuentra en el estado j, independiente del encuentra en el estado j, independiente del estado inicialestado inicial

jj = lim p = lim pijij (n)(n) , con n tendiendo al infinito , con n tendiendo al infinito

ii = 1 / = 1 / iiii

Ecuaciones de estado estableEcuaciones de estado estable

1.1. jj = = j *j * p pijij para j = 0, 1, …, M y para j = 0, 1, …, M y

la sumatoria variando de i = 0, 1, …, Mla sumatoria variando de i = 0, 1, …, M

2.2. j j = 1= 1

Estados AbsorbentesEstados Absorbentes

Si k es un estado absorbente, y el proceso Si k es un estado absorbente, y el proceso comienza en el estado i, la probabilidad de comienza en el estado i, la probabilidad de llegar en algún momento a k se llama llegar en algún momento a k se llama probabilidad de absorciónprobabilidad de absorción

Notación: fNotación: fikik

Ecuaciones:Ecuaciones:

ffik ik = = ppijij * * ffjk jk para todo i = 0, 1, …, para todo i = 0, 1, …,

M; y la sumatoria variando de j = 0 hasta M; y la sumatoria variando de j = 0 hasta MM

La ecuación anterior está sujeto a:La ecuación anterior está sujeto a:

ffkk kk = 1= 1

ffik ik = 0, = 0, si el estado i es recurrente, y si el estado i es recurrente, y

además i es distinto de kademás i es distinto de k