aplicación de cadenas de markov y teoría de colas

Notación Kendall-LeeProcesos de Nacimiento y Muerte

Ejemplo de Cadena de Markov para dos EstadosCadenas de Markov

Aplicación de Cadenas de Markov

Carlos Ernesto Martínez Rodríguez

Universidad Autónoma de la Ciudad de México, Casa Libertad

[email protected] Aplicación de Cadenas de Markov 1 / 66

http://carlosmartinez.expresauacm.org/



Índice

1 Notación Kendall-Lee

2 Procesos de Nacimiento y MuerteCola M/M/1Cola M/M/∞Cola M/M/mCola M/G/1

3 Ejemplo de Cadena de Markov para dos Estados

4 Cadenas de MarkovEstacionareidadTeoría ErgódicaCriterios de Ergodicidad





Notación de Kendall

A partir de este momento se harán las siguientes consideraciones: Si tnes el tiempo aleatorio en el que llega al sistema el n-ésimo cliente, paran = 1, 2, . . ., t0 = 0 y t0 < t1 < · · · se definen los tiempos entre arribosτn = tn − tn−1 para n = 1, 2, . . ., variables aleatorias independientes eidénticamente distribuidas. Los tiempos entre arribos tienen un valormedio E (τ) finito y positivo 1

β, es decir, β se puede ver como la tasa o

intensidad promedio de arribos al sistema por unidad de tiempo. Ademásse supondrá que los servidores son identicos y si s denota la variablealeatoria que describe el tiempo de servicio, entonces E (s) = 1

δ, δ es la

tasa promedio de servicio por servidor.






La notación de Kendall-Lee es una forma abreviada de describir unsisema de espera con las siguientes componentes:

i) Fuente: Población de clientes potenciales del sistema, esta puedeser finita o infinita.

ii) Proceso de Arribos: Proceso determinado por la función dedistribución A (t) = P {τ ≤ t} de los tiempos entre arribos.






Además tenemos las siguientes igualdades

N (t) = Nq (t) + Ns (s) (1)

dondeN (t) es el número de clientes en el sistema al tiempo t .Nq (t) es el número de clientes en la cola al tiempo tNs (t) es el número de clientes recibiendo servicio en el tiempo t .

Bajo la hipótesis de estacionareidad, es decir, las características defuncionamiento del sistema se han estabilizado en valoresindependientes del tiempo, entonces

N = Nq + Ns . (2)

Los valores medios de las cantidades anteriores se escriben comoL = E (N), Lq = E

(Nq

)y Ls = E (Ns), entonces de la ecuación 1 se

obtiene

L = Lq + Ls (3)[email protected] Aplicación de Cadenas de Markov 5 / 66





Si q es el tiempo que pasa un cliente en la cola antes de recibir servicio,y W es el tiempo total que un cliente pasa en el sistema, entonces

w = q + s

por lo tantoW = Wq + Ws ,

donde W = E (w), Wq = E (q) y Ws = E (s) = 1δ.

La intensidad de tráfico se define como

ρ =E (s)E (τ)

=β

δ. (4)

La utilización por servidor es

u =ρ

c=β

cδ. (5)

donde c es el número de [email protected] Aplicación de Cadenas de Markov 6 / 66




Más sobre la notación Kendall-Lee

Esta notación es una forma abreviada de describir un sistema de esperacon componentes dados a continuación, la notación es

A/S/c/K/F/d (6)

Cada una de las letras describe:

A es la distribución de los tiempos entre arribos.

S es la distribución del tiempo de servicio.

c es el número de servidores.

K es la capacidad del sistema.

F es el número de individuos en la fuente.

d es la disciplina del servicio

Usualmente se acostumbra suponer que K = ∞, F = ∞ y d = FIFO , esdecir, First In First Out.





Más sobre la notación Kendall-Lee

Las distribuciones usuales para A y B son:

GI para la distribución general de los tiempos entre arribos.

G distribución general del tiempo de servicio.

M Distribución exponencial para A o S.

EK Distribución Erlang-K , para A o S.

D tiempos entre arribos o de servicio constantes, es decir,deterministicos.





Cola M/M/1Cola M/M/∞Cola M/M/mCola M/G/1Cola M/M/m/mSistemas AbiertosSistemas Abiertos

Procesos de Nacimiento y Muerte

Por un proceso de nacimiento y muerte se entiende un proceso de saltosde markov {Xt }t≥0 con espacio de estados a lo más numerable, con lapropiedad de que sólo puede ir al estado n + 1 o al estado n − 1, es decir,su matriz de intensidad es de la forma

Λ =

−β0 β0 0 0 0 · · ·

δ1 −β1 − δ1 β1 0 0 · · ·

0 δ2 −β2 − δ2 β2 0 · · ·

.... . .

donde βn son las intensidades de nacimiento y δn las intensidades demuerte, o también se puede ver como a Xt el número de usuarios en unacola al tiempo t , un salto hacia arriba corresponde a la llegada de unnuevo usuario y un salto hacia abajo como al abandono de un usuariodespués de haber recibido su servicio.







La cadena de saltos {Yn} tiene matriz de transición dada por

Q =

0 1 0 0 0 · · ·

q1 0 p1 0 0 · · ·

0 q2 0 p2 0 · · ·

.... . .

donde pn = βn

βn+δny qn = 1 − pn = δn

βn+δn, donde además se asumne por el

momento que pn no puede tomar el valor 0 ó 1 para cualquier valor de n.







Proposición

La recurrencia de {Xt }, o equivalentemente de {Yn} es equivalente a

∞∑n=1

δ1 · · · δn

β1 · · · βn=∞∑

n=1

q1 · · · qn

p1 · · · pn= ∞ (7)

Lema

Independientemente de la recurrencia o transitorieadad, existe una ysólo una, salvo múltiplos, solución a vΛ = 0, dada por

vn =β0 · · · βn−1

δ1 · · · δnv0 (8)

para n = 1, 2, . . [email protected] Aplicación de Cadenas de Markov 11 / 66






Corolario

En el caso recurrente, la medida estacionaria µ para {Yn} está dada por

µn =p1 · · · pn−1

q1 · · · qnµ0 (9)

para n = 1, 2, . . ..







Se define a S = 1 +∑∞

n=1β0β1···βn−1δ1δ2···δn

Corolario

{Xt } es ergódica si y sólo si la ecuación (36) se cumple y además S < ∞,en cuyo caso la distribución ergódica, π, está dada por

π0 =1S

, πn =1Sβ0 · · · βn−1

δ1 · · · δn(10)

para n = 1, 2, . . ..






Cola M/M/1

Este modelo corresponde a un proceso de nacimiento y muerte conβn = β y δn = δ independiente del valor de n. La intensidad de tráficoρ = β

δ, implica que el criterio de recurrencia (ecuación 36) quede de la

forma:

1 +∞∑

n=1

ρ−n = ∞.

Equivalentemente el proceso es recurrente si y sólo si∑n≥1

(β

δ

)n

< ∞ ⇔β

δ< 1

Entonces S = δδ−β

, luego por la ecuación 39 se tiene que






Cola M/M/1

π0 =δ − β

δ= 1 −

β

δ

πn = π0

(β

δ

)n

=(1 −

β

δ

) (β

δ

)n

= (1 − ρ) ρn

Lo cual nos lleva a la siguiente

Proposición

La cola M/M/1 con intendisad de tráfico ρ, es recurrente si y sólo siρ ≤ 1.






Cola M/M/1

Entonces por el corolario 3.1

Proposición

La cola M/M/1 con intensidad de tráfico ρ es ergódica si y sólo si ρ < 1.En cuyo caso, la distribución de equilibrio π de la longitud de la cola esgeométrica, πn = (1 − ρ) ρn, para n = 1, 2, . . ..

De la proposición anterior se desprenden varios hechos importantes.

1 P [Xt = 0] = π0 = 1 − ρ, es decir, la probabilidad de que el sistema seencuentre ocupado.

2 De las propiedades de la distribución Geométrica se desprende que1 E [Xt ] = ρ

1−ρ ,2 Var [Xt ] = ρ

(1−ρ)2.






Cola M/M/1

Si L es el número esperado de clientes en el sistema, incluyendo los queestán siendo atendidos, entonces

L =ρ

1 − ρ

Si además W es el tiempo total del cliente en la cola: W = Wq + Ws

ρ = E[s]E[τ] = βWs , puesto que Ws = E [s] y E [τ] = 1

δ. Por la fórmula de Little

L = λW

W =Lβ

=ρ

1−ρ

β=ρ

δ

11 − ρ

=Ws

1 − ρ

=1

δ (1 − ρ)=

1δ − β






Cola M/M/1

luego entonces

Wq = W −Ws =1

δ − β−

1δ

=β

δ(δ − β)

=ρ

1 − ρ1δ

= E [s]ρ

1 − ρ

Entonces

Lq = βWq =ρ2

1 − ρ.

Finalmente






Cola M/M/1

Proposición

1 W (t) = 1 − e−t

W .

2 Wq (t) = 1 − ρ exp−t

W .

donde W = E(w).






Cola M/M/∞

Este tipo de modelos se utilizan para estimar el número de líneas en usoen una gran red comunicación o para estimar valores en los sistemasM/M/c o M/M/c/c, en el se puede pensar que siempre hay un servidordisponible para cada cliente que llega.

Se puede considerar como un proceso de nacimiento y muerte conparámetros βn = β y µn = nµ para n = 0, 1, 2, . . ., entonces por laecuación 39 se tiene que

π0 = eρ

πn = e−ρρn

n!






Cola M/M/∞

Entonces, el número promedio de servidores ocupados es equivalente aconsiderar el número de clientes en el sistema, es decir,

L = E [N] = ρ

Var [N] = ρ






Cola M/M/∞

Además se tiene que Wq = 0 y Lq = 0.

El tiempo promedio en el sistema es el tiempo promedio de servicio, esdecir, W = E [s] = 1

δ. Resumiendo, tenemos la siguiente proposición:

Proposición

La cola M/M/∞ es ergódica para todos los valores de η. La distribuciónde equilibrio π es Poisson con media η, πn = e−nηn

n! .






Cola M/M/m

Este sistema considera m servidores idénticos, con tiempos entre arribosy de servicio exponenciales con medias E [τ] = 1

βy E [s] = 1

δ. definimos

ahora la utilización por servidor como u = ρm que también se puede

interpretar como la fracción de tiempo promedio que cada servidor estáocupado.

La cola M/M/m se puede considerar como un proceso de nacimiento ymuerte con parámetros: βn = β para n = 0, 1, 2, . . . y

δn ={

nδ n = 0, 1, . . . ,m − 1cδ n = m, . . .

entonces la condición de recurrencia se va a cumplir sí y sólo si∑n≥1

β0···βn−1δ1···δn

< ∞, equivalentemente se debe de cumplir que






Cola M/M/m

S = 1 +∑n≥1

β0 · · · βn−1

δ1 · · · δn=

m−1∑n=0

β0 · · · βn−1

δ1 · · · δn+∞∑

n=0

β0 · · · βn−1

δ1 · · · δn

=m−1∑n=0

βn

n!δn +∞∑

n=0

ρm

m!un

converja, lo cual ocurre si u < 1, en este caso






Cola M/M/m

S =m−1∑n=0

ρn

n!+ρm

m!(1 − u)

luego, para este caso se tiene que

π0 =1S

πn = π0

ρn

n! n = 0, 1, . . . ,m − 1π0

ρn

m!mn−m n = m, . . .






Cola M/M/m

Al igual que se hizo antes, determinaremos los valores de Lq,Wq,W y L :

Lq = E[Nq

]=∞∑

n=0

(n −m) πn =∞∑

n=0

nπn+m

=∞∑

n=0

nπ0ρn+m

m!mn+m = π0ρm

m!

∞∑n=0

nun = π0uρm

m!

∞∑n=0

ddu

un

= π0uρm

m!ddu

∞∑n=0

un = π0uρm

m!ddu

(1

1 − u

)= π0

uρm

m!1

(1 − u)2






Cola M/M/m

es decir

Lq =uπ0ρ

m

m! (1 − u)2(11)

luego

Wq =Lq

β(12)

W = Wq +1δ

(13)

Si definimos C (m, ρ) = π0ρm

m!(1−u) = πm1−u , que es la probabilidad de que un

cliente que llegue al sistema tenga que esperar en la cola. Entoncespodemos reescribir las ecuaciones recién enunciadas:






Cola M/M/m

Lq =C (m, ρ) u

1 − u

Wq =C (m, ρ)E [s]

m (1 − u)

Proposición

La cola M/M/m con intensidad de tráfico ρ es ergódica si y sólo si ρ < 1.En este caso la distribución ergódica π está dada por

πn = 1

Sηn

n! 0 ≤ n ≤ m1Sηm

m!ρn−m m ≤ n < ∞






Cola M/M/m

Proposición

Para t ≥ 0

a) Wq (t) = 1 − C (m, ρ) e−cδt(1−u)

b)

W (t) = 1 + e−δt ρ−m+Wq(0)

m−1−ρ + e−mδt(1−u) C(m,ρ)m−1−ρ ρ , m − 1

1 − (1 + C (m, ρ) δt) e−δt ρ = m − 1






Cola M/G/1

Consideremos un sistema de espera con un servidor, en el que lostiempos entre arribos son exponenciales, y los tiempos de servicio tienenuna distribución general G. Sea N (t)t≥0 el número de clientes en elsistema al tiempo t , y sean t1 < t2 < . . . los tiempos sucesivos en los quelos clientes completan su servicio y salen del sistema.La sucesión {Xn} definida por Xn = N (t) es una cadena de Markov, enespecífico es la Cadena encajada del proceso de llegadas de usuarios.Sea Un el número de clientes que llegan al sistema durante el tiempo deservicio del n-ésimo cliente, entonces se tiene que

Xn+1 ={

Xn − 1 + Un+1 si Xn ≥ 1,Un+1 si Xn = 0






Cola M/G/1

Dado que los procesos de arribos de los usuarios es Poisson conparámetro λ, la probabilidad condicional de que lleguen j clientes alsistema dado que el tiempo de servicio es s = t , resulta:

P {U = j|s = t} = e−λt (λt)j

j!, j = 0, 1, . . .

por el teorema de la probabilidad total se tiene que

aj = P {U = j} =∫ ∞

0P {U = j|s = t} dG (t) =

∫ ∞

0e−λt (λt)j

j!dG (t) (14)

donde G es la distribución de los tiempos de servicio.






Cola M/G/1

Las probabilidades de transición de la cadena están dadas por

p0j = P {Un+1 = j} = aj , para j = 0, 1, . . . (15)

y para i ≥ 1

pij ={P {Un+1 = j − i + 1} = aj−i+1 , para j ≥ i − 1

0 j < i − 1 (16)






Cola M/G/1

Sea ρ =∑

n=0 nan, entonces se tiene el siguiente teorema:

Teorema

La cadena encajada {Xn} es

a) Recurrente positiva si ρ < 1,

b) Transitoria si ρ > 1,

c) Recurrente nula si ρ = 1.

Además, se tiene que ρ = βE [s] = βδ

y la distribución estacionaria estádada por

πj = π0aj +j+1∑i=1

πiaj−i+1, para j = 0, 1, . . . (17)

π0 = 1 − ρ (18)






Cola M/G/1

Además se tiene que

L = π′

(1) = ρ +A′′

(1)2 (1 − ρ)

(19)

pero A′′

(1) =∑

n=1 n (n − 1) an = E[U2

]− E [U], E [U] = ρ y

E[U2

]= λ2E

[s2

]+ ρ. Por lo tanto L = ρ +

β2E[s2]2(1−ρ) .

De las fórmulas de Little, se tiene que W = E (w) = Lβ, también el tiempo

de espera en la cola

Wq = E (q) = E (w) − E (s) =Lβ−

1δ, (20)

además el número promedio de clientes en la cola es

Lq = E(Nq

)= βWq = L − ρ (21)






Cola M/M/m/m

Consideremos un sistema con m servidores idénticos, pero ahora cadauno es de capacidad finita m. Si todos los servidores se encuentranocupados, el siguiente usuario en llegar se pierde pues no se le dejaesperar a que reciba servicio. Este tipo de sistemas pueden verse comoun proceso de nacimiento y muerte con

βn ={β n = 0, 1, 2, . . . ,m − 10 n ≥ m

δn ={

nδ n = 0, 1, 2, . . . ,m − 10 n ≥ m






Cola M/M/m/m

El proceso tiene epacio de estados finitos, S = {0, 1, . . . ,m}, entonces delas ecuaciones que determinan la distribución estacionaria se tiene que

πn ={π0

ρn

n! n = 0, 1, 2, . . . ,m0 n ≥ m

(22)

y ademas

π0 =

m∑n=0

ρn

n!

−1

(23)

A la ecuación 22 se le llama distribución truncada.Si definimos πm = B (m, ρ) = π0

ρm

m! , πm representa la probabilidad de quetodos los servidores se encuentren ocupados, y también se le conocecomo fórmula de pérdida de Erlang.






Cola M/M/m/m

Necesariamente en este caso el tiempo de espera en la cola Wq y elnúmero promedio de clientes en la cola Lq deben de ser cero puesto queno se permite esperar para recibir servicio, más aún el tiempode esperaen el sistema y el tiempo de serivcio tienen la misma distribución, esdecir,

W (t) = P {w ≤ t} = 1 − e−µt

, en particular

W = E [w] = E [s] =1δ






Cola M/M/m/m

Por otra parte, el número esperado de clientes en el sistema es

L = E [N] =m∑

n=0

nπn = π0ρ

m∑n=0

ρn−1

(n − 1)!

= π0ρ

m−1∑n=0

ρn

n!

entonces, se tiene que

L = ρ (1 − B (m, ρ)) = E [s] (1 − B (m, ρ)) . (24)

Ademásδq = δ (1 − B (m, ρ)) (25)

representa la tasa promedio efectiva de arribos al sistema.






Sistemas Abiertos

Considerese un sistema con dos servidores, en los cuales los usuariosllegan de acuerdo a un proceso poisson con intensidad λ1 al primerservidor, después de ser atendido se pasa a la siguiente cola en elsegundo servidor. Cada servidor atiende a un usuario a la vez contiempo exponencial con razón µi , para i = 1, 2. A este tipo de sistemas seles conoce como siemas secuenciales.Defínase el par (n,m) como el número de usuarios en el servidor 1 y 2respectivamente. Las ecuaciones de balance son

λP0,0 = µ2P0,1 (26)

(λ + µ1) Pn,0 = µ2Pn,1 + λPn−1,0 (27)

(λ + µ2) P0,m = µ2P0,m+1 + µ1P1,m−1 (28)

(λ + µ1 + µ2) Pn,m = µ2Pn,m+1 + µ1Pn+1,m−1 + λPn−1,m (29)






Sistemas Abiertos

Cada servidor puede ser visto como un modelo de tipo M/M/1, de igualmanera el proceso de salida de una cola M/M/1 con razón λ, nospermite asumir que el servidor 2 también es una cola M/M/1. Además laprobabilidad de que haya n usuarios en el servidor 1 es

P {n en el servidor 1} =(λ

µ1

)n (1 −

λ

µ1

)= ρn

1 (1 − ρ1)

P {m en el servidor 2} =(λ

µ2

)n (1 −

λ

µ2

)= ρm

2 (1 − ρ2)

Si el número de usuarios en los servidores 1 y 2 son variables aleatoriasindependientes, se sigue que:

Pn,m = ρn1 (1 − ρ1) ρm

2 (1 − ρ2) (30)






Sistemas Abiertos

Verifiquemos que Pn,m satisface las ecuaciones de balance (26) Antes deeso, enunciemos unas igualdades que nos serán de utilidad:

µiρi = λ para i = 1, 2.






Sistemas Abiertos

λP0,0 = λ (1 − ρ1) (1 − ρ2)

y µ2P0,1 = µ2 (1 − ρ1) ρ2 (1 − ρ2)

⇒ λP0,0 = µ2P0,1

(λ + µ2) P0,m = (λ + µ2) (1 − ρ1) ρm2 (1 − ρ2)

µ2P0,m+1 = λ (1 − ρ1) ρm2 (1 − ρ2)

= µ2 (1 − ρ1) ρm2 (1 − ρ2)

µ1P1,m−1 =λ

ρ2(1 − ρ1) ρm

2 (1 − ρ2)

⇒ (λ + µ2) P0,m = µ2P0,m+1 + µ1P1,m−1

(λ + µ1 + µ2) Pn,m = (λ + µ1 + µ2) ρn (1 − ρ1) ρm2 (1 − ρ2)

µ2Pn,m+1 = µ2ρ2ρn1 (1 − ρ1) ρm

2 (1 − ρ2)






Procesos de Salto

Consideremos un estado que comienza en el estado x0 al tiempo 0,supongamos que el sistema permanece en x0 hasta algún tiempopositivo τ1, tiempo en el que el sistema salta a un nuevo estado x1 , x0.Puede ocurrir que el sistema permanezca en x0 de manera indefinida, eneste caso hacemos τ1 = ∞. Si τ1 es finito, el sistema permanecerá en x1

hasta τ2, y así sucesivamente. Sea

X (t) =

x0 0 ≤ t < τ1

x1 τ1 ≤ t < τ2

x2 τ2 ≤ t < τ3...

(31)

A este proceso se le llama proceso de salto. Si

limn→∞τn ={< ∞ Xt explota= ∞ Xt no explota (32)






Procesos de Salto

Un proceso puro de saltos es un proceso de saltos que satisface lapropiedad de Markov.

Proposición

Un proceso de saltos es Markoviano si y sólo si todos los estados noabsorbentes x son tales que

Px (τ1 > t + s|τ1 > s) = Px (τ1 > t)

para s, t ≥ 0, equivalentemente

1 − Fx (t + s)1 − Fx (s)

= 1 − Fx (t) . (33)






Procesos de Salto

Observaciones

Una distribución Fx satisface la ecuación (33) si y sólo si es una funciónde distribución exponencial para todos los estados no absorbentes x.

Por un proceso de nacimiento y muerte se entiende un proceso deMarkov de Saltos, {Xt }t≥0 en E = N tal que del estado n sólo se puedemover a n − 1 o n + 1, es decir, la matriz intensidad es de la forma:

Λ =

−β0 β0 0 0 . . .δ1 −β1 − δ1 β1 0 . . .0 δ2 −β2 − δ2 β2 . . ....

. . .

(34)

donde βn son las probabilidades de nacimiento y δn las probabilidadesde muerte.






Procesos de Salto

La matriz de transición es

Q =

0 1 0 0 . . .q1 0 p1 0 . . .0 q2 0 p2 . . ....

. . .

(35)

con pn = βnβn+δn

y qn = δnβn+δn






Proposición

La recurrencia de un Proceso Markoviano de Saltos {Xt }t≥0 con espaciode estados numerable, o equivalentemente de la cadena encajada {Yn}

es equivalente a

∞∑n=1

δ1 · · · δn

β1 · · · βn=∞∑

n=1

q1 · · · qn

p1 · · · pn= ∞ (36)

Lema

Independientemente de la recurrencia o transitoriedad de la cadena, hayuna y sólo una, salvo múltiplos, solución ν a νΛ = 0, dada por

νn =β0 · · · βn−1

δ1 · · · δnν0 (37)






Corolario

En el caso recurrente, la medida estacionaria µ para {Yn} está dada por

µn =p1 · · · pn−1

q1 · · · qnµ0 (38)

para n = 1, 2, . . .

Definición

Una medida ν es estacionaria si 0 ≤ νj < ∞ y para toda t se cumple queνP t = nu.






Procesos de Salto

Definición

Un proceso irreducible recurrente con medida estacionaria con masafinita es llamado ergódico.

Teorema

Un Proceso de Saltos de Markov irreducible no explosivo es ergódico si ysólo si uno puede encontrar una solución π de probabilidad, |π| = 1,0 ≤ πj ≤ 1 para νΛ = 0. En este caso π es la distribución estacionaria.






Corolario

{Xt }t≥0 es ergódica si y sólo si (36) se cumple y S < ∞, en cuyo caso ladistribución estacionaria π está dada por

π0 =1S

, πn =1Sβ0 · · · βn−1

δ1 · · · δn, n = 1, 2, . . . (39)

Proposición

La cola M/M/1 con intensidad de tráfico ρ es recurrente si y sólo si ρ ≤ 1

Proposición

La cola M/M/1 con intensidad de tráfica ρ es ergodica si y sólo si ρ < 1.En este caso, la distribución de equilibrio π de la longitud de la cola esgeométrica, πn = (1 − ρ) ρn, para n = 0, 1, 2, . . ..






Este caso corresponde a βn = β y δn = nδ. El parámetro de interés esη = β

δ, de donde se obtiene:

∑n≥0

δ1 · · · δn

β1 · · · βn=∞∑

n=1

n!ηn = ∞,

S = 1 +∞∑

n=1

ηn

n!= en.

Proposición

La cola M/M/∞ es ergodica para todos los valores de η. La distribuciónde equilibrio π es Poisson con media η, πn = e−nη

n!

En este caso βn = β y δn = m (n) δ, donde m (n) = n, 1 ≤ n ≤ m. Laintensidad de tráfico es ρ = β

mδ , se tiene entonces que βn/δn = ρ paran ≥ m. Así, para el caso m = 1,





Cadena de Markov con dos estados

Supongamos que se tiene la siguiente cadena:(1 − q q

p 1 − p

)(40)

Si P [X0 = 0] = π0(0) = a y P [X0 = 1] = π0(1) = b = 1 − π0(0), cona + b = 1, entonces después de un procedimiento más o menos corto setiene que:

P [Xn = 0] =p

p + q+ (1 − p − q)n

(a −

pp + q

)P [Xn = 1] =

qp + q

+ (1 − p − q)n(b −

qp + q

)donde, como 0 < p, q < 1, se tiene que |1 − p − q| < 1, entonces(1 − p − q)n

→ 0 cuando n → ∞. Por lo tanto

limn→∞P [Xn = 0] =p

p + q

limn→∞P [Xn = 1] =q

p + q

Si hacemos v =(

pp+q ,

qp+q

), entonces(

pp + q

,q

p + q

) (1 − q q

p 1 − p

)





EstacionareidadTeoría ErgódicaCriterios de Ergodicidad

Estacionareidad

Sea v = (vi)i∈E medida no negativa en E, podemos definir una nuevamedida vP que asigna masa

∑i∈E vipij a cada estado j.

Definición

La medida v es estacionaria si vi < ∞ para toda i y además vP = v.

En el caso de que v sea distribución, independientemente de que seaestacionaria o no, se cumple con

Pv [X1 = j] =∑i∈E

Pv [X0 = i] pij =∑i∈E

vipij = (vP)j






Estacionareidad

Teorema

Supongamos que v es una distribución estacionaria. Entonces

i) La cadena es estrictamente estacionaria con respecto a Pv , esdecir, Pv -distribución de {Xn,Xn+1, . . .} no depende de n;

ii) Existe un aversión estrictamente estacionaria {Xn}n∈Z de la cadenacon doble tiempo infinito y P (Xn = i) = vi para toda n ∈ Z.






Estacionareidad

Teorema

Sea i estado fijo, recurrente. Entonces una medida estacionaria v puededefinirse haciendo que vj sea el número esperado de visitas a j entre dosvisitas consecutivas i,

vj = Ei

τ(i)−1∑n=0

11 (Xn = i) =∞∑

n=0

Pi [Xn = j, τ(i) > n] (41)






Estacionareidad

Teorema

Si la cadena es irreducible y recurrente, entonces una medidaestacionaria v existe, satisface 0 < vj < ∞ para toda j y es única salvofactores multiplicativos, es decir, si v , v∗ son estacionarias, entoncesc = cv∗ para alguna c ∈ (0,∞).






Estacionareidad

Corolario

Si la cadena es irreducible y positiva recurrente, existe una únicadistribución estacionaria π dada por

πj =1EiτiEi

τ(i)−1∑n=0

11 (Xn = j) =1Ejτ (j)

. (42)

Corolario

Cualquier cadena de Markov irreducible con un espacio de estados finitoes positiva recurrente.






Estacionareidad y Teoría Ergódica

Lema

Sea {Xn} cadena irreducible y se F subconjunto finito del espacio deestados. Entonces la cadena es positiva recurrente si Eiτ (F) < ∞ paratodo i ∈ F.

Proposición

Sea {Xn} cadena irreducible y transiente o cero recurrente, entoncespn

ij → 0 conforme n → ∞ para cualquier i, j ∈ E, E espacio de estados.

Utilizando el teorema (2.2) y el corolario refCor.3.5, se demuestra elsiguiente resultado importante.







Teorema

Sea {Xn} cadena irreducible y aperiódica positiva recurrente, y seaπ =

{πj

}j∈E

la distribución estacionaria. Entonces pnij → πj para todo i, j.

Definición

Una cadena irreducible aperiodica, positiva recurrente con medidaestacionaria v, es llamada ergódica.






Estacionareidad

Proposición

Sea {Xn} cadena irreducible y recurrente con medida estacionaria v,entocnes para todo i, j, k , l ∈ E∑m

n=0 pnij∑m

n=0 pnlk

→vj

vk, m → ∞ (43)

Lema

La matriz P̃ con elementos p̃ij = vjipji

vies una matriz de transición.

Además, el i-ésimo elementos p̃mij de la matriz potencia P̃m está dada

por p̃mij =

vjipmji

vi.







Lema

Defínase Nmi =

∑mn=0 11 (Xn = i) como el número de visitas a i antes del

tiempo m. Entonces si la cadena es reducible y recurrente,limm→∞

EjNmi

Ek Nmi

= 1 para todo j, k ∈ E.






Criterios de Ergodicidad

Definición

Un proceso irreducible recurrente con medida estacionaria de masafinita es llamado ergódico.

Teorema

Un proceso de Markov de saltos irreducible no explosivo es ergódico si ysólo si se puede encontrar una solución, de probabilidad, π, con |π| = 1 y0 ≤ πj ≤ 1, a πΛ = 0. En este caso π es la distribución estacionaria.

Corolario

Una condición suficiente para la ergodicidad de un proceso irreducible esla existencia de una probabilidad π que resuelva el sistema πΛ = 0 y queademás tenga la propiedad de que

∑πjλ (j) < ∞.







Proposición

Si el proceso es ergódico, entonces existe una versión estrictamenteestacionaria {Xt }−∞<t<∞con doble tiempo infinito.

Teorema

Si {Xt } es ergódico y π es la distribución estacionaria, entonces para todoi, j, pt

ij → πj cuando t → ∞.

Corolario

Si {Xt } es irreducible recurente pero no ergódica, es decir |v | = ∞,entonces pt

ij → 0 para todo i, j ∈ E.







Corolario

Para cualquier proceso Markoviano de Saltos minimal, irreducible o no,los límites lit→∞pt

ij existe.






Carlos Ernesto Martínez RodríguezAcademia de Matemáticas

Plantel Casa LibertadUniversidad Autónoma de la Ciudad de México

http://carlosmartinez.expresauacm.org/[email protected]



mailto:[email protected]





Vishnevskii V.M. and Semenova O.V., Mathematical Methods to Study the Polling Systems,Automation and Remote Control, vol. 67, no. 2, 2006, pp. 173-220.



aplicación de cadenas de markov y teoría de colas

Documents