cadenas de markov - mastersierramastersierra.com/descargas/markov_io2_20171.pdf · 2017. 4. 22. ·...
TRANSCRIPT
Cadenas de Markov
Mag. Miguel Sierra
Contenido
Procesos estocásticos
Concepto de cadena de Markov
Procesos estocásticos
Es una herramienta que modela procesos
aleatorios en el tiempo
Un proceso estocástico es una familia de
variables aleatorias parametrizadas por el
tiempo
El espacio de estados S de un proceso
estocástico es el conjunto de todos los
posibles valores que puede tomar dicho
proceso: {1, 2, 3, .., k}
Ejemplo de proceso estocástico
Se lanza una moneda al aire 6 veces.
El jugador gana $1 cada vez que sale cara
(C), y pierde $1 cada vez que sale sello (S).
Xi = estado de cuentas del jugador luego de
la i-ésima jugada (en el tiempo o instante i)
La familia de variables aleatorias:
{X1, X2,…, X6} constituye un proceso
estocástico
Ejemplo de proceso
estocástico
={CCCCCC,CCCCCS,…}
n() = 26 = 64
P()=1/64
t={1, 2, 3, 4, 5, 6} (tiempo o vez que lanza)
S={–6, –5, …, –1, 0, 1, 2, …, 5, 6} (posibles
estados de ganancias o pérdidas)
Rango(X1)={–1, 1} (Estados después de t=1)
Rango (X2)={–2, 0, 2} (Estados después de t=2)
Ejemplo de proceso
estocástico
Si se fija ω, por ejemplo 0=CCSSSC
(secuencia o ruta), se obtiene una secuencia
de valores completamente determinista de
las ganancias:
X1(0)=1, X2(0)=2, X3(0)=1, X4(0)=0,
X5(0)= –1, X6(0)=0
Se puede dibujar con estos valores la
trayectoria del proceso:
Ejemplo de proceso
estocástico: 0=CCSSSC
-2
-1
0
1
2
3
1 2 3 4 5 6
Instante de tiempo, t
Valo
r d
el
pro
ceso
Ejemplo de proceso
estocástico
Si se fija t, por ejemplo t =3, se obtiene una
de las variables aleatorias del proceso.
:3X
3X
Los posibles valores que puede tomar el
proceso en t =3 son: Rango (X3)={–3, –1, 1, 3}
Ejemplo de proceso
estocástico
Podemos hallar la probabilidad de que el
proceso tome cada uno de estos valores:
8
3
2
1
2
1
2
13SCCPCCSP CSCP 1XP 3
8
1
2
1
2
1
2
1CCCP 3XP 3
8
3
2
1
2
1
2
13CSSPSSCP SCSP 1XP 3
8
1
2
1
2
1
2
1SSSP 3XP 3
Cadenas de Markov
Las cadenas de Markov (CM) y los procesos deMarkov son un tipo especial de procesosestocásticos que poseen la siguiente propiedad:
Propiedad de Markov: Conocido el estado delproceso en un momento dado, sucomportamiento futuro no depende del pasado.Dicho de otro modo: “dado el presente, elfuturo es independiente del pasado”
Cadenas de Markov
Se tiene espacios de estados discretos S y
conjuntos de instantes de tiempo T, también
discretos, T={t0, t1, t2,…}
Una cadena de Markov (CM) es una sucesión de
variables aleatorias Xi, iN, tal que:
tttt XjXpXXXjXp )(),...,,()( 1101
que es la propiedad de Markov para t discreto.
Probabilidades de transición
Las CM están completamente caracterizadas porlas probabilidades de transición en una etapa, paraun t específico:
TtSjiiXjXp tt ,,,)()( 1
Sólo trabajaremos con CM homogéneas en el
tiempo, que son aquellas en las que :
ijp )()(,, 1 iXjXPTtSji tt
donde pij se llama probabilidad de transición en una
etapa desde el estado i hasta el estado j
Además, pij es independiente del tiempo
Tt
Matriz de transición
Los pij se agrupan en la denominada matriz
de transición de la CM:
Sjiijp
ppp
ppp
ppp
P
,
333231
232221
131211
............
...
...
...
Algunos denotan la matriz P, como la matriz M.
Propiedades de la matriz de
transición
Por ser los pij probabilidades,
1,0,, ijpSji
Por ser 1, la probabilidad del evento seguro, cada fila
ha de sumar 1, es decir,
1, Sj
ijpSi
Una matriz que cumpla estas dos propiedades se llama
matriz estocástica
Diagrama de transición de
estados
El diagrama de transición de estados (DTE) de
una CM, es un grafo dirigido cuyos nodos son
los estados de la CM y cuyos arcos se
etiquetan con la probabilidad de transición de
un estado (inicio) al otro (fin).
Si la probabilidad es nula, no se pone arco.
i jpij
Ejemplo: línea telefónica
Sea una línea telefónica de estados:
ocupada=1 y desocupada=2.
Si en el instante t está ocupada, en el
instante t+1 estará ocupada con probabilidad
0.7 y desocupada con probabilidad 0.3.
Si en el instante t está desocupada, en el t+1
estará ocupada con probabilidad 0.1 y
desocupada con probabilidad 0.9
Asumir que los instantes son de 1 minuto.
Ejemplo: línea telefónica
9.01.0
3.07.0P
1 20.7
0.3
0.1
0.9
p11
p12
Ejemplo: Lanzar un dado
Se lanza un dado repetidas veces. Cada vez
que sale menor que 5 se pierde $1 , y cada
vez que sale 5 ó 6 se gana $1. El juego
acaba cuando se tienen $0 ó $100.
Sea Xt = estado de cuentas en el instante t.
Tenemos que { Xt } es una CM
S={0, 1, 2, …, 100}
Ejemplo: Lanzamiento de un dado
0 1 2 32/3
…
1
4 5…
2/32/32/32/3 2/3
1/3 1/3 1/3 1/3
100999897
1
2/3 2/3
1/31/3
2/3
1/3
1/3
1/3…
…
…
Ecuación de Chapman-Kolmogorov
Teorema: Las probabilidades de transición en n
etapas vienen dadas por la matriz Pn:
)(,, npiXjXPSji ijtnt
Se observa que la probabilidad de transitar de i hasta j en n
pasos es pij(n), que es el elemento (i,j) de Pn
Probabilidades de estado estable
Sabiendo que la probabilidad de transitar de i
hasta j en n pasos es el elemento (i,j) de Pn
denotado como pij(n) : Es útil averiguar el comportamiento del sistema en el
límite cuando n, llamado también
comportamiento a largo plazo.
Para describir el comportamiento a largo plazo se usan
las probabilidades de estado estable.
Cuando n pij(n) πj cualquiera sea i
πj es la probabilidad en estado estable del estado j
Probabilidades de estado estable
Teorema : Sea P la matriz de transición de una cadena de Markov. Existe entonces un vector π= [π1, π2, π3, π4, .., πk], tal que:
1 2 k
1 π1 π2 …. πk
Lim Pn = 2 π1 π2 …. πk
n ∞ -- --- --- --- ---
k π1 π2 πk
Para cualquier estado inicial i, lim pij (n) = πj
n ∞
Después de largo tiempo, la cadena de Markov se estabiliza, además, independientemente del estado inicial i, hay una probabilidad πj de que nos encontremos en el estado j.
El vector π= [π1, π2, π3, π4, .., πk] , se llama distribución de estado estable o también distribución de equilibrio para la cadena de Markov.
Hallando las Probabilidades de
estado estable
Las πj satisfacen de manera única el siguiente
sistema de ecuaciones:
Para j = 1,2, ……,s
s
k
kjkj p1
s
k
k
1
1
Como son mas ecuaciones que variables, se elimina
una ecuación (una de las primeras).
Otra opción es realizar potencias sucesivas de la
matriz P, hasta que se estabilice.
Denotamos esta matriz como P∞ o también P∞
Problema Las compras de los consumidores están influidas por la publicidad, el precio y muchos otrosfactores. Con frecuencia un factor clave es la última compra del consumidor. Si por ejemplo, alguiencompra una batería marca X, y obtiene un buen servicio, quedará predispuesto a comprar otra bateríamarca X. De hecho, una investigación de mercado puede determinar el grado de lealtad a la marcaencuestando a los consumidores. En términos de cadenas de Markov, los resultados de la investigaciónson las probabilidades de transición de seguir con la marca o de cambiar.
En la siguiente cadena de Markov, la marca A es la marca de interés, y la marca B representa todas las
demás marcas. Los clientes son bastante leales, el 80% de ellos son clientes que vuelven a comprar el
producto. La oposición conserva el 70% de sus clientes. Estos posibles cambio se detectan cada mes:
marca A marca B
marca A 0.8 0.2
marca B 0.3 0.7
¿Qué porcentaje del mercado esperará recibir el fabricante de la marca A en el largo plazo’?
Solución:
Resolviendo el sistema de ecuaciones (eliminar una de las dos primeras ecuaciones):
πA = 0.8 πA + 0.3 πB
πB = 0.2 πA + 0.7 πB
1 = πA + πB
Se obtiene πA= 0.6 y πB = 0.4.
El fabricante de la marca A esperará recibir el 60% del mercado en el largo plazo.
La otra opción para resolver el problema es realizar potencias sucesivas de la matriz P, hasta que se estabilice.
Probabilidades de estado estable