new ergodicidade em cadeias de markov n~ao-homog^eneas e … · 2017. 11. 2. · entre ambas usando...
Post on 12-Oct-2020
1 Views
Preview:
TRANSCRIPT
Universidade Federal do Rio Grande do Norte
Centro de Ciencias Exatas e da Terra
Programa de Pos-Graduacao em Matematica Aplicada e Estatıstica
Antonio Marcos Batista do Nascimento
Ergodicidade em Cadeias de MarkovNao-Homogeneas e Cadeias de Markov com
Transicoes Raras
Natal-RN, Fevereiro de 2014
Antonio Marcos Batista do Nascimento
Ergodicidade em Cadeias de MarkovNao-Homogeneas e Cadeias de Markov com
Transicoes Raras
Trabalho apresentado ao Programa dePos-Graduacao em Matematica Aplicada eEstatıstica da Universidade Federal do RioGrande do Norte, em cumprimento com asexigencias legais para obtencao do tıtulode Mestre.
Area de Concentracao: Probabilidade eEstatıstica
Orientador:
Prof. Dr. Juan Alberto Rojas Cruz
Natal-RN, Fevereiro de 2014
UFRN / Biblioteca Central Zila Mamede.
Catalogação da Publicação na Fonte.
Nascimento, Antonio Marcos Batista do.
Ergodicidade em cadeias de Markov não-homogêneas e cadeias de
Markov com transições raras / Antonio Marcos Batista do Nascimento. –
Natal, RN, 2014.
73 f.: il.
Orientador: Prof. Dr. Juan Alberto Rojas Cruz.
Dissertação (Mestrado) – Universidade Federal do Rio Grande do
Norte. Centro de Ciências Exatas e da Terra. Pós-Graduação em
Matemática Aplicada e Estatística.
1. Cadeias de Markov não-homogêneas - Dissertação. 2. Ergodicidade
fraca e forte - Dissertação. 3. Cadeias de Markov com transições raras -
Dissertação. 4. W-grafo - Dissertação. I. Cruz, Juan Alberto Rojas. II.
Universidade Federal do Rio Grande do Norte. III. Título.
RN/UF/BCZM CDU 519.217
Antonio Marcos Batista do Nascimento
Ergodicidade em Cadeias de MarkovNao-Homogeneas e Cadeias de Markov com
Transicoes Raras
Trabalho apresentado ao Programa dePos-Graduacao em Matematica Aplicada eEstatıstica da Universidade Federal do RioGrande do Norte, em cumprimento com asexigencias legais para obtencao do tıtulode Mestre.
Area de Concentracao: Probabilidade eEstatıstica
Aprovado em: / /
Banca Examinadora
Prof. Dr. Juan Alberto Rojas Cruz - UFRN
Presidente
Profa. Dra. Debora Borges Ferreira - UFRN
Examinador Interno
Profa. Dra. Catia Regina Goncalves - UnB
Examinador Externo
Fevereiro de 2014
Dedico esta dissertacao aos meus pais, Josee Josefa.
i
Agradecimentos
Neste momento de tao grande importancia para minha vida e de tanto significado
para aqueles que me cercam, quero agradecer imensamente a Deus por ter me propor-
cionado esta conquista e colocado pessoas maravilhosas no meu caminho.
Agradeco aos meus pais, Jose e Josefa, pelo apoio e motivacao manisfestados ao
longo desses anos. Saibam que me orgulho muito de voces. Nao poderia esquecer-me
de meus irmaos Alexandre, Alex, Paula e Joao, que sempre me estimularam a seguir em
frente e buscar realizar meus sonhos e objetivos, a voces meu profundo agradecimento.
Amo muito todos voces!
A Dona Fatima e Seu Tavares, alem da minha “irma” Willima, que me acolheram
em sua casa no inıcio dessa jornada. Voces agora fazem parte da minha famılia.
Ao Professor Orientador Juan Alberto pela confianca em mim depositada, por sua
paciencia, pela experiencia repassada, pela ajuda nos momentos difıceis e pelos impor-
tantes conselhos dados. Para mim, foi um privilegio incomensuravel te-lo conhecido.
Serei eternamente grato.
A todos os meus professores do Ensino Basico, Graduacao e Pos-Graduacao. Esta
conquista deve-se a dedicacao e conhecimentos repassados por todos voces.
A Jucimeire pelo apoio, amizade, ensinamentos, conselhos e principalmente, pela
ajuda na postulacao do mestrado.
A todos os meus amigos e colegas com quem compartilhei sonhos e objetivos, em
particular, aos meus colegas de mestrado Anna Rafaela, Andressa Siroky, Allyson Fer-
nandes, Bruno, Elvis, Hudson, Wesley, Fabio, Hebert, Eduardo, Wenia, Renato e Ru-
menick.
Aos funcionarios do CCET, em especial, a Russo, Alderı, Severino e Nısia, pelo
suporte e apoio recebidos. Voce sao 10!
Finalmente agradeco a CAPES, pelo suporte financeiro.
iii
Resumo
O objetivo central de estudo em Cadeias de Markov Nao-Homogeneas e o conceito de
ergodicidade fraca e forte. Uma cadeia e ergodica fraca se a dependencia da distribuicao
inicial desaparece com o tempo, e e ergodica forte se e ergodica fraca e converge em
distribuicao. A maioria dos resultados teoricos sobre a ergodicidade forte supoe algum
conhecimento do comportamento limite das distribuicoes estacionarias. Neste trabalho,
reunimos alguns resultados gerais sobre ergodicidade fraca e forte para cadeias com
espaco de estados enumeravel, e tambem estudamos o comportamento assintotico das
distribuicoes estacionarias de um tipo particular de Cadeias de Markov com espaco de
estados finito, chamadas Cadeias de Markov com Transicoes Raras.
Palavras-chave: Cadeias de Markov Nao-Homogeneas, Ergodicidade Fraca e Forte,
Cadeias de Markov com Transicoes Raras, W -grafo.
iv
Abstract
The central objective of a study Non-Homogeneous Markov Chains is the concept
of weak and strong ergodicity. A chain is weak ergodic if the dependence on the
initial distribution vanishes with time, and it is strong ergodic if it is weak ergodic and
converges in distribution. Most theoretical results on strong ergodicity assume some
knowledge of the limit behavior of the stationary distributions. In this work, we collect
some general results on weak and strong ergodicity for chains with space enumerable
states, and also study the asymptotic behavior of the stationary distributions of a
particular type of Markov Chains with finite state space, called Markov Chains with
Rare Transitions.
Keywords: Markov Chains Non-Homogeneous, Weak and Strong Ergodicity, Mar-
kov Chains with Rare Transitions, W -graphs.
v
Sumario
1 Introducao 1
2 Resultados Assintoticos em Cadeias de Markov Nao-Homogeneas 3
2.1 Cadeias de Markov Nao-Homogeneas a Tempo Discreto . . . . . . . . . 3
2.2 Resultados de Aproximacao em Cadeias com Espaco de Estados Enu-
meravel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.3 Ergodicidade Fraca e Forte: Condicoes para Equivalencia . . . . . . . . 19
3 Resultados Assintoticos em Cadeias de Markov com Transicoes Raras 29
3.1 W -grafos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
3.2 Teoremas para Cadeias de Markov Irredutıveis . . . . . . . . . . . . . . 32
3.3 Resultados Assintoticos para o Tempo Medio e Distribuicoes Estacionarias 46
4 Conclusoes 53
Referencias Bibliograficas 55
A Resultados e Propriedades Gerais 57
B Algumas Demonstracoes 59
vi
Capıtulo 1
Introducao
Inumeros problemas praticos nas mais diferentes areas do conhecimento tem sido
modelado matematicamente por Cadeias de Markov. Muitos desses modelos usam os
conceitos de cadeias nao-homogeneas, onde as probabilidades de transicao mudam de
acordo com o tempo.
Nos ultimos anos, o interesse pela busca de condicoes que garantam o comporta-
mento ergodico de Cadeias de Markov Nao-Homogeneas vem sendo impulsionado pelo
estudo da convergencia de algoritmos aleatorios que buscam estimar pontos otimos glo-
bais (mınimos ou maximos) de funcoes. Como exemplos, podemos citar o Simulated
Annealing e o Algoritmo Genetico.
Neste sentido, o objetivo desse trabalho e reunir alguns resultados assintoticos gerais
em Cadeias de Markov Nao-Homogeneas, os quais sao utilizados com frequencia no
estudo da convergencia de algoritmos aleatorios.
O trabalho esta dividido em duas partes. Na primeira, revisamos alguns resultados
gerais sobre a ergodicidade fraca e forte e sobre condicoes que garantam a equivalencia
entre ambas usando como fundamentacao teorica os artigos Approximation Results for
Non-Homogeneous Markov Chains and some Applications e Ergodicity in Parametric
Nonstationary Markov Chains: An Application to Simulated Annealing Methods de
Dorea e Cruz [3] e Anily e Federgruen [1], respectivamente. Destacamos ainda, o
Corolario 2.2.1 que e de nossa autoria.
Na segunda parte do trabalho, revisamos alguns resultados assintoticos em uma
classe particular de Cadeias de Markov, chamadas de Cadeias de Markov com Tran-
1
2
sicoes Raras. Mais especificamente, revisamos resultados sobre o comportamento as-
sintotico das distribuicoes estacionarias, que foi recentemente utilizado no estudo da
convergencia do Algoritmo Genetico (veja Suzuki [10]), e do tempo medio de entrada
em um subconjunto arbitrario nao vazio de estados usando o conceito de W -grafo, do
qual se obtem uma forma alternativa para determinar a unica distribuicao estacionaria
de uma Cadeia de Markov Homogenea irredutıvel. Para este estudo, utilizamos como
referencial teorico o artigo Simulated Annealing Algorithms and Markov Chains with
rare transitions de Catoni [2]. Nesta parte, destacamos o calculo da distribuicao esta-
cionaria da Cadeia de Markov associada ao modelo de Ehrenfest, como aplicacao da
teoria de W -grafo.
Capıtulo 2
Resultados Assintoticos em Cadeias
de Markov Nao-Homogeneas
Neste capıtulo, reunimos alguns resultados gerais sobre a ergodicidade de Cadeias
de Markov Nao-Homogeneas com espaco de estados enumeravel, bem como algumas
notacoes e terminologias que sao usadas nesta dissertacao. Dois tipos de ergodicidade
em Cadeias de Markov sao estudadas: a ergodicidade fraca e a ergodicidade forte.
Intuitivamente, uma cadeia e ergodica fraca se a dependencia da distribuicao do estado
inicial desaparece com o tempo, e e ergodica forte se e ergodica fraca e converge em
distribuicao. Naturalmente, a ergodicidade forte implica em ergodicidade fraca. De
forma mais especıfica, discutimos brevemente sobre cadeias nao-homogeneas a tempo
discreto, onde relembramos alguns resultados classicos sobre ergodicidade. Abordamos
os resultados de aproximacao estabelecidos por Dorea e Cruz [3] e finalizamos com as
condicoes para equivalencia entre os conceitos de ergodicidade estudadas por Anily e
Federgruen [1].
2.1 Cadeias de Markov Nao-Homogeneas a Tempo
Discreto
Uma Cadeia de Markov Nao-Homogenea e descrita por uma sequencia de matrizes
de probabilidades de transicao, ou simplesmente matrizes de transicao {P (n)}n∈N de-
finidas sob o mesmo espaco de estados S finito ou infinito enumeravel. No tempo n a
3
2.1 Cadeias de Markov Nao-Homogeneas a Tempo Discreto 4
cadeia move-se do estado i para o estado j com probabilidade pij(n).
Notacoes Importantes:
S, espaco de estados da cadeia;
i, j, k, l, . . ., elementos de S;
{P (n)}, sequencia de matrizes de transicao, com n ∈ N;
P (n,n+1) = P (n) = (pij(n))(i,j)∈S×S;
P (k,k+n) = P (k)P (k + 1) . . . P (k + n− 1), k ∈ N.
O estudo do comportamento assintotico de Cadeias de Markov Nao-Homogeneas,
isto e, o que acontece a P (k,k+n) quando n → +∞ para k = 1, 2, . . . envolve as no-
coes de ergodicidade fraca e ergodicidade forte em relacao a alguma norma matricial
apropriada.
Neste trabalho, adotaremos a norma
‖P‖ = supi
∑j
|pij|, (2.1)
sendo P = (pij).
Definicao 2.1.1. Uma Cadeia de Markov Nao-Homogenea com sequencia de matrizes
de transicao {P (n)} e dita ergodica fraca (Ef) se para cada k ∈ N existe uma sequencia
de matrizes estocasticas constantes1 {Qn(k)} tal que
limn→+∞
‖P (k,k+n) −Qn(k)‖ = 0. (2.2)
Definicao 2.1.2. Diz-se que uma Cadeia de Markov Nao-Homogenea com sequencia
de matrizes de transicao {P (n)} e ergodica forte (EF) se existe uma matriz estocastica
constante Q tal que, para todo k ∈ N,
limn→+∞
‖P (k,k+n) −Q‖ = 0. (2.3)
Exemplo 1. A Cadeia de Markov Nao-Homogenea com a sequencia de matrizes de
transicao {P (n)} dada por
P (2n− 1) =
1
2
1
21 0
e P (2n) =
(0 1
1 0
),
1Uma matriz P e dita constante se todas suas linhas sao iguais.
2.1 Cadeias de Markov Nao-Homogeneas a Tempo Discreto 5
para todo n ∈ N e Ef.
De fato, se k e par e n e tal que k + n− 1 e par, temos que
P (k,k+n) = P (k) · P (k + 1) · · ·P (k + n− 1) =
1
2
1
20 1
n−12
e, por inducao, podemos verificar que 1
2
1
20 1
n−12
=
(
1
2
)n−12
1−(
1
2
)n−12
0 1
.
Definindo,
Qn(k) =
(0 1
0 1
),
temos que
P (k,k+n) −Qn(k) =
(
1
2
)n−12
1−(
1
2
)n−12
0 1
−( 0 1
0 1
)
=
(
1
2
)n−12
−(
1
2
)n−12
0 0
,
donde obtemos
limn→+∞
‖P (k,k+n) −Qn(k)‖ = limn→+∞
2 ·(
1
2
)n−12
= 0.
Se k e par e n e tal que k + n− 1 e ımpar, entao
P (k,k+n) = P (k) · P (k + 1) · · ·P (k + n− 2)︸ ︷︷ ︸ ·P (k + n− 1)
=
(
1
2
)n−12
1−(
1
2
)n−12
0 1
· 1
2
1
21 0
=
1−(
1
2
)n+12
(1
2
)n+12
1 0
.
2.1 Cadeias de Markov Nao-Homogeneas a Tempo Discreto 6
Definindo
Qn(k) =
(1 0
1 0
),
temos que
P (k,k+n) −Qn(k) =
1−(
1
2
)n+12
(1
2
)n+12
1 0
−( 1 0
1 0
)
=
−(
1
2
)n+12
(1
2
)n+12
0 0
,
e daı,
limn→+∞
‖P (k,k+n) −Qn(k)‖ = limn→+∞
2 ·(
1
2
)n+12
= 0.
Para k ımpar, utilizamos argumentos similares para verificar que
limn→+∞
‖P (k,k+n) −Qn(k)‖ = 0,
nos casos em que k + n− 1 e ımpar e par.
Portanto, concluımos que {P (n)} e Ef. Por outro lado, vemos claramente que
{P (n)} nao e EF, ja que nao existe uma matriz estocastica constante Q satisfazendo
(2.3), para todo k ≥ 1.
Alem da norma definida em (2.1), outras normas podem ser utilizadas no estudo do
comportamento limite de Cadeias de Markov Nao-Homogeneas. Por exemplo, Hajnal
[5], em seu estudo sobre ergodicidade fraca em Cadeias de Markov com espaco de
estados finito, faz uso da norma
‖P‖H = maxi,j∈S|pij|,
que e equivalente a norma ‖ · ‖, se S e finito.
A propriedade chave que justifica o uso da norma ‖ · ‖ e dada pela seguinte propo-
sicao.
Proposicao 2.1.1 (Isaacson e Madsen [6]). Para quaisquer matrizes P e Q, vale a
desigualdade
‖PQ‖ ≤ ‖P‖‖Q‖. (2.4)
2.1 Cadeias de Markov Nao-Homogeneas a Tempo Discreto 7
Para a classe de matrizes estocasticas temos ainda a seguinte desigualdade.
Proposicao 2.1.2 (Dorea e Cruz [3]). Dadas duas sequencias de matrizes estocasticas
{P (n)} e {Q(n)}, temos que
‖P (k,k+n) −Q(k,k+n)‖ ≤n−1∑j=0
‖P (k + j)−Q(k + j)‖, k ≥ 1. (2.5)
Como vimos no Exemplo 1, nao e um procedimento facil mostrar que uma Cadeia
de Markov Nao-Homogenea e Ef ou EF diretamente da definicao. Nestes casos, a prin-
cipal dificuldade e encontrar uma expressao fechada que represente P (k,k+n) e, assim,
estudarmos seu comportamento limite. Enunciaremos na sequencia alguns teoremas
classicos que estabelecem condicoes necessarias e/ou suficientes para uma cadeia ser Ef
ou EF.
Uma maneira equivalente de caracterizarmos a ergodicidade fraca de uma cadeia
nao-homogenea e dada usando o coeficiente ergodico de Dobrushin
δ(P ) =1
2supi,k∈S
∑j∈S
|pij − pkj|, (2.6)
por meio do seguinte teorema.
Teorema 2.1.1 (Isaacson e Madsen [6]). Uma Cadeia de Markov Nao-Homogenea e
Ef se, e somente se, para todo k ≥ 1
limn→+∞
δ(P (k,k+n)) = 0. (2.7)
Para cadeias homogeneas, ou seja, quando P (n) = P para todo n ∈ N, Isaacson e
Madsen [6] apresentam um resultado semelhante para a Ef.
Teorema 2.1.2 (Isaacson e Madsen [6]). Uma Cadeia de Markov Homogenea com
matriz de transicao P e Ef se, e somente se, δ(P k) < 1 para algum k.
Um fato interessante relacionado ao comportamento ergodico em Cadeias de Markov
2.1 Cadeias de Markov Nao-Homogeneas a Tempo Discreto 8
e a equivalencia entre a ergodicidade 2 e a ergodicidade fraca em cadeias homogeneas
com espaco de estados finito. Essa equivalencia e assegurada pelo seguinte resultado.
Teorema 2.1.3 (Isaacson e Madsen [6]). Uma Cadeia de Markov Homogenea finita
com matriz de transicao P e ergodica se, e somente se, δ(P k) < 1 para algum k.
A proposicao seguinte enumera algumas das principais propriedades do coeficiente
ergodico.
Proposicao 2.1.3 (Isaacson e Madsen [6]). Sejam P , Q e R matrizes estocasticas.
Entao:
(i) 0 ≤ δ(P ) ≤ 1,
(ii) δ(PQ) ≤ δ(P )δ(Q),
(iii) ‖(P −Q)R‖ ≤ ‖P −Q‖δ(R),
(iv) |δ(P )− δ(Q)| ≤ ‖P −Q‖.
Decorre imediatamente do item (ii) da proposicao anterior que, dada uma sequencia
de matrizes estocasticas {P (n)}, temos:
δ(P (k,k+n)) = δ(P (k)P (k + 1) . . . P (k + n− 1)) ≤k+n−1∏j=k
δ(P (j)).
Assim, pelo Teorema 2.1.1, para determinarmos a ergodicidade fraca de uma cadeia
nao-homogenea e suficiente mostrar que
k+n−1∏j=k
δ(P (j))n→ 0, ∀k.
Em particular, se a cadeia e homogenea, entao e suficiente verificar se δ(P ) < 1,
uma vez que
δ(P n) ≤ [δ(P )]n .
2Dizemos que uma Cadeia de Markov Homogenea com matriz de transicao P e espaco de estadosS e ergodica se, para todo j ∈ S,
limn→+∞
pnij = πj ,
independentemente de i ∈ S e∑j∈S
πj = 1.
2.2 Resultados de Aproximacao em Cadeias com Espaco de Estados Enumeravel 9
Vale ainda ressaltar que se P e Q sao matrizes estocasticas 2x2, entao vale a igual-
dade no item (ii) da Proposicao 2.1.3 (veja Apendice B).
Teorema 2.1.4 (Paz [8]). Seja {P (n)} a sequencia de matrizes de transicao de Cadeia
de Markov Nao-Homogenea. Se P (n) = V (n) +R(n), sendo {R(n)} uma sequencia de
matrizes estocasticas constantes, entao {P (n)} e Ef se, e somente se,
limn→+∞
‖V (k,k+n)‖ = 0, ∀k.
A seguir, enunciamos alguns dos principais resultados sobre ergodicidade forte de
Cadeias de Markov Nao-Homogeneas.
Teorema 2.1.5 (Isaacson e Madsen [6]). Seja {P (n)} a sequencia de matrizes de
transicao de uma Cadeia de Markov Nao-Homogenea Ef. Se existe uma sequencia de
distribuicoes estacionarias {π(n)} associada a {P (n)} satisfazendo∑n≥1
‖π(n)− π(n+ 1)‖ < +∞.
Entao {P (n)} e EF.
Teorema 2.1.6 (Isaacson e Madsen [6]). Seja {P (n)} a sequencia de matrizes de
transicao de uma Cadeia de Markov Nao-Homogenea e suponha que para cada n a
matriz de transicao P (n) admite uma distribuicao estacionaria π(n). Se existe uma
matriz estocastica P Ef tal que ‖P (n)− P‖ n→ 0, entao a cadeia e EF.
2.2 Resultados de Aproximacao em Cadeias com
Espaco de Estados Enumeravel
Seja {P (n)} a sequencia de matrizes de transicao de uma Cadeia de Markov Nao-
Homogenea com espaco de estados S = {1, 2, . . .}. A analise do comportamento ergo-
dico de Cadeias de Markov Nao-Homogeneas, geralmente, exige a existencia da sequen-
cia de distribuicoes estacionarias {π(n)}, bem como, o conhecimento de seu compor-
tamento limite. Nesta secao, veremos alguns resultados de aproximacao para cadeias
nao-homogeneas que nao requerem a existencia de tais distribuicoes estacionarias.
2.2 Resultados de Aproximacao em Cadeias com Espaco de Estados Enumeravel 10
Teorema 2.2.1 (Dorea e Cruz [3]). Se {P (n)} e {P (n)} sao as sequencias de matrizes
de transicao de duas Cadeias de Markov Nao-Homogeneas satisfazendo∑n≥1
‖P (n)− P (n)‖ < +∞, (2.8)
entao elas possuem o mesmo comportamento ergodico, isto e, se {P (n)} e Ef (EF)
entao {P (n)} tambem e Ef (EF).
Demonstracao. De (2.8) e do Criterio de Cauchy para series temos que, dado ε > 0
existe k0 ∈ N tal quen−1∑j=0
‖P (k + j)− P (k + j)‖ ≤ ε, (2.9)
quaisquer que sejam k ≥ k0 e n ≥ 1.
Da Proposicao 2.1.2 e de (2.9), obtemos
‖P (k,k+n) − P (k,k+n)‖ ≤n−1∑j=0
‖P (k + j)− P (k + j)‖ ≤ ε, (2.10)
para todo k ≥ k0 e n ≥ 1, donde concluımos que
limn→+∞
‖P (k,k+n) − P (k,k+n)‖ = 0,
para todo k ≥ k0.
Suponhamos que {P (n)} e Ef. Entao existe n0 ∈ N tal que
δ(P (k,k+n)) ≤ ε, ∀ k ≥ 1 e n ≥ n0.
Da Proposicao 2.1.3 e (2.10), vem que
|δ(P (k,k+n))− δ(P (k,k+n))| ≤ ‖P (k,k+n) − P (k,k+n)‖ ≤ ε,∀k ≥ k0 e n ≥ n0.
e daı,
δ(P (k,k+n)) ≤ ε, ∀ k ≥ k0 e n ≥ n0.
Mas, para cada k ≤ k0,
δ(P (k,k+n)) ≤ δ(P (k,k0))δ(P (k0,k+n)) ≤ δ(P (k0,k+n)).
2.2 Resultados de Aproximacao em Cadeias com Espaco de Estados Enumeravel 11
Logo,
δ(P (k,k+n)) ≤ ε, ∀ k ≥ 1 e n ≥ n0.
E portanto, {P (n)} e Ef.
Agora, suponhamos que {P (n)} e EF e consideremos k ≥ k0. A ideia e mostrar
que {P (k,k+n)} e uma sequencia de Cauchy na norma ‖ · ‖.De fato, se {P (n)} e EF, entao
limn→+∞
P (k,k+n)
existe independentemente de k. Logo, para algum n1 ≥ 1
‖P (k,k+m) − P (k,k+n)‖ ≤ ε, ∀m,n ≥ n1. (2.11)
Usando (2.10) e (2.11) temos que
‖P (k,k+m) − P (k,k+n)‖ ≤ ‖P (k,k+m) − P (k,k+m)‖+ ‖P (k,k+m) − P (k,k+n)‖+‖P (k,k+n) − P (k,k+n)‖
≤ 3ε,
para todo k ≥ k0 e m,n ≥ n1.
Logo, {P (k,k+n)} e uma sequencia de Cauchy, e portanto limn→+∞
P (k,k+n) existe inde-
pendentemente de k.
Seja Q a matriz estocastica tal que
limn→+∞
‖P (k,k+n) −Q‖ = 0.
Assim, existe n2 ∈ N tal que
|δ(P (k,k+n))− δ(Q)| ≤ ‖P (k,k+n) −Q‖ < ε,∀n ≥ n2,
ou seja,
limn→+∞
δ(P (k,k+n)) = δ(Q).
Mas, {P (n)} e Ef, isto e, limn→+∞
δ(P (k,k+n)) = 0, ∀k. Logo, pela unicidade do limite,
segue que δ(Q) = 0, e portanto Q e uma matriz constante.
2
2.2 Resultados de Aproximacao em Cadeias com Espaco de Estados Enumeravel 12
Observacao. Segue da demonstracao do teorema anterior que se {P (n)} e EF e con-
verge para uma matriz constante Q, entao {P (n)} tambem sera EF e tera a mesma
matriz limite Q.
Exemplo 2. Sejam {P (n)} e {Q(n)} as sequencias de matrizes de transicao de Ca-
deias de Markov Nao-Homogeneas com
P (n) =
1− 2/n2 1/n2 1/n2
1/n2 0 1− 1/n2
0 1− 1/n2 1/n2
e Q(n) = Q =
1 0 0
0 0 1
0 1 0
.
Observe que
Qn =
{I se n e par
Q se n e ımpar,
sendo I a matriz identidade.
Como δ(I) = δ(Q) = 1, segue que nao existe k ∈ N tal que δ(Qk) < 1. Logo, pelo
Teorema 2.2.1 {Q(n)} nao e Ef.
Por outro lado, temos que
P (n)−Q =
1− 2/n2 1/n2 1/n2
1/n2 0 1− 1/n2
0 1− 1/n2 1/n2
− 1 0 0
0 0 1
0 1 0
=
−2/n2 1/n2 1/n2
1/n2 0 −1/n2
0 −1/n2 1/n2
,
implicando,
‖P (n)−Q‖ =4
n2.
Logo, ∑n≥1
‖P (n)−Q‖ =∑n≥1
4
n2< +∞,
consequentemente, pelo Teorema 2.2.1, a cadeia {P (n)} tambem nao e Ef, e portanto,
nao pode ser EF.
Teorema 2.2.2 (Dorea e Cruz [3]). Suponhamos que {P (n)} seja a sequencia de matri-
zes de transicao de uma Cadeia de Markov Nao-Homogenea Ef e que existam matrizes
estocasticas constantes R(1), R(2), . . . e R tais que∑n≥1
‖R(n)P (n)−R(n+ 1)‖ < +∞ (2.12)
2.2 Resultados de Aproximacao em Cadeias com Espaco de Estados Enumeravel 13
e
limn→+∞
‖R(n)−R‖ = 0. (2.13)
Entao {P (n)} e EF com matriz limite R.
Demonstracao. Defina V (n) = P (n)−R(n+ 1). Como R(1), R(2), . . . sao matrizes
estocasticas constantes, segue da Proposicao A.0.2 que
R(n)P (n)−R(n+ 1) = R(n)P (n)−R(n)R(n+ 1)
= R(n)[P (n)−R(n+ 1)]
= R(n)V (n),
e
V (k)R(l) = [P (k)−R(k + 1)]R(l) = P (k)R(l)−R(k + 1)R(l)
= R(l)−R(l)
= 0,
quaisquer que sejam n, k, l. De
V (k)V (k + 1) = V (k) [P (k + 1)−R(k + 2)] = V (k)P (k + 1),
temos ainda que
V (l,l+n) = V (l) . . . V (l + n− 2)V (l + n− 1)
= V (l) . . . V (l + n− 2)P (l + n− 1)...
= V (l)V (l + 1)P (l+2,l+n)
= V (l)P (l+1,l+n).
Por (2.12), dado ε > 0 existe k0 ∈ N tal que∑l≥m
‖R(l)V (l)‖ =∑l≥m
‖R(l)P (l)−R(l + 1)‖ ≤ ε, ∀m ≥ k0. (2.14)
2.2 Resultados de Aproximacao em Cadeias com Espaco de Estados Enumeravel 14
Assim, usando o fato que ‖P (l+1,l+n)‖ = 1, obtemos∑l≥m
‖R(l)V (l,l+n)‖ (2.14)=
∑l≥m
‖R(l)V (l)P (l+1,l+n)‖
(2.4)
≤∑l≥m
‖R(l)V (l)‖
(2.14)
≤ ε, (2.15)
para todo n ∈ N.
Como {P (n)} e Ef, segue do Teorema 2.1.4 que existe n0 = n0(ε) tal que
‖V (k,k+n)‖ ≤ ε, n ≥ n0. (2.16)
Vejamos ainda que
P (k,k+n)
= [V (k) +R(k + 1)][V (k + 1) +R(k + 2)]P (k+2,k+n)
= [V (k)V (k + 1) + V (k)R(k + 2)
+R(k + 1)V (k + 1) +R(k + 1)R(k + 2)]P (k+2,k+n)
= [V (k,k+2) + V (k)V (k+1,k+2) +R(k + 2)]P (k+2,k+n)
...
= V (k,k+n) +k+n−1∑l=k+1
R(l)V (l,l+n) +R(k + n)
≤ V (k,k+n) +∑l≥k+1
R(l)V (l,l+n) +R(k + n).
Dessa forma,
‖P (k,k+n) −R(k + n)‖ ≤ ‖V (k,k+n) +∑l≥k+1
R(l)V (l,l+n)‖
≤ ‖V (k,k+n)‖+∑l≥k+1
‖R(l)V (l,l+n)‖
(2.15)
≤ ‖V (k,k+n)‖+∑l≥k+1
‖R(l)V (l)‖.
2.2 Resultados de Aproximacao em Cadeias com Espaco de Estados Enumeravel 15
Se k ≥ k0, segue de (2.15) e (2.16) que
‖P (k,k+n) −R(k + n)‖ ≤ 2ε, n ≥ n0,
implicando
limn→+∞
‖P (k,k+n) −R(k + n)‖ = 0,
e como ‖R(n)−R‖ n→ 0, concluımos que {P (n)} e EF com matriz limite R.
Caso k < k0, tome n′ = n+ k − k0. De ‖P (k,k0)‖ = 1 temos que
P (k,k+n) −R(k0 + n′) = P (k,k0)P (k0,k+n) −R(k0 + n′)
= P (k,k0)[P (k0,k0+n′) −R(k0 + n′)]
⇒ ‖P (k,k+n) −R(k0 + n′)‖ = ‖P (k,k0)[P (k0,k0+n′) −R(k0 + n′)]‖≤ ‖P (k0,k0+n′) −R(k0 + n′)‖.
e daı, basta tomar n tal que n′ ≥ n0.
2
Observacao. Se supusermos que a cadeia {P (n)} admite a existencia de uma sequen-
cia de distribuicoes estacionarias {π(n)} satisfazendo∑n≥1
‖π(n)− π(n+ 1)‖ < +∞, (2.17)
entao o Teorema 2.1.5 torna-se consequencia imediata do teorema anterior. Para ver-
mos isto, basta tomarmos as linhas da matriz R(n) iguais ao vetor π(n), isto e, tomar
Rij(n) = πj(n), ∀ i, j. Daı, teremos que∑n≥1
‖R(n)P (n)−R(n+ 1)‖ =∑n≥1
‖π(n)− π(n+ 1)‖.
Como (2.17) implica na existencia de π tal que ‖π(n)− π‖ n→ 0, obtemos
‖R(n)−R‖ n→ 0,
sendo R a matriz constante com Rij = πj, ∀ i, j.
Teorema 2.2.3 (Dorea e Cruz [3]). Seja {P (n)} a sequencia de matrizes de transicao
de uma Cadeia de Markov Nao-Homogenea. Suponha que exista uma matriz estocastica
Q Ef tal que
limn→+∞
‖P (n)−Q‖ = 0. (2.18)
2.2 Resultados de Aproximacao em Cadeias com Espaco de Estados Enumeravel 16
Entao {P (n)} e EF.
Demonstracao. Sendo Q fracamente ergodica, dado ε > 0 existem n0 = n0(ε) e uma
matriz estocastica constante Q∞ tal que
‖Qn −Q∞‖ ≤ ε,
para todo n ≥ n0.
Observe que para n suficientemente grande
‖P (k,k+n−n0)Qn0 −Q∞‖ = ‖P (k,k+n−n0)Qn0 − P (k,k+n−n0)Q∞‖= ‖P (k,k+n−n0)(Qn0 −Q∞)‖
(2.4)
≤ ‖Qn0 −Q∞‖≤ ε.
E pela Proposicao 2.1.2
‖P (k,k+n) − P (k,k+n−n0)Qn0‖ = ‖P (k,k+n−n0)(P (k+n−n0,k+n) −Qn0)‖≤ ‖P (k+n−n0,k+n) −Qn0‖
≤n0−1∑j=0
‖P (k + n− n0 + j)−Q‖.
Seja ε′ =ε
n0
. Entao, de (2.18) existe n1 = n1(ε′) tal que
‖P (m)−Q‖ ≤ ε′,
para todo m ≥ n1.
Logo, tomando n ∈ N tal que k + n− n0 ≥ n1, temos que
n0−1∑j=0
‖P (k + n− n0 + j)−Q‖ ≤ n0ε′ = ε,
donde concluımos que
‖P (k,k+n) −Q∞‖ ≤ ‖P (k,k+n) − P (k,k+n−n0)Qn0‖+ ‖P (k,k+n−n0)Qn0 −Q∞‖≤ 2ε,
para todo n ≥ n0 − k + n1. E portanto, {P (n)} e EF.
2.2 Resultados de Aproximacao em Cadeias com Espaco de Estados Enumeravel 17
2
Observacao. Observe que o teorema anterior e mais forte que o Teorema 2.1.6, ja que
nao foi necessario assumir a existencia de uma sequencia de distribuicoes estacionarias.
Como consequencia do Teorema 2.2.3, enunciamos o seguinte corolario, valido so-
mente para cadeias com espaco de estados finito.
Corolario 2.2.1. Seja {P (n)} a sequencia de matrizes de transicao de uma Cadeia
de Markov Nao-Homogenea com espaco de estados finito tal que
P (n) =
{P1(n), n ∈ IP2(n), n ∈ P
,
sendo I e P os conjuntos dos numeros ımpares e pares positivos, respectivamente. Supo-
nha ainda, que existam matrizes estocasticas P e Q Ef’s com distribuicoes estacionarias
iguais tais que
limn→+∞
‖P1(n)− P‖ = limn→+∞
‖P2(n)−Q‖ = 0. (2.19)
Entao a cadeia {P (n)} e EF.
Antes de demonstrar este corolario, apresentamos o seguinte lema.
Lema 2.2.1. Sejam P e Q matrizes estocasticas finitas Ef’s e suponha que ambas
possuem mesma distribuicao estacionaria. Entao PQ e QP sao Ef’s e ambas tem
mesma distribuicao estacionaria que P e Q.
Demonstracao. Pelo Teorema 2.1.3, para mostrar que PQ e QP sao Ef’s, basta
mostrar que elas sao ergodicas.
Seja π a distribuicao estacionaria de P e Q, isto e,
π = πP = πQ.
Logo,
π = πQ = (πP ) ·Q = πPQ,
e
π = πP = (πQ) · P = πQP.
Ou seja, PQ e QP sao Ef’s e tem mesma distribuicao estacionaria π.
2
2.2 Resultados de Aproximacao em Cadeias com Espaco de Estados Enumeravel 18
Demonstracao (do Corolario 2.2.1). Defina, para todo n ≥ 1,
V (n) = P (k + 2n− 2)P (k + 2n− 1), k ≥ 1
e observe que
V (1,n2+1) = V (1)V (2) . . . V
(n2
)= P (k)P (k + 1)P (k + 2)P (k + 3) . . . P (k + n− 2)P (k + n− 1)
= P (k,k+n),
para todo n, k ≥ 1.
Alem disso, veja que
limn→+∞
‖V (n)− PQ‖ = limn→+∞
‖P (k + 2n− 2)P (k + 2n− 1)− PQ‖ = 0,
se k ∈ I. E,
limn→+∞
‖V (n)−QP‖ = limn→+∞
‖P (k + 2n− 2)P (k + 2n− 1)−QP‖ = 0,
se k ∈ P.
Por hipotese, P e Q sao Ef’s (ergodicas, ja que S e finito), entao existe uma unica
matriz estocastica constante π∞ satisfazendo
limn→+∞
‖P n − π∞‖ = limn→+∞
‖Qn − π∞‖ = 0.
Assim, elo Lema 2.2.1 temos que PQ e QP sao Ef’s e
limn→+∞
‖(PQ)n − π∞‖ = limn→+∞
‖(QP )n − π∞‖ = 0. (2.20)
Se k ∈ I tem-se que ‖V (n)− PQ‖ n→ 0. Logo, de (2.20) e do Teorema 2.2.3 segue
que
limn→+∞
‖P (k,k+n) − π∞‖ = 0.
Se k ∈ P tem-se que ‖V (n) − QP‖ n→ 0. Daı, por (2.20) e pelo Teorema 2.2.3
obtemos
limn→+∞
‖P (k,k+n) − π∞‖ = 0.
Como π∞ e tal que
limn→+∞
‖P (k,k+n) − π∞‖ = 0,
2.3 Ergodicidade Fraca e Forte: Condicoes para Equivalencia 19
para todo k ≥ 1, segue da Definicao 2.1.2 que {P (n)} e EF.
2
Exemplo 3. A Cadeia de Markov Nao-Homogenea com sequencia de matrizes de tran-
sicao {P (n)} dada por
P (2n) =
1/2 1/4 1/4
1− 2/n 1/n 1/n
0 1/2 1/2
e P (2n− 1) =
1/2 0 1/2
1 0 0
0 1 0
.
e EF.
De fato, observe que
limn→+∞
‖P (2n)− P‖ = limn→+∞
‖P (2n− 1)−Q‖ = 0,
sendo
P =
1/2 1/4 1/4
1 0 0
0 1/2 1/2
e Q =
1/2 0 1/2
1 0 0
0 1 0
.
Note ainda que P e Q sao Ef’s (por serem ergodicas, pois o espaco de estados e
finito) e convergem para a matriz estocastica constante
π∞ =
1/2 1/4 1/4
1/2 1/4 1/4
1/2 1/4 1/4
Entao, pelo Corolario 2.2.1 {P (n)} e EF.
2.3 Ergodicidade Fraca e Forte: Condicoes para
Equivalencia
Seja {P (n)} a sequencia de matrizes de transicao de uma Cadeia de Markov Nao-
Homogenea com espaco de estados S = {1, 2, . . . , N} e suponhamos que para cada n
2.3 Ergodicidade Fraca e Forte: Condicoes para Equivalencia 20
a matriz de transicao P (n) admite uma distribuicao estacionaria π(n), isto e, π(n) =
π(n)P (n). Para verificarmos a EF de {P (n)}, geralmente, verificamos se {P (n)} e Ef
e, em seguida, se a sequencia {π(n)} satisfaz a condicao
∑n≥1
‖π(n)− π(n+ 1)‖ < +∞. (2.21)
Esta ultima condicao e frequentemente a parte complicada nessas verificacoes, especi-
almente nos casos em que o termo geral π(n) nao pode ser obtido de forma fechada.
Nesta secao, estudamos algumas condicoes suficientes para equivalencia entre os
conceitos de ergodicidade estabelecidas por Anily e Federgruen [1]. Em resumo, es-
tudamos algumas condicoes sobre as entradas pij(n) de modo a garantir que (2.21)
sempre ocorra.
Observacao. E interessante observar que os conceitos de ergodicidade fraca e forte
sao equivalentes se existe uma matriz estocastica P Ef tal que
limn→+∞
‖P (n)− P‖ = 0.
Entretanto, a maioria das matrizes limite das sequencias de matrizes de transicao
associadas a algoritmos aleatorios nao satisfazem a hipotese da observacao anterior. Em
geral, quando existe tal matriz P , ela e igual a identidade, e a identidade, obviamente,
nao e Ef, tornando este resultado inaplicavel nessas situacoes.
A ideia inicial proposta por Anily e Federgruen [1] consiste em dois passos:
1o) Escrever o Teorema 2.1.5 em termos de extensoes contınuas das entradas das ma-
trizes de transicao das Cadeias de Markov Nao-Homogeneas.
2o) Verificar que a condicao (2.21) e equivalente a existencia de um vetor-funcao contı-
nuo h(c) de variacao limitada no intervalo (0, 1] com a seguinte propriedade: para
alguma sequencia real (cn) ↓ 0, h(cn) e uma distribuicao estacionaria da matriz
f(cn) = P (n), para todo n ≥ 1.
Para usarmos a propriedade de “variacao limitada”, precisamos, primeiramente, en-
tender o conceito de“estender”uma sequencia de matrizes {P (n)} para o caso contınuo,
ou seja, para funcoes matriciais contınuas de variavel definida em um intervalo limitado.
2.3 Ergodicidade Fraca e Forte: Condicoes para Equivalencia 21
Isto entao nos motiva as seguintes definicoes:
Definicao 2.3.1 (Extensao contınua de uma sequencia de matrizes estocasticas). Seja
{P (n)} uma sequencia de matrizes estocasticas finitas. Dizemos que a funcao
f : (0, 1] → Mr×r
c 7→ f(c) = (fij(c))
e uma extensao contınua de {P (n)}, se existir uma sequencia de numeros reais positivos
(cn) ↓ 0 tal que f(cn) = P (n), ∀n ≥ 1.
Exemplo 4. Considere a sequencia de matrizes estocasticas {P (n)} com
P (n) =
(1− 1/n 1/n
1/n2 1− 1/n2
).
Entao, a funcao f : (0, 1]→M2x2 definida por
f(c) =
(1− c c
c2 1− c2
)
e uma extensao contınua de {P (n)}, pois f(cn) = P (n) para todo n ≥ 1, com cn =1
n.
Evidentemente ha, em geral, diversas extensoes contınuas de uma mesma sequencia
de matrizes estocasticas {P (n)}.
Notacoes Importantes:
f(c), extensao contınua da sequencia {P (n)};
h(c), extensao contınua da sequencia {π(n)};
Definicao 2.3.2 (Funcao de variacao limitada). Dizemos que uma funcao
f : (0, 1] → Mr×s
c 7→ f(c) = (fij(c))
e de variacao limitada se, para todo i ∈ {1, 2, . . . , r} e j ∈ {1, 2, . . . , s},
sup
{∑n≥1
|fij(cn)− fij(cn+1)|;∀ (cn) com 0 < · · · < cn < · · · < c1 = 1 e cn ↓ 0
}< +∞.
(2.22)
2.3 Ergodicidade Fraca e Forte: Condicoes para Equivalencia 22
Teorema 2.3.1 (Anily e Federgruen [1]). Sejam {P (n)} a sequencia de matrizes de
transicao de uma Cadeia de Markov Nao-Homogenea Ef e {π(n)} a sequencia de dis-
tribuicoes estacionarias associada a {P (n)}. Considere f(c) uma extensao contınua
de {P (n)} correspondente a alguma sequencia real positiva (cn) ↓ 0.
1. Se h(c) e uma extensao contınua de variacao limitada de {π(n)} satisfazendo
h(c) = h(c)f(c). Entao {P (n)} e EF.
2. Se ∑n≥1
‖π(n)− π(n+ 1)‖ < +∞, (2.23)
entao existe uma extensao contınua h(c) de {π(n)} de variacao limitada.
Demonstracao. Por definicao, temos
h(cn) = π(n), ∀n (2.24)
e, sendo h(c) uma extensao de variacao limitada, temos para cada i ∈ S
sup
{∑n≥1
|hi(cn)− hi(cn+1)|, 0 < · · · < cn < . . . < c1 = 1 e cn ↓ 0
}< +∞ (2.25)
Usando (2.24), (2.25) e o fato de S ser finito, vem:
∑n≥1
‖π(n)− π(n+ 1)‖ =∑n≥1
N∑i=1
|πi(n)− πi(n+ 1)|
=∑n≥1
N∑i=1
|hi(cn)− hi(cn+1)|
=N∑i=1
∑n≥1
|hi(cn)− hi(cn+1)|
≤N∑i=1
sup
{∑n≥1
|hi(cn)− hi(cn+1)|
}︸ ︷︷ ︸
<+∞< +∞.
Portanto, segue do Teorema 2.1.5 que {P (n)} e EF, o que completa a demonstracao
de (1).
Para o item (2), considere h(c) = π(bc−1c), sendo bxc o maior inteiro menor ou
igual a x, e uma sequencia real positiva (cn) com cn ↓ 0.
2.3 Ergodicidade Fraca e Forte: Condicoes para Equivalencia 23
Assim,
+∞∑i=2
‖h(ci)− h(ci−1)‖
=+∞∑i=2
‖π(bc−1i c)− π(bc−1i−1c)‖
=+∞∑i=2
‖π(ni)− π(ni−1)‖
=+∞∑i=2
‖π(ni)− π(ni − 1) + π(ni − 1) + · · ·+ π(ni−1 + 1)− π(ni−1)‖
≤+∞∑i=2
‖π(ni)− π(ni − 1)‖+ ‖π(ni − 1)− π(ni − 2)‖
+ · · ·+ ‖π(ni−1 + 1)− π(ni−1)‖
=+∞∑i=2
‖π(ni)− π(ni − 1)‖+ · · ·++∞∑i=2
‖π(ni−1 + 1)− π(ni−1)‖
≤+∞∑n=2
‖π(n)− π(n− 1)‖+ · · ·++∞∑i=2
‖π(n+ 1)− π(n)‖.
De (2.23) concluımos que
+∞∑i=2
‖h(ci)− h(ci−1)‖ < +∞.
2
Como vimos anteriormente, se uma cadeia nao-homogenea e Ef e admite uma
sequencia de distribuicoes estacionarias com extensao contınua de variacao limitada,
entao ela e EF. Com esta conclusao, formulamos a seguinte questao: Que propriedades
as entradas das matrizes de transicao devem satisfazer para garantir que a sequencia
{π(n)} tenha sua extensao de variacao limitada?
Naturalmente, nossa primeira ideia e assumir que todas as pij(n) sejam tais que
suas extensoes contınuas fij(c) sejam de variacao limitada no intervalo (0, 1]. Porem,
o exemplo seguinte mostra que essa hipotese e, infelizmente, insuficiente para que h(c)
seja de variacao limitada no intervalo (0, 1].
2.3 Ergodicidade Fraca e Forte: Condicoes para Equivalencia 24
Exemplo 5. Seja a sequencia de matrizes estocasticas {P (n)} com
P (n) =
(1− e−n e−n
e−n sin2(nπ
2
)1− e−n sin2
(nπ2
) ) .Considere a sequencia numerica cn = 1/n ↓ 0. Entao, a funcao f : (0, 1] → M2x2
dada por
f(c) =
(1− e−1/c e−1/c
e−1/c sin2( π
2c
)1− e−1/c sin2
( π2c
) )
e uma extensao contınua de {P (n)} e, alem disso, f e de variacao limitada no intervalo
(0, 1].
Com efeito, calculando a derivada de f , obtemos
df
dc=
−e−1/c
c2e−1/c
c2e−1/c
2c2[1− cos(π/c)− π sin(π/c)]
e−1/c
2c2[π sin(π/c) + cos(π/c)− 1]
e, como
limc↓0
df
dc=
(0 0
0 0
)segue que f ′ e contınua em todo o intervalo (0, 1]. Logo, f e de variacao limitada no
intervalo (0, 1].
Para determinar o termo geral da sequencia {π(n)} basta resolver o sistema de
equacoes {π1 + π2 = 1
(1− e−n)π1 +(e−n sin2
(nπ2
))π2 = π1
.
Resolvendo, encontramos que
π(n) =
(1
1 + sin−2(nπ2
) , 1
1 + sin2(nπ2
)) .Como
limn→+∞
π(2n− 1) = (1/2, 1/2) e limn→+∞
π(2n) = (0, 1),
entao, segue da Proposicao A.0.1 que,∑n≥1
‖π(n)− π(n+ 1)‖ nao converge.
2.3 Ergodicidade Fraca e Forte: Condicoes para Equivalencia 25
Definicao 2.3.3. Dizemos que uma funcao g : (0, 1]→ R e assintoticamente monotona
se existe um numero real c∗ > 0 tal que g(c) e monotona ∀c < c∗.
O resultado a seguir apresenta uma condicao suficiente para que h(c) seja de variacao
limitada.
Lema 2.3.1. Seja h(c) ∈ C1 uma extensao contınua da sequencia {π(n)}. Se h(c) e
assintoticamente monotona, isto e, se cada hi(c) (i = 1, 2, . . . , N) e assintoticamente
monotona, entao h(c) e de variacao limitada no intervalo (0, 1].
Um problema que podemos observar no Exemplo 5 esta em quocientes de entradas
pij(n) obtidos no calculo do termo geral π(n), que podem nao possuir extensoes con-
tınuas de variacao limitada, mesmo com todas as entradas da matriz P (n) possuindo
extensoes contınuas de variacao limitada.
Duas classes de funcoes definidas sobre o intervalo (0, 1] apresentam propriedades
de regularidade sob as quais a condicao de extensao de variacao limitada a h(c) pode
ser provada.
Definicao 2.3.4 (Classe de Funcoes Assintoticamente Monotonas - CAM). A classe
F ⊂ C1 de funcoes definidas no intervalo (0, 1] e uma classe de funcoes assintotica-
mente monotonas se
• f ∈ F ⇒ f ′ ∈ F e −f ∈ F ;
• f, g ∈ F ⇒ (f + g) e (f · g) ∈ F ;
• toda f ∈ F muda de sinal finitas vezes em [0, 1].
Definicao 2.3.5 (Classe de Funcoes Racionais de Variacao Limitada - CRVL). Diz-se
que uma classe F de funcoes definidas em (0, 1] e uma classe de funcoes racionais de
variacao limitada se
• f ∈ F ⇒ f e de variacao de limitada em (0, 1];
• f ∈ F ⇒ −f ∈ F ;
• f, g ∈ F ⇒ (f + g) e (f · g) ∈ F ;
• f, g ∈ F com (f/g) limitado no (0, 1]⇒ f/g e de variacao limitada em (0, 1].
2.3 Ergodicidade Fraca e Forte: Condicoes para Equivalencia 26
Definicao 2.3.6 (Extensao Contınua Regular). A sequencia de matrizes de transicao
{P (n)} de uma Cadeia de Markov Nao-Homogenea e dita ter extensao contınua regular
f(c), se existe um numero real c∗ > 0 tal que a colecao de sub-cadeias de f(c) sao iguais
para todo c < c∗.
Teorema 2.3.2 (Anily e Federgruen [1]). Sejam {P (n)} a sequencia de matrizes de
transicao de uma Cadeia de Markov Nao-Homogenea Ef com S finito e f(c) uma exten-
sao contınua regular de {P (n)} tal que todas as funcoes fij(c) com i, j ∈ {1, 2, . . . , N}pertencem a
1. Classe de funcoes assintoticamente monotonas, ou
2. Classe de funcoes racionais de variacao limitada.
Entao {P (n)} e EF e, para n suficientemente grande, cada P (n) tem uma unica dis-
tribuicao estacionaria π(n).
Demonstracao. Primeiramente, iremos provar que para n suficientemente grande,
cada P (n) tem unica distribuicao estacionaria π(n) ou, de maneira equivalente, que
para c suficientemente pequeno, f(c) possui unica distribuicao estacionaria h(c). Para
isso, basta concluirmos que f(c) tem uma unica sub-cadeia.
Com efeito, suponhamos que existam dois subconjuntos de estados S1 e S2, tais que
S1 e S2 formam sub-cadeias em f(c). Como f(c) e uma extensao regular, entao existe
c∗ > 0 tal que S1 e S2 sao sub-cadeias iguais, para todo c < c∗, isto e, existe k ≥ 1 tal
que S1 e S2 sao sub-cadeias iguais em P (n), ∀ n ≥ k. Entretanto, note que
∀ i ∈ S1, limn→+∞
∑j∈S1
P(k,k+n)ij = 1 e ∀ i ∈ S2, lim
n→+∞
∑j∈S1
P(k,k+n)ij = 0,
contradizendo a ergodicidade fraca da cadeia. Logo, cada P (n) possui uma unica sub-
cadeia e, portanto unica distribuicao estacionaria π(n).
Seja h(c), para todo c suficientemente pequeno, a unica distribuicao estacionaria de
f(c) e note que h(c) e obtido como a solucao unica do sistema:
h1(c) =N∑i=1
hi(c)fi1(c)
...
hN(c) =N∑i=1
hi(c)fiN(c)
h1(c) + . . .+ hN(c) = 1
.
2.3 Ergodicidade Fraca e Forte: Condicoes para Equivalencia 27
Escrevendo o sistema anterior em sua forma matricial (na forma Ax = b), obtemos1− f1,1(c) · · · −fN−1,1(c) −fN,1(c)
.... . .
......
−f1,N−1(c) · · · 1− fN−1,N−1(c) −fN,N−1(c)1 1 · · · 1 1
︸ ︷︷ ︸
A
·
h(c)1
...
h(c)N−1
h(c)N
︸ ︷︷ ︸
x
=
0...
0
1
︸ ︷︷ ︸
b
.
Usando a regra de Cramer para resolucao de sistemas lineares, temos que
h(c)i =Qi(c)
Q(c), i = 1, 2, . . . , N,
sendo Qi(c) (i = 1, 2, . . . , N) o determinante da matriz obtida de A substituindo-se a
i-esima coluna pelo vetor b, e Q(c) o determinante da matriz A. Note que Qi(c) (i =
1, 2, . . . , N) e Q(c) sao somas (ou diferencas) finitas de produtos finitos de funcoes
fij(c).
Se as funcoes fij(c) pertencem a classe CRVL, entao todas as funcoes hi(c) serao
de variacao limitada e pelo Teorema 2.3.1, segue que {P (n)} e EF.
Se as funcoes fij(c) pertencem a classe CAM, entao podemos escrever a derivada
de h(c)i por
h′(c)i =Q′i(c)Q(c)−Qi(c)Q
′(c)
Q2(c),
o qual o numerador e, agora, a diferenca de duas somas finitas de produtos finitos
das funcoes fij(c). Como h′i(c) muda de sinal finitas vezes no intervalo (0, 1] e sao
assintoticamente monotonas, segue que h(c) e de variacao limitada. Novamente pelo
Teorema 2.3.1 {P (n)} e EF.
2
A seguinte proposicao enumera algumas classes de funcoes definidas no intervalo
(0, 1] que sao CAM e/ou CRVL.
Proposicao 2.3.1 (Anily e Federgruen [1]). As seguintes classes de funcoes definidas
no intervalo (0, 1] sao CAM e/ou CRVL.
1. Dos polinomios (CAM e CRVL);
2. Das funcoes racionais (CAM e CRVL);
3. Das funcoes racionais com restricoes (definidas por mais de uma sentenca)(CRVL);
2.3 Ergodicidade Fraca e Forte: Condicoes para Equivalencia 28
4. Das funcoes racionais exponenciais (CAM).
Dessa forma, se {P (n)} e uma cadeia Ef com extensao regular f(c) com c ∈ (0, 1]
e com suas componentes pertencentes a alguma das classes de funcoes acima, entao a
cadeia e EF.
Capıtulo 3
Resultados Assintoticos em Cadeias
de Markov com Transicoes Raras
Seja F = ({Xn}n∈N,S, Pβ)β∈R+ uma famılia de Cadeias de Markov Homogeneas
com espaco de estados S = {1, 2, . . . , N} e matrizes de transicao Pβ tais que para todo
i, j ∈ S
limβ→+∞
− 1
βlogPβ(Xn = j|Xn−1 = i) = V (i, j), (3.1)
sendo V : S× S→ R+3 ∪ {+∞}. Neste caso, a famılia F e dita ter Transicoes Raras.
Cadeias de Markov com Transicoes Raras aparecem nos mais variados contextos,
inclusive, na otimizacao estocastica via algoritmos aleatorios como, por exemplo, o
Simulated Annealing Generalizado (veja Catoni [2], Trouve [11]) e o Algoritmo Genetico
(veja Suzuki [10]). Muitas questoes foram estudadas sobre essa classe de Cadeias de
Markov, entre elas esta o comportamento limite de suas distribuicoes estacionarias,
recentemente usado por Suzuki [10] no estudo da convergencia do Algoritmo Genetico,
e a distribuicao do tempo de entrada em um subconjunto nao vazio de estados.
Neste capıtulo revisamos os resultados sobre o comportamento assintotico das dis-
tribuicoes estacionarias (pre-requisito para qualquer outro estudo sobre esse tema) e o
tempo medio de entrada em subconjuntos de estados em Cadeias de Markov com Tran-
sicoes Raras usando o conceito de W -grafo, metodo grafico desenvolvido por Freidlin
e Wentzell [4] do qual se obtem expressoes fechadas para a distribuicao estacionaria
e o tempo medio de entrada em um subconjunto nao vazio de estados de Cadeias de
3R+ = [0,+∞)
29
3.1 W -grafos 30
Markov Homogeneas irredutıveis. Destacamos neste capıtulo, o calculo da distribuicao
estacionaria da Cadeia de Markov associada ao modelo de Ehrenfest, como aplicacao
do conceito de W -grafo.
3.1 W -grafos
Sejam E um conjunto finito de elementos, W ⊂ E um subconjunto nao-vazio de
E e W c seu complementar. Um W -grafo e um grafo orientado com vertices em E que
nao contem nenhuma aresta partindo dos vertices em W e e tal que, para todo i ∈ W c
existe um unico caminho no grafo ligando i a algum j ∈ W . Veja a Figura 3.1.
i
jW
Figura 3.1: Exemplo de um W -grafo
Notacoes Importantes:
g, grafo orientado em E;
(i→ j), aresta partindo de i para j em g;
Definicao 3.1.1. Para todo grafo orientado g em E e i ∈ E, definimos
g(i) = {j ∈ E; (i→ j) ∈ g}
3.1 W -grafos 31
e
gn(i) =⋃
j∈gn−1(i)
g(j) = {j ∈ E; (i = i1 → i2 → · · · → in = j) ∈ g}.
Em outras palavras, g(i) representa o conjunto de elementos de E que estao ligados
com i por exatamente uma aresta partindo de i e gn(i) e o conjunto de elementos de
E ligados com i por um caminho de exatamente n arestas saindo de i.
Definicao 3.1.2 (W -grafo). Seja W um subconjunto nao-vazio arbitrario de E. Um
grafo orientado g com vertices em E e dito um W -grafo se, e somente se
1. Nenhuma aresta inicia em vertices de W e exatamente uma aresta inicia em cada
vertice de W c;
2. Para todo i ∈ E tem-se que i /∈ Og(i), sendo Og(i) =+∞⋃n=1
gn(i) a orbita do vertice
i no grafo g. Em outras palavras, nao ha ciclos em g.
Equivalentemente, podemos substituir a condicao 2 por:
2’. Para todo i ∈ W c tem-se que Og(i) ∩W 6= ∅, ou seja, para todo i ∈ W c existe
um caminho orientado para algum j ∈ W .
Notacoes Importantes:
G(W ), conjunto de todos os W -grafos;
G(i), conjunto de todos os {i}-grafos;
Observacao. Segue da definicao anterior que, para todo i ∈ W c existe um unico j ∈ Etal que (i→ j) ∈ g, ou seja, g(i) e unico.
Definicao 3.1.3 (Grafos Gi,j(W )). Para todo i ∈ E e j ∈ W , definimos
Gi,j(W ) =
{g ∈ G(W ); j ∈ Og(i)}, se i ∈ W c;
G(W ), se i = j;
∅, se i ∈ W\{j}.
Ou seja, Gi,j(W ) representa o conjunto de todos os W -grafos que contem um ca-
minho ligando o vertice i ao vertice j. Assim, para todo i ∈ E e j ∈ W tem-se que
Gi,j(W ) ⊆ G(W ).
Exemplo 6. Suponhamos um conjunto E com quatro elementos quaisquer, digamos
E = {i, j, k, l} e tomemos, por exemplo, W = {i, j}. Entao, o conjunto G(W ) e dado
pelos grafos:
3.2 Teoremas para Cadeias de Markov Irredutıveis 32
j
k k
i ik
i
j
k
l
i
j
k
l
i
j
l
k i i
lj l
j
k
l
k
l
i
lj j
g1 g2 g3
g4g5 g6
g7 g8 G(W )
Figura 3.2
Assim, terıamos os conjuntos Gl,i(W ) = {g1, g2, g6, g7}, Gk,j(W ) = {g4, g5, g6, g8},entre outros.
3.2 Teoremas para Cadeias de Markov Irredutıveis
Seja {Xn}n∈N uma Cadeia de Markov Homogenea irredutıvel4 com espaco de estados
S = {1, 2, . . . , N} e matriz de transicao P = (pij)(i,j)∈S×S. Nesta secao, abordamos os
resultados que estabelecem formulas para o calculo das distribuicoes estacionarias de
Cadeias de Markov Homogeneas irredutıveis, bem como para o valor esperado para a
primeira visita da cadeia a um subconjunto nao vazio de estados.
Definicao 3.2.1. Sejam P a matriz de transicao de uma Cadeia de Markov Homogenea
4Uma Cadeia de Markov Homogenea com matriz de transicao P e dita ser irredutıvel se, para todoi, j ∈ S, pnij > 0 para algum n ≥ 1.
3.2 Teoremas para Cadeias de Markov Irredutıveis 33
com espacos de estados S e W ⊂ S nao-vazio. Definimos P restrita a W c ×W c por
P |W c×W c = (pij)(i,j)∈W c×W c ,
Exemplo 7. Considere uma Cadeia de Markov Homogenea com espaco de estados
S = {1, 2, 3, 4} e matriz de transicao
P =
0 1 0 0
1/2 0 1/4 1/4
0 0 0 1
0 0 1 0
.
Seja W = {3}. Logo, W c = {1, 2, 4} e
P |W c×W c =
0 1 0
1/2 0 1/4
0 0 0
.
Definicao 3.2.2. Sejam W ⊂ S nao vazio e g ∈ G(W ). Definimos a probabilidade
p(g) por:
p(g) =∏
(i→j)∈g
pij =∏
(i→j)∈g
P (Xn = j|Xn−1 = i),
sendo (i→ j) ∈ g a aresta partindo do vertice i para o vertice j no grafo g.
E imediato que se uma Cadeia de Markov e irredutıvel, entao para todo W ⊂ S
nao vazio existe um grafo g ∈ G(W ) tal que
p(g) > 0.
O teorema a seguir, estabelecido por Catoni [2], e usado para escrever as formulas
para o tempo medio de entrada em subconjuntos arbitrarios nao vazios de estados e
para a distribuicao estacionaria da matriz de transicao P . Antes, demonstraremos o
lema a seguir, que sera usado na demonstracao do teorema.
Lema 3.2.1. Sejam P a matriz de transicao de uma Cadeia de Markov Homogenea
irredutıvel com espaco de estados S, W ⊂ S nao vazio e i, j ∈ W c. Consideremos os
conjuntos C1 = {(k, g); k ∈ {i}c, g ∈ Gi,j(W ∪ {j})} e C2 = {(k, g); k ∈ W c ∩ {i}c, g ∈Gk,j(W ∪ {j})}.
3.2 Teoremas para Cadeias de Markov Irredutıveis 34
(a) Se i 6= j, entao a funcao ξ1 : C1 → C2 dada por
ξ1(k, g) =
{(k, g) se g ∈ Gk,j(W ∪ {j})
(g(i), (g ∪ {(i→ k)})\{(i→ g(i))}) se g /∈ Gk,j(W ∪ {j})
e bijetiva e ∑(k,g)∈C1
p(g)pik =∑
(k,g)∈C2
p(g)pik.
(b) Se i = j, entao a funcao ξ2 : C1 ∩ Cc2 → G(W ) dada por
ξ2(k, g) = g ∪ {(j → k)}
e bijetiva e ∑(k,g)∈C1∩Cc
2
p(g)pik =∑
g∈G(W )
p(g).
Demonstracao. Suponhamos i 6= j. Para verificarmos que ξ1 e bijetiva veremos que,
para todo (k, g) ∈ C2 existe um unico par (k, g) ∈ C1 tal que ξ1(k, g) = (k, g).
De fato, dado (k, g) ∈ C2, temos que k ∈ W c ∩ {i}c e g ∈ Gk,j(W ∪ {j}). Observe,
neste caso, que k pode ser j, pois j /∈ W e j 6= i, e daı, Gk,j(W ∪ {j}) = G(W ∪ {j}).
Se j ∈ Og(i), entao g ∈ Gi,j(W ∪ {j}).(veja ilustracao na Figura 3.3).
W ∪ {j}
ik
j
Figura 3.3
Como k ∈ W c ∩ {i}c, temos que k ∈ {i}c. Assim, tomando (k, g) = (k, g) teremos
3.2 Teoremas para Cadeias de Markov Irredutıveis 35
(k, g) ∈ C1 e
ξ1(k, g) = (k, g).
Se j /∈ Og(i), entao g /∈ Gi,j(W ∪ {j}). Neste caso, considere o unico vertice g(i)
tal que a aresta (i→ g(i)) ∈ g, e note que g(i) ∈ {i}c (veja ilustracao na Figura 3.4).
W ∪ {j}j
ki
g(i)
Figura 3.4
Tomando k = g(i) e g = (g∪{(i→ k)})\{(i→ g(i))}, temos que g ∈ Gi,j(W ∪{j})(veja ilustracao na Figura 3.5).
W ∪ {j}j
ki
g(i)
Figura 3.5
3.2 Teoremas para Cadeias de Markov Irredutıveis 36
Assim, o par (k, g) ∈ C1 e
ξ1(k, g) = (k, g).
Observe que, em ambos os casos, o par (k, g) ∈ C1 foi obtido de maneira unica.
Logo, segue que ξ1 e bijetiva.
Do fato de ξ1 bijetiva, temos que∑(k,g)∈C1
p(g)pikξ1=
∑(k,g)∈C2
p(g)pik,
donde concluımos a verificacao de (a).
Agora, suponhamos i = j. Para provarmos que ξ2 e bijetiva verificaremos que, para
todo g ∈ G(W ) existe um unico par (k, g) ∈ C1∩Cc2 tal que ξ2(k, g) = g. Ou seja, vamos
encontrar um unico par (k, g) ∈ {(k, g) ∈ (W ∩{i}c)×G(W ∪{i}); g /∈ Gk,i(W ∪{i})}.Com efeito, dado g ∈ G(W ) considere o unico vertice g(i) tal que a aresta (i →
g(i)) ∈ g (veja ilustracao na Figura 3.6). Observe, neste caso, que g(i) ∈ W ∩ {i}c,pois i ∈ W c.
i
W
g(i)
Figura 3.6
Assim, tomando (k, g) = (g(i), g\{(i → g(i))} teremos (k, g) ∈ C1 ∩ Cc2, pois
g ∈ G(W ∪ {j}) e g /∈ Gk,i(W ∪ {i}) (veja ilustracao na Figura 3.7).
3.2 Teoremas para Cadeias de Markov Irredutıveis 37
i
W ∪ {i}
g(i)
Figura 3.7
Como ξ2(k, g) = g e (k, g) e unico, por consequencia de g(i) ser unico, concluımos
que ξ2 e bijetiva.
De ξ2 ser bijetiva, temos que∑(k,g)∈C1∩Cc
2
p(g)pik =∑
(k,g)∈C1∩Cc2
p(g ∪ {(j → k)})
ξ2=
∑g∈G(W )
p(g),
o que conclui a prova de (b).
2
Teorema 3.2.1 (Catoni [2]). Sejam {Xn}n∈N uma Cadeia de Markov Homogenea ir-
redutıvel com matriz de transicao P e espaco de estados S finito. Dados W ⊂ S nao
vazio e i, j ∈ W c temos que
(I|W c − p|W c×W c)−1ij =
(+∞∑n=0
pnij|W c×W c
)
=
∑g∈Gi,j(W∪{j}) p(g)∑
g∈G(W ) p(g),
sendo I|W c a matriz identidade restrita a W c.
3.2 Teoremas para Cadeias de Markov Irredutıveis 38
Demonstracao. Dados i, j ∈ W c, defina
mij =
∑g∈Gi,j(W∪{j})
p(g)
∑g∈G(W )
p(g)
−1 . (3.2)
Vamos mostrar que
(I|W c − P |W c×W c)m = I|W c ,
ou seja, ∑k∈W c
(Iik − pik)mkj = Iij, ∀ i, j ∈ W c. (3.3)
Note que a expressao (3.3) e equivalente a ∑(k,g)∈C1
pikp(g)
∑g∈G(W )
p(g)
−1 = Iij +
∑(k,g)∈C2
pikp(g)
∑g∈G(W )
p(g)
−1 ,sendo C1 = {(k, g); k ∈ {i}c, g ∈ Gi,j(W ∪ {j})} e C2 = {(k, g); k ∈ (W ∪ {i})c, g ∈Gk,j(W ∪ {j})}.
De fato, usando a igualdade pii = 1−∑k∈{i}c
pik, a expressao (3.3) e reescrita por
∑k∈W c
(Iik − pik)mkj = Iij
⇒ (Iii − pii)mij +∑
k∈W c∩{i}c(Iik − pik)mkj = Iij
⇒ mij − (1−∑k∈{i}c
pik)mij +∑
k∈W c∩{i}c(Iik − pik)mkj = Iij
⇒∑k∈{i}c
pikmij = Iij −∑
k∈W c∩{i}c(Iik − pik)mkj.
Como Iik = 0 para todo k ∈ (W ∪ {i}c), vem que∑k∈{i}c
pikmij = Iij +∑
k∈(W∪{i})cpikmkj, (3.4)
3.2 Teoremas para Cadeias de Markov Irredutıveis 39
e daı, substituindo (3.2) em (3.4), obtemos
∑k∈{i}c
pik
∑g∈Gi,j(W∪{j})
p(g)
∑g∈G(W )
p(g)
−1 =
Iij +∑
k∈(W∪{i})cpik
∑g∈Gk,j(W∪{j})
p(g)
∑g∈G(W )
p(g)
−1 ,ou seja, ∑
(k,g)∈C1
pikp(g)
∑g∈G(W )
p(g)
−1 = Iij +
∑(k,g)∈C2
pikp(g)
∑g∈G(W )
p(g)
−1 ,(3.5)
Pelo Lema 3.2.1(a) temos que ∑(k,g)∈C1
pikp(g)
∑g∈G(W )
p(g)
−1 =
∑(k,g)∈C2
pikp(g)
∑g∈G(W )
p(g)
−1 ,donde concluımos que Iij = 0 quando i 6= j.
Por outro lado, podemos reescrever a equacao (3.2) por ∑(k,g)∈C1∩Cc
2
pikp(g) +∑
(k,g)∈C2
pikp(g)
∑g∈G(W )
p(g)
−1 =
Iii +
∑(k,g)∈C2
pikp(g)
∑g∈G(W )
p(g)
−1 ,quando i = j. Logo, temos que ∑
(k,g)∈C1\C2
pikp(g)
∑g∈G(W )
p(g)
−1 = Iii.
Pelo Lema 3.2.1(b), segue que
Iii = 1.
2
Definicao 3.2.3. Sejam {Xn}n∈N uma Cadeia de Markov Homogenea com espaco de
estados S finito e W ⊂ S nao-vazio. Definimos o tempo de primeira entrada em W
3.2 Teoremas para Cadeias de Markov Irredutıveis 40
por
τ(W ) = inf{n ≥ 0;Xn ∈ W}.
Lema 3.2.2. Sejam {Xn}n∈N uma Cadeia de Markov Homogenea com matriz de tran-
sicao P e espaco de estados S finito. Para todo W ⊂ S nao vazio e i ∈ W c tem-se
P (τ(W ) > n|X0 = i) =∑j∈W c
pnij|W c×W c ,
sendo pnij|W c×W c a entrada ij da matriz P n|W c×W c.
Demonstracao. De fato. Observe que
P (τ(W ) > n|X0 = i) = P (Xn ∈ W c, Xn−1 ∈ W c, . . . , X1 ∈ W c|X0 = i)
=∑j∈W c
P (Xn = j,Xn−1 ∈ W c, . . . , X1 ∈ W c|X0 = i)
=∑j∈W c
∑k∈W c
P (Xn = j,Xn−1 = k, . . . , X1 ∈ W c|X0 = i)
...
=∑j∈W c
∑k∈W c
· · ·∑l∈W c
P (Xn = j,Xn−1 = k, . . . , X1 = l|X0 = i)
Agora, pela Regra do Produto e da Propriedade de Markov segue que
P (Xn = j,Xn−1 = k, . . . , X1 = l|X0 = i) = pkjpmk . . . pil.
Da definicao de produto de matrizes, obtemos
∑j∈W c
∑k∈W c
· · ·∑l∈W c
P (Xn = j,Xn−1 = k, . . . , X1 = l|X0 = i)
=∑j∈W c
∑k∈W c
· · ·∑l∈W c
pkjpmk . . . pil
=∑j∈W c
∑k∈W c
· · ·∑r∈W c
pkjpmk . . . prs∑l∈W c
pilplr
3.2 Teoremas para Cadeias de Markov Irredutıveis 41
=∑j∈W c
∑k∈W c
· · ·∑r∈W c
pkjpmk . . . p2ir|W c×W c
...
=∑j∈W c
∑k∈W c
pkjpn−1ik |W c×W c
=∑j∈W c
pnij|W c×W c .
Portanto,
P (τ(W ) > n|X0 = i) =∑j∈W c
pnij|W c×W c .
2
O teorema seguinte estabelece uma expressao fechada para o calculo do tempo
esperado para a primeira visita de uma Cadeia de Markov a um subconjunto arbitrario
nao vazio de estados W dado que o processo inicia em algum estado i ∈ W c usando
W -grafos.
Teorema 3.2.2 (Catoni [2]). Sejam {Xn}n∈N uma Cadeia de Markov Homogenea ir-
redutıvel com matriz de transicao P e espaco de estados S finito. Para todo W ⊂ Snao vazio e i ∈ W c tem-se
E(τ(W )|X0 = i) =
∑j∈W c
∑g∈Gi,j(W∪{j}) p(g)∑g∈G(W ) p(g)
.
Demonstracao.
E(τ(W )|X0 = i) =∞∑n=0
P (τ(W ) > n|X0 = i)
=∞∑n=0
∑j∈W c
pnij|W c×W c , pelo Lema 3.2.2
=∑j∈W c
∞∑n=0
pnij|W c×W c
=
∑j∈W c
∑g∈Gi,j(W∪{j}) p(g)∑g∈G(W ) p(g)
, pelo Teorema 3.2.1
2
Para determinar a expressao para o calculo da unica distribuicao estacionaria da
matriz de transicao P , usaremos o seguinte lema.
3.2 Teoremas para Cadeias de Markov Irredutıveis 42
Lema 3.2.3. Seja P a matriz de transicao de uma Cadeia de Markov Homogenea
irredutıvel com espaco de estados S, e seja i ∈ S. Consideremos, para cada k 6= i, o
conjunto Ak = {(j, g) : j 6= i, g ∈ Gj,k({i, k})} e a funcao ϕk : Ak → G(k) definida
por:
ϕk(j, g) = g ∪ {(i→ j)}.
Entao, ϕk e bijetiva e∑k 6=i
∑j 6=i
∑g∈Gj,k({i,k})
pijp(g) =∑k 6=i
∑g∈G(k)
p(g).
Demonstracao. Para verificarmos que ϕk e bijetiva veremos que, para todo g ∈ G(k)
existe um unico par (j, g) ∈ Ak tal que ϕk(j, g) = g.
De fato, dado g ∈ G(k) considere o unico vertice g(i) tal que (i → g(i)) ∈ g e
digamos que j = g(i) (veja ilustracao na Figura 3.8). Observe, neste caso, que j pode
ser k e daı, Gj,k({i, k}) = G({i, k}) .
k
i
g(i)
Figura 3.8
Fazendo g = g\{(i → j)} (note que g e unico, pois j e unico), teremos que g ∈Gj,k({i, k}), como ilustra a Figura 3.9.
3.2 Teoremas para Cadeias de Markov Irredutıveis 43
i
k
g(i)
Figura 3.9
Note que (j, g) ∈ Ak e o unico par tal que ϕk(j, g) = g. Logo, ϕk e bijetiva.
Pelo que vimos, para todo g ∈ G(k) existem unicos (j, g) ∈ Ak tal que g ∪ {(i →j)} = g. Logo, para todo g ∈ G(k),
p(g) = p(g ∪ {(i→ j)}) = p(g)pij.
Portanto, para cada k 6= i,∑k 6=i
∑j 6=i
∑g∈Gj,k({i,k})
pijp(g) =∑k 6=i
∑(j,g)∈Ak
pijp(g)
ϕk=∑k 6=i
∑g∈G(k)
p(g).
2
O teorema a seguir, de Freidlin e Wentzell [4], estabelece uma maneira alternativa
para o calculo da unica distribuicao estacionaria da matriz de transicao P de uma
Cadeia de Markov Homogenea irredutıvel usando o conceito de W -grafos. Para a
prova deste teorema, usamos a demonstracao dada por Catoni [2].
Teorema 3.2.3 (Catoni [2]). Sejam {Xn}n∈N uma Cadeia de Markov Homogenea ir-
redutıvel com matriz de transicao P e espaco de estados S finito. A unica distribuicao
3.2 Teoremas para Cadeias de Markov Irredutıveis 44
estacionaria de P e dada por:
πi =
∑g∈G(i)
p(g)
∑k∈S
∑g∈G(k)
p(g)
−1 , i ∈ S.
Demonstracao. Seja ν(i) = inf{n ≥ 1;Xn = i}. Das Proposicoes A.0.3 e A.0.5,
temos que
πi = E(ν(i)|X0 = i)−1
(A.1)=
(1 +
∑j 6=i
pijE(τ(i)|X0 = j)
)−1
=
(∑g∈G(i) p(g)∑g∈G(i) p(g)
+
∑j 6=i pij
∑k 6=i∑
g∈Gj,k({i,k}) p(g)∑g∈G(i) p(g)
)−1, pelo Teorema 3.2.2
=
( ∑g∈G(i) p(g)∑
g∈G(i) p(g) +∑
j 6=i∑
k 6=i∑
g∈Gj,k({i,k}) pijp(g)
)
=
( ∑g∈G(i) p(g)∑
g∈G(i) p(g) +∑
k 6=i∑
g∈G(k) p(g)
), pelo Lema 3.2.3
=
( ∑g∈G(i) p(g)∑
k∈S∑
g∈G(k) p(g)
).
2
Exemplo 8 (Modelo de Ehrenfest - [7]). Sejam 2b bolas numeradas de 1 ate 2b dis-
tribuıdas em duas urnas, I e II. Suponha que no tempo n um numero entre 1 e 2b
e escolhido ao acaso e a bola com este numero e transferida da urna onde esta para
a outra. Seja {Xn}n∈N o numero de bolas na urna I apos a n-esima transferencia.
Entao {Xn}n∈N e uma Cadeia de Markov com espaco de estados S = {0, 1, 2, . . . , 2b} e
matriz de transicao
P =
0 1 0 0 · · · 0 0 01
2b0 1− 1
2b0 · · · 0 0 0
02
2b0 1− 2
2b· · · 0 0 0
......
......
. . ....
......
0 0 0 0 · · · 1− 1
2b0
1
2b0 0 0 0 · · · 0 1 0
.
3.2 Teoremas para Cadeias de Markov Irredutıveis 45
Sua representacao grafica e
2b − 1210 2b· · ·
1 1− 1
2b1− 2
2b
2
2b
1
2b
1
2b
2
2b
3
2b1− 1
2b1
Podemos perceber claramente, pelo grafo anterior, que a cadeia e irredutıvel e, como
P e finita, segue que a unica distribuicao estacionaria da cadeia e dada por
πi =
∑g∈G(i) p(g)∑2b
j=0
∑g∈G(j) p(g)
, i ∈ {0, 1, . . . , 2b}. (3.6)
Agora, observe que o unico grafo g ∈ G(0) tal que p(g) 6= 0 e
· · ·0 1 2
1
2b
2
2b
3
2b1
2b
donde obtemos ∑g∈G(0)
p(g) =2b∏k=1
k
2b,
e o unico grafo g ∈ G(2b) tal que p(g) 6= 0 e
0 2b· · · 2b− 2 2b− 1
1
2b
2
2b
3
2b1
implicando ∑g∈G(2b)
p(g) =2b∏k=1
k
2b.
Alem disso, para cada i ∈ {1, 2, . . . , 2b − 1} temos que o unico grafo g ∈ G(i) tal que
p(g) 6= 0 e
3.3 Resultados Assintoticos para o Tempo Medio e Distribuicoes Estacionarias 46
· · ·· · ·0 1 i 2b
2b− 1
2b1
2b− (i− 1)
2b
i+ 1
2b
1
2b
e ∑g∈G(i)
p(g) =2b∏
k=2b−(i−1)
k
2b·
2b∏k=i+1
k
2b.
Substituindo estes valores em (3.6), obtemos
π0 = π2b =
∏2bk=1
k2b∏2b
k=1k2b
+∏2b
k=1k2b
+∑2b−1
j=1
∏2bk=2b−(j−1)
k2b·∏2b
k=j+1k2b
,
e, para i ∈ {1, 2, . . . , 2b− 1}
πi =
∏2bk=2b−(i−1)
k2b·∏2b
k=i+1k2b∏2b
k=1k2b
+∏2b
k=1k2b
+∑2b−1
j=1
∏2bk=2b−(j−1)
k2b·∏2b
k=j+1k2b
.
Do Apendice A, segue que a distribuicao estacionaria da cadeia {Xn}n∈N e dada por
πi =
(2b
i
)2−2b, ∀i ∈ {0, 1, . . . , 2b}.
Para este exemplo, constatamos que o calculo da distribuicao estacionaria torna-se
mais simples por meio de W -grafos, ja que pelo metodo classico, isto e, pela resolucao
do sistema formado pelas equacoes π = πP e π · 1 = 1, a solucao e dada de maneira
recursiva (veja Kannan [7]).
3.3 Resultados Assintoticos para o Tempo Medio e
Distribuicoes Estacionarias
Definicao 3.3.1. Seja S um espaco de estados finito. Considere uma famılia de Ca-
deias de Markov Homogeneas F = ({Xn}n∈N, S, Pβ)β∈R+ indexadas por um parametro
positivo β com espaco de estados S e uma funcao V : S× S→ R+ ∪ {+∞}. A famılia
F e dita ter transicoes raras com funcao V se para todo i, j ∈ S
limβ→+∞
− 1
βlogPβ(Xn = j|Xn−1 = i) = V (i, j), (3.7)
3.3 Resultados Assintoticos para o Tempo Medio e Distribuicoes Estacionarias 47
com a convencao que log 0 = −∞.
Notacoes Importantes:
pβ(i, j) = Pβ(Xn = j|Xn−1 = i);
Pβ = (pβ(i, j))(i,j)∈S×S, matriz de transicao da cadeia {Xn}n∈N;
πβ = (πβ(i))i∈S, distribuicao estacionaria da matriz Pβ.
Observacoes:
1. Este β e, por exemplo, a temperatura inversa, no caso em que F esta associado
ao algoritmo Simulated Annealing.
2. Dada uma famılia F = ({Xn}n∈N,S, Pβ)β∈R+ , podemos associar a F uma Cadeia
de Markov Nao-Homogenea com sequencia de matrizes de transicao dada por
{P (βn)}n∈N e probabilidades de transicoes
Pβ.(Xn = j|Xn−1 = i) = pij(βn), i, j ∈ S.
Exemplo 9. A Cadeia de Markov Nao-Homogenea com a sequencia de matrizes de
transicao {P (n)} dada por
P (n) =
(e−n 1− e−n
1 0
)
tem transicoes raras.
De fato, basta verificar que todas as entradas da matriz P (n) satisfaz a condicao
(3.7).
As entradas p11(n), p21(n) e p22(n) claramente satisfazem a condicao (3.7). Veri-
fiquemos a entrada p12(n).
limn→+∞
− 1
nlog(p12(n)) = lim
n→+∞− 1
nlog(1− e−n)
= limn→+∞
e−n
1− e−n, pela Regra de L′Hopital,
= 0.
Mas, a Cadeia de Markov Nao-Homogenea com a sequencia de matrizes de transicao
3.3 Resultados Assintoticos para o Tempo Medio e Distribuicoes Estacionarias 48
{Q(n)} dada por
Q(n) =
(1− e−n e−n
sin2(nπ
2
)1− sin2
(nπ2
) )nao tem transicoes raras.
Com efeito, considere as subsequencias de inteiros positivos an = 2n− 1 e bn = 2n
e note que
limn→+∞
− 1
nlog(
sin2(anπ
2
))= lim
n→+∞− 1
nlog 1
= 0,
porem,
limn→+∞
− 1
nlog
(sin2
(bnπ
2
))= lim
n→+∞− 1
nlog 0
= +∞.
Ou seja, nao existe o limite
limn→+∞
− 1
nlog(
sin2(nπ
2
))e, portanto, {Q(n)} nao tem transicoes raras.
Definicao 3.3.2. A funcao V : S × S → R+ ∪ {+∞} e dita ser irredutıvel, se para
todo i, j ∈ S existe um caminho i = i0 → i1 → · · · → ir = j tal que
V (ik, ik+1) < +∞, k = 0, 1, . . . , r.
Teorema 3.3.1 (Catoni [2]). Seja F = ({Xn}n∈N,S, Pβ)β∈R+ uma famılia de Cadeias
de Markov Homogeneas irredutıveis com Transicoes Raras e funcao V irredutıvel. En-
tao suas distribuicoes estacionarias πβ sao tais que, para todo i ∈ S
limβ→+∞
− 1
βlog πβ(i) = U(i) = min
g∈G(i)V (g)−min
j∈Sming∈G(j)
V (g), (3.8)
sendo V (g) =∑
(i→j)∈g
V (i, j).
Alem disso, para todo W ⊂ S nao vazio e i ∈ W c, temos que
limβ+→∞
1
βlogEβ(τ(W )|X0 = i) = min
g∈G(W )V (g)− min
j∈W cmin
g∈G(W∪{j})V (g). (3.9)
3.3 Resultados Assintoticos para o Tempo Medio e Distribuicoes Estacionarias 49
A quantidade U(i) e chamada de “energia virtual” do estado i.
Demonstracao. Por hipotese, temos que
limβ→+∞
− 1
βlogPβ(Xn = j|Xn−1 = i) = V (i, j), ∀ i, j ∈ S (3.10)
e, dados i, j ∈ S existe um caminho i = i0 → i1 → · · · → ir = j tal que
V (ik, ik+1) < +∞, k = 0, 1, . . . , r.
Sendo Pβ irredutıvel, pelo Teorema 3.2.3 segue que, para cada i ∈ S
πβ(i) =
∑g∈G(i) pβ(g)∑
j∈S∑
g∈G(j) pβ(g), (3.11)
sendo
pβ(g) =∏
(i→j)∈g
pβ(i, j). (3.12)
Queremos mostrar que
limβ→+∞
− 1
βlog πβ(i) = min
g∈G(i)V (g)−min
j∈Sming∈G(j)
V (g).
Com efeito, de (3.11), temos que
limβ→+∞
− 1
βlog πβ(i)
= limβ→+∞
− 1
βlog
∑g∈G(i)
pβ(g)
− limβ→+∞
− 1
βlog
∑j∈S
∑g∈G(j)
pβ(g)
,
e considerando card(G(W )),W ⊂ S a cardinalidade do conjunto G(W ), segue a se-
guinte desigualdade
maxg∈G(i)
pβ(g) ≤∑g∈G(i)
pβ(g) ≤ card(G(i)) · maxg∈G(i)
pβ(g),
e daı,
1
βlog
(maxg∈G(i)
pβ(g)
)≤ 1
βlog
∑g∈G(i)
pβ(g)
≤ 1
βlog card(G(i)) +
1
βlog
(maxg∈G(i)
pβ(g)
).
3.3 Resultados Assintoticos para o Tempo Medio e Distribuicoes Estacionarias 50
Como a funcao log e crescente, temos ainda que
maxg∈G(i)
(1
βlog pβ(g)
)≤ 1
βlog
∑g∈G(i)
pβ(g)
≤ 1
βlog card(G(i))
+ maxg∈G(i)
(1
βlog pβ(g)
).
De (3.10) e (3.12), segue que
limβ→+∞
− 1
βlog pβ(g) = V (g). (3.13)
Assim, passando o limite na desigualdade anterior com β → +∞ e usando (3.13) e o
fato do maximo esta sendo tomado sobre um numero finito de termos, temos que
maxg∈G(i)
(−V (g)) ≤ limβ→+∞
1
βlog
∑g∈G(i)
pβ(g)
≤ maxg∈G(i)
(−V (g)).
Como maxg∈G(i)
(−V (g)) = − ming∈G(i)
V (g), segue do Teorema do Confronto que
limβ→+∞
− 1
βlog
∑g∈G(i)
pβ(g)
= ming∈G(i)
V (g). (3.14)
De maneira analoga, obtemos que
limβ→+∞
− 1
βlog
∑j∈S
∑g∈G(j)
pβ(g)
= minj∈S
ming∈G(j)
V (g). (3.15)
De (3.13) e (3.14), temos finalmente
limβ→+∞
− 1
βlog πβ(i) = min
g∈G(i)V (g)−min
j∈Sming∈G(j)
V (g).
Agora, consideremos W ⊂ S e i ∈ W c. Do Teorema 3.2.2, temos que
limβ→+∞
1
βlogEβ(τ(W )|X0 = i) = lim
β→+∞
1
βlog
∑j∈W c
∑g∈Gi,j(W∪{j})
pβ(g)
− lim
β+→∞
1
βlog
∑g∈G(W )
pβ(g)
.
3.3 Resultados Assintoticos para o Tempo Medio e Distribuicoes Estacionarias 51
Observe que,
maxj∈W c
maxg∈Gi,j(W∪{j})
pβ(g) ≤∑j∈W c
∑g∈Gi,j(W∪{j})
pβ(g)
≤ card(C) · maxj∈W c
maxg∈Gi,j(W∪{j})
pβ(g),
sendo C = {(j, g); j ∈ W c, g ∈ Gi,j(W ∪ {j})}.Logo,
1
βlog max
j∈W cmax
g∈Gi,j(W∪{j})pβ(g) ≤ 1
βlog
∑j∈W c
∑g∈Gi,j(W∪{j})
pβ(g)
≤ 1
βlog card(C) +
1
βlog max
j∈W cmax
g∈Gi,j(W∪{j})pβ(g),
e como a funcao log e crescente, temos que
maxj∈W c
maxg∈Gi,j(W∪{j})
(1
βlog pβ(g)
)≤ 1
βlog
∑j∈W c
∑g∈Gi,j(W∪{j})
pβ(g)
≤ 1
βlog card(C) + max
j∈W cmax
g∈Gi,j(W∪{j})
(1
βlog pβ(g)
).
Usando (3.13) e o fato que o maximo esta sendo tomado sobre uma quantidade finita
de termos, temos que
− minj∈W c
ming∈Gi,j(W∪{j})
V (g) ≤ limβ→+∞
1
βlog
∑j∈W c
∑g∈Gi,j(W∪{j})
pβ(g)
≤ − min
j∈W cmin
g∈Gi,j(W∪{j})V (g)
Segue do Teorema do Confronto que
limβ→+∞
1
βlog
∑j∈W c
∑g∈Gi,j(W∪{j})
pβ(g)
= − minj∈W c
ming∈Gi,j(W∪{j})
V (g). (3.16)
De modo analogo, podemos mostrar que
limβ→+∞
1
βlog
∑g∈G(W )
pβ(g)
= − ming∈G(W )
V (g). (3.17)
3.3 Resultados Assintoticos para o Tempo Medio e Distribuicoes Estacionarias 52
Portanto, de (3.16) e (3.17), segue que
limβ→+∞
1
βlogEβ(τ(W )|X0 = i) = min
g∈G(W )V (g)− min
j∈W cmin
g∈Gi,j(W∪{j})V (g).
2
Observe que, para calcularmos a energia virtual de um estado qualquer em uma
famılia F de Cadeias de Markov Homogeneas irredutıveis com Transicoes Raras nao e
necessario conhecermos as entradas de suas matrizes de transicao, mas, simplesmente
como estas entradas se comportam no limite, facilitando a analise da convergencia de
algoritmos aleatorios, ja que em muitos algoritmos e inviavel determinar as probabili-
dades de transicao.
Vale ainda ressaltar que no estudo da ergodicidade forte, o comportamento limite
das distribuicoes estacionarias tem papel fundamental (veja Teorema 2.1.5). Sendo
assim, os resultados obtidos nesta secao sobre o comportamento assintotico das distri-
buicoes estacionarias em Cadeias de Markov com Transicoes Raras pode ser utilizado
no estudo da convergencia de Cadeias de Markov Nao-Homogeneas.
Capıtulo 4
Conclusoes
O objetivo principal do nosso trabalho foi reunir alguns resultados gerais em Cadeias
de Markov Nao-Homogeneas utilizados com frequencia no estudo da convergencia de
algoritmos aleatorios que sao usados para estimar pontos mınimos ou maximos globais
de funcoes.
Nossa pesquisa focalizou resultados onde o comportamento ergodico fraco e forte
de Cadeias de Markov sao caracterizados sob a hipotese da existencia da sequencia de
distribuicoes estacionarias e resultados sem esta suposicao. Ha casos onde nao pode-
mos determinar uma expressao fechada para as distribuicoes estacionarias, tornando
o estudo da convergencia das cadeias, usando as distribuicoes estacionarias, inviavel.
Aqui, conseguimos estabelecer o Corolario 2.2.1, que sob algumas hipoteses, garante
a ergodicidade forte de uma cadeia que possui a sequencia de matrizes de transicao
definida por subsequencias convergentes.
Estudamos tambem, condicoes que estabelecem equivalencia entre os conceitos
de ergodicidade. Esta equivalencia simplifica a analise assintotica de cadeias nao-
homogeneas, especialmente nos casos em que o comportamento limite da sequencia de
distribuicoes estacionarias nao pode ser estudado.
Em seguida, fizemos um estudo sobre uma classe particular de Cadeias de Markov
finitas chamadas de Cadeias de Markov com Transicoes Raras. Mais especificamente,
revisamos resultados sobre o comportamento limite de suas distribuicoes estacionarias,
importante pre-requisito para estudos posteriores sobre esta classe de cadeias, e do
tempo medio de entrada em subconjuntos nao vazios arbitrarios de estados. Aqui,
53
54
falamos sobre o conceito de W -grafo e apresentamos uma maneira alternativa para o
calculo da distribuicao estacionaria de uma Cadeia de Markov Homogenea irredutıvel,
bem como uma aplicacao deste metodo no Modelo de Ehrenfest. Alem disso, fizemos
uma associacao entre a propriedade de “Transicoes Raras” e Cadeias de Markov Nao-
Homogeneas permitindo utilizar os resultados assintoticos sobre o comportamento das
distribuicoes estacionarias de Cadeias de Markov com Transicoes Raras em Cadeias de
Markov Nao-Homogeneas.
Como trabalhos futuros propomos inicialmente encontrar um modelo matematico
onde o Corolario 2.2.1 seja aplicavel. Propomos ainda encontrar exemplos onde o
calculo da distribuicao estacionaria de uma Cadeia de Markov seja mais simples usando
o conceito de W -grafo. Alem disso, vislumbramos determinar condicoes suficientes sob
as quais o calculo da distribuicao estacionaria de uma Cadeia de Markov usando o
metodo por W -grafo seja possıvel quando seu espaco de estados e infinito enumeravel,
algo que ja se mostrou possıvel em exemplos.
Referencias Bibliograficas
[1] Anily, Shoshana e Federgruen, Awi., Ergodicity in Parametric Nonstationary Mar-
kov Chains: An Application to Simulated Annealing Methods, Operations Rese-
arch Society of America, 35: 867-874, 1987.
[2] Catoni, Olivier. Simulated annealing algorithms and Markov chains with rare tran-
sitions. In: Seminaire de probabilites XXXIII. Springer Berlin Heidelberg, 1999.
p. 69-119.
[3] Dorea, Chang C. Y. e Cruz, Juan A. R., Approximation Results for Nonstatio-
nary Homogeneous Markov Chains and Some Applications. The Indian Journal
of Statistics, 66: 243-252, 2004.
[4] Freidlin, M. I. e Wentzell, A. D. Random perturbations of dynamical systems, 1984.
[5] Hajnal, J., Weak Ergodicity in Non-Homogeneous Markov Chains. Theory and
Applications, 54: 233-246, 1958.
[6] Isaacson, Dean L. e Madsen, Richard W., Markov Chains: Theory and Applicati-
ons. John Wiley & Sons, 1976.
[7] Kannan, Dhandapani. An introduction to stochastic processes. New York: North
Holland, 1979.
[8] Paz, A., Ergodic Theorems for Finite Probabilistic Tables. Annals of Mathematical
Statistics, 41: 539-550, 1970.
[9] Parzen, Emanuel. Stochastic processes. Vol. 24. SIAM, 1962.
55
56
[10] Suzuki, Joe et al. A Markov chain analysis of genetic algorithms: large deviation
principle approach. Journal of Applied Probability, v. 47, n. 4, p. 967-975, 2010.
[11] Trouve, Alain. Cycle decompositions and simulated annealing. SIAM Journal on
Control and Optimization, 34: 966-986, 1996.
Apendice A
Resultados e Propriedades Gerais
Resultados usados no Capıtulo 2
Proposicao A.0.1. Se∑n≥1
‖π(n)−π(n+1)‖ <∞ entao {π(n)} e sequencia de Cauchy
na norma ‖ · ‖ e, portanto
limn→∞
π(n) = π.
Proposicao A.0.2. Se P e uma matriz estocastica e Q uma matriz estocastica cons-
tante, entao
PQ = Q.
Resultados usados no Capıtulo 3
Proposicao A.0.3 (Isaacson e Madsen [6]). Seja {Xn}n∈N uma Cadeia de Markov
Homogenea irredutıvel com espaco de estados S finito. Entao {Xn}n∈N e recorrente
positiva.
Proposicao A.0.4 (Kannan [7]). Sejam i, j ∈ S e suponha que P (Xn = j|Xn−1 =
i) > 0. Se i e recorrente, entao j e recorrente e fij = fji = 1, sendo fij =∑n≥1
P (Xn =
j,Xn−1 6= j, . . . , X1 6= j|X0 = i).
Proposicao A.0.5 (Existencia e Unicidade - Isaacson e Madsen [6]). Uma Cadeia de
Markov Homogenea irredutıvel e recorrente positiva com espaco de estados S tem unica
distribuicao estacionaria π dada por
πi = (E(ν(i)|X0 = i))−1 , i ∈ S.
57
58
Proposicao A.0.6 (Parzen [9]). Seja {Xn}n∈N uma Cadeia de Markov Homogenea
irredutıvel e recorrente positiva. Entao:
E(ν(i)|X0 = i) = 1 +∑j 6=i
pijE(τ(i)|X0 = j). (A.1)
Apendice B
Algumas Demonstracoes
Prova de que δ(PQ) = δ(P ) · δ(Q) para o caso em que
P e Q sao matrizes estocasticas 2x2
Sejam P e Q matrizes estocasticas 2x2. Vamos mostrar que δ(PQ) = δ(P ) · δ(Q).
De fato, fazendo
P =
p11 p12
p21 p22
e Q =
q11 q12
q21 q22
,e usando a expressao 2.6, temos que os coefientes ergodicos de P e Q sao dados,
respectivamente, por:
δ(P ) =1
2
2∑k=1
|p1k − p2k| e δ(Q) =1
2
2∑k=1
|q1k − q2k|,
implicando
δ(P )δ(Q) =1
4
(2∑
k=1
|p1k − p2k|
).
(2∑
k=1
|q1k − q2k|
). (B.1)
Por definicao, as entradas da matriz PQ sao dadas por (pq)ij =2∑
k=1
pikqkj, e usando
59
60
novamente a igualdade 2.6, obtemos:
δ(PQ) =1
2
(|
2∑k=1
p1kqk1 −2∑
k=1
p2kqk1|+ |2∑
k=1
p1kqk2 −2∑
k=1
p2kqk2|
)
=1
2
(|
2∑k=1
(p1k − p2k)qk1|+ |2∑
k=1
(p1k − p2k)qk2|
).
Agora, veja que
2∑k=1
(p1k − p2k)qk1 + (p11 − p21)q21 − (p11 − p21)q21 = (p11−21)(q11 − q21)
e
2∑k=1
(p1k − p2k)qk2 + (p11 − p21)q22 − (p11 − p21)q22 = (p11 − p21)(q12 − q22).
Assim, fazendo as manipulacoes necessarias e substituindo as ultimas igualdades
em δ(PQ), vem:
δ(PQ)
=1
2(|(p11 − p21)(q11 − q21)|+ |(p11 − p21)(q12 − q22)|)
=1
4(|(p11 − p21)(q11 − q21)|+ |(p11 − p21)(q12 − q22)|
+|(p11 − p21)(q11 − q21)|+ |(p11 − p21)(q12 − q22)|) .
Usando o fato que
|(p11 − p21)(q11 − q21) + (p12 − p22)(q11 − q21)− (p12 − p22)(q11 − q21)|
= |(p12 − p22)(q11 − q21)|,
e
|(p11 − p21)(q12 − q22) + (p12 − p22)(q12 − q22)− (p12 − p22)(q12 − q22)|
= |(p12 − p22)(q12 − q22)|.
61
Temos finalmente que:
δ(PQ)
=1
4(|(p11 − p21)(q11 − q21)|+ |(p11 − p21)(q12 − q22)|
+|(p12 − p22)(q11 − q21)|+ |(p12 − p22)(q12 − q22)|)
=1
4
(2∑
k=1
|p1k − p2k|
).
(2∑
k=1
|q1k − q2k|
)= δ(P ) · δ(Q)
Calculo da Distribuicao Estacionaria no Modelo de
Ehrenfest
Vimos que a distribuicao estacionaria no Modelo de Ehrenfest e dada por
π0 = π2b =
∏2bk=1
k2b∏2b
k=1k2b
+∏2b
k=1k2b
+∑2b−1
j=1
∏2bk=2b−(j−1)
k2b·∏2b
k=j+1k2b
, (B.2)
e, para i ∈ {1, 2, . . . , 2b− 1}
πi =
∏2bk=2b−(i−1)
k2b·∏2b
k=i+1k2b∏2b
k=1k2b
+∏2b
k=1k2b
+∑2b−1
j=1
∏2bk=2b−(j−1)
k2b·∏2b
k=j+1k2b
. (B.3)
Vamos mostrar que
πi =
(2b
i
)2−2b, ∀i ∈ {0, 1, . . . , 2b}.
De fato, de (B.2), temos que
π0 = π2b =1
1 + 1 +∑2b−1
j=1
∏2bk=2b−(j−1)
k2b·∏2b
k=j+1k2b∏2b
k=1k2b
,
e observe que,∏2bk=2b−(j−1)
k2b·∏2b
k=j+1k2b∏2b
k=1k2b
=
∏2bk=2b−(j−1)
k2b·∏2b
k=j+1k2b∏j
k=1k2b·∏2b
k=j+1k2b
=
∏2bk=2b−(j−1)
k2b∏j
k=1k2b
.
62
Note que, na ultima expressao da igualdade anterior, a quantidade de termos do pro-
dutorio do numerador e igual ao do denominador, entao
∏2bk=2b−(j−1)
k2b∏j
k=1k2b
=
(2b)!
(2b− j)!j!
=
(2b
j
). (B.4)
Logo,
π0 = π2b =1
1 + 1 +∑2b−1
j=1
(2bj
) =1∑2b
j=0
(2bj
) .Para i ∈ {1, 2, . . . , 2b− 1}, temos de (B.3) que
πi =1
2 ·∏2b
k=1k2b∏2b
k=2b−(i−1)k2b·∏2b
k=i+1k2b
+∑2b−1
j=1
∏2bk=2b−(j−1)
k2b·∏2b
k=j+1k2b∏2b
k=2b−(i−1)k2b·∏2b
k=i+1k2b
.
Mas, observe que∏2bk=2b−(j−1)
k2b·∏2b
k=j+1k2b∏2b
k=2b−(i−1)k2b·∏2b
k=i+1k2b
=
∏2bk=2b−(j−1)
k2b·∏i
k=j+1k2b·∏2b
k=i+1k2b∏2b−j
k=2b−(i−1)k2b·∏2b
k=2b−(j−1)k2b·∏2b
k=i+1k2b
=
∏ik=j+1
k2b∏2b−j
k=2b−(i−1)k2b
=
i!j!
(2b−j)!(2b−i)!
=i!(2b− i)!j!(2b− j)!
quando j 6= i e j < i.
63
Quando j 6= i e j > i, obtemos∏2bk=2b−(j−1)
k2b·∏2b
k=j+1k2b∏2b
k=2b−(i−1)k2b·∏2b
k=i+1k2b
=
∏2b−ik=2b−(j−1)
k2b·∏2b
k=2b−(i−1)k2b·∏2b
k=j+1k2b∏2b
k=2b−(i−1)k2b·∏j
k=i+1k2b·∏2b
k=j+1k2b
=
∏2b−ik=2b−(j−1)
k2b∏j
k=i+1k2b
=
(2b−i)!(2b−j)!j!i!
=i!(2b− i)!j!(2b− j)!
De (B.4), temos que ∏2bk=1
k2b∏2b
k=2b−(i−1)k2b·∏2b
k=i+1k2b
=(2b− i)!i!
(2b)!.
Logo,
πi =1
2 · (2b− i)!i!(2b)!
+∑2b−1
j=1
i!(2b− i)!j!(2b− j)
=1
i!(2b− i)!∑2b
j=0
1
j!(2b− j)
=1
i!(2b− i)!(2b)!
∑2bj=0
(2b)!
j!(2b− j)
=1[(
2bi
)]−1∑2bj=0
(2bj
)=
(2bi
)∑2bj=0
(2bj
) .para todo i ∈ {1, 2, . . . , 2b− 1}.
Sendo,
(2b
0
)=
(2b
2b
)= 1, obtemos ainda que
πi =
(2bi
)∑2bj=0
(2bj
) , ∀i ∈ {0, 1, . . . , 2b}.
64
Como2b∑j=0
(2b
j
)= 22b,
temos finalmente que
πi =
(2b
i
)2−2b, ∀i ∈ {0, 1, . . . , 2b}.
2
top related