prof. caio azevedo - unicamp

Motivacao M. da Transformada Inversa Exemplos do MTI M. da Rejeicao R. Estocastica

Simulacao de variaveis aleatorias: Parte 1

Prof. Caio Azevedo

Prof. Caio Azevedo



Simular: reproduzir, controlando caracterısticas de interesse,

fenomenos reais. Exemplo: avaliar o efeito de um Tsunami numa

parede de concreto.

Simulacao variaveis aleatorias: gerar valores para representar o

comportamento de fenomenos aleatorios.

Aplicacoes: comparar estimadores, comparar modelos, estimar a

distribuicao de uma variavel aleatoria.

Prof. Caio Azevedo



Lembrete

Sempre conferir a “qualidade” dos valore simulados.

Formas simples:

Calcular momentos amostrais.

Comparar histogramas (curvas de nıvel) observados com os teoricos.

Prof. Caio Azevedo



Metodo da transformada inversa (v.a. contınua)

Seja X ∼ FX (.; θ), FX (.; θ) e uma funcao de distribuicao acumulada

(fda) contınua.

Entao Y = FX (X ; θ) ∼ U(0, 1) (exercıcio). OBS: resultado tambem

vale se usar SX (x ; θ) = 1− FX (x ; θ) (funcao de sobrevivencia).

Algoritmo para simular uma amostra aleatoria (aa, conjunto de

variaveis independentes e identicamente distribuıdas) de

X ∼ FX (.; θ), faca (tambem pode ser usada a SX ( θ)):

1 Simule ui ∼ U(0, 1), i = 1, ..., n.

2 Calcule xi = F−1X (ui ), i = 1, ..., n.

Prof. Caio Azevedo



Exponencial

Seja X ∼ exp(θ), θ > 0, E(X ) = θ.

Temos que FX (x) = (1− e−x/θ)11(0,∞)(x). Portanto,

x = −θ ln(1− u).

Programa no R:

n<-50

theta <-2

u <- runif(n)

x <- -theta*log(1-u)

Prof. Caio Azevedo



Valores simulados

media = 15.8 , var= 362.77 , n= 40

valores

de

nsi

da

de

0 20 40 60 80 100

0.0

00

.02

0.0

4

media = 12.18 , var= 213.81 , n= 50

valores

de

nsi

da

de

0 10 20 30 40 50 60

0.0

00

.02

0.0

40

.06

media = 14.56 , var= 191.68 , n= 100

valores

de

nsi

da

de

0 10 20 30 40 50 60 70

0.0

00

.02

0.0

4

media = 14.19 , var= 219.85 , n= 500

valores

de

nsi

da

de

0 50 100 150

0.0

00

.01

0.0

20

.03

Prof. Caio Azevedo



Normal truncada

Seja X ∼ N[a,b](µ, σ2), µ ∈ R, σ2 > 0, a < b.

Temos que FX (X ) = FY (x)−FY (a)FY (b)−FY (a) , Y ∼ N(µ, σ2) (exercıcio).

Assim x = F−1Y [u (FY (b)− FY (a)) + FY (a)].

Temos que

E(X ) = µ+ σφ(a−µσ

)− φ

(b−µσ

)Φ(

b−µσ

)− φ

(a−µσ

)

V(X )=σ2

1 +

a−µσ φ

(a−µσ

)− b−µ

σ φ(

b−µσ

)Φ(

b−µσ

)+ φ

(a−µσ

) −

φ(a−µσ

)− φ

(b−µσ

)Φ(

b−µσ

)+ φ

(a−µσ

)2

Prof. Caio Azevedo



Cont.

Programa no R:

v.u <- (runif(n))

aux <- cbind(u*(pnorm(b,mu,sqrt(sigma2))

-pnorm(a,mu,sqrt(sigma2))) + pnorm(a,mu,sqrt(sigma2)))

v.x <- qnorm(aux,mu,sqrt(sigma2))

Prof. Caio Azevedo



Valores simulados

media = 0.7864 , var= 0.4522 , n= 20

valores

de

nsi

da

de

0.0 0.5 1.0 1.5 2.0 2.5

0.0

0.2

0.4

0.6

0.8

media = 0.7405 , var= 0.3244 , n= 50

valores

de

nsi

da

de

0.0 0.5 1.0 1.5 2.0 2.5

0.0

0.2

0.4

0.6

media = 0.8294 , var= 0.381 , n= 100

valores

de

nsi

da

de

0.0 0.5 1.0 1.5 2.0 2.5 3.0

0.0

0.2

0.4

0.6

media = 0.815 , var= 0.3968 , n= 500

valores

de

nsi

da

de

0 1 2 3 4

0.0

0.2

0.4

0.6

0.8

Prof. Caio Azevedo



Normal multivariada

X ∼ Np(µ,Σ),µ ∈ Rp,Σ > 0.

Sabemos que X = ΨZ + µ, Ψ = Cholesky(Σ),

Z = (Z1, ...,Zn),Zii.i.d.∼ N(0, 1), i = 1, ..., p.

x = ΨF−1Z (u) + µ,u = (u1, ..., up).

m.u <- cbind(runif(n))

m.z <- qnorm(m.u)

for (i in 2:p)

m.u <- cbind(runif(n)) m.z <- cbind(m.z,qnorm(m.u))

m.x <- t(chol(m.sigma)%*%t(m.z) + matrix(v.mu,p,n))

Prof. Caio Azevedo



Comentarios

Neste caso, tem-se que Xi ∼ N1(µi , σ2i ), em que E(Xi ) = µi e

V(Xi ) = σ2i .

Alem disso, a distancia de Mahalanobis tem distribuicao

qui-quadrado com p graus de liberdade, ou seja:

(X− µ)′Σ−1(X− µ) ∼ χ2p

Prof. Caio Azevedo



Valores simulados

media = −1.19 , var= 3 , n= 100 , p = 3

valores

de

nsi

da

de

−6 −4 −2 0 2 4

0.0

00

.10

0.2

0

media = −0.03 , var= 1.41 , n= 100 , p = 3

valores

de

nsi

da

de

−4 −2 0 2 4

0.0

00

.10

0.2

00

.30

media = 1.92 , var= 3.76 , n= 100 , p = 3

valores

de

nsi

da

de

−2 0 2 4 6

0.0

00

.10

0.2

0

media = 2.97 , var= 5.16 , n= 100

valores

de

nsi

da

de

0 2 4 6 8 10 12 14

0.0

00

.05

0.1

00

.15

0.2

0

Prof. Caio Azevedo



Metodo da transformada inversa (v.a. discreta)

Seja X uma v.a discreta, PX (X = xi ) = pi110,1,2,...(i),∑

i pi = 1.

Algoritmo para simular uma amostra aleatoria (aa, conjunto de

variaveis independentes e identicamente distribuıdas) de

X ∼ PX (X = i), faca:

Prof. Caio Azevedo



Cont.

1 Simule ui ∼ U(0, 1), i = 1, ..., n.

2 Faca

xi =

x0, se u < p0

x1, se p1 ≤ u < p0 + p1

...

xj , se∑j−1

i=0 pi ≤ u <∑j

i=0 pi...

Dado que 0 < a < b < 1,P(a ≤ U < b) = b − a, temos que

P(X = xj) = P(

j−1∑i=0

pi ≤ U <

j∑i=0

pi ) = pj

Prof. Caio Azevedo



Bernoulli

Seja X ∼ Bernoulli(θ), θ ∈ (0, 1).

Algoritmo: gere ui ,U ∼ U(0, 1), i = 1, 2..., n e faca

xi =

0, se u > θ

1, se u ≤ θ

Prof. Caio Azevedo



Valores simulados

0 1

mean = 0.75 var= 0.2 n = 20

0.0

0.2

0.4

0.6

0.8

1.0

0 1

mean = 0.72 var= 0.21 n = 50

0.0

0.2

0.4

0.6

0.8

1.0

0 1

mean = 0.78 var= 0.17 n = 100

0.0

0.2

0.4

0.6

0.8

1.0

0 1

mean = 0.764 var= 0.18 n = 500

0.0

0.2

0.4

0.6

0.8

1.0

Prof. Caio Azevedo



Binomial

Seja X ∼ Binomial(m, θ), θ ∈ (0, 1), m conhecido.

Duas formas:

Metodo da transformada inversa. Repetir n vezes: Gerar u, de

U(0, 1), i = 1, .., n e atribuir x = xj se∑j−1

i=1 pj ≤ u <∑j

i=1 pj .

Representacao estocastica : X =∑m

i=1 Yi ,Yii.i.d.∼ Bernoulli(θ).

Repetir n vezes: gerar y1, ..., ym (usando o metodo da transformada

inversa e fazer x =∑m

i=1 yi .

Prof. Caio Azevedo



Valores simulados0

.00

.10

.20

.30

.40

.5

media = 7.1 , var= 1.25 , n= 20 , p = 3

valores

de

nsi

da

de

5 6 7 8 9

0.0

0.1

0.2

0.3

0.4

0.5

media = 7.26 , var= 1.58 , n= 50 , p = 3

valores

de

nsi

da

de

5 6 7 8 9 10

0.0

0.1

0.2

0.3

0.4

0.5

media = 7.01 , var= 2.03 , n= 100 , p = 3

valores

de

nsi

da

de

4 5 6 7 8 9 10

0.0

0.1

0.2

0.3

0.4

0.5

media = 6.94 , var= 2.29 , n= 500 , p = 3

valores

de

nsi

da

de

3 4 5 6 7 8 9 10

Prof. Caio Azevedo



Poisson

Seja X ∼ Poisson(λ), λ > 0. pi = P(X = i) = e−λλi

i! 110,1,2,...(i)

Pode-se provar que pi+1 = λi+1pi

Algoritmo:

1 Simule u de U(0, 1).

2 Faca i = 0, p = e−λ,F = p.

3 Se u ¡ F, atribua X = i e pare.

4 p = λpi+1,F = F + p.i = i + 1

5 Va para o passo 3.

Prof. Caio Azevedo



Valores simulados0

.00

.10

.20

.30

.40

.5

media = 3.58 , var= 4.13 , n= 30 , lambda = 3

valores

de

nsi

da

de

0 1 2 3 4 5 6 7 8

0.0

0.1

0.2

0.3

0.4

0.5

media = 3.08 , var= 3.18 , n= 50 , p = 3

valores

de

nsi

da

de

0 1 2 3 4 5 6 7 8

0.0

0.1

0.2

0.3

0.4

0.5

media = 3.02 , var= 3.12 , n= 100 , p = 3

valores

de

nsi

da

de

1 2 3 4 5 6 7

0.0

0.1

0.2

0.3

0.4

0.5

media = 2.92 , var= 3.22 , n= 500 , p = 3

valores

de

nsi

da

de

0 1 2 3 4 5 6 7

Prof. Caio Azevedo



Metodo da rejeicao (v.a. contınua)

Seja X ∼ fX (.; θ), fX (.; θ) e uma funcao densidade de probabilidade

com suporte X (Ω).

Queremos simular de fX . Para isso podemos encontrar um

“envelope” constante (c ≥ 1) e uma densidade envelope gY com

mesmo suporte de X, tal que

fX (x)

gY (x)≤ c ,∀x ∈ X (Ω)

O algotimo da rejeicao pode ser descrito como

1 Simule ui ∼ U(0, 1), i = 1, ..., n e y de gy de modo independente.

2 Se u ≤ fX (y)cgY (y)

faca x = y, caso contrario, volte ao Passo 1.

Prof. Caio Azevedo



Beta a = 2 e b =4

X uma va tal que fX (x) = 20x(1− x)3, Beta(2,4).

Seja gY (y) = 11(y)(0,1).

O maximo de f (x)g(x) e obtido para x = 1/4 e assim f (1/4)

g(1/4) = 13564 .

Portanto, f (x)cg(x) = 256

27 x(1− x)3

Algoritmo

1 Gere, de modo independentes, u1 e u2 de U(0, 1).

2 Se u2 ≤ 25627

u1(1− u1)3 faca x = u1, caso contrario, volte ao passo 1.

Prof. Caio Azevedo



Valores simulados

media = 0.34 , var= 0.05 , n= 20

valores

de

nsi

da

de

0.0 0.2 0.4 0.6 0.8

0.0

0.5

1.0

1.5

2.0

2.5

media = 0.35 , var= 0.03 , n= 50

valores

de

nsi

da

de

0.0 0.2 0.4 0.6 0.8

0.0

0.5

1.0

1.5

2.0

2.5

media = 0.33 , var= 0.03 , n= 100

valores

de

nsi

da

de

0.0 0.2 0.4 0.6 0.8

0.0

1.0

2.0

3.0

media = 0.34 , var= 0.03 , n= 500

valores

de

nsi

da

de

0.0 0.2 0.4 0.6 0.8 1.0

0.0

0.5

1.0

1.5

2.0

Prof. Caio Azevedo



Gama r = 3/2 e λ =1

X uma va tal que fX (x) = Kx1/2e−x11(x)(0,∞),K = 2/sqrtπ,

gama(3/2,4).

Seja gY (y) = 23e−2x/311(y)(0,∞).

O maximo de f (x)g(x) e obtido para x = 3/2 e assim f (3/2)

g(3/2) = 33/2

(2πe)1/2 .

Portanto, f (x)cg(x) = (2e/3)1/2x1/2e−x/3

Algoritmo

1 Gere, u1 de U(0, 1) e faca y = − 32

ln u1.

2 Gere u2 de U(0, 1).

3 Se u2 ≤ (2ey/3)1/2e−y/3 faca x = y , caso contrario, volte ao passo

1.

Prof. Caio Azevedo



Valores simulados

media = 1.56 , var= 3.05 , n= 20

valores

de

nsi

da

de

0 1 2 3 4 5 6

0.0

0.2

0.4

0.6

media = 1.46 , var= 1.12 , n= 50

valores

de

nsi

da

de

0 1 2 3 4

0.0

0.2

0.4

0.6

media = 1.37 , var= 1.3 , n= 100

valores

de

nsi

da

de

0 1 2 3 4 5 6

0.0

0.2

0.4

0.6

media = 1.45 , var= 1.34 , n= 500

valores

de

nsi

da

de

0 2 4 6 8

0.0

0.2

0.4

0.6

Prof. Caio Azevedo



Metodo da rejeicao (v.a. discreta)

Seja X ∼ fX (.; θ), fX (.; θ) e uma funcao de probabilidade com

suporte X (Ω).

Queremos simular de fX . Para isso podemos encontrar um

“envelope” constante (c ≥ 1) e uma densidade envelope gY com

mesmo suporte de X, tal que

fX (x)

gY (x)≤ c ,∀x ∈ X (Ω), f (x) 6= 0, g(x) 6= 0

O algotimo da rejeicao pode ser descrito como

1 Simule ui ∼ U(0, 1), i = 1, ..., n e y de gy de modo independente.

2 Se u ≤ fX (y)cgY (y)

faca x = y, caso contrario, volte ao Passo 1.

Prof. Caio Azevedo



Variavel aleatorioa discreta

Seja X , P(X = −1) = 1/6,P(X = 0) = 3/6,P(X = 1) = 2/6.

Seja gY (y) = 13 11(y)−1,0,1

O maximo de fX (x)gY (x) ocorre para x = 0 e, nesse caso, fX (x)

gY (x) = 9/6

Algoritmo:

1 Simule u1 de U(0, 1) e u2 de U−1,0,1

2 Se u1 ≤ f (u2)/((9/6)g(u2)) faca x = u2, caso contrario, volte ao

passo 1.

Prof. Caio Azevedo



Valores simulados0

.00

.20

.4

n= 30

v.x

pro

p.ta

ble

(ta

ble

(v.x

))

−1 0 1

0.0

0.2

0.4

0.6

n= 50

v.x

pro

p.ta

ble

(ta

ble

(v.x

))

−1 0 1

0.0

0.1

0.2

0.3

0.4

0.5

n= 100

v.x

pro

p.ta

ble

(ta

ble

(v.x

))

−1 0 1

0.0

0.2

0.4

0.6

n= 500

v.x

pro

p.ta

ble

(ta

ble

(v.x

))

−1 0 1

Prof. Caio Azevedo



Eficiencia do metodo da rejeicao

A eficiencia do metodo da rejeicao e determinada pela probabilidade

de aceitacao 1θ .

Quanto menor o valor de c maior sera a eficiencia do metodo.

Em geral, queremos encontrar c ,

cθ = maxx∈X (Ω)f (x)

gθ(x)

Prof. Caio Azevedo



Distribuicao log concava

0 10 20 30 40

−1

0−

8−

6−

4−

2

gama

x

lpx

1.0 1.5 2.0 2.5 3.0 3.5 4.0

−1

0−

8−

6−

4−

20

normal truncada

x

lpx

Prof. Caio Azevedo



Exemplo: normal truncada f (x) = N[1,∞](0, 1)

Neste caso, a distribuicao e log-concava.

Uma densidade candidata e g(x) = be−b(x−a)11(a,∞)(x)

Pode-se provar que

cb = maxx>af (x)

be−b(x−a)=

(bd)−1e(0,5b2−ba), se b > a,

(bd)−1e−0,5b2

, se b ≤ a

em que d =√

2π(1− Φ(a)). O primeiro limite e minimizado em

b∗ = (a +√a2 + 4)/2 e o segundo em b = a. A escolha de b e b∗.

Prof. Caio Azevedo



Cont.

Algoritmo

1 Gere u1, u2 de U(0, 1) independentemente e faca y = − 1b∗ ln(u1) + a

2 Se u2 ≤ e−y2+b∗y−(b∗)2/2 faca x = y, caso contrario, volte ao passo 1.

Prof. Caio Azevedo



Valores simulados

media = 1.52 , var= 0.27 , n= 20

valores

de

nsi

da

de

1.0 1.5 2.0 2.5

0.0

0.4

0.8

1.2

media = 1.5 , var= 0.2 , n= 50

valores

de

nsi

da

de

1.0 1.5 2.0 2.5 3.0

0.0

0.4

0.8

1.2

media = 1.68 , var= 0.39 , n= 100

valores

de

nsi

da

de

1.0 1.5 2.0 2.5 3.0 3.5 4.0 4.5

0.0

0.4

0.8

1.2

media = 1.66 , var= 0.44 , n= 500

valores

de

nsi

da

de

1 2 3 4 5 6

0.0

0.4

0.8

1.2

Prof. Caio Azevedo



Metodo da amostragem (reamostragem) por importancia

Seja X ∼ fX (.; θ), fX (.; θ) e uma fdp com suporte X (Ω).

Considere uma fdp de amostragem por importancia, com mesmo

suporte de fX (.; θ).

1 Simule x1, ..., xm iid ∼ g(x),m >>> n (n tamanho da amostra).

2 Defina r(xj) =f (xj )

g(xj ), j = 1, 2, ...,m

3 Selecione, sem reposicao e via reamostragem, da distribuicao

discreta uma amostra de tamanho n.

Prof. Caio Azevedo



Exemplo: Distribuicao definida no intervalo (0,1)

Seja X ∼ fX (.; r),

f (x) =πsinr (πx)

beta(0.5, (r + 1)/2)11(0,1)(x)

Para r = 6, considere g(x) ∼ beta(2, 4)

Algoritmo

1 Como definido anteriormente

Prof. Caio Azevedo



Comportamento: f(x) x g(x)

0.0 0.2 0.4 0.6 0.8

0.0

0.5

1.0

1.5

2.0

2.5

3.0

v.x

f.x

f(x)

g(x)

Prof. Caio Azevedo



Valores simulados

n= 30

valores

de

nsi

da

de

0.2 0.3 0.4 0.5 0.6 0.7 0.8

01

23

4

n= 50

valores

de

nsi

da

de

0.3 0.4 0.5 0.6 0.7

01

23

4

n= 100

valores

de

nsi

da

de

0.2 0.3 0.4 0.5 0.6 0.7

01

23

4

n= 500

valores

de

nsi

da

de

0.2 0.4 0.6 0.8

01

23

4

Prof. Caio Azevedo



Representacao Estocastica

Dois vetores aleatorios X e Y tal que X = g(Y).

Simulacao de uma distribuicao beta(a, b).

Simular x1 ∼ gama(a, 1) e x2 ∼ gama(b, 1).

Faca y = x1/(x1 + x2).

Repetir o processo acima n vezes.

Prof. Caio Azevedo



Programa

Programa

v.x1 <- r1*(runif(n,0,0.5) -

cbind(apply(log(replicate(round(a),runif(n,0,1))),1,sum)))

v.x2 <- r2*(runif(n,0,0.5) -

cbind(apply(log(replicate(round(b),runif(n,0,1))),1,sum)))

v.y <- cbind(v.x1/(v.x1 + v.x2))

Prof. Caio Azevedo



Valores simulados

n= 20

valores

de

nsi

da

de

0.1 0.2 0.3 0.4 0.5 0.6 0.7

0.0

1.0

2.0

3.0

n= 50

valores

de

nsi

da

de

0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8

0.0

1.0

2.0

3.0

n= 100

valores

de

nsi

da

de

0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8

0.0

1.0

2.0

3.0

n= 500

valores

de

nsi

da

de

0.2 0.4 0.6 0.8

0.0

1.0

2.0

3.0

Prof. Caio Azevedo



Beta binomial

Seja X |Y ∼ binomial(m, y) e Y ∼ beta(a, b).

Entao X ∼ beta-binomial, fX (x) =∫ 1

0f (x |y)f (y)dy .

Algoritmo

1 Simular n vezes y de beta(a, b).

2 Dado o vetor y simular x |y de binomial(m, y).

3 O vetor x tera a distribuicao desejada.

Prof. Caio Azevedo



Programa

Programa

v.x1 <- cbind(rbeta(n,a,b))

v.x2 <- cbind(rbinom(n,m,v.x1))

Prof. Caio Azevedo



Valores simulados0

.00

.10

.20

.30

.40

.5

media = 1.18 , var= 1.26 , n= 20 , p = 3

valores

de

nsi

da

de

0 1 2 3 4

0.0

0.1

0.2

0.3

0.4

0.5

media = 1.36 , var= 1.06 , n= 50 , p = 3

valores

de

nsi

da

de

0 1 2 3 4

0.0

0.1

0.2

0.3

0.4

0.5

media = 1.32 , var= 1.43 , n= 100 , p = 3

valores

de

nsi

da

de

0 1 2 3 4

0.0

0.1

0.2

0.3

0.4

0.5

media = 1.27 , var= 1.51 , n= 500 , p = 3

valores

de

nsi

da

de

0 1 2 3 4

Prof. Caio Azevedo



Outros metodos

Rejeicao adaptativa.

Amostragem condicional.

Metodos especıficos (em geral levam em consideracao representacoes

estocasticas e pelo menos um dos algoritmos anteriores).

Prof. Caio Azevedo


prof. caio azevedo - unicamp

Documents