métodos de aproximación basados en integración numérica - felipe osorio
DESCRIPTION
Metodos de aproximacion basado en integracion numericaTRANSCRIPT
![Page 1: Métodos de aproximación basados en integración numérica - Felipe Osorio](https://reader031.vdocuments.mx/reader031/viewer/2022031821/55cf9804550346d03395062e/html5/thumbnails/1.jpg)
Metodos de aproximacion basados enintegracion numerica
Felipe Osorio
[email protected] www.deuv.cl/osorio
MAT305 - Metodos Estadısticos, UTFSM
![Page 2: Métodos de aproximación basados en integración numérica - Felipe Osorio](https://reader031.vdocuments.mx/reader031/viewer/2022031821/55cf9804550346d03395062e/html5/thumbnails/2.jpg)
Cuadratura Gaussiana
Considere h(t) funcion regular (uni-dimensional) y
g(t) = h(t)(2πσ2)−1/2 exp− 1
2
(t−µσ
)2.
Cuadratura gaussiana utiliza la siguiente aproximacion∫Rg(t) dt ≈
M∑j=1
mj g(zj),
dondemj = wj exp(t2j )
√2σ, zj = µ+
√2σtj .
Para implementar este enfoque, tablas de tj , wj y wj exp(t2j ) son requeridas
(Naylor y Smith, 1982).
![Page 3: Métodos de aproximación basados en integración numérica - Felipe Osorio](https://reader031.vdocuments.mx/reader031/viewer/2022031821/55cf9804550346d03395062e/html5/thumbnails/3.jpg)
Cuadratura Gaussiana
Aproxima integrales con relacion a un kernel fijado por un promedioponderado del integrando evaluado en abscisas predeterminadas.
Los pesos y abscisas usadas en la cuadratura Gaussiana para los kernelsusuales pueden ser obtenidos desde tablas (Abramowitz y Stegun, 1964) opor un algoritmo propuesto por Golub (1973).
Es bien conocido que las reglas para cuadratura Gaussiana en el caso deintegrales multiples es numericamente complejo (curse of dimensionality).
![Page 4: Métodos de aproximación basados en integración numérica - Felipe Osorio](https://reader031.vdocuments.mx/reader031/viewer/2022031821/55cf9804550346d03395062e/html5/thumbnails/4.jpg)
Metodo Monte Carlo
Considere aproximar la integral
J =
∫h(x)g(x) dx = Egh(x) < +∞.
Si g(x) es una densidad, entonces el metodo Monte Carlo aproxima J como
JM =1
M
M∑j=1
h(xj)
donde x1, . . . , xMiid∼ g(x). Por la Ley de grandes numeros, tenemos
JMc.s→ J.
![Page 5: Métodos de aproximación basados en integración numérica - Felipe Osorio](https://reader031.vdocuments.mx/reader031/viewer/2022031821/55cf9804550346d03395062e/html5/thumbnails/5.jpg)
Importance Sampling
Cuando no es posible muestrear directamente desde g(x) una alternativa esusar Importance sampling.
J =
∫h(x)
( g(x)
π(x)
)π(x) dx,
tal que π(x) es una densidad facil de muestrear. Luego, importance samplingaproxima J como
JM =1∑M
j=1 wj
M∑j=1
wjh(xj),
donde x1, . . . , xM ∼ π(x) y wj = g(xj)/π(xj).
![Page 6: Métodos de aproximación basados en integración numérica - Felipe Osorio](https://reader031.vdocuments.mx/reader031/viewer/2022031821/55cf9804550346d03395062e/html5/thumbnails/6.jpg)
Funcion de verosimilitud
Se desea aproximar la funcion de verosimilitud
L(β,θ, σ2) =
n∏i=1
∫Rq
(2πσ2)−(ni+q)/2|∆| exp−g(β,θ,yi, bi)/2σ2dbi
dondeg(β,θ,yi, bi) = ‖Y i − f i(zi, bi)‖
2 + ‖∆bi‖2.
![Page 7: Métodos de aproximación basados en integración numérica - Felipe Osorio](https://reader031.vdocuments.mx/reader031/viewer/2022031821/55cf9804550346d03395062e/html5/thumbnails/7.jpg)
Funcion de verosimilitud
Sea
bi = bi(β,θ,yi) = arg minθ
g(β,θ,yi, bi),
G(β,θ,yi) =∂2g(β,θ,yi, bi)
∂bi∂bTi
∣∣∣bi=bi
.
Tenemos que el integrando es (ademas de una constante) aproximadamenteigual a la densidad
Nq(bi, σ2G−1(β,θ,yi)).
(que es una eleccion natural para la distribucion de importancia).
![Page 8: Métodos de aproximación basados en integración numérica - Felipe Osorio](https://reader031.vdocuments.mx/reader031/viewer/2022031821/55cf9804550346d03395062e/html5/thumbnails/8.jpg)
Aproximacion por importance sampling
Obtenemos una observacion desde Nq(bi, σ2G−1(β,θ,yi)), tomando
z∗ ∼ N(0, I) y calculando
b∗i = bi + σG−1/2(β,θ,yi)z∗,
donde G1/2(β,θ,yi) es el factor Cholesky de G(β,θ,yi).
Repetimos el procedimiento anterior M veces (numero de muestras de
importancia).
![Page 9: Métodos de aproximación basados en integración numérica - Felipe Osorio](https://reader031.vdocuments.mx/reader031/viewer/2022031821/55cf9804550346d03395062e/html5/thumbnails/9.jpg)
Aproximacion por importance sampling
La aproximacion importance sampling de la log-verosimilitud marginal estadada por
`IS(β,θ, σ2) = −1
2
N log(2πσ2) + n log |D|+
n∑i=1
log |G(β,θ, σ2)|
+
n∑i=1
log M∑j=1
exp[−g(β,θ,yi, b∗ij)/2σ
2 + ‖z∗j‖2/2]/M.
En este caso no es posible obtener expresiones en forma cerrada del MLE de σ2
para β y θ fijos.
![Page 10: Métodos de aproximación basados en integración numérica - Felipe Osorio](https://reader031.vdocuments.mx/reader031/viewer/2022031821/55cf9804550346d03395062e/html5/thumbnails/10.jpg)
Aproximacion por cuadratura Gaussiana
Idea:
Aprovechar la estructura del integrando en nlme para transformar el problema
en la aplicacion sucesiva de reglas de cuadratura Gaussiana unidimensionales.
![Page 11: Métodos de aproximación basados en integración numérica - Felipe Osorio](https://reader031.vdocuments.mx/reader031/viewer/2022031821/55cf9804550346d03395062e/html5/thumbnails/11.jpg)
Aproximacion por cuadratura Gaussiana
Sean z∗j , wj , j = 1, . . . ,M , las abscisas y los pesos para la cuadraturaGaussiana (unidimensional) con M puntos basados en un kernel N(0, 1).
Entonces∫Rq
(2πσ2)−q/2|D|−1/2 exp−‖yi − f i(β, bi)‖2/2σ2 exp(−bTi D−1bi/2σ
2) dbi
=
∫Rq
(2π)−q/2 exp−‖yi − f i(β, σDT/2z∗)‖2/2σ2 exp(−‖z∗‖2/2) dz∗
≈M∑j1=1
· · ·M∑jq=1
exp−‖yi − f i(β, σDT/2z∗j1,...,jq )‖2/2σ2
q∏k=1
wjk
donde z∗j1,...,jq = (z∗j1 , . . . , z∗jq )T .
![Page 12: Métodos de aproximación basados en integración numérica - Felipe Osorio](https://reader031.vdocuments.mx/reader031/viewer/2022031821/55cf9804550346d03395062e/html5/thumbnails/12.jpg)
Aproximacion por cuadratura Gaussiana
Luego, la aproximacion para la funcion de log-verosimilitud usando cuadraturaGaussiana esta dada por
`GQ(β,θ, σ2) = −N2
log(2πσ2)
+
n∑i=1
log M∑j
exp(−‖yi − f i(β, σDT/2z∗j)‖2/2σ2)
q∏k=1
wjk
donde j = (j1, . . . , jq)T .
![Page 13: Métodos de aproximación basados en integración numérica - Felipe Osorio](https://reader031.vdocuments.mx/reader031/viewer/2022031821/55cf9804550346d03395062e/html5/thumbnails/13.jpg)
Aproximacion por cuadratura Gaussiana adaptativa
Observaciones:
Cuadratura Gaussiana corresponde a una version determinista deintegracion Monte Carlo, donde las muestras de bi son generadas desdeNq(0, σ
2D).
Cuadratura Gaussiana adaptativa (AGQ) es el homologo determinista deImportance sampling.
En AGQ, la grilla de abscisas en la escala bi esta centrada en bi yG(β,θ,yi) se utiliza para escalar z∗.
![Page 14: Métodos de aproximación basados en integración numérica - Felipe Osorio](https://reader031.vdocuments.mx/reader031/viewer/2022031821/55cf9804550346d03395062e/html5/thumbnails/14.jpg)
Aproximacion por cuadratura Gaussiana adaptativa
La cuadratura Gaussiana adaptativa esta dada por∫Rq
(2πσ2)−q/2|D|−1/2 exp−‖yi − f i(β, bi)‖2/2σ2 exp(−bTi D−1bi/2σ2) dbi
=
∫Rq
(2π)−q/2|G(β,θ,yi)D|−1/2
× exp−g(β,θ,yi, bi + σG−1/2(β,θ,yi)z∗)/2σ2 + ‖z∗‖2/2 exp(−‖z∗‖2/2) dz∗
≈M∑j1=1
· · ·M∑jq=1
exp−g(β,θ,yi, bi + σG−1/2(β,θ,yi)z∗j1,...,jq
)/2σ2
+ ‖z∗j1,...,jq‖2/2
q∏k=1
wjk .
![Page 15: Métodos de aproximación basados en integración numérica - Felipe Osorio](https://reader031.vdocuments.mx/reader031/viewer/2022031821/55cf9804550346d03395062e/html5/thumbnails/15.jpg)
Aproximacion por cuadratura Gaussiana
La aproximacion de la log-verosimilitud asume la forma
`AGQ(β,θ, σ2) = −1
2
N log(2πσ2) + n log |D|+
n∑i=1
log |G(β,θ,yi)|
+n∑i=1
log M∑j
exp−g(β,θ,yi, bi + σG−1/2(β,θ,yi)z∗j)/2σ2
+ ‖z∗j‖2
q∏k=1
wjk
donde j = (j1, . . . , jq)
T .
![Page 16: Métodos de aproximación basados en integración numérica - Felipe Osorio](https://reader031.vdocuments.mx/reader031/viewer/2022031821/55cf9804550346d03395062e/html5/thumbnails/16.jpg)
Aproximacion por cuadratura Gaussiana adaptativa
Observaciones:
AGQ usa abscisas y pesos fijos, mientras que Importance sampling lasdetermina por medio de simulacion.
Cuando M = 1 cuadratura Gaussiana adaptativa reduce a laaproximacion Laplace (ver Sesion 9).
AGQ es exacto cuando f es lineal en bi, esto no es verdad paracuadratura Gaussiana.
![Page 17: Métodos de aproximación basados en integración numérica - Felipe Osorio](https://reader031.vdocuments.mx/reader031/viewer/2022031821/55cf9804550346d03395062e/html5/thumbnails/17.jpg)
Cinetica de Teofilina (Boeckmann, Sheiner y Beal, 1984)
Dosis orales de droga anti-asmatica Teofilina son suministradas a doceindivıduos, luego las concentraciones en la sangre (mg/L) son medidas en 11instantes en un periodo de 25 horas.
Time since drug administration (hr)
The
ophy
lline
con
cent
ratio
n in
ser
um (
mg/
l)
0
2
4
6
8
10
0 5 10 15 20 25
6
7
0 5 10 15 20 25
8
11
3
2
4
0
2
4
6
8
10
90
2
4
6
8
10
12
0 5 10 15 20 25
10
1
0 5 10 15 20 25
5
![Page 18: Métodos de aproximación basados en integración numérica - Felipe Osorio](https://reader031.vdocuments.mx/reader031/viewer/2022031821/55cf9804550346d03395062e/html5/thumbnails/18.jpg)
Cinetica de Teofilina (Pinheiro y Bates, 1995)
Modelo:
Yij =∆iKkai
Cli(kai −K)exp(−Ktij)− exp(−kaitij), (1)
donde ∆i representa la dosis inicial, kai y K son las constantes de absorcion yeliminacion, respectivamente y Cli es el Clearance, con
Cli = exp(β1 + bi1), kai = exp(β2 + bi2), K = exp(β3).
donde bi = (b1i, b2i)T ind∼ N2(0,Ψ).
![Page 19: Métodos de aproximación basados en integración numérica - Felipe Osorio](https://reader031.vdocuments.mx/reader031/viewer/2022031821/55cf9804550346d03395062e/html5/thumbnails/19.jpg)
Cinetica de Teofilina (Pinheiro y Bates, 1995)
Resultados de estimacion:
Aproximacion β1 β2 β3 log σ2 `LME -3.22719 0.46548 -2.45464 -0.68660 -177.0237Laplace -3.22946 0.46876 -2.46432 -0.68658 -176.9995Imp. sampling1000 -3.22682 0.47614 -2.45851 -0.68747 -177.7689Gaussiana5 -3.30411 0.50046 -2.48743 -0.48395 -182.4680Gaussiana10 -3.23814 0.59525 -2.46872 -0.70276 -176.1008Gaussiana100 -3.22684 0.47947 -2.45893 -0.68539 -177.7293Gaussiana Adap.5 -3.22503 0.47566 -2.45788 -0.68677 -177.7499Gaussiana Adap.10 -3.22705 0.47377 -2.45942 -0.68533 -177.7473
![Page 20: Métodos de aproximación basados en integración numérica - Felipe Osorio](https://reader031.vdocuments.mx/reader031/viewer/2022031821/55cf9804550346d03395062e/html5/thumbnails/20.jpg)
Cinetica de Teofilina (Pinheiro y Bates, 1995)
Numero de evaluaciones funcionales hasta convergencia:
Aproximacion Evaluaciones funcionalesLME 1.512Laplace 7.683Gaussiana Adap.5 30.020Gaussiana Adap.10 96.784Gaussiana5 47.700Gaussiana10 318.000Gaussiana100 10.200.000Imp. sampling1000 11.211.284
![Page 21: Métodos de aproximación basados en integración numérica - Felipe Osorio](https://reader031.vdocuments.mx/reader031/viewer/2022031821/55cf9804550346d03395062e/html5/thumbnails/21.jpg)
Modelo no lineal con efectos mixtos
Modelo en dos etapas:
Y i|φiind∼ Nmi(f i(zi,φi), σ
2Imi) y
φi = Aiβ + bi, biind∼ Nq(0,Ψ), (2)
para i = 1, . . . , n, con Ψ = Ψ(λ).
De este modo
p(y1, . . . ,yn) =n∏i=1
∫Rq
p(yi|bi;β, σ2)p(bi;θ, σ
2) dbi
![Page 22: Métodos de aproximación basados en integración numérica - Felipe Osorio](https://reader031.vdocuments.mx/reader031/viewer/2022031821/55cf9804550346d03395062e/html5/thumbnails/22.jpg)
Modelo no lineal con efectos mixtos
El modelo en (2) corresponde a un problema de datos incompletos, con
Y com = (Y T , bT )T ,
donde Y = (Y T1 , . . . ,Y
Tn )T y b = (bT1 , . . . , b
Tn )T representan los datos
observados y perdidos, respectivamente.
Se define la funcion
Q(θ|θ) = E`c(θ;Y com)|Y , θ =
∫`c(θ|Y com)p(b|y; θ) db. (3)
![Page 23: Métodos de aproximación basados en integración numérica - Felipe Osorio](https://reader031.vdocuments.mx/reader031/viewer/2022031821/55cf9804550346d03395062e/html5/thumbnails/23.jpg)
Modelo no lineal con efectos mixtos
La parte relevante de la log-verosimilitud de datos completos asume la forma
`c(θ;Y com) = −N2
log σ2 − 1
2σ2
n∑i=1
‖Y i − f i(zi,φi)‖2
− n
2log |Ψ| − 1
2
n∑i=1
(φi −Aiβ)TΨ−1(φi −Aiβ)
Note que:
La esperanza condicional requerida para el algoritmo EM en el modelo nlme es
intratable.
![Page 24: Métodos de aproximación basados en integración numérica - Felipe Osorio](https://reader031.vdocuments.mx/reader031/viewer/2022031821/55cf9804550346d03395062e/html5/thumbnails/24.jpg)
Algoritmos EM en nlme
Examinamos las siguientes versiones de algoritmos EM para nlme:
Monte Carlo EM (Walker, 1996).
Importance sampling y EM con cuadratura Gaussiana (Wang, 2007).
SAEM (Aproximacion Estocastica EM) por Kuhn y Lavielle (2005).
![Page 25: Métodos de aproximación basados en integración numérica - Felipe Osorio](https://reader031.vdocuments.mx/reader031/viewer/2022031821/55cf9804550346d03395062e/html5/thumbnails/25.jpg)
Monte Carlo EM (Walker, 1996)
Debido a la dificultad para evaluar la funcion Q(θ|θ) en (3), Walker (1996)propone:
Diferenciar bajo el signo de la integral, y
Aproximar las esperanzas necesarias usando Monte Carlo.
De este modo, el MLE esta dado por
E ∂
∂θ`c(θ|Y com)|Y ,θ
= 0.
![Page 26: Métodos de aproximación basados en integración numérica - Felipe Osorio](https://reader031.vdocuments.mx/reader031/viewer/2022031821/55cf9804550346d03395062e/html5/thumbnails/26.jpg)
Monte Carlo EM (Walker, 1996)
En nuestro caso
∂`c(θ|Y com)
∂βT=
n∑i=1
ATi Ψ−1(φi −Aiβ),
∂`c(θ|Y com)
∂ vechT Ψ=
1
2Ψ−1
n∑i=1
(φi −Aiβ)(φi −Aiβ)T − nΨ
Ψ−1,
∂`c(θ|Y com)
∂σ2= − N
2σ2+
1
2σ4
n∑i=1
‖Y i − f i(zi,φi)‖2.
![Page 27: Métodos de aproximación basados en integración numérica - Felipe Osorio](https://reader031.vdocuments.mx/reader031/viewer/2022031821/55cf9804550346d03395062e/html5/thumbnails/27.jpg)
Monte Carlo EM (Walker, 1996)
De este modo los MLE esta dados por
β =( n∑i=1
ATi Ψ−1Ai
)−1
ATi Ψ−1 E(φi|Y ,θ
′),
Ψ =1
n
n∑i=1
E(φi −Aiβ)(φi −Aiβ)T |Y ,θ′,
σ2 =1
N
n∑i=1
E‖Y i − f i(zi,φi)‖2|Y ,θ′.
![Page 28: Métodos de aproximación basados en integración numérica - Felipe Osorio](https://reader031.vdocuments.mx/reader031/viewer/2022031821/55cf9804550346d03395062e/html5/thumbnails/28.jpg)
Monte Carlo EM (Walker, 1996)
Sea φi = E(φi|Y ,θ′), Φi = Cov(φi|Y ,θ′), f i = E(f i(φi)|Y ,θ′) yΩi = Cov(f i(φi)|Y ,θ′). Entonces
β =( n∑i=1
ATi Ψ−1Ai
)−1
ATi Ψ−1φi,
Ψ =1
n
n∑i=1
(φi −Aiβ)(φi −Aiβ)T + Φi,
σ2 =1
N
n∑i=1
‖Y i − f i‖2 + tr(Ωi).
![Page 29: Métodos de aproximación basados en integración numérica - Felipe Osorio](https://reader031.vdocuments.mx/reader031/viewer/2022031821/55cf9804550346d03395062e/html5/thumbnails/29.jpg)
Monte Carlo EM (Walker, 1996)
Note que es requerido el calculo, de esperanzas como
φi =
∫φip(yi|φi;β, σ2)p(φi;θ, σ
2) dφi∫p(yi|φi;β, σ2)p(φi;θ, σ
2) dφi.
Para implementar Monte Carlo, considere T grande y tome
b(1), . . . , b(T ) iid∼ N(0,Ψ),
calcule φ(k) = Aiβ + b(k), k = 1, . . . , T , y finalmente
φi =
∑Tk=1 φ
(k)p(yi|φ(k);β, σ2)∑Tk=1 p(yi|φ
(k);β, σ2).
![Page 30: Métodos de aproximación basados en integración numérica - Felipe Osorio](https://reader031.vdocuments.mx/reader031/viewer/2022031821/55cf9804550346d03395062e/html5/thumbnails/30.jpg)
Monte Carlo EM (Walker, 1996)
Calculamos de manera analoga
Φi =
∑Tk=1 φ
(k)φ(k)T p(yi|φ(k);β, σ2)∑Tk=1 p(yi|φ
(k);β, σ2),
f i =
∑Tk=1 f(φ(k))p(yi|φ(k);β, σ2)∑T
k=1 p(yi|φ(k);β, σ2)
,
Ωi =
∑Tk=1 f(φ(k))fT (φ(k))p(yi|φ(k);β, σ2)∑T
k=1 p(yi|φ(k);β, σ2)
,
tal que Φi = Φi − φiφT
i y Ωi = Ωi − f ifT
i
![Page 31: Métodos de aproximación basados en integración numérica - Felipe Osorio](https://reader031.vdocuments.mx/reader031/viewer/2022031821/55cf9804550346d03395062e/html5/thumbnails/31.jpg)
Importance sampling (Wang, 2007)
El paso E del algoritmo EM requiere el calculo de
E(U(b)|Y ,θ′) =
∫U(Y , b)p(b|Y ,θ′) db ≈ 1
T
T∑k=1
U(Y , b(k))
con b(1), . . . b(T ) desde p(b|Y ,θ′).
Wang (2007) propone hacer importance sampling desde una mezcla λ(b) de
p(b) y N(b, (H + cI)−1) para c ≥ 0 una constante pequena,
λ(b) = γ0 p(b) + (1− γ0)N(b− b, (H + cI)−1), (0 ≤ γ0 ≤ 1).
![Page 32: Métodos de aproximación basados en integración numérica - Felipe Osorio](https://reader031.vdocuments.mx/reader031/viewer/2022031821/55cf9804550346d03395062e/html5/thumbnails/32.jpg)
Importance sampling (Wang, 2007)
De este modo Wang (2007), sugiere aproximar
E(U(b)|Y ,θ′) =
∫U(Y , b)p(Y |b,θ′)p(b;θ′) db∫
p(Y |b,θ′)p(b;θ′) db,
usando la razon de dos aproximaciones MC via importance sampling desdeλ(b), como
E(U(b)|Y ,θ′) ≈∑Tk=1 wkU(Y , b(k))p(Y |b(k),θ′)∑T
k=1 wkwkp(Y |b(k),θ′)
,
dondePb = Ψ1/2z = γ0 = 1− Pb = b+ (H + cI)−1z
con z ∼ N(0, I) y w = p(b;θ′)/λ(b).
![Page 33: Métodos de aproximación basados en integración numérica - Felipe Osorio](https://reader031.vdocuments.mx/reader031/viewer/2022031821/55cf9804550346d03395062e/html5/thumbnails/33.jpg)
Importance sampling (Wang, 2007)
Observaciones:
Para γ0 = 1, el algoritmo de Wang (2007) reduce al procedimientopropuesto por Walker (1996).
Cuando q ≤ 3, Wang (2007) sugiere utilizar cuadratura Gaussiana para laetapa E del algoritmo EM.
![Page 34: Métodos de aproximación basados en integración numérica - Felipe Osorio](https://reader031.vdocuments.mx/reader031/viewer/2022031821/55cf9804550346d03395062e/html5/thumbnails/34.jpg)
Algoritmo SAEM (Kuhn y Lavielle, 2005)
Cuando la log-verosimilitud de datos completos pertence a la familiaexponencial, esto es,
p(y,φ;θ) = exp−Ψ(θ) + 〈S(y,φ),Φ(θ)〉.
Delyon et al. (1999) propusieron:
Aproximar la etapa E del algoritmo EM mediante dos etapas:
Etapa de Simulacion.
Etapa de Aproximacion Estocastica.
![Page 35: Métodos de aproximación basados en integración numérica - Felipe Osorio](https://reader031.vdocuments.mx/reader031/viewer/2022031821/55cf9804550346d03395062e/html5/thumbnails/35.jpg)
Algoritmo SAEM (Kuhn y Lavielle, 2005)
El algoritmo SAEM (Delyon et al., 1999) esta dado por:
Etapa de simulacion: tomar φ(k+1) desde la distribucion condicional
p(φ|y; θ(k)
).
Etapa de aproximacion estocastica: actualizar sk, como
sk+1 = sk + γk(S(y;φ(k+1))− sk)
Etapa de maximizacion: actualizar θ(k)
como
θ(k+1)
= arg maxθ
`c(θ;Y com)
![Page 36: Métodos de aproximación basados en integración numérica - Felipe Osorio](https://reader031.vdocuments.mx/reader031/viewer/2022031821/55cf9804550346d03395062e/html5/thumbnails/36.jpg)
Algoritmo SAEM (Kuhn y Lavielle, 2005)
Observaciones:
Cuando el paso de simulacion no puede ser realizado directamente Kuhny Lavielle (2004) propusieron usar un procedimiento MCMC.
Delyon et al. (1999) y Kuhn y Lavielle (2004) mostraron las propiedadesde convergencia del algoritmo SAEM.
![Page 37: Métodos de aproximación basados en integración numérica - Felipe Osorio](https://reader031.vdocuments.mx/reader031/viewer/2022031821/55cf9804550346d03395062e/html5/thumbnails/37.jpg)
Algoritmo SAEM (Kuhn y Lavielle, 2005)
El algoritmo SAEM obtiene los MLE en el nlme mediante aproximar
β =( n∑i=1
ATi Ψ−1Ai
)−1
ATi Ψ−1φi,
Ψ =1
n
n∑i=1
E(φi −Aiβ)(φi −Aiβ)T |Y ,θ′,
σ2 =1
N
n∑i=1
E‖Y i − f i(zi,φi)‖2|Y ,θ′.
donde φi = Eφi|Y ,θ′.
![Page 38: Métodos de aproximación basados en integración numérica - Felipe Osorio](https://reader031.vdocuments.mx/reader031/viewer/2022031821/55cf9804550346d03395062e/html5/thumbnails/38.jpg)
Algoritmo SAEM (Kuhn y Lavielle, 2005)
Etapa de simulacion: tomar φ(k+1) desde la distribucion condicional
p(φ|y; θ(k)
).
Aproximacion estocastica:
s(k)1,i = s
(k−1)1,i + γk(φ
(k)i − s
(k−1)1,i ),
S(k)2,i = S
(k−1)2,i + γk(φ(k)
i −Aiβ(k)
)(φ(k)i −Aiβ
(k))T − S(k−1)
2,i ),
s(k)3,i = s
(k−1)3,i + γk‖Y i − f i(zi,φ
(k)i )‖2 − s(k−1)
3,i ),
![Page 39: Métodos de aproximación basados en integración numérica - Felipe Osorio](https://reader031.vdocuments.mx/reader031/viewer/2022031821/55cf9804550346d03395062e/html5/thumbnails/39.jpg)
Estimacion de la log-verosimilitud
La log-verosimilitud marginal asume la forma
`o(θ) =
∫p(y,φ;θ) dφ =
∫p(y|φ;θ)p(φ;θ) dφ,
esta integral puede ser aproximada usando importance sampling como:
o(θ) =
1
M
M∑m=1
p(y|φm;θ)p(φm;θ)
p(φm;θ)
donde φ1, . . . ,φM son tomados desde p(φ;θ). La eleccion optima es la
distribucion condicional de φ|Y . Sin embargo, en la practica se utiliza p(φ).
![Page 40: Métodos de aproximación basados en integración numérica - Felipe Osorio](https://reader031.vdocuments.mx/reader031/viewer/2022031821/55cf9804550346d03395062e/html5/thumbnails/40.jpg)
Aproximacion del error estandar
Se aproximar la matriz de informacion de Fisher usando el principio deinformacion perdida de Louis (1982).
En cuyo caso ¨o(θ) se aproxima por la secuencia Hkk≥0 definida como
gk = gk−1 + δk(U(θ)− gk−1
)Jk = Jk−1 + δk
(∂2 log p(y, b(k); θ(k)
)
∂θ∂θT+U(θ)UT (θ)− Jk−1
)Hk = Jk − gkg
Tk ,
donde U(θ) = ∂ log p(y, b; θ(k)
)/∂θ.
![Page 41: Métodos de aproximación basados en integración numérica - Felipe Osorio](https://reader031.vdocuments.mx/reader031/viewer/2022031821/55cf9804550346d03395062e/html5/thumbnails/41.jpg)
Cinetica de Teofilina (Boeckmann, Sheiner y Beal, 1984)
Dosis orales de droga anti-asmatica Teofilina son suministradas a doceindivıduos, luego las concentraciones en la sangre (mg/L) son medidas en 11instantes en un periodo de 25 horas.
Time since drug administration (hr)
The
ophy
lline
con
cent
ratio
n in
ser
um (
mg/
l)
0
2
4
6
8
10
0 5 10 15 20 25
6
7
0 5 10 15 20 25
8
11
3
2
4
0
2
4
6
8
10
90
2
4
6
8
10
12
0 5 10 15 20 25
10
1
0 5 10 15 20 25
5
![Page 42: Métodos de aproximación basados en integración numérica - Felipe Osorio](https://reader031.vdocuments.mx/reader031/viewer/2022031821/55cf9804550346d03395062e/html5/thumbnails/42.jpg)
Cinetica de Teofilina
Modelo:
Yij =∆iKkai
Cli(kai −K)exp(−Ktij)− exp(−kaitij), (4)
donde ∆i representa la dosis inicial, kai y K son las constantes de absorcion yeliminacion, respectivamente y Cli es el Clearance, con
Cli = exp(β1 + bi1), kai = exp(β2 + bi2), K = exp(β3).
donde bi = (b1i, b2i)T ind∼ N2(0,Ψ).
![Page 43: Métodos de aproximación basados en integración numérica - Felipe Osorio](https://reader031.vdocuments.mx/reader031/viewer/2022031821/55cf9804550346d03395062e/html5/thumbnails/43.jpg)
Cinetica de Teofilina
Resultados de estimacion:
Procedimiento β1 β2 β3 σ2 ψ11 ψ12 ψ22
FOCE -3.29 0.89 -2.57 0.49 0.03 0.003 0.68(0.07) (0.12) (0.05) (0.07) (0.01) (0.05) (0.33)
Laplace -3.23 0.47 -2.46 0.50 0.03 0.001 0.43(0.06) (0.20) (0.05) (0.07) (0.01) (0.05) (0.20)
MCEM -3.22 0.48 -2.46 0.50 0.03 -0.001 0.44(0.06) (0.21) (0.05) (0.07) (0.01) (0.03) (0.20)
GQEM -3.23 0.49 -2.46 0.50 0.03 -0.001 0.42(0.05) (0.15) (0.05) (0.07) (0.01) (0.03) (0.20)
SAEM -3.22 0.47 -2.45 0.50 0.03 0.000 0.44(0.05) (0.20) (0.01) (0.07) (0.01) (0.00) (0.23)