1 estimaciÓn de coeficientes de mÁxima verosimilitud x y xixi 11 1 + 2 x i y = 1 + 2 x...

1

ESTIMACIÓN DE COEFICIENTES DE MÁXIMA VEROSIMILITUD

X

Y

Xi

1

1+ 2Xi

Y = 1+ 2X

Ahora, se aplicará el principio de máxima verosimilitud al análisis de regresión en un modelo de regresión simple Y = 1 + 2X + u.

2


El marcador negro muestra el valor que tendría Y si X fuera igual a Xi y si no hubiera un término de error.

X

Y

Xi

1

1+ 2Xi

Y = 1+ 2X

3


Sin embargo, se asumirá que existe un término de error en el modelo y que tiene una distribución normal como la que se muestra.

X

Y

Xi

1

1+ 2Xi

Y = 1+ 2X

4


Respecto al marcador negro, la curva representa la distribución ex ante para u, es decir, su distribución potencial antes de que se genere la observación. Ex post, por supuesto, se fija en un cierto valor específico.

X

Y

Xi

1

1+ 2Xi

Y = 1+ 2X

5


En relación al eje horizontal, la curva también representa la distribución ex ante de Y para esa observación, es decir, condicional en X = Xi.

X

Y

Xi

1

1+ 2Xi

Y = 1+ 2X

6


Los valores potenciales de Y, cercanos a 1 + 2Xi, tendrán densidades relativamente grandes.

X

Y

Xi

1

1+ 2Xi

Y = 1+ 2X

X

Y

Xi

1

1+ 2Xi

Y = 1+ 2X

7


... mientras valores deY relativamente lejanos de 1 + 2Xi tendrán densidades reducidas.

8


El valor medio de la distribución de Yi es 1 + 2Xi. Su desviación estándar es , la desviación estándar del término error.

X

Y

Xi

1

1+ 2Xi

Y = 1+ 2X

9


Por lo tanto, la función de densidad para la distribución ex ante de Yi es la que se muestra.

X

Y

Xi

1

1+ 2Xi

Y = 1+ 2X

2

21 21

21

)(

ii XY

i eYf

10


La función de densidad conjunta para las observaciones en Y es el producto de sus densidades individuales.

2

21 21

21

)(

ii XY

i eYf

2

212

21

1

211211

21

...2

1)(...)(

nn XYXY

n eeYfYf

11


Ahora, tomando 1, 2 y como nuestra elección de variables, y tomando los datos de Y y X como dados, se puede reinterpretar esta función como la función de máxima verosimilitud 1, 2, y .

2

21 21

21

)(

ii XY

i eYf

2

212

21

1

211211

21

...2

1)(...)(

nn XYXY

n eeYfYf

2

212

21

121

211211

21

...2

1,...,|,,

nn XYXY

n eeYYL

12


Elegiremos 1, 2, y con el propósito de maximizar la verosimilitud, dados los datos de Y y X. Usualmente, es más fácil hacer esto de manera indirecta, maximizando el log-verosimilutd (log-likelihood).

2

21 21

21

)(

ii XY

i eYf

2

212

21

1

211211

21

...2

1)(...)(

nn XYXY

n eeYfYf

2

212

21

121

211211

21

...2

1,...,|,,

nn XYXY

n eeYYL

2

212

21 211211

21

...2

1loglog

nn XYXY

eeL

13


El primer paso es descomponer la expresión como la suma de los logaritmos de los factores.

Zn

XYXYn

ee

eeL

nn

XYXY

XYXY

nn

nn

221

log

21

...21

21

log

21

log...2

1log

21

...2

1loglog

2

2

21

2

1211

2

212

21

2

212

21

211211

211211

14


Después, separamos el logaritmo de cada factor en dos componentes. El primer componente es el mismo en cada caso.

Zn

XYXYn

ee

eeL

nn

XYXY

XYXY

nn

nn

221

log

21

...21

21

log

21

log...2

1log

21

...2

1loglog

2

2

21

2

1211

2

212

21

2

212

21

211211

211211

15


Por lo tanto, el log-verosimilud (log-likelihood) se simplifica como se muestra.

Zn

XYXYn

ee

eeL

nn

XYXY

XYXY

nn

nn

221

log

21

...21

21

log

21

log...2

1log

21

...2

1loglog

2

2

21

2

1211

2

212

21

2

212

21

211211

211211

221

21211 )(...)( donde nn XYXYZ

16


Para maximizar el log-verosimilitud (log-likelihood), se debe minimizar Z. Sin embargo, la elección de los estimadores de 1 y 2 para minimizar Z es exactamente lo que se hizo cuando se derivaron los coeficientes de regresión de mínimos cuadrados.

Zn

XYXYn

ee

eeL

nn

XYXY

XYXY

nn

nn

221

log

21

...21

21

log

21

log...2

1log

21

...2

1loglog

2

2

21

2

1211

2

212

21

2

212

21

211211

211211

221

21211 )(...)( donde nn XYXYZ

17


Por lo tanto, para este modelo de regresión, los estimadores de máxima verosimilitud de 1 y 2 son idénticos a los estimadores de mínimos cuadrados.

Zn

XYXYn

ee

eeL

nn

XYXY

XYXY

nn

nn

221

log

21

...21

21

log

21

log...2

1log

21

...2

1loglog

2

2

21

2

1211

2

212

21

2

212

21

211211

211211

221

21211 )(...)( where nn XYXYZ

18


Como consecuencia, Z será la suma de los cuadrados de los residuales de los mínimos cuadrados.

iiii

nn

XbbYee

XYXYZ

212

221

21211

where

)(...)( where

ZnL22

1loglog

2

19


Para obtener el estimador de máxima verosimilitud de , es conveniente reordenar la función log-verosimilitud (log-likelihood) como se muestra.

Znn

Znn

ZnL

221

loglog

221

log1

log

221

loglog

2

2

2

20


Simplificando respecto de , se obtiene la siguiente expresión.

Znn

Znn

ZnL

221

loglog

221

log1

log

221

loglog

2

2

2

233log

nZZnL

21


La condición de primer orden para un máximo requiere que sea igual a cero. Por lo tanto, el estimador de máxima verosimilitud de la varianza es la suma de los cuadrados de los residuales, dividido entre n.

Znn

Znn

ZnL

221

loglog

221

log1

log

221

loglog

2

2

2

233log

nZZnL

n

e

nZ i

22̂

22


Observe que esto implica un sesgo para muestras finitas. Para obtener un estimador no sesgado, se debe dividir entre n–k, donde k es el número de parámetros, en este caso 2. Sin embargo, el sesgo desaparece a medida que la muestra se vuelve más grande.

Znn

Znn

ZnL

221

loglog

221

log1

log

221

loglog

2

2

2

233log

nZZnL

n

e

nZ i

22̂

Copyright Christopher Dougherty 2000–2009. This slideshow may be freely copied for personal use.

02.02.09

1 estimaciÓn de coeficientes de mÁxima verosimilitud x y xixi 11 1 + 2 x i y = 1 + 2 x...

Documents