Captulo 5Violacin de los Supuestos del Modelo de Regresin Lineal

Estudiamos problemas derivados de la violacin de los seis supuestos del modelo de regresin lineal.

estudiamos el efecto de la violacin sobre los estimadores mnimos cuadrados y los diferentes tipos de tests.

propondremos alguna solucin vlida si es posible.

cmo sabemos que se ha violado un supuesto?

No es simple porque hay muchas consecuencias de violar un supuesto

Adems, se pueden violar varios supuestos simultneamente.

Aunque no hay reglas al respecto, algunos fenmenos que delatan la violacin son:

Los errores que no son ruido blanco.

Los parmetros estimados no son congruentes con los pre/juicios que se tenan antes de hacer el experimento

signos opuestos a los esperados

baja significancia

poco robustos

Existen problemas asociados a la regresin (autocorrelacin, heterocedasticidad, etc.)

Baja capacidad predictiva del modelo estimado

Sesgo sistemtico en la prediccin.

5.01 Problemas de Especificacin I: Regresores Inadecuados

Frecuentemente hay varias alternativas de variables que puede incluir o excluir del modelo.

Primero, la teora debiera sugerir una especificacin completa. Y las hiptesis que se va a estudiar.

Pero a veces las teoras no son muy finas y hay espacio para probar distintas especificaciones.

Hay dos tipos de variables (pertinentes e irrelevantes) y dos situaciones (incluidas y excluidas). Dos combinaciones son obvias; pertinente incluida e irrelevante excluida.

Las otras dos son ms interesantes de estudiar.

Omisin de variable pertinente

Problema comn es la omisin de variables que pueden ser potencialmente importantes

mala especificacin analtica

limitaciones de los datos

Sea el modelo y=x es particionado en dos grupos de variables:

y=x11x 22

Supongamos ahora que la estimacin excluye x 2 . Entonces:

1=x 1 ' x 11 x 1 ' y

=x 1 ' x11 x1 ' [x11x 22]

=1x 1 ' x 11 x 1 ' x 22x 1 ' x 1

1 x1 '

Entonces

E [ 1 ]=E [1x 1 ' x 11 x 1 ' x 22x 1 ' x 1

1 x 1 ' ]=1E [x1 ' x 1

1 x 1 ' x 22 ]

As,

E [ 1 ]=1 si x1 ' x 2=01 si x 1 ' x 2 0

La omisin de variables pertinentes no correlacionadas con aquellas que quedan en el modelo no sesga el estimador de los coeficientes.

La omisin de variables pertinentes correlacionadas con aquellas que quedan en el modelo sesga los estimadores.

El sesgo es de direccin y tamao desconocidos, porque no conocemos 2 .

Hay un segundo efecto:

La varianza del verdadero estimador, incluyendo x 2 , es

V [ 1]=2 [x 1 ' x 1x 1 ' x 2 x 2 ' x 2

1 x 2 ' x 1]1

La varianza del estimador en el modelo que excluye x 2 es

V [ 1]=2 x 1 ' x 1

1

Por lo tanto, en el segundo caso el estimador de 1 es sesgado pero de menor varianza

Usualmente es necesario usar el estimador de 2 , 2= ' /nk1 , donde son los residuos del modelo estimado excluyendo x 2 (no los del modelo completo, ). Pero

=M 1 y=M 1 x 11x 22=M 1 x 22M 1

Por lo tanto, en los residuos muestrales estn los verdaderos residuos ms el efecto de la correlacin de x 1 y x 2 ponderado por 2 .

Cmo afecta esto al estimador de la varianza de los residuos?

Tomando la ltima ecuacin, multiplicando por su traspuesta, y tomando el valor esperado se obtiene la siguiente expresin:

E [ ' ]=2 ' x 2 ' M 1 x 22E [ ' M 1]

Entonces

E [ ' ]=2 ' x 2 ' M 1 x 222 tr M 1

=2 ' x 2 ' M 1 x 222 nk1

El primer trmino del lado derecho es no-negativo, ya que es una forma cuadrtica.

El segundo trmino es el estimador de la varianza de los residuos para el modelo que excluye x 2 .

Por ello, la varianza estimada de los residuos obtenida como la suma de los residuos al cuadrado ajustada por grados de libertad estar sesgada.

Notar que an si x 1 ' x 2=0 , el estimador de la varianza de los residuos y los tests t estn sesgados.

Adicin de variable irrelevante

Nuevamente, debemos contestar las clsicas preguntas:

Es el estimador de insesgado?

Se ha afectado la varianza del estimador de ?

Se ha afectado 2 ?

Cul es el impacto sobre los tests?

Dejo de tarea encontrar las respuestas, que son bastante obvias.

Ejemplo: demanda de dineroCuadro 5.1

Adicin y Omisin de Variables

Modelo completo Constante LPIB Deval Tcol XXEstimadores -13.2728 1.0748 -0.1616 -0.0531 Test t -22.1688 26.0638 -0.8083 -3.9820R2 0.9600

Modelo con variable omitida

Estimadores 2.3206 -0.3461 -0.3026 Test t 33.8532 -0.5782 -10.8883 R2 0.6409

Modelo con variable irrelevante incluida

Estimadores -13.3048 1.0770 -0.1668 -0.0522 -0.0048 Test t -21.9483 25.8037 -0.8288 -3.8473 -0.4321 R2 0.9596

Una conclusin errnea, popular y peligrosa

En trminos de la calidad de los estimadores resulta preferible incluir variables irrelevantes a excluir variables pertinentes.

Ello sugerira que la mejor estrategia de modelacin economtrica es poner de todo al lado derecho de la regresin, mientras alcancen los grados de libertad.

As, si bien los estimadores tendran problemas de eficiencia, no habra problemas de sesgo. Estos ltimos son, naturalmente, ms graves.

Existen problemas graves con esta estrategia.

El modelo de regresin ha sido derivado bajo la premisa que ste describe un experimento aleatorio en un espacio de probabilidad asociado a un conjunto de posibles eventos de inters.

En tal caso, el diseo del experimento debe ser hecho ex-ante y debe producir tanto el conjunto de hiptesis que se desea estudiar como la especificacin funcional particular que se debe usar.

Cuando se incluyen variables aleatorias con el fin de maximizar algn criterio (usualmente bondad de ajuste)

en rigor, no puede compararse el parmetro de inters entre modelos. Considere los dos modelos planteados en la ecuacin:

a y i=01 x ib y i=01 x i2 w i

el parmetro 1 de la ecuacin (a) se refiere a un experimento cuyo espacio de eventos es distinto del que se considera implcitamente en la ecuacin (b), lo que impide la comparacin entre modelos.

Alternativamente, considere que la modelar equivale a estudiar la distribucin condicional F y | x , la que puede ser muy distinta de F y | x ,w .

cuando se usa la muestra de variables aleatorias para sugerir una especificacin no puede usarse esa misma muestra para (in)validar dicha especificacin.

Frecuentemente los investigadores olvidan este hecho elemental y se engarzan en una verdadera carrera de caballos con distintos modelos economtricos, ponderando sus virtudes y defectos por medio de una batera de tests.

Cmo sabemos, entonces, si un modelo est bien especificado?

Slo la teora econmica nos puede sugerir una especificacin. Una vez obtenida una muestra acorde al testeo que se desea hacer, hay dos alternativas:

si la teora es congruente con los datos, nos quedamos con sta como una representacin adecuada de datos caracterizados por algunas regularidades empricas.

si la teora no es congruente con los datos, cambie de teora.

Existe la tentacin a poner cosas del lado derecho, slo para encontrarse despus que no hay como justificar en serio la inclusin de dichas variables.

Las clsicas objeciones a la idea que un investigador debe limitarse a la disciplina que le impone su teora econmica:

Si el test t de estas variables adicionales es mayor que 2 por qu no incluirlas?

El re sultado es el peor.

La (o las) variable(s) parece(n) ser importante(s) desde un punto de vista estadstico para describir la media condicional de y, pero no tenemos idea por qu o qu papel desempean desde el punto de vista analtico.

Por qu no usar las k variables disponibles y hacemos una competencia todos-contra-todos seleccionando aquellas que maximizan R con tests t significativos al, digamos, 95%?

la seleccin es mecnica con independencia de las restricciones que impone la teora.

es difcil comparar entre modelos (cmo se distribuye el test de distancia entre dos o ms R?).

esto es data mining.

5.02 Problemas de Especificacin II: Cambio de Rgimen

Forma comn de violar el supuesto que el modelo sea lineal es el caso en el que hay cambio de rgimen (un caso frecuente en series de tiempo).

Cambio de rgimen es una expresin un tanto vaga que se utiliza para denotar que el fenmeno de inters tiene un comportamiento caractersticamente diferente en diversos periodos de tiempo. En dichos segmentos, la media condicional y sus determinantes pueden diferir de manera apreciable.

Ejemplos comunes de quiebres se presentan en la siguiente figura.

Si hay cambio de rgimen, un modelo lineal es inadecuado.

Supongamos que el cambio de rgimen slo afecta el intercepto de la regresin, lo que se debera usar es una especificacin del tipo:

y i=x i i i [1,15 ] [40,60 ]y i=x i i i [16,39 ] [61,80 ]

El modelo anidado usando variables ficticias (mudas o dummies), que toman valores 0 y 1 dependiendo del rgimen. es:

y i=x i D ii donde Di=1 i[16,39 ][61,80 ]Di=0 en el resto

Cuando la variable muda D es 1, el intercepto es = , en tanto que si es 0 ste es .

Es decir, interpretamos como la diferencia de interceptos.

Supongamos ahora que el cambio de rgimen es tanto en el intercepto como en los otros coeficientes de la regresin. Se debera usar es una especificacin del tipo:

y i=x i i i [1,15][40,60 ]y i=x ii i [16,39 ][61,80 ]

El modelo anidado es:

y i=x i [D i ]D ii

As, cuando D toma valor 1, el intercepto es = y la pendiente es = . Cuando D=0, obtenemos los parmetros y .

Cmo descubrimos si hay cambio de rgimen?

Dos tcnicas de amplia difusin: las tcnicas recursivas y el test RESET.

Test RESET (Regression specification error test) consiste en realizar una regresin auxiliar al modelo y t= x tt , con N 0, I , y consideremos la siguiente regresin auxiliar:

y t=01 x t2 z tt

donde z t={ y t2 , y t

3 ,} y y t son los valores predichos del modelo original.

Si el modelo original estaba bien especificado, entonces los coeficientes de las variables auxiliares no debiesen ser estadsticamente significativos.

En caso contrario, el estimador de es inconsistente.

Por ello la hiptesis nula del test es H 0 :2=0 .

La tcnicas recursivas se aplican a series de tiempo y consisten en estimar el modelo incrementando de modo paulatino (recursivo) el tamao de muestra. Consideremos el modelo y t= x tt y la siguiente regresin auxiliar:

y t=t1 x tt

donde t es el estimador del parmetro obtenido mediante una regresin hecha con una muestra de datos { y i , x i }i=k1

i=t1 .

La tcnica consiste en hacer un conjunto de regresiones auxiliares incrementando el tamao de muestra desde i=k1 hasta T , donde k es el rango de x. Note que k1 es la primera regresin que es posible hacer.

Estimacin recursiva de los estimadores de los parmetros

5.03 Problemas de Especificacin III: Datos errneos, perdidos, etc.

Datos Perdidos

Pueden haber datos perdidos en la variable de inters, y, o en los regresores, x.

porque no existen los datos para algn determinado perodo de tiempo o segmento de la muestra.

porque los datos existen pero estn en distinta frecuencia a la necesaria para hacer el anlisis emprico (p.e., datos mensuales versus trimestrales).

Si los datos se han perdido de manera aleatoria, los estimadores de mnimos cuadrados sern consistentes pero ms ineficientes que en el caso que la muestra estuviese completa. La razn es que la muestra con datos perdidos contiene menos informacin.

Si se han perdido datos de forma no aleatoria slo para la variable de lado izquierdo, entonces no hay sesgo y slo hay problemas de eficiencia (sesgo de seleccin exgeno).

Si se han perdido datos de forma no aleatoria slo para las variables de lado derecho, entonces hay sesgo de seleccin endgeno (correlacin entre regresor y residuo) hay sesgo en el estimador de mnimos cuadrados.

La existencia de datos perdidos suele llevar a los econometristas despistados a intentar soluciones que, como se discute a continuacin, no son efectivas.

Cuadro 5.1Problemas de disponibilidad de datos

Datos existen

yA xA

Datos perdidos

- xB

Datos perdidos

yC -

Note que siempre podemos estimar el estimador en el subconjunto A.

cmo usar los datos restantes?

Datos perdidos en la variable condicionada.

Una sugerencia frecuente es utilizar algn mtodo para hacer una prediccin de yB y usar posteriormente el modelo economtrico completo para estimar , es decir usando [ y A yB , x Ax B ] . El quid del asunto radica en cmo predecir yB . Hay dos alternativas populares:

Alternativa popular 1. Rellene los datos faltantes con la media de y A . Es fcil demostrar que como resultado se produce sesgo en los parmetros.

Alternativa popular 2. Estime en el subgrupo A, prediga yB usando dicho estimador, y luego estime el modelo completo. Es directo demostrar que el procedimiento es intil.

Datos perdidos entre los condicionantes.

Nuevamente la sugerencia popular es hacer una prediccin de yC y usar el modelo completo para estimar , es decir usando [ y A yC , x Ax C ] . Cmo predecir xC ?

Alternativa popular 1. Rellene los datos faltantes con la media de x A . Demuestre que este procedimiento es equivalente a eliminar los datos del segmento C.

Alternativa popular 2. Haga una regresin de x en y en el subgrupo A, estime un parmetro y prediga xC usando dicho estimador. Luego estime el modelo completo. Demuestre que este procedimiento viola el espritu del anlisis economtrico.

Variables cercanas (proxies)

Una variable proxy es un sustituto cercano (es decir, imperfecto) de la verdadera variable que no es observable o no est disponible.

Usualmente el uso de variables cercanas puede ser entendido como la presencia de variables medidas con error.

Puede haber proxies de la variable de inters o de los regresores, pero el efecto sobre el estimador de mnimos cuadrados ordinarios de los parmetros no es igual.

Escribimos el estimador mnimos cuadrados como:

=[ x ' xn ]1

[ x ' n ] Hasta el momento plim [ ]=Q xx x , pero la matriz de covarianzas se desvanece

cuando n. Veamos ahora qu sucede cuando se usan variables cercanas.

Proxy para la variable de inters:

Sea el modelo que nos gustara estimar y *=x . Pero slo disponemos de y *= y , donde es un shock aleatorio, con media cero y varianza

2 .

Entonces el modelo estimable es y=x =x , donde = .

Notese que es una variable aleatoria con media cero y cuya covarianza con x tambin es cero. Luego se satisfacen todos los supuestos del modelo clsico y no hay problemas de sesgo en los estimadores de mnimos cuadrados.

Obviamente, la varianza del estimador de los residuos est sesgada (ms grande) porque incluye tanto la varianza de como la de .

Sin embargo, ese sesgo no es posible corregirlo sin conocer 2 .

Proxy de los regresores:

Sea el modelo que nos gustara estimar y=x . Pero slo disponemos de x=x , donde es un shock aleatorio con media cero y varianza

2 .

Ahora el modelo es y=x =x donde = .

El problema radica en que hay correlacin entre regresor y residuo porque cov [x ,]=cov [x ,]=

2 .

plim del estimador de mnimos cuadrados es plim =plim 1/n

i=1

n

x i* x i

*

plim 1/ni=1

n

x i*2

como x*, , y son independientes entre s, se obtiene:

plim =

1

2

Q*

con Q *= plim 1/n x * ' x * .

por lo tanto, si 20 , el estimador de mnimos cuadrados ordinarios del parmetro

es inconsistente y sesgado hacia cero.

A mayor error de medida, ms fuerte este efecto de atenuacin.

Datos influyentes y extremos (outliers)

Es usual encontrar valores tanto para la variable de inters como sus determinantes que no parecen formar parte del experimento en cuestin.

Se entiende por datos influyentes aquellos que de ser incluidos o excluidos de la muestra producen grandes variaciones en la estimacin, sea en los estimadores de los parmetros o en los estadsticos asociados (p.e., bondad de ajuste).

La influencia de estas observaciones se debe tanto a la naturaleza del estimador de mnimos cuadrados como al tamao de la muestra usada para obtener el estimador.

Como el estimador de mnimos cuadrados minimiza la suma de residuos, observaciones ms alejadas del promedio de los datos reciben ms valoracin. Eso puede hacer que el estimador sea sensible a valores extremos.

el tamao de muestra determina el impacto de valores extremos, pues este problema ser ms agudo mientras ms pequea sea la muestra.

Se distingue entre valores extremos (outliers) y valores influyentes.

Valores extremos se refieren usualmente a valores de y que se desvan mucho de la media condicional en x.

Valores influyentes se refieren a valores de x que se desvan de la media muestral y que, por lo tanto influyen mucho en la estimacin.

Valores influyentes y extremos

y

x

Causas

Errores al ingresar los datos de la muestra

Muestras mal diseadas (experimento mal especificado)

Mala suerte

Deteccin

Estudiar los residuos: si el valor predicho se desva del efectivo de manera notoria se puede tratar de un valor extremo.

No obstante, esta no es una manera que garantice la deteccin. La razn es que el residuo se mide con respecto a la recta de regresin la que podra variar si se incluye o excluye el valor extremo.

Usualmente se estudian los residuos estandarizados es decir, los residuos divididos por su desviacin estndar de modo de normalizar su tamao.

5.04 Problemas de Especificacin IV: Colinealidad

Problema de colinealidad consiste en que los regresores no son independientes entre s.

El supuesto de identificacin es que x ' x 1 fuese positiva definida. Ello no impide que los regresores estn correlacionados imperfectamente.

Consideremos el siguiente modelo:

y i=1 x i12 x i

23 x i3i

Si los regresores estn correlacionados de acuerdo a la siguiente relacin:

x i3=1 x i

12 x i2i

Resulta obvio que:

y i=113x i1223x i

2t3i

Hay dos interpretaciones interesantes de la ecuacin anterior.

Se puede estimar j j pero no podemos identificar j .

El efecto marginal de xk sobre y tiene dos componentes: uno directo ( j ) y otro que se filtra indirectamente a travs de xj ( k j ).

Ntese, adems, que la varianza del error (3 ) tiene una estructura particular.

El efecto de la colinealidad sobre el estimador mnimos cuadrados es algo sorprendente. Tomando el estimador

E [ ]=E [x ' x 1 x ' y ]=E [x ' x 1 x i ' x ]

=E [x ' x 1 x ' ]

Por lo tanto, en tanto la matriz de momentos de los regresores exista, el estimador sigue siendo insesgado.

Ello porque independientemente de si los regresores son estocsticos o no, la correlacin entre regresor y error es cero lo que implica que E [ ]= .

Si los parmetros no son sesgados, dnde est el efecto de la colinealidad?

Debido a que el problema es que cov x 1, x 20 , entonces tiene que afectar la matriz de momentos de los regresores, x x .

Recordemos que la inversa de x x es su adjunta dividida por el determinante, es decir:

=[a 11 a 12a 21 a 22] entonces 1= 1a11 a 22a 12 a 21 [ a 22 a12a 21 a 11 ] Entonces, por ejemplo,

=[1 00 1]1=11 [1 00 1]

y ahora consideremos casos donde la covarianza entre las variables no es cero:

=[ 1 0.60.6 1 ]1= 10.64 [ 1 0.60.6 1 ]=[ 1 0.90.9 1 ]1= 10.19 [ 1 0.90.9 1 ]

Resulta evidente cmo se va reduciendo el determinante de la inversa.

Dado que V =2 x i ' x i 1 , la colinealidad se traduce en varianzas de los

estimadores de los parmetros cada vez ms grandes. En el lmite la varianza tiende a infinito.

An as, el estimador sigue siendo MELI.

Esto es congruente con lo que obtuvimos antes. Cuando la colinealidad es perfecta no es posible distinguir entre el efecto directo e indirecto.

Es decir, no podemos precisar el valor de los parmetros (varianza infinita).

En la realidad, la colinealidad perfecta no existe (salvo por error).

Pero tampoco existe, usualmente, la ausencia de colinealidad (piense en el papel de las expectativas y cmo stas correlacionan muchas variables econmicas). Por ello, siempre habr algn grado de colinealidad.

Otro sntoma de la colinealidad es que los estimadores de los parmetros se vuelven inestables (poco robustos).

La inestabilidad se produce porque la estimacin punto de los parmetros bajo alta colinealidad depende de la conformacin de la muestra.

Si sacamos un(os) dato(s) de la muestra, la estimacin de los parmetros suele cambiar fuertemente.

Como detectamos la presencia de colinealidad?

Podramos estudiar la correlacin de los regresores antes de estimar el modelo. Esta prctica es esencial en cualquier modelacin economtrica, pues aparte de detectar posibles problemas de colinealidad nos ayuda a descubrir errores en los datos.

Un problema prctico, no obstante, es que no es muy claro cundo hay alta colinealidad entre dos o ms variables. Naturalmente una correlacin de 99% es alta y una de 5% es baja, pero para una correlacin de 57% no es clara la conclusin.

Otra alternativa es investigar si los estimadores de los parmetros son inestables. Si bien esto es correcto, existen otros problemas que veremos ms adelante que tambin producen inestabilidad. Por ello, este test no es conclusivo.

Una tercera alternativa es que, si bien los parmetros no son significativos por la alta covarianza, como un todo la regresin es satisfactoria. Ello se traducira en el caso R 2alto pero no significativos. No es una regla muy firme, porque una variable irrelevante en un modelo satisfactorio tendra el mismo sntoma.

Qu solucin tiene la colinealidad?

En estricto rigor, no existe ninguna solucin.

La colinealidad no es un problema.

Es una caracterstica de las variables aleatorias utilizadas en el modelo.

Es decir, una caracterstica del problema econmico.

Pseudo soluciones al problema de colinealidad:

descubrir su inaplicabilidad

porque existen otros usos para estas tcnicas que se utilizan a menudo.

Elimine alguna variable para la que haya evidencia de colinealidad con otras.

a) Obviamente, el problema de colinealidad se reduce.

b) Sin embargo, los estimadores estn sesgados.

c) Las varianzas de los estimadores pueden estar sobre-estimadas.

El mtodo de ridge.

Los parmetros son difciles de identificar porque las varianzas de los parmetros son relativamente pequeas en comparacin con las covarianzas.

Las varianzas estn en la diagonal de 2x x 1 .

Este estimador sugiere sumarle algo a dicha diagonal, de modo que los parmetros sean identificables. El estimador de ridge es:

RD=[x i ' x irD ]1 x i ' y i

donde r es un escalar pequeo (p.e., 0.01) y D una matriz diagonal.

Obviamente, ahora las varianzas de los parmetros estimados van a ser menores.

Var RD=2 [x i ' x irD ]

1

Pero este beneficio se obtiene a costa de:

E [ RD]=E [x i ' x irD ]1 x i ' y i =E [x i ' x irD ]1 x i ' x i

Hemos vuelto a obtener dos resultados importantes:

(a) modelos con variables pertinentes omitidas producen parmetros sesgados, y

(b) es posible tener estimadores sesgados ms eficientes que un estimador insesgado.

Mtodo de componentes principales.

Otra propuesta de solucin de colinealidad consiste en extraer de la matriz x x los componentes principales de sta.

Si el problema de las x es que no hay independencia lineal, por qu no seleccionamos aquellos x que son ms independientes?

As, mejorara la estimacin del modelo, pues el subconjunto de x seleccionado representara bien a todas las variables del modelo.

La pregunta es equivalente a cul combinacin lineal de las x es la que tiene el mejor ajuste a todas las x? Esa ser la mejor representante.

Sea la combinacin lineal z 1=x a1 . Entonces, z 1 ' z 1=a 1 ' x ' x a1 .

Buscamos a 1 tal que maximicemos z 1 ' z 1 .

Obviamente, si no restringimos a 1 es posible que [z 1 ' z 1] .

Por ello, optimizamos restringiendo a que a 1 ' a1=1 (a esto se le llama normalizar).

Usando la tcnica de Lagrange:

max a 1=a1 ' x ' x a11a 1 ' a 11

derivando obtenemos la siguiente condicin de primer orden:

a 1

=2x ' xa121 a1=0

es decir:

x ' x a11 a1=0

por lo tanto, a 1 es un vector caracterstico.

Recuerde, a 1 es el vector caracterstico asociado a 1 la raz caracterstica.

Cul vector caracterstico? Aquel asociado a la raz caracterstica ms grande de x ' x .

As, hemos escogido el primer componente principal.

Ahora, escogemos el segundo, a 2 .

Para ello optimizamos sujeto a a 1 ya encontrado y a que a 1 ' a 2=0

max a2=a 2 ' x ' x a 22 a 2 ' a 21a1 ' a 2

As, obtenemos la siguiente condicin de primer orden del problema restringido

a 2

=2x ' xa 222 a 2a1=0

entonces, premultiplicamos por a 1 '

2 a1 ' x ' x a 222 a1 ' a 2 a1 ' a 1=0

pero a 1 ' a 2=0 y a 1 ' a1=1 . Por ello, =0 .

Se deduce entonces que x ' x a 2=2 a 2 , es decir a 2 es el segundo vector caracterstico (correspondiente a la segunda raz caracterstica, 2 ).

Podemos hacer esto k veces, obteniendo a k soluciones.

Obtenemos una representacin exactamente la matriz original x x .

Juntamos los resultados en la matriz A=[a1 , a 2 , ... , ak ] que describe los ponderadores de los componentes principales de x x , tal que Z=xA son los Z componentes principales.

Note que

Z ' Z=A' x ' xA==[1 0 00 2 0 0 k]Adems, si el rango de x es rk habr kr valores propios iguales a cero.

Finalmente, el estimador de componentes principales ser:

cp=[Z ' Z ]1Z ' y

Pero Z ' y=A ' x ' y=A' x ' [ x]=A' x ' x=A ' x ' x .

Se desprende cp=A1 de donde se deduce que:

el estimador de componentes principales es una combinacin lineal de los verdaderos parmetros.

que el estimador de componentes principales es sesgado.

la varianza del estimador cp es menor que la de ols .

Otros problemas.

los estimadores son sensibles a la escala de los datos (estandarizar) pero esto afecta los resultados (cambia A).

la seleccin de los componentes principales se hace en funcin de x y no de y, lo que sera preferible.

la interpretacin de los parmetros es muy difcil, pues no sern los coeficientes asociados a las variables sino aqullos asociados a una combinacin lineal de las variables.

Ntese que nuevamente encontramos que

modelos con variables pertinentes omitidas producen parmetros sesgados, y

es posible tener estimadores sesgados ms eficientes que un estimador insesgado.

5.05 Modelos de Varianza No Constante

Esta es una familia con dos ramas principales:

heterocedasticidad (corte transversal)

correlacin de residuos (series de tiempo)

existen casos de heterocedasticidad y correlacin residual

Heterocedasticidad

Los residuos (innovaciones) provienen de distribuciones con distintas varianzas.

En el caso en que la varianza de los errores no sea diagonal, el modelo general se escribe de la siguiente manera:

y i=x i iE [i ]=0E [i i ' ]=

2

donde es una matriz definida positiva.

Obviamente, cuando =I, volvemos al caso de mnimos cuadrados ordinarios.

Modelo es llamado modelo de regresin generalizado.

Bajo heterocedasticidad la matriz de covarianzas de los errores es del tipo:

2=[12 0 0

0 22 0

0 0 n

2] Ntese que las covarianzas son cero.

Cual es el efecto de la heterocedasticidad sobre un estimador mnimos cuadrados?

Recordemos que el estimador mnimos cuadrados se puede escribir como

=x ' x 1 x ' y=x ' x 1 x '

Tomando esperanza en obtenemos E [ ]=Ex [E [ | x ]]= , es decir el estimador sigue siendo insesgado.

Esto es razonable porque el problema de heterocedasticidad se refiere al segundo momento (varianzas) y no a la media de los errores.

Tomemos la varianza del estimador para el caso que x es no estocstico:

Var [ | x ]=E [ ' | x ]=E [x ' x 1 x ' ' x x ' x 1|x ]=x ' x 1 x ' E [ ' ]x x ' x 1

=x ' x 1 x ' [2]x x ' x 1

Si x es estocstico, la varianza no condicional es Ex [Var | x ] .

Si se distribuye Normal, entonces N [ ,2 x ' x 1x 'x x ' x 1] .

La varianza del estimador ahora no es 2 x x 1 , por lo que las inferencias basadas en esta ltima estn sesgadas.

Por otro lado, el estimador de no tiene por qu haber retenido sus propiedades. No podemos saber si los test t o F resultan adecuados.

La varianza asinttica del estimador ser:

V.A.= 2

nQ1 plim 1n x 'x Q1

En resumen, la heterocedasticidad no afecta la estimacin punto de los parmetros porque stos no dependen de la varianza de la distribucin.

Pero, obviamente afecta la varianza del estimador. Recordemos que:

Var [ | x ]=x ' x 1 x ' [2]x x ' x 1

Bajo homocedasticidad, E [i i ' ]=2 I , por lo que el problema se reduce a tener un

estimador de 2 .

Por el contrario, el problema que presenta la existencia de heterocedasticidad en un experimento es exactamente nuestra ignorancia respecto de la estructura de sta, es decir, respecto de E [i i ' ] .

Vamos a realizar un truco que es estndar en la literatura economtrica:

derivamos el estimador ptimo y sus propiedades bajo el supuesto que conocemos E [i i ' ] (estimador eficiente)

luego estudiamos qu sucede si esta ltima suposicin no es correcta (estimador posible)

Estimacin eficiente

Si tuvisemos E [i i ' ] podramos resolver el problema. En ese caso podramos usar directamente el estimador de la varianza:

Var OLS=x ' x 1 x ' E [ ' ]x x ' x 1

Basados en la idea que una matriz positiva y definida puede ser factorizada, vamos a hacer una factorizacin conveniente.

Tomemos una matriz T(nn) y premultipliquemos el modelo, tal que

Ty i=Tx i T i

Se sigue cumpliendo que E [T ]=0 , por lo que podemos obtener:

E [T ' T ' ]=2 T 'T

Si T 'T=I habramos solucionado el problema de heterocedasticidad, pues podemos estimar el modelo transformado por mnimos cuadrados ordinarios ya que los errores seran homocedsticos. Luego se recuperan los estimadores de los parmetros del modelo original.

Queremos encontrar T tal que 1=T ' T para ponderar el modelo.

El estimador de mnimos cuadrados ponderados de Aitken sera:

GLS=x i ' T ' T x i 1 x i ' T ' T y i pero T ' T=

1

=x i '1 x i

1 x i '1 y i

Ntese que este estimador es ms general de lo que parece.

Cualquier forma de heterocedasticidad puede ser acomodada en el estimador, provisto que la matriz de covarianza de los errores sea diagonal del tipo 2 .

Nuevamente, note que el estimador de mnimos cuadrados ordinarios es un caso particular de mnimos cuadrados generalizados, aquel donde T=I.

Estimacin Posible

Qu sucede cuando es desconocida?

En algunas ocasiones, un reducido nmero de parmetros, , es capaz de describir el patrn de heterocedasticidad.

Si i2=2 f z i ; entonces, podramos usar = , es decir, el estimador de

basado en el estimador de .

Tests de Heterocedasticidad

Una razn para estudiar tests de heterocedasticidad es detectar y corregir el problema.

Otra razn es que cada tipo de test ensea sobre formas particulares de heterocedasticidad.

1. Tests en muestras repetidas

Este es el test ms simple de heterocedasticidad.

Se aplica cuando se tienen varias muestras repetidas de un mismo experimento.

Por ejemplo: si hay datos agrupados (p.e., ciudades) en cada cada ubicacin habr ni observaciones de distribuciones con varianzas potencialmente diferentes.

La lgica de operacin es la siguiente:

Estime el modelo y i=x i i y compute i2 para cada muestra i=1, ..., m.

Estime el modelo y i=x i i y compute *2 con todos los datos.

La hiptesis nula es que la varianza de los grupos no difiere de aquella de la muestra completa, ajustando por tamaos relativos

Homocedasticidad H 0 : nm ln *2

j=1

m

n j1 ln i2=0

Heterocedasticidad H 1 : nm ln *2

j=1

m

n j1 ln i2 0

El test es, directamente, un test de razones de verosimilitud

2[ ln *2j=1m

n j1 ln i2] 2 m1

Los grados de libertad se derivan del nmero de varianzas libres (m) menos la restriccin de una nica varianza comn.

2. Test de Breusch y Pagan

Este test se aplica cuando no hay muestras repetidas y no es posible disponer de varias realizaciones de la variable aleatoria 2 .

Estimado el modelo y i=x i i

Compute una variable aleatoria auxiliar g i=i2/ 2

Haga una regresin entre gi y las variables que quiera, incluyendo x, y compute la suma de cuadrados explicados, SCE.

El test consiste en estudiar la SCE. Si una regresin puede explicar la proxy de heterocedasticidad, entonces hay heterocedasticidad. Alternativamente, si hay homocedasticidad, solo la constante debiese ser estadsticamente significativa. Por ello,

H 0 : Homocedasticidad SCE=0H 1 : Heterocedasticidad SCE 0

Como los estimadores de las varianzas por muestra y totales son formas cuadrticas de errores normalizados, SCE se distribuye (p-1) bajo la hiptesis nula. Los grados de libertad se derivan del rango de regresores, p, en la segunda regresin.

3. Test de Goldfeld y Quandt

Este test usa informacin extra-muestral para estudiar problemas de heterocedasticidad. Si creemos que la variable xk es la causante de heterocedasticidad, el procedimiento es:

Ordene la muestra de mayor a menor segun xk.

Remueva c observaciones del centro de la muestra.

Haga la regresin del modelo y i=x i i en cada grupo y compute la suma de cuadrados residuales, SRC.

El test consiste en estudiar la diferencia entre las SRC. Si stas son iguales, significa que no hay heterocedasticidad. Por ello,

H 0 : Homocedasticidad SRC 1=SRC 2H 1 : Heterocedasticidad SRC 1 SRC 2

Como estamos comparando dos SRC y hay el mismo nmero de regresores y datos en

cada sub-grupo, entonces el test es SCR 1SCR 2

F [nc /2knc /2k] .

4. Test de White

Lgica similar a Breusch y Pagan. Hace una regresin entre la proxy de la varianza de los errores y el grupo de regresores de la regresin original, x, pero lo extiende para incluir sus cuadrados y productos cruzados. Es decir,

Computar i= y i x i

Hacer una regresin entre i2 y las variables x i , x i

2 y los productos cruzados x i x j . Es decir,

i2=x i x i

2x i x j 'i

La hiptesis nula es que bajo homocedasticidad ninguno de los coeficientes, mas all de la constante, debe ser significativo.

El test preferido de White es tipo multiplicador de Lagrange.

Aunque la distribucin de muestra finita es desconocida, es posible demostrar que nR2 se distribuye asintticamente 2(p), donde p es el nmero de estimadores excepto la constante.

Matrices de Covarianzas Robustas

Hay muchsimos tests de heterocedasticidad.

Pero realmente necesitamos estos tests?

necesitamos entender qu es lo que causa la heterocedasticidad?

Verdaderamente, no.

Lo que queremos es 2 para poder hacer mnimos cuadrados generalizados.

En realidad, no. Lo que queremos es 2 , un estimador de 2 .

Tampoco, lo que queremos es un estimador de =2 x 'x

n

En realidad, lo que queremos no es todo sino slo su diagonal.

White (1980) demuestra que un buen estimador de = 2 x 'xn es

S 0=1n i

2 x i ' x i .

Por ello, la matriz de correccin de la varianza de los parmetros para el caso de heterocedasticidad tambin llamada matriz de errores robustos es:

Var =n x i ' x i 1 S 0x i ' x i

1

No es necesario conocer la forma de la heterocedasticidad, pues el estimador es general.

Extensin de Newey y West

Newey y West (1987) han extendido el estimador de White para el caso en que no es diagonal. El estimador es:

Q=S01nj=1

J

i= j1

n jJ1 tt j x t ' x t jx t j ' x t

donde j/(J+1) es una correccin no paramtrica por tamao de muestra.

5.07 Correlacin de residuos

Supongamos ahora que que E [i , j ]0 . En tal caso, la matriz de covarianza de residuos es:

[11 12 1n21 22 2n n1 n2 nn]An si consideramos el problema de residuos son homocedsticos

[2 12 ... 1n

21 2 2n

n1 n2

2 ]y simtrica, es decir, ij= ji resulta imposible de estimar el patrn de correlacin con una muestra finita. Hay ms incgnitas que grados de libertad.

Usualmente:

Si la forma de ij no es parametrizable, es decir no tiene una estructura, no es estimable.

Si la forma de ij es parametrizable, es decir tiene una estructura (simple), es estimable.

Si es estimable, los parmetros estimados por mnimos cuadrados del modelo y t= x tt siguen siendo insesgados, excepto si las variables de lado derecho

contienen un rezago de la variable endgena. La demostracin del primer caso es:

=x t ' x t 1 x t ' y t pero yt=x tt

=x t ' x t 1 x t ' [ x tt ]=x t ' x t

1 x t ' t

y por lo tanto, E [ ]= .

Supongamos que y t= x tt y t=t1t donde t es ruido blanco. Entonces,

V [ ]= 2

x t2

22

x t2 [ x t x t1 x t2 2 x t x t2 x t2 ...N1 x 1 x N x t2 ]por lo tanto, V [ ]=V [ OLS ] slo si =0 , es decir cuando no hay correlacin.

La varianza del estimador bajo autocorrelacin podr ser mayor o menor que la de mnimos cuadrados dependiendo del valor de .

Si es positivo, se sobreestima la varianza.

Si es negativo, no es claro el sesgo.

La solucin al problema es, naturalmente, usar mnimos cuadrados generalizados, pero esto slo es posible si conocemos .

Cmo sabemos si hay correlacin residual?

Un test bastante comn es el de Durbin y Watson, para el caso de errores con correlacin de orden 1.

Es decir, t= t1t (correlacin de orden 2 es t=1t12t2t ).

El test requiere computar:

d=i=2

T

tt12

i=1

T

t2

La lgica es que:

si hay correlacin positiva, t ser cercano a t1 y, por lo tanto, d ser cercano a cero.

si hay correlacin negativa t ser lejano a t1 y, por lo tanto, d ser distinto de cero.

Desarrollemos el cuadrado del numerador de la ecuacin anterior.

i=2

T

tt12=

i=2

T

[t2t1

2 2t t1]

Sumando y restando convenientemente:

t=2

T

tt12=

t=2

T

t2

t=2

T

t12

t=2

T

2t t1

t=1

T

t21

2t=1

T

t2T

22t=2

T

t t1

de vuelta en d

d=i=1

T

t21

2i=1

T

t12 T

2i=2

T

2t t1

i=1

T

t2

es decir,

d=11

2

i=1

T

t2i=1

T

t12

i=1

T

t2

T2

i=1

T

t2i=2

T

2 t t1

i=1

T

t2

Notemos que:

Si T es razonablemente grande, el segundo y cuarto trminos sern cercanos a cero. Igualmente, el tercer trmino ser cercano a 1. El ltimo trmino es interesante, porque es

cov t ,t1var t1

es decir, es el estimador natural de mnimos cuadrados de . En resumen, podemos escribir d 21 .

Volvamos al test de Durbin y Watson. Si d 21 , entonces tenemos los siguientes casos:

Si no hay correlacin d = 0. Si hay correlacin positiva, 0 , d es menor que 2. En el lmite, d es 0 cuando es 1. Si hay correlacin negativa, 0 , d es mayor que 2. En el lmite, d es 4 cuando es

-1.

por lo tanto, d estar entre 0 y 4.

La aplicacin del test no es tan simple, porque hay tres casos que estudiar. En este caso habr dos tests son:

H 0 : No hay autocorrelacinH 1 : Hay autocorrelacin positiva

H 0 : No hay autocorrelacinH 1 : Hay autocorrelacin negativa

Como se ve, la hiptesis nula es siempre la misma pero la hiptesis alternativa es compleja.

Otro problema es que usamos los residuos del mnimos cuadrados como estimadores de los residuos verdaderos, es decir, stos dependen de x.

Por ello, la distribucin del test no es estndar y tiene distintos lmites superiores e inferiores.

Si hacemos un test de correlacin positiva al 95%, entonces (1) si d est por encima del limite superior no puedo rechazar la H 0 que no hay autocorrelacin y (2) si d est por debajo del lmite inferior tengo correlacin positiva.

Figura 5.9

Si hacemos un test de correlacin negativa al 95%, entonces (1) si d est por debajo de 4-limite superior no puedo rechazar la H 0 que no hay autocorrelacin y (2) si d est por debajo del lmite inferior tengo correlacin positiva.

2LI LS

Inconcluso

PositivaNo hay o negativa

Figura 5.10

2 4-LI4-LS

InconclusoPositiva o no hay

Negativa

El test completo de Durbin y Watson para autocorrelacin es:

Figura 5.10

2 4-LI4-LS

Inconcluso

Negativa

LSLI

Positiva

No hay correlacin

Inconcluso

Soluciones al problema de correlacin de primer orden.

Volvamos al modelo original.

y t= x ttt=t1t

Podemos multiplicar el modelo original por , rezagarlo un periodo y restarlo del original para obtener:

y t y t1= x t x t1tt1

es decir:

y t= y t1[x tx t1 ]t

Ntese que ahora no hay problema con los errores.

Si conocieramos , podramos transformar los datos y estimar con mnimos cuadrados.

En realidad esto equivale a hacer mnimos cuadrados generalizados.

Lo conocemos? No. Pero tenemos una aproximacin, d. Obtenemos d haciendo una regresin en los residuos originales de mnimos cuadrados y luego usamos =1d /2 .

Hay una estrategia estadsticamente mejor (Cochrane-Orcutt).

1. Estimar el modelo original por mnimos cuadrados y obtener los residuos.2. Hacer una regresin entre residuos y su rezago, obteniendo 13. Transformar el modelo usando 1 (es decir, y t 1 y t1 , etc).4. Ir a 1 y volver a hacer el ejercicio hasta que el converja.

Un problema del mtodo de Cochrane-Orcutt es que nada garantiza que la distribucin del estimador converja a un ptimo global y, de hecho, podra ser el caso en que haya ms de una moda en dicha distribucin.

Es por ello que se sugiere usar una estrategia de bsqueda sobre la base de una grilla que verifique todos los valores de y satisfaga algn criterio de ptimo (p.e., mejor ajuste).

En tal caso, un mtodo sencillo es el de Hildreth y Lu que consiste en estimar el modelo transformado con =1, 0.99, 0.98, ... 0, ... -0.99, -1 y se escoge el estimador minimizando la suma de residuos al cuadrado.

5.08 Variables instrumentales

Ausencia de correlacin entre los regresores y el error, es decir, E [x ,]=0 .

Causas

1. Variables omitidas que estn correlacionadas con aquellas que se usan para modelar. Por ejemplo, cuando se estudia el rendimiento escolar y se omite la educacin de los padres como determinante, entonces la estimacin entrega resultados sesgados porque algunas variables independientes (p.e., ingresos familiares) estn tpicamente relacionadas con la variable omitida.

2. Problemas de endogeneidad en alguna variable del lado derecho: esto es llamado sesgo de simultaneidad.

3. Variables independientes estn medidas con error. En tal caso cada vez que se observa x no se observa la verdadera variable sino una medicin con ruido el cual estando correlacionado con x queda incluido en el error.

4. Sesgo de seleccin, es decir cuando la conformacin de la muestra no es independiente del diseo del experimento. Es decir, cuando aquellos que ms se benefician del tratamiento son aquellos que ms participan del mismo.

Efectos

Qu sucede con el estimador de mnimos cuadrados si E [x ,]0 ?

Ninguno de los resultados que obtuvimos sobre las propiedades del estimador de mnimos cuadrados se mantienen.

Va a haber sesgo, usualmente de tamao y direccin desconocidas.

Las varianzas de los estimadores estn distorsionadas (tpicamente, subestimadas).

Solucin

Usar una o ms variables que, estando correlacionadas con los regresores, no est relacionadas con el error.

En ese caso, vamos a usar dicho conjunto de variables auxiliares como un instrumento de x.

En trminos sencillos, buscamos un conjunto z tal que la correlacin entre z y x sea alta pero que la correlacin entre z y sea baja.

El estimador mnimos cuadrados bajo la hiptesis que los residuos estn correlacionados con x en el modelo de inters es inconsistente.

Como existe correlacin entre regresor y residuo:

E [| x ]=i

=> existe informacin en los regresores para la expectativa del residuo.

Supongamos que E []=0 . Este supuesto es irrelevante si la ecuacin incluye una constante.

La correlacin entre regresor y residuo puede ser escrita como:

Cov [x i ,i ]=Cov [x i ,i | x ]=Cov [x i ,i ]=

E [ ]=x ' x 1 x '

El Teorema de Gauss-Markov no se sostiene. El estimador es inconsistente porque

plim = plim x ' x 1 plim x ' =Q1

En particular notemos que la varianza no condicional de es

Var [i ]=Var [|x iE [i | x i ]]= 2

Derivemos ahora el estimador de variables instrumentales, IV . Los supuestos necesarios son:

[x i ,z i ,i ] son variables aleatorias

E [x ij2 ]=Qxx y constante

E [z ij2 ]=Qzz y constante

E [ x ij ,z ij ]=Qxz y constante

E [ij |z ij ]=0

As lo que se obtiene es:

plim 1n

Z ' Z=Qzz plim1n

Z ' X=Qzx plim1n

Z ' =0

Estas condiciones definen el conjunto de instrumentos admisibles.

Sea entonces el modelo y i=x i i y supongamos que tenemos un conjunto de variables z. Entonces premultipliquemos el modelo por z :

z i ' y i=z i ' x i z i ' i

Aplicando el plim tenemos

plim 1n z i ' y i= plim 1n z i ' x i plim 1n z i ' i

pero el ltimo trmino es cero. Entonces

plim 1n z i ' x i1

plim 1n z i ' y i=

Note que para que tenga sentido, z ' x tiene que ser una matriz conformable. Por ello, debe haber k variables en la matriz z.

En este caso, estimador de variables instrumentales es

IV=z ' x 1 z ' y

Ntese que este estimador es consistente.

Es decir, sus propiedades son asintticas (vlidas en muestra grande).

El tamao de muestra es una consideracin importante al momento de usar variables instrumentales.

En el caso especial que i=0 , entonces =0 y obtenemos el estimador de cuadrados mnimos ordinarios.

El estimador de variables instrumentales es ms general que el de cuadrados mnimos.

El estimador de la varianza de los residuos es, naturalmente,

2=1ni=1

n

y ix i ' IV 2

Qu sucede si la matriz tiene un rango mayor a k?

Naturalmente, z ' x no es cuadrada y no tiene inversa.

(existe)

Sin embargo, consideremos el siguiente algoritmo:

a) Hacer una regresin de x en z (para todo x).

b) Hacer una prediccin de x basada en z llamada x .

c) Hacer una regresin de y en x .

Note que el estimador derivado en la etapa a) no tiene problemas de consistencia y que la proyeccin derivada en b) es una representacin ptima de x y que, adems, por el hecho de ser una prediccin es ortogonal a .

Entonces, el estimador del modelo estimado usando la prediccin sera:

IV= x ' x 1 x ' y

Este es un procedimiento de mnimos cuadrados en dos etapas (2SLS). Es muy comn en la literatura emprica.

Pero es posible estimar todo en un slo paso.

Debido a que x=z z ' z 1z ' x , entonces

IV=x ' z z ' z 1z ' x 1 x ' z z ' z 1z ' y

Eficiencia

Cmputo de varianzas

Tarea: Obtener

la varianza del estimador de variables instrumentales

el estimador de la varianza de los residuos.

Un punto que no es menor es el de la dimensionalidad.

Para que la estimacin sea posible es necesario que el nmero de instrumentos sea al menos igual al nmero de variables que se est instrumentando.

Captulo 5Violacin de los Supuestos del Modelo de Regresin Lineal5.02Problemas de Especificacin II: Cambio de Rgimen5.03 Problemas de Especificacin III: Datos errneos, perdidos, etc.5.04 Problemas de Especificacin IV: Colinealidad5.05 Modelos de Varianza No ConstanteHeterocedasticidad5.07Correlacin de residuos5.08 Variables instrumentales