modelo lineal simple profesor: carlos r. pitta uach/clase... · el estimador de la pendiente es la...

ICPM050, Econometría

Modelo Lineal Simple

Profesor: Carlos R. Pitta

Econometría, Prof. Carlos R. Pitta, Universidad Austral de Chile.

Universidad Austral de ChileEscuela de Ingeniería Comercial

Clase 02

Econometría, Prof. Carlos R. Pitta 2

El Modelo de Regresión Simple

y = b0 + b1x + u


Algunos términos nuevos

En el modelo de regresión lineal simple, en

donde y = b0 + b1x + u, normalmente nos

referimos a y como:

Variable Dependiente, o

Variable de Lado Izquierdo, o

Predicha, Explicada, o

Regresandos, Endógena u Objetivo


Algunos términos nuevos

En la regresión lineal simple de y sobre x, típicamente describiremos a x como:

Variable Independiente, o

Predictor, o

Variable Explicativa, o

Regresor, o

Independiente, o

Exógena


Supuestos

El Valor Promedio de u, el término de

error, en la población es 0. Es decir,

E(u) = 0

Esta no es un supuesto restrictivo, dado que

siempre podemos usar b0 para normalizar

E(u) a 0


Media Condicional Nula

Necesitamos hacer un supuesto crucial sobre la manera en que se relacionan u y x

Queremos que sea cierto que el conocer algo sobre x no nos brinde ninguna información sobre u, de manera que estén completamente no relacionados. Es decir:

E(u|x) = E(u) = 0, lo que implica qué:

E(y|x) = b0 + b1x


.

.

x1 x2

E(y|x) como una función lineal de x, donde para

cada x la distribución de y se centra en E(y|x)

E(y|x) = b0 + b1x

y

f(y)


Mínimos Cuadrados Ordinarios

(MICO)

Idea básica: estimar parámetros

poblacionales a partir de una muestra

Defina {(xi,yi): i=1, …,n} como una

muestra aleatoria de tamaño n obtenida a

partir de la población

Para cada observación de la muestra, será

cierto qué:

yi = b0 + b1xi + ui


.

..

.

y4

y1

y2

y3

x1 x2 x3 x4

}

}

{

{

u1

u2

u3

u4

x

y

Línea de regresión poblacional, datos muestrales

y sus términos de error asociados

E(y|x) = b0 + b1x


Derivando un estimador MICO

Para encontrar un estimador MICO tenemos que darnos cuenta que nuestro supuesto principal de que E(u|x) = E(u) = 0 también implica qué:

Cov(x,u) = E(xu) = 0

¿Porqué? Recuerde de probabilidad básica que Cov(X,Y) = E(XY) – E(X)E(Y)


Derivando un estimador MICO

Podemos escribir nuestras 2 restricciones

solo en términos de x, y, b0 y b1 , dado que

u = y – b0 – b1x

E(y – b0 – b1x) = 0

E[x(y – b0 – b1x)] = 0

Dichas ecuaciones son llamadas

restricciones de momentos


Derivando MICO vía Momentos

El método de momentos para la estimación implica imponer las restricciones de los momentos poblacionales a los momentos muestrales

¿Qué significa esto? Recuerde que para E(X), la media de una distribución poblacional, un estimador muestral de E(X) es simplemente la media aritmética de la muestra.



Queremos escoger los valores de los parámetros

que nos aseguren que las versiones muestrales de

nuestras restricciones de momentos son verdad

Las versiones muestrales son:

0ˆˆ

0ˆˆ

1

10

1

1

10

1

n

i

iii

n

i

ii

xyxn

xyn

bb

bb



Dada la definición de media muestral, y las

propiedades de suma, podemos escribir la primera

condición cómo:

xy

xy

10

10

ˆˆ

ó

,ˆˆ

bb

bb



n

i

ii

n

i

i

n

i

ii

n

i

ii

n

i

iii

xxyyxx

xxxyyx

xxyyx

1

2

1

1

1

1

1

1

11

ˆ

ˆ

0ˆˆ

b

b

bb


De manera que el estimador

MICO de la pendiente es:

0 que siempre

ˆ

1

2

1

2

11

n

i

i

n

i

i

n

i

ii

xx

xx

yyxx

b


Estimador MICO de la pendiente

El estimador de la pendiente es la covarianza muestral entre x e y dividida por la varianza muestral de x

Si x e y están correlacionadas positivamente, la pendiente será positiva

Si x e y se encuentran correlacionadas negativamente, la pendiente será negativa

Solo necesitados que x varíe en la muestra


Más sobre MICO

Intuitivamente, MICO es encontrar una

línea a través de los puntos muestrales tales

que la suma de los residuos al cuadrado sea

lo más pequeña posible, de allí el término

mínimos cuadrados.

El residuo, û, es una estimación del término

de error, u, y es la diferencia entre la línea

estimada (la función de regresión muestral)

y el punto de la muestra.


.

..

.

y4

y1

y2

y3

x1 x2 x3 x4

}

}

{

{

û1

û2

û3

û4

x

y

Línea de regresión muestral, dato muestral

y los términos de error estimados asociados

xy 10ˆˆˆ bb


Métodos alternativos para la

derivación

Dado lo intuitivo de la idea de encontrar una

línea, podemos escribir el problema formal de

minimización

Esto es, queremos escoger nuestros parámetros de

manera de minimizar lo siguiente:

n

i

ii

n

i

i xyu1

2

10

1

2 ˆˆˆ bb


Métodos alternativos para la

derivación

Si usamos cálculo para resolver el problema de

minimización en dos parámetros obtenemos las

siguientes condiciones de primer orden, que son

las mismas que obtuvimos antes, multiplicadas por

n

0ˆˆ

0ˆˆ

1

10

1

10

n

i

iii

n

i

ii

xyx

xy

bb

bb


Propiedades Algebraicas de

MICO

La suma de los residuos MICO es cero

Por lo tanto, el promedio muestral de los

residuos MICO también será cero

La covarianza muestral entre los regresores

y los residuos MICO es cero

La línea de regresión MICO siempre pasa

por las medias muestrales.


En términos más precisos:

xy

ux

n

u

u

n

i

ii

n

i

in

i

i

10

1

1

1

ˆˆ

0ˆ

0

ˆ

tanto,lopor y 0ˆ

bb


Más terminología

SCR SCE SCT Entonces,

(SCR) residuales cuadrados de suma ˆ

(SCE) explicada cuadrados de suma ˆ

(SCT) totalescuadrados de suma

:sdefiniremo Entonces ˆˆ

explicada, no parte unay explicada, parte una

den composició la comon observació cada apensar Podemos

2

2

2

i

i

i

iii

u

yy

yy

uyy


Prueba de SCT = SCE + SCR

0 ˆˆ :qué sabemosy

SCE ˆˆ2 SCR

ˆˆˆ2ˆ

ˆˆ

ˆˆ

22

2

22

yyu

yyu

yyyyuu

yyu

yyyyyy

ii

ii

iiii

ii

iiii


Bondad del Ajuste

¿Cómo sabremos qué tan bien se ajusta nuestra línea de regresión a los datos muestrales?

Podemos calcular la fracción de la suma de cuadrados totales (SCT) que es explicada por el modelo, y le llamaremos el R-cuadrado de la regresión:

R2 = SCE/SCT = 1 – SCR/SCT


Usando Stata para calcular MICO

Ahora que hemos derivado la fórmula para

calcular los estimados MICO de nuestros

parámetros, estarás feliz de saber que no

tenemos que calcularlos a mano

La regresión en Stata es muy simple, para

correr la regresión de y en x, solo hay que

escribir:

reg y x


Los estimadores MICO son

insesgados

Asumamos que el modelo poblacional es lineal en parámetros y = b0 + b1x + u

Asumamos que podemos usar una muestra aleatoria de tamaño n, {(xi, yi): i=1, 2, …, n}, extraída del modelo poblacional. Entonces podemos escribir el modelo muestral como yi = b0 + b1xi + ui

Asumamos que E(u|x) = 0 y por que por lo tanto, E(ui|xi) = 0

Asumamos que existe variación en las xi



insesgados

Para poder pensar en el sesgo, necesitamos

reescribir nuestro estimador en términos de los

parámetros poblacionales

Comenzamos simplemente reescribiendo la

fórmula cómo:

22

21 donde ,ˆ

xxs

s

yxx

ix

x

iib



insesgados

ii

iii

ii

iii

iiiii

uxx

xxxxx

uxx

xxxxx

uxxxyxx

10

10

10

bb

bb

bb



insesgados

211

2

1

2

ˆ

:entoncesy ,

:como reescritoser puedenumerador el que así

,0

x

ii

iix

iii

i

s

uxx

uxxs

xxxxx

xx

bb

b



insesgados

1211

21

1ˆ

:Entonces ,1ˆ

:que manera de , defina

bbb

bb

iix

iix

i

ii

uEds

E

uds

xxd


Conclusiones sobre Sesgo

Los estimadores MICO de b1 y b0 son insesgados

La prueba para ello depende de 4 supuestos– si alguno de ellos falla, entonces los estimadores MICO no son necesariamente es insesgado

Recuerde que es sesgo es una descripción del estimador – en una muestra dada, podemos estar “cerca” (insesgado) o “lejos” (sesgado) del parámetro poblacional.


Varianza de los Estimadores

MICO

Ahora sabemos que la distribución muestral de nuestra estimación se centra alrededor del parámetro real

Queremos determinar qué tan dispersa se encuentra la distribución

Es mucho más fácil pensar a esta varianza bajo un supuesto adicional

Asumiremos que Var(u|x) = s2

(Homocedasticidad)



MICO

Var(u|x) = E(u2|x)-[E(u|x)]2

E(u|x) = 0, so s2 = E(u2|x) = E(u2) = Var(u)

Entonces s2 es también la varianza no

condicional, llamada la varianza del error

s, la raíz cuadrada de la varianza del error,

es llamada la desviación estándar del error.

Podemos decir que: E(y|x)=b0 + b1x y

Var(y|x) = s2


.

.

x1 x2

Homocedasticidad

E(y|x) = b0 + b1x

y

f(y|x)


.

xx1 x2

f(y|x)

Heterocedasticidad

x3

..

E(y|x) = b0 + b1x



MICO

12

22

2

22

2

2

2222

2

2

2

2

2

2

2

211

ˆ1

11

11

1ˆ

bss

ss

bb

Vars

ss

ds

ds

uVards

udVars

uds

VarVar

xx

x

ix

ix

iix

iix

iix



MICO: Un Resumen

Entre mayor sea la varianza del error, s2, mayor

será la varianza del estimador de la pendiente

Entre mayor sea la variabilidad en los xi, menor

será la variabilidad el estimador de la pendiente

Cómo resultado, un tamaño de muestra mayor

deberá disminuir la varianza del estimador de la

pendiente

El problema es que la varianza del error es

desconocida


Estimando la varianza del error

En realidad no conocemos la varianza del

error, s2, porque no podemos observar los

errores, ui

Lo que sí observamos son los residuos, ûi

Podemos usar los residuos para formar un

estimado de la varianza del error



2/ˆ

2

1ˆ

:es de insesgadoestimador un Entonces,

ˆˆ

ˆˆ

ˆˆˆ

22

2

1100

1010

10

nSCRun

u

xux

xyu

i

i

iii

iii

s

s

bbbb

bbbb

bb



21

2

1

1

2

/ˆˆse

, ˆ deEstándar error El

: tendremospor ˆ ssustituimo Si

ˆsd :que Recuerde

Regresión la deEstándar Error ˆˆ

xx

s

i

x

sb

b

ss

sb

ss

modelo lineal simple profesor: carlos r. pitta uach/clase... · el estimador de la pendiente es la...

Documents