Download - 2.- Estimación Puntual (1)

Estadstica 2

I.- Estimacin Puntual

Prof.: Dr. Marco Riquelme A.

Primer Semestre - 2014. UCM

Prof.: Dr. Marco Riquelme A. (UCM) Pgina web: www.mriquelme.com Primer Semestre - 2014 1 / 32

Estimadores Puntuales

Denicin (Estimacin puntual)

La estimacin puntual, es un mtodo inferencial, en la cual se calcula un

nico valor (estadstico) con los datos muestrales para estimar un

parmetro poblacional.

Denicin (Estimador)

Un estimador de un parmetro es una funcin de la ma(n) X1

,X2

, ...,Xn

que proporciona una estimacin puntual de . Un estimador es en s mismouna v.a. y por consiguiente tiene una distribucin muestral (terica).

Denicin (Espacio Paramtrico; )

Conjunto de los posibles valores de un parmetro.


Estimadores Puntuales

Observacin:

puede ser un vector kdimensional, digamos = (1

, 2

, . . . , k

)t .

Ejemplos: Normal, Gama; k = 2.


I Mtodo de los Momentos

Sea f (x ; ); = (1

, 2

, . . . , k

)t Rk , una funcin de densidad de unavariable aleatoria X la cual depende de un parmetro k-dimencional. Sea

X

1

, . . . ,Xn

una muestra aleatoria de tamao n de una distribucin con

f (x ; ). El mtodo de los momentos para encontrar estimadores de ; (M

)consiste en resolver k-ecuaciones de la forma:

r

() = M r

, r = 1, . . . , k ,

donde r

() = E (X r ) denota el rsimo momento poblacional alrededordel 0 y M

r

= 1n

n

i=1 Xr

i

el rsimo momento muestral alrededor del 0.


Ejemplo:

Sea X

1

, . . . ,Xn

es una muestra aleatoria de tamao n desde una

distribucin Normal (;2).

Solucin.

M

1

= 1

M

2

= 1

X = E (X)ni=1 X2

i

n

= E (X2)X = n

i=1 X2

i

n

= 2 + 2=

n

i=1 X2

i

n

X2 = 2 =n

i=1 X2

i

nX2n

=

2 =n

i=1(XiX)2n

= 2 = (n1)S2n

= 2.

M

= X 2M

=(n 1)S2n

.


II Mtodo de Mxima Verosimilitud

Def. Funcin de Verosimilitud (F.V).

La F.V. de n variables aleatorias X

1

, . . . ,Xn

se dene como la f .d .pconjunta de las n variables aleatorias, denotada por,

f

X

1

,...,Xn

(x1

, . . . , xn

; ),

la cual es considerada como funcin de y no de los xi

. Para denotar este

hecho, la funcin de verosimilitud se anotar por:

L() = L(; x1

, . . . , xn

) = fX

1

,...,Xn

(x1

, . . . , xn

; ),

para x

1

, . . . , xn

.En particular, si X

1

, . . . ,Xn

constituye una muestra aleatoria de tamao

n desde f

X

(x , ), entonces la F.V est dada por:

L() =ni=1

f

X

(xi

; ). (1)



Estimador de Mxima Verosimilitud (E.M.V).

Sea L() la F.V para las variables aleatorias X1

, . . . ,Xn

. Si (una funcinde las observaciones) es el valor de R que maximiza L(),entonces:

= (X1

, . . . ,Xn

) es el E.M.V de . (2)

Muchas funciones de verosimilitud satisfacen ciertas condiciones de

regularidad de manera que el E.M.V es la solucin de la ecuacin (en este

caso)

L()

= 0.

Tambin L() y l() = log L() = (log-verosmilitud, usaremos Ln) tienensu mximo en el mismo valor de y esto muchas veces facilita el clculo deun E.M.V.



Estimador de Mxima Verosimilitud (E.M.V).

A la expresin

l()

= U(),

es llamada en la literatura Funcin Score.

En general, si la F.V. contiene k parmetros, = (1

, 2

, . . . , k

)t , es decir:

L() =ni=1

f (xi

; 1

, 2

, . . . , k

),

entonces los E.M.V de 1

, 2

, . . . , k

son, respectivamente, las variables

aleatorias, 1

(X1

, . . . ,Xn

), . . . , k

(X1

, . . . ,Xn

), en que 1

, . . . , k

son los

valores en Rk , que maximizan L() y el punto de Rk donde la F.V esmxima, es una solucin de las siguientes ecuaciones:



L()

1

= 0,

.

.

.

L()

k

= 0.

Nota

Tambin en este caso se puede usar el ln L() = l().


Propiedad de Invarianza de los E.M.V

Sea = (X1

, . . . ,Xn

) el E.M.V de , en la densidad f (x ; ), R. Sig() es una funcin cualquiera, entonces el E.M.V de g() es:

g() = g()

Observacin:

La propiedad de invarianza, se puede generalizar para = (1

, 2

, . . . , k

)t .


Propiedades deseables los estimadores puntuales

Hasta el momentos hemos vimos algunos mtodos para obtener

estimadores. La pregunta que surge ahora es: existen estimadores mejores

que otros, en algn sentido?.

A continuacin deniremos algunas propiedades, las cuales puede o no

poseer un estimador, que nos ayudarn a decidir cuando en estimador es

mejor que otro en algn sentido.

Denicin (Error Cuadrtico Medio, ECM)

Sea T = T (X1

, . . . ,Xn

) un etimador de g(). Se dene como ErrorCuadrtico Medio de T a la expresin:

ECM(T ) = E({T g()}2). (3)Nota: El sub-ndice en E indica desde cual densidad en la familia bajoconsideracin proviene la muestra aleatoria.



Denicin (Estimador Insesgado, E.I)

Un estimador T = T (X1

, . . . ,Xn

) se dene como un estimador insesgadode g() si y solo si:

E(T ) = g(), . (4)

Propiedad

ECM(T ) = V(T ) + {g() E(T )}2.

Nota: {g() E(T )} =SESGO.Si T es un E.I de g(), entonces:

ECM(T ) = V(T ).



Demostracin Propiedad:

ECM(T ) = E({T g()}2) = E({(T E(T )) (g() E(T ))}2)= E({T E(T )}2) 2{g() E(T )}E({T E(T )})+ {g() E(T )}2= E({T E(T )}2) + {g() E(T )}2 == V (T ) + {g() E(T )}2.(5)


Consistencia

Hasta el momento hemos denimos conceptos para tamaos de muestras

jas.

A continuacin deniremos un concepto para un tamao de muestra

creciente.

En la notacin usaremos T

n

= Tn

(X1

, . . . ,Xn

) como estimador de g().En realidad se considerar una sucesin de estimadores, digamos;

T

1

= T1

(X1

);T2

(X2

); . . . ;Tn

= Tn

(X1

, . . . ,Xn

); . . .


Consistencia

Denicin (Consistencia en Error Cuadrtico Medio)

Sea T

1

,T2

, . . . ,Tn

, . . . una sucesin de estimadores de g(), donde Tn

est basado en una muestra aleatoria de tamao n.

Esta sucesin de estimadores est denida como una sucesin consistente

en E.C.M. de estimadores de g() ssi:

lim

nE({Tn g()}2) = 0

Observacin: Consistencia en E.C.M. = que el SESGO y la VARIANZA(Tn

) tienden a 0.


Consistencia

Ejemplo

Sea una muestra aleatoria de tamao n desde una distribucin normal

con media y varianza 2, sea Xn

una sucesin de estimadores de yS

2

n

= 1n1

n

i=1(Xi Xn) una sucesin de estimadores de 2.

ECM(Xn) = E({Xn }2) = V(Xn) = 2n

0 , cuando n. Porlo tanto, la sucesin {X}n

es una sucesin consistente en E.C.M. de

estimadores de .

ECM(S2

n

) = E({S2n

2}2) = V(S2n

) = 24

n1 0 cuando n. Porlo tanto, la sucesin {Sn

} es una sucesin consistente en E.C.M. deestimadores de 2.

Observacin: Es posible demostrar, de manera general, la consistencia en

E.C.M. del promedio y la varianza muestral bajo cualquier f.d.p asociada a

la poblacin.


Familia Exponencial (F. exp.)

Denicin

Una familia uniparamtrica de densidades f (x ; ) que puede ser expresadacomo sigue:

f (x ; ) = a()b(x)ec()d(x), x R,

y para elecciones convenientes de las funciones a(); b(); c()y d(), sedene como que pertenece a la Familia exponencial.

Notacin: f (x ; ) F .exp.


Familia Exponencial (F. exp.)

Ejemplo

1

X exp(); f (x ; ) = ex I(0,)(x),donde:

a() = ; b(x) = I(0;)(x)c() = ; d(x) = x

f (x ; ) F .exp.2

X Poisson; f (x ; ) = exx! I{0,1,...}(x),donde:

a() = e ; b(x) =1

x!I{0,1,...}(x) ; c() = ln ; d(x) = x

f (x ; ) F.exp.Prof.: Dr. Marco Riquelme A. (UCM) Pgina web: www.mriquelme.com Primer Semestre - 2014 18 / 32

Familia Exponencial K-paramtrica

Denicin

Una familia de densidad f (x ; 1

, 2

, . . . , k

) que puede ser expresada como:

f (x ; 1

, . . . , k

) = a(1

, . . . , k

)b(x)ek

j=1 cj (1,...,k)dj (x),

para elecciones convenientes de las funciones:

a(, . . . , ) ; b() ; cj

(, . . . , ) y dj

() ; j = 1, . . . , k ,

se dene como que pertenece a F.exp. k paramtrica.


Familia Exponencial K-paramtrica

Ejemplo

1

X N(;2);

f (x ;;2) =12pie

122

(x)2 ; x R

=12pie

222e

x222

+x2 ;

a(;2) =12pie

222 ; b(x) = 1;

c

1

(;2) = 1/22 ; c2

(;2) = /2 ;

d

1

(x) = x2 ; d2

(x) = x ;

f (x ;;2) F.exp. bi-paramtrica.


Suciencia

Antes de continuar con nuestro propsito de hallar buenos estimadores,

introduciremos el concepto de suciencia. En muchos problemas de

estimacin que encontraremos, nos ser posible resumir la informacin en

la muestra X

1

,X2

, . . .Xn

, e.d, nos ser posible hallar alguna funcin de la

muestra que nos diga tanto cerca de como de la muestra misma.

Denicin (Estadstico Suciente)

Sea X

1

,X2

, . . . ,Xn

una muestra aleatoria de tamnao(n) desde una f .d .p.f (x ; ) ( puede ser vector k-dimensional). Un estadsticoS = S(X1

,X2

, . . . ,Xn

) se dene como un estadstico suciente ssi ladistribucin condicional de (X1

, . . . ,Xn

) dado S = s no depende de paracualquier valor s = s(x1

, x2

, . . . , xn

) de S.


Suciencia

Ejemplo

Considere una muestra aleatoria de tamao (3) desde Bernoulli(). Seanlos estadsticos:

S = X1

+X2

+X3

y T = X1

X2

+X3

.

A continuacin probaremos que S es suciente y T no lo es:


Suciencia

(x1

, x2

, x3

) Rec S Rec T fX

1

,X2

,X3

/S=s fX1

,X2

,X3

/T=t

(0,0,0) 0 0 1 1 /1+ (0,0,1) 1 1 1/3 1 /1+ 2(0,1,0) 1 0 1/3 /1+

(1,0,0) 1 0 1/3 /1+

(0,1,1) 2 1 1/3 1+ /1+ 2

(1,0,1) 2 1 1/3 1+ /1+ 2

(1,1,0) 2 1 1/3 1+ /1+ 2

(1,1,1) 3 2 1 1


Suciencia

El clculo de f en la tabla es rutinario; por ejemplo ;

(X)fX

1

,X2

,X3

/S=s(0, 1, 0/1) = P(X1 = 0,X2 = 1,X3 = 0/S = 1) =

=P(X1

= 0,X2

= 1,X3

= 0, S = 1)

P(S = 1)

Como : S Bin(3; ) = P(S = 1) =(3

1

)(1 )2 y

P(X1

= 0,X2

= 1,X3

= 0, S = 1) = P(X1

= 0,X2

= 1,X3

= 0).

fX

1

,X2

,X3

/S=s(0, 1, 0/1) =P(X1

= 0,X2

= 1,X3

= 0)

P(S = 1)=

=P(X1

= 0)P(X2

= 1)P(X3

= 0)

P(S = 1)=

(1 )(1 )3(1 )2 = 1/3.

(Resultado que no depende de . Idem los otros).Prof.: Dr. Marco Riquelme A. (UCM) Pgina web: www.mriquelme.com Primer Semestre - 2014 24 / 32

Suciencia

(X)fX

1

,X2

,X3

/T=t(0, 1, 0/0) =P(X1

= 0,X2

= 1,X3

= 0, /T = 0)

P(T = 0)

=P(X1

= 0,X2

= 1,X3

= 0)

P(T = 0),

donde

P(T = 0) = P(X1

= 0,X2

= 1,X3

= 0) + P(X1

= 0,X2

= 0,X3

= 0)+P(X1

= 1,X2

= 0,X3

= 0) = (1 )2 + (1 )3 + (1 )2.As,

f

X

1

,X2

,X3

/T=t(0, 1, 0/0) =(1 )2

(1 )2 + (1 )3 + (1 )2 =

1+ .

(Resultado que depende de . Idem los otros). Vericar los demsresultados de la tabla.


Suciencia

Teorema (Factorizacin de Neyman-Fisher)

Sea X

1

,X2

, . . . ,Xn

una muestra aleatoria de tamao (n) de una

distribucin con f .d .p dada por f (x , ) con = (1

, . . . , k

)t Rk .Un estadstico p-dimensional T = T (X1

, . . . ,Xn

) == [T1

(X1

, . . . ,Xn

),T2

(X1

, . . . ,Xn

), . . . ,Tp

(X1

, . . . ,Xn

)]t es sucientepara (por lo general k = p) si y solo si la f .d .p. conjunta de X1

, . . . ,Xn

puede factorizarse como sigue:

f

X

1

,...,Xn

(x1

, . . . , xn

, ) = g(T (x1

, . . . , xn

); )h(x1

, . . . , xn

),

donde g depende de (x1

, . . . , xn

) solo a travs de T y h es totalmenteindependiente de y puede ser constante.

Observacin: Es posible demostrar que una funcin 1-1 de un estadstico

genera otro estadstico suciente.


Suciencia

Nota

Si f (x ; 1

; . . . ; k

) F .exp k-paramtrica = por teorema factorizacin deN-F:

T (X1

, . . . ,Xn

) =

(ni=1

d

1

(Xi

);ni=1

d

2

(Xi

); . . . ;ni=1

d

k

(Xi

)

)t

,

es un esadstico suciente para (1

, . . . , k

)t .


Estimador insesgado de varianza uniformemente

mnima:(E.I.V.U.M.)

Sea X

1

, . . . ,Xn

una muestra aleatoria de tamao (n) desde f (x ; ). Unestimador T

= T (X1

, . . . ,Xn

) de g() se dene como un estimadorinsesgado de varianza uniformemente mnima de g() si y solo si:

i. E(T) = g(), .ii. V(T

) V(T ), para cualquier otro estimador insesgadoT = T (X1

, . . . ,Xn

) de g() y .

A continuacin se presenta una cota inferior para la varianza de

estimadores insesgados y mostraremos como sta puede ser til algunas

veces en la bsqueda de E.I.V.U.M.



mnima:(E.I.V.U.M.)

Teorema (Desigualdad de Cramer-Rao (C-R))

Bajo ciertas condiciones de regularidad (Ver MGB), se tiene que:

V(T ) (g())2

nE

(( ln f (X; )

)2

) , (6)donde T = T (X1

, . . . ,Xn

) es un estimador insesgado de g().

El lado

derecho de la desigualdad anterior es llamado Cota inferior de Cramer-Rao

para la varianza de los estimadores insesgados de g().



mnima:(E.I.V.U.M.)

Teorema (Desigualdad de Cramer-Rao (C-R))

Bajo ciertas condiciones de regularidad (Ver MGB), se tiene que:

V(T ) (g())2

nE

(( ln f (X; )

)2

) , (6)donde T = T (X1

, . . . ,Xn

) es un estimador insesgado de g(). El ladoderecho de la desigualdad anterior es llamado Cota inferior de Cramer-Rao

para la varianza de los estimadores insesgados de g().



mnima:(E.I.V.U.M.)

Observacin

El teorema anterior tiene 2 usos: Primero, ste entrega una cota inferior

para la varianza de los estimadores insesgados. Segundo, si un estimador

insesgado cuya varianza coincide con la cota inferior de Cramer-Rao puede

ser encontrado, entonces ste es un E.I.V.U.M.



mnima:(E.I.V.U.M.)

Identidad:

Bajo ciertos supuestos (condiciones de regularidad) de existencia de 2das

derivadas:

E

[( ln f (X; )

)2

]= E

(2 ln f (X; )

2

).

La igualdad anterior es, a veces, de gran ayuda en el clculo de la cota

inferior de C-R.



mnima:(E.I.V.U.M.)

Teorema (Lehmann-Sche)

Sea X

1

, . . . ,Xn

una muestra aleatoria de tamao (n) desde

f (x ; ) F.exp. Sea S = ni=1 d(Xi ) un estadstico suciente (tambines completo; asumiremos que esta propiedad se cumple en la familia

exponencial) y si T

(S), una funcin de S, es un estimador insesgado deg(), entonces:

T

es el nico E.I.V.U.M para g()


Download - 2.- Estimación Puntual (1)

Top Related