2.- Estimación Puntual (1)

Download 2.- Estimación Puntual (1)

Post on 17-Oct-2015

13 views

Category:

Documents

0 download

Embed Size (px)

TRANSCRIPT

  • Estadstica 2

    I.- Estimacin Puntual

    Prof.: Dr. Marco Riquelme A.

    Primer Semestre - 2014. UCM

    Prof.: Dr. Marco Riquelme A. (UCM) Pgina web: www.mriquelme.com Primer Semestre - 2014 1 / 32

  • Estimadores Puntuales

    Denicin (Estimacin puntual)

    La estimacin puntual, es un mtodo inferencial, en la cual se calcula un

    nico valor (estadstico) con los datos muestrales para estimar un

    parmetro poblacional.

    Denicin (Estimador)

    Un estimador de un parmetro es una funcin de la ma(n) X1

    ,X2

    , ...,Xn

    que proporciona una estimacin puntual de . Un estimador es en s mismouna v.a. y por consiguiente tiene una distribucin muestral (terica).

    Denicin (Espacio Paramtrico; )

    Conjunto de los posibles valores de un parmetro.

    Prof.: Dr. Marco Riquelme A. (UCM) Pgina web: www.mriquelme.com Primer Semestre - 2014 2 / 32

  • Estimadores Puntuales

    Denicin (Estimacin puntual)

    La estimacin puntual, es un mtodo inferencial, en la cual se calcula un

    nico valor (estadstico) con los datos muestrales para estimar un

    parmetro poblacional.

    Denicin (Estimador)

    Un estimador de un parmetro es una funcin de la ma(n) X1

    ,X2

    , ...,Xn

    que proporciona una estimacin puntual de . Un estimador es en s mismouna v.a. y por consiguiente tiene una distribucin muestral (terica).

    Denicin (Espacio Paramtrico; )

    Conjunto de los posibles valores de un parmetro.

    Prof.: Dr. Marco Riquelme A. (UCM) Pgina web: www.mriquelme.com Primer Semestre - 2014 2 / 32

  • Estimadores Puntuales

    Observacin:

    puede ser un vector kdimensional, digamos = (1

    , 2

    , . . . , k

    )t .

    Ejemplos: Normal, Gama; k = 2.

    Prof.: Dr. Marco Riquelme A. (UCM) Pgina web: www.mriquelme.com Primer Semestre - 2014 3 / 32

  • I Mtodo de los Momentos

    Sea f (x ; ); = (1

    , 2

    , . . . , k

    )t Rk , una funcin de densidad de unavariable aleatoria X la cual depende de un parmetro k-dimencional. Sea

    X

    1

    , . . . ,Xn

    una muestra aleatoria de tamao n de una distribucin con

    f (x ; ). El mtodo de los momentos para encontrar estimadores de ; (M

    )consiste en resolver k-ecuaciones de la forma:

    r

    () = M r

    , r = 1, . . . , k ,

    donde r

    () = E (X r ) denota el rsimo momento poblacional alrededordel 0 y M

    r

    = 1n

    n

    i=1 Xr

    i

    el rsimo momento muestral alrededor del 0.

    Prof.: Dr. Marco Riquelme A. (UCM) Pgina web: www.mriquelme.com Primer Semestre - 2014 4 / 32

  • Ejemplo:

    Sea X

    1

    , . . . ,Xn

    es una muestra aleatoria de tamao n desde una

    distribucin Normal (;2).

    Solucin.

    M

    1

    = 1

    M

    2

    = 1

    X = E (X)ni=1 X2

    i

    n

    = E (X2)X = n

    i=1 X2

    i

    n

    = 2 + 2=

    n

    i=1 X2

    i

    n

    X2 = 2 =n

    i=1 X2

    i

    nX2n

    =

    2 =n

    i=1(XiX)2n

    = 2 = (n1)S2n

    = 2.

    M

    = X 2M

    =(n 1)S2n

    .

    Prof.: Dr. Marco Riquelme A. (UCM) Pgina web: www.mriquelme.com Primer Semestre - 2014 5 / 32

  • II Mtodo de Mxima Verosimilitud

    Def. Funcin de Verosimilitud (F.V).

    La F.V. de n variables aleatorias X

    1

    , . . . ,Xn

    se dene como la f .d .pconjunta de las n variables aleatorias, denotada por,

    f

    X

    1

    ,...,Xn

    (x1

    , . . . , xn

    ; ),

    la cual es considerada como funcin de y no de los xi

    . Para denotar este

    hecho, la funcin de verosimilitud se anotar por:

    L() = L(; x1

    , . . . , xn

    ) = fX

    1

    ,...,Xn

    (x1

    , . . . , xn

    ; ),

    para x

    1

    , . . . , xn

    .En particular, si X

    1

    , . . . ,Xn

    constituye una muestra aleatoria de tamao

    n desde f

    X

    (x , ), entonces la F.V est dada por:

    L() =ni=1

    f

    X

    (xi

    ; ). (1)

    Prof.: Dr. Marco Riquelme A. (UCM) Pgina web: www.mriquelme.com Primer Semestre - 2014 6 / 32

  • II Mtodo de Mxima Verosimilitud

    Estimador de Mxima Verosimilitud (E.M.V).

    Sea L() la F.V para las variables aleatorias X1

    , . . . ,Xn

    . Si (una funcinde las observaciones) es el valor de R que maximiza L(),entonces:

    = (X1

    , . . . ,Xn

    ) es el E.M.V de . (2)

    Muchas funciones de verosimilitud satisfacen ciertas condiciones de

    regularidad de manera que el E.M.V es la solucin de la ecuacin (en este

    caso)

    L()

    = 0.

    Tambin L() y l() = log L() = (log-verosmilitud, usaremos Ln) tienensu mximo en el mismo valor de y esto muchas veces facilita el clculo deun E.M.V.

    Prof.: Dr. Marco Riquelme A. (UCM) Pgina web: www.mriquelme.com Primer Semestre - 2014 7 / 32

  • II Mtodo de Mxima Verosimilitud

    Estimador de Mxima Verosimilitud (E.M.V).

    A la expresin

    l()

    = U(),

    es llamada en la literatura Funcin Score.

    En general, si la F.V. contiene k parmetros, = (1

    , 2

    , . . . , k

    )t , es decir:

    L() =ni=1

    f (xi

    ; 1

    , 2

    , . . . , k

    ),

    entonces los E.M.V de 1

    , 2

    , . . . , k

    son, respectivamente, las variables

    aleatorias, 1

    (X1

    , . . . ,Xn

    ), . . . , k

    (X1

    , . . . ,Xn

    ), en que 1

    , . . . , k

    son los

    valores en Rk , que maximizan L() y el punto de Rk donde la F.V esmxima, es una solucin de las siguientes ecuaciones:

    Prof.: Dr. Marco Riquelme A. (UCM) Pgina web: www.mriquelme.com Primer Semestre - 2014 8 / 32

  • II Mtodo de Mxima Verosimilitud

    L()

    1

    = 0,

    .

    .

    .

    L()

    k

    = 0.

    Nota

    Tambin en este caso se puede usar el ln L() = l().

    Prof.: Dr. Marco Riquelme A. (UCM) Pgina web: www.mriquelme.com Primer Semestre - 2014 9 / 32

  • Propiedad de Invarianza de los E.M.V

    Sea = (X1

    , . . . ,Xn

    ) el E.M.V de , en la densidad f (x ; ), R. Sig() es una funcin cualquiera, entonces el E.M.V de g() es:

    g() = g()

    Observacin:

    La propiedad de invarianza, se puede generalizar para = (1

    , 2

    , . . . , k

    )t .

    Prof.: Dr. Marco Riquelme A. (UCM) Pgina web: www.mriquelme.com Primer Semestre - 2014 10 / 32

  • Propiedades deseables los estimadores puntuales

    Hasta el momentos hemos vimos algunos mtodos para obtener

    estimadores. La pregunta que surge ahora es: existen estimadores mejores

    que otros, en algn sentido?.

    A continuacin deniremos algunas propiedades, las cuales puede o no

    poseer un estimador, que nos ayudarn a decidir cuando en estimador es

    mejor que otro en algn sentido.

    Denicin (Error Cuadrtico Medio, ECM)

    Sea T = T (X1

    , . . . ,Xn

    ) un etimador de g(). Se dene como ErrorCuadrtico Medio de T a la expresin:

    ECM(T ) = E({T g()}2). (3)Nota: El sub-ndice en E indica desde cual densidad en la familia bajoconsideracin proviene la muestra aleatoria.

    Prof.: Dr. Marco Riquelme A. (UCM) Pgina web: www.mriquelme.com Primer Semestre - 2014 11 / 32

  • Propiedades deseables los estimadores puntuales

    Hasta el momentos hemos vimos algunos mtodos para obtener

    estimadores. La pregunta que surge ahora es: existen estimadores mejores

    que otros, en algn sentido?.

    A continuacin deniremos algunas propiedades, las cuales puede o no

    poseer un estimador, que nos ayudarn a decidir cuando en estimador es

    mejor que otro en algn sentido.

    Denicin (Error Cuadrtico Medio, ECM)

    Sea T = T (X1

    , . . . ,Xn

    ) un etimador de g(). Se dene como ErrorCuadrtico Medio de T a la expresin:

    ECM(T ) = E({T g()}2). (3)Nota: El sub-ndice en E indica desde cual densidad en la familia bajoconsideracin proviene la muestra aleatoria.

    Prof.: Dr. Marco Riquelme A. (UCM) Pgina web: www.mriquelme.com Primer Semestre - 2014 11 / 32

  • Propiedades deseables los estimadores puntuales

    Denicin (Estimador Insesgado, E.I)

    Un estimador T = T (X1

    , . . . ,Xn

    ) se dene como un estimador insesgadode g() si y solo si:

    E(T ) = g(), . (4)

    Propiedad

    ECM(T ) = V(T ) + {g() E(T )}2.

    Nota: {g() E(T )} =SESGO.Si T es un E.I de g(), entonces:

    ECM(T ) = V(T ).

    Prof.: Dr. Marco Riquelme A. (UCM) Pgina web: www.mriquelme.com Primer Semestre - 2014 12 / 32

  • Propiedades deseables los estimadores puntuales

    Demostracin Propiedad:

    ECM(T ) = E({T g()}2) = E({(T E(T )) (g() E(T ))}2)= E({T E(T )}2) 2{g() E(T )}E({T E(T )})+ {g() E(T )}2= E({T E(T )}2) + {g() E(T )}2 == V (T ) + {g() E(T )}2.(5)

    Prof.: Dr. Marco Riquelme A. (UCM) Pgina web: www.mriquelme.com Primer Semestre - 2014 13 / 32

  • Consistencia

    Hasta el momento hemos denimos conceptos para tamaos de muestras

    jas.

    A continuacin deniremos un concepto para un tamao de muestra

    creciente.

    En la notacin usaremos T

    n

    = Tn

    (X1

    , . . . ,Xn

    ) como estimador de g().En realidad se considerar una sucesin de estimadores, digamos;

    T

    1

    = T1

    (X1

    );T2

    (X2

    ); . . . ;Tn

    = Tn

    (X1

    , . . . ,Xn

    ); . . .

    Prof.: Dr. Marco Riquelme A. (UCM) Pgina web: www.mriquelme.com Primer Semestre - 2014 14 / 32

  • Consistencia

    Denicin (Consistencia en Error Cuadrtico Medio)

    Sea T

    1

    ,T2

    , . . . ,Tn

    , . . . una sucesin de estimadores de g(), donde Tn

    est basado en una muestra aleatoria de tamao n.

    Esta sucesin de estimadores est denida como una sucesin consistente

    en E.C.M. de estimadores de g() ssi:

    lim

    nE({Tn g()}2) = 0

    Observacin: Consistencia en E.C.M. = que el SESGO y la VARIANZA(Tn

    ) tienden a 0.

    Prof.: Dr. Marco Riquelme A. (UCM) Pgina web: www.mriquelme.com Primer Semestre - 2014 15 / 32

  • Consistencia

    Ejemplo

    Sea una muestra aleatoria de tamao n desde una distribucin normal

    con media y varianza 2, sea Xn

    una sucesin de estimadores de yS

    2

    n

    = 1n1

    n

    i=1(Xi Xn) una sucesin de estimadores de 2.

    ECM(Xn) = E({Xn }2) = V(Xn) = 2n

    0 , cuando n. Porlo tanto, la sucesin {X}n

    es una sucesin consistente en E.C.M. de

    estimadores de .

    ECM(S2

    n

    ) = E({S2n

    2}2) = V(S2n

    ) = 24

    n1 0 cuando n. Porlo tanto, la sucesin {Sn

    } es una sucesin consistente en E.C.M. deestimadores de 2.

    Observacin: Es posible demostrar, de manera general, la consistencia en

    E.C.M. del promedio y la varianza muestral bajo cualquier f.d.p asociada a

    la poblacin.

    Prof.: Dr. Marco Riquelme A. (UCM) Pgina web: www.mriquelme.com Primer Semestre - 2014 16 / 32

  • Familia Exponencial (F. exp.)

    Denicin

    Una familia uniparamtrica de densidades f (x ; ) que puede ser expresadacomo sigue:

    f (x ; ) = a()b(x)ec()d(x), x R,

    y para elecciones convenientes de las funciones a(); b(); c()y d(), sedene como que pertenece a la Familia exponencial.

    Notacin: f (x ; ) F .exp.

    Prof.: Dr. Marco Riquelme A. (UCM) Pgina web: www.mriquelme.com Primer Semestre - 2014 17 / 32

  • Familia Exponencial (F. exp.)

    Ejemplo

    1

    X exp(); f (x ; ) = ex I(0,)(x),donde:

    a() = ; b(x) = I(0;)(x)c() = ; d(x) = x

    f (x ; ) F .exp.2

    X Poisson; f (x ; ) = exx! I{0,1,...}(x),donde:

    a() = e ; b(x) =1

    x!I{0,1,...}(x) ; c() = ln ; d(x) = x

    f (x ; ) F.exp.Prof.: Dr. Marco Riquelme A. (UCM) Pgina web: www.mriquelme.com Primer Semestre - 2014 18 / 32

  • Familia Exponencial K-paramtrica

    Denicin

    Una familia de densidad f (x ; 1

    , 2

    , . . . , k

    ) que puede ser expresada como:

    f (x ; 1

    , . . . , k

    ) = a(1

    , . . . , k

    )b(x)ek

    j=1 cj (1,...,k)dj (x),

    para elecciones convenientes de las funciones:

    a(, . . . , ) ; b() ; cj

    (, . . . , ) y dj

    () ; j = 1, . . . , k ,

    se dene como que pertenece a F.exp. k paramtrica.

    Prof.: Dr. Marco Riquelme A. (UCM) Pgina web: www.mriquelme.com Primer Semestre - 2014 19 / 32

  • Familia Exponencial K-paramtrica

    Ejemplo

    1

    X N(;2);

    f (x ;;2) =12pie

    122

    (x)2 ; x R

    =12pie

    222e

    x222

    +x2 ;

    a(;2) =12pie

    222 ; b(x) = 1;

    c

    1

    (;2) = 1/22 ; c2

    (;2) = /2 ;

    d

    1

    (x) = x2 ; d2

    (x) = x ;

    f (x ;;2) F.exp. bi-paramtrica.

    Prof.: Dr. Marco Riquelme A. (UCM) Pgina web: www.mriquelme.com Primer Semestre - 2014 20 / 32

  • Suciencia

    Antes de continuar con nuestro propsito de hallar buenos estimadores,

    introduciremos el concepto de suciencia. En muchos problemas de

    estimacin que encontraremos, nos ser posible resumir la informacin en

    la muestra X

    1

    ,X2

    , . . .Xn

    , e.d, nos ser posible hallar alguna funcin de la

    muestra que nos diga tanto cerca de como de la muestra misma.

    Denicin (Estadstico Suciente)

    Sea X

    1

    ,X2

    , . . . ,Xn

    una muestra aleatoria de tamnao(n) desde una f .d .p.f (x ; ) ( puede ser vector k-dimensional). Un estadsticoS = S(X1

    ,X2

    , . . . ,Xn

    ) se dene como un estadstico suciente ssi ladistribucin condicional de (X1

    , . . . ,Xn

    ) dado S = s no depende de paracualquier valor s = s(x1

    , x2

    , . . . , xn

    ) de S.

    Prof.: Dr. Marco Riquelme A. (UCM) Pgina web: www.mriquelme.com Primer Semestre - 2014 21 / 32

  • Suciencia

    Ejemplo

    Considere una muestra aleatoria de tamao (3) desde Bernoulli(). Seanlos estadsticos:

    S = X1

    +X2

    +X3

    y T = X1

    X2

    +X3

    .

    A continuacin probaremos que S es suciente y T no lo es:

    Prof.: Dr. Marco Riquelme A. (UCM) Pgina web: www.mriquelme.com Primer Semestre - 2014 22 / 32

  • Suciencia

    (x1

    , x2

    , x3

    ) Rec S Rec T fX

    1

    ,X2

    ,X3

    /S=s fX1

    ,X2

    ,X3

    /T=t

    (0,0,0) 0 0 1 1 /1+ (0,0,1) 1 1 1/3 1 /1+ 2(0,1,0) 1 0 1/3 /1+

    (1,0,0) 1 0 1/3 /1+

    (0,1,1) 2 1 1/3 1+ /1+ 2

    (1,0,1) 2 1 1/3 1+ /1+ 2

    (1,1,0) 2 1 1/3 1+ /1+ 2

    (1,1,1) 3 2 1 1

    Prof.: Dr. Marco Riquelme A. (UCM) Pgina web: www.mriquelme.com Primer Semestre - 2014 23 / 32

  • Suciencia

    El clculo de f en la tabla es rutinario; por ejemplo ;

    (X)fX

    1

    ,X2

    ,X3

    /S=s(0, 1, 0/1) = P(X1 = 0,X2 = 1,X3 = 0/S = 1) =

    =P(X1

    = 0,X2

    = 1,X3

    = 0, S = 1)

    P(S = 1)

    Como : S Bin(3; ) = P(S = 1) =(3

    1

    )(1 )2 y

    P(X1

    = 0,X2

    = 1,X3

    = 0, S = 1) = P(X1

    = 0,X2

    = 1,X3

    = 0).

    fX

    1

    ,X2

    ,X3

    /S=s(0, 1, 0/1) =P(X1

    = 0,X2

    = 1,X3

    = 0)

    P(S = 1)=

    =P(X1

    = 0)P(X2

    = 1)P(X3

    = 0)

    P(S = 1)=

    (1 )(1 )3(1 )2 = 1/3.

    (Resultado que no depende de . Idem los otros).Prof.: Dr. Marco Riquelme A. (UCM) Pgina web: www.mriquelme.com Primer Semestre - 2014 24 / 32

  • Suciencia

    (X)fX

    1

    ,X2

    ,X3

    /T=t(0, 1, 0/0) =P(X1

    = 0,X2

    = 1,X3

    = 0, /T = 0)

    P(T = 0)

    =P(X1

    = 0,X2

    = 1,X3

    = 0)

    P(T = 0),

    donde

    P(T = 0) = P(X1

    = 0,X2

    = 1,X3

    = 0) + P(X1

    = 0,X2

    = 0,X3

    = 0)+P(X1

    = 1,X2

    = 0,X3

    = 0) = (1 )2 + (1 )3 + (1 )2.As,

    f

    X

    1

    ,X2

    ,X3

    /T=t(0, 1, 0/0) =(1 )2

    (1 )2 + (1 )3 + (1 )2 =

    1+ .

    (Resultado que depende de . Idem los otros). Vericar los demsresultados de la tabla.

    Prof.: Dr. Marco Riquelme A. (UCM) Pgina web: www.mriquelme.com Primer Semestre - 2014 25 / 32

  • Suciencia

    Teorema (Factorizacin de Neyman-Fisher)

    Sea X

    1

    ,X2

    , . . . ,Xn

    una muestra aleatoria de tamao (n) de una

    distribucin con f .d .p dada por f (x , ) con = (1

    , . . . , k

    )t Rk .Un estadstico p-dimensional T = T (X1

    , . . . ,Xn

    ) == [T1

    (X1

    , . . . ,Xn

    ),T2

    (X1

    , . . . ,Xn

    ), . . . ,Tp

    (X1

    , . . . ,Xn

    )]t es sucientepara (por lo general k = p) si y solo si la f .d .p. conjunta de X1

    , . . . ,Xn

    puede factorizarse como sigue:

    f

    X

    1

    ,...,Xn

    (x1

    , . . . , xn

    , ) = g(T (x1

    , . . . , xn

    ); )h(x1

    , . . . , xn

    ),

    donde g depende de (x1

    , . . . , xn

    ) solo a travs de T y h es totalmenteindependiente de y puede ser constante.

    Observacin: Es posible demostrar que una funcin 1-1 de un estadstico

    genera otro estadstico suciente.

    Prof.: Dr. Marco Riquelme A. (UCM) Pgina web: www.mriquelme.com Primer Semestre - 2014 26 / 32

  • Suciencia

    Nota

    Si f (x ; 1

    ; . . . ; k

    ) F .exp k-paramtrica = por teorema factorizacin deN-F:

    T (X1

    , . . . ,Xn

    ) =

    (ni=1

    d

    1

    (Xi

    );ni=1

    d

    2

    (Xi

    ); . . . ;ni=1

    d

    k

    (Xi

    )

    )t

    ,

    es un esadstico suciente para (1

    , . . . , k

    )t .

    Prof.: Dr. Marco Riquelme A. (UCM) Pgina web: www.mriquelme.com Primer Semestre - 2014 27 / 32

  • Estimador insesgado de varianza uniformemente

    mnima:(E.I.V.U.M.)

    Sea X

    1

    , . . . ,Xn

    una muestra aleatoria de tamao (n) desde f (x ; ). Unestimador T

    = T (X1

    , . . . ,Xn

    ) de g() se dene como un estimadorinsesgado de varianza uniformemente mnima de g() si y solo si:

    i. E(T) = g(), .ii. V(T

    ) V(T ), para cualquier otro estimador insesgadoT = T (X1

    , . . . ,Xn

    ) de g() y .

    A continuacin se presenta una cota inferior para la varianza de

    estimadores insesgados y mostraremos como sta puede ser til algunas

    veces en la bsqueda de E.I.V.U.M.

    Prof.: Dr. Marco Riquelme A. (UCM) Pgina web: www.mriquelme.com Primer Semestre - 2014 28 / 32

  • Estimador insesgado de varianza uniformemente

    mni...

Recommended

View more >