Teoriadella stima

Stimatori e stime

Supporremo che sulla popolazione sia definita una variabile X la cuidistribuzione, seppure incognita, è completamente caratterizzata da unparametro q o da un insieme di parametri q .

Le n osservazioni campionarie X1,…Xn sono altrettante variabili casuali la cuidistribuzione e i cui parametri sono uguali a quelli della variabile X.

Una funzione delle osservazioni campionarie è una statistica che, nelcontesto della stima di un parametro, viene definita stimatore.

Il valore che lo stimatore assume nello specifico campione estrattocostituisce la realizzazione campionaria della variabile casuale e costituiscela stima.

L’obiettivo è trovare, sulla base di un campione casuale X1, X2, …, Xn, unvalore, o un insieme di valori, per q (o per q ) che siano la miglioreapprossimazione possibile del valore incognito della popolazione.

La stima del parametro q

3 diversi approcci:

Stima puntuale:

Stima per intervalli:

Verifica delle ipotesi:

calcolo della stima t attraverso lo stimatore T

costruzione di un intervallo intorno a t, basato sulla variabilità di T al variare del campione, che con una probabilità nota contiene q

uso di informazioni a priori su q per definire un’ipotesi sul suo valore e verificarla sulla base di t (cioè del campione)

Teoriadella stima

Popolazione Universo dei possibili campioni di dimensione n

Campione estratto

m

n

ii 1

1X X

n

n

ii 1

1x x

n

Parametro Stimatore Stima

q qnˆT t

In generale, è possibile definire più di uno stimatore per uno stesso parametro.

Ciascuno stimatore avrà una propria distribuzione campionaria che, in generale,ammetterà una media e una varianza

)q̂E

) q q

2

ˆ ˆE E

Valore atteso dello stimatore

Varianza dello stimatore

Teoriadella stima

La scelta dello stimatore

“Naturalità” dello stimatore (rispetto al parametro che vuole stimare)

Proprietà:

Metodo dei momenti

Metodo dei minimi quadrati

Metodo della massima verosimiglianza

• Piccoli campioni (finite)• Grandi campioni (asintotiche)

Criteri generali:

Metodi di stima:

Essendo una variabile casuale, lo stimatore Tn ha un valore atteso ed una

varianza

Proprietà degli stimatori

(o centratura o non distorsione)

Dato uno stimatore Tn = T(X1, X2, …, Xn) del parametro q, diremo

che Tn è corretto se:

) qnE T

Se E(Tn) q, diremo che lo

stimatore Tn è uno stimatore

distorto per q, con fattore di

distorsione:

) ) qn nD T E T

)1, ,n nT T X X

1. Correttezza

Tnq

)nE T q

Tnq )nE T

DistorsioneCorrettezza asintotica

Uno stimatore Tn è asintoticamente corretto

per q se: )

qn

nlimE T

Uno stimatore distorto ha valore atteso diverso dalla quantità che stima

Media campionaria

Varianza campionaria

n

ii 1

1X X

n

)

n 2

2i

i 1

1S X X

n

) )

m

m

n n n

i i ii 1 i 1 i 1

1 1 1 1E X E X E X E X n

n n n n

La media campionaria è uno stimatore corretto della media della popolazione

La varianza campionaria è uno stimatore distorto della varianza della popolazione

)

2 2 2n 1E S

n

N.B.: la radice quadrata della varianza campionaria corretta NON è uno stimatore

corretto della deviazione standard della

popolazione

) )

m m m m

2 22 2 2 2 2 2 2

22 2 2

E Sn n

1 n 11

n n n

) ) ) ) ) 2

2 2 2 2

i iE S E E X X E X E X

) ) ) )

) )

m

m

i

2 22 2 2 2 2 2

X i X i

2222 2

X

E X E X E X E X

E X E Xn

) ) )E E Ein quanto:

E poiché:

) ) 22 2

i iS E X E X ) m

1 2 n

2

i i

v.c. X ,X , ,X i.i.d.

E X ,Var X , i

si può scrivere:

Dimostrazione:

)

n 2

2 2

ii 1

n 1S S X X

n 1 n 1

Varianza campionaria corretta

Se la variabile X ha distribuzione simmetrica, sia la media campionaria che la mediana campionaria sono stimatori non distorti per la media della popolazione:

Quale stimatore scegliere? La proprietà della correttezza non è sufficiente a raccogliere tutte le

caratteristiche rilevanti di uno stimatore.

Un secondo criterio consente di discriminare tra stimatori corretti per uno stesso parametro considerando la dispersione delle distribuzioni campionarie degli stimatori attorno al valore centrale.

Dati due stimatori, T1 e T2, entrambi corretti per il parametro q, lo stimatore T1 sarà più efficiente di T2 se risulta:

) )

1

2

Var T1

Var T

2. Efficienza relativa

Problema:

Tn )nE T q

T2

T1

T1 più efficiente di

T2

Tnm

Mediana campionaria

Media campionaria

T1 = media campionaria T2 = mediana campionaria

)

2

1Var Tn

(Schema di campionamento con reintroduzione)

)

2

2Var Tn 2

) )

2

1

2

2

Var T 1n 0,6366 1Var T 1,5707...

n 2

La media campionaria è uno stimatore più

efficiente della mediana campionaria.

Se la variabile X ha distribuzione simmetrica, sia la media campionaria che la mediana campionaria sono stimatori non distorti per la media della popolazione:

Quale stimatore scegliere?

Problema:

Esempio

Da una popolazione su cui è definita una variabile X con media m incognita, si estrae un campione casuale di numerosità n.

Si definiscano le proprietà dei seguenti stimatori per m:

n

1 ii 1

1T X

n ) 2 1

1

2nT X X 3 2T X ) 4 2 8

1T X X

3

) )

m m

n

1 i ii 1 i

1 1 1E T E X E X n

n n n

) ) ) m m m2 1 1

1 1E T E X E X

2 2

) ) m3 2E T E X

) ) ) m m m m4 2 8

1 1 2E T E X E X

3 3 3

) )

2n n2

1 i i2 2 2i 1 i 1

1 1 1Var T Var X Var X n

n n n n

) ) )2

2 2

2 1 n

1 1Var T Var X Var X

4 4 2

) ) 23 2Var T Var X

Disuguaglianza di Cramer-Rao

Lo stimatore che raggiunge tale limite verrà definito

stimatore a varianza minima.

Dato un campione casuale X1, …, Xn estratto da una popolazione su cui è

definita una variabile X con f.d.p. f(X, q) e dato uno stimatore Tn (corretto)

di q allora:

)

)

q q

n 2

1Var T

n E logf X;

Efficienza assoluta

N.B.: Lo stimatore media campionaria raggiunge il limite inferiore di Cramer-Rao ed è, quindi, uno stimatore a varianza minima.

Efficienza asintotica

Uno stimatore Tn è asintoticamente efficiente

per q se:

)

)

q q

n 2n

1limVar T

n E logf X;

Varianza

) ) q2

n nEQM T E T

Efficienza e distorsione: Errore Quadratico Medio

= 0Distorsione

L’EQM = varianza dello stimatore +

quadrato della distorsione.

Stimatore non distorto:

EQM = varianza dello stimatore

) ) )

) ) ) ) ) ) ) )

) )

q q

q q

q q

22

n n n n

2 2

n n n n n n

2 2

n n n n n n

2

n n

E T E T E T E T

E T E T E T 2 T E T E T

E T E T E E T 2 E T E T E T

Var T D T

È un indice dell’accuratezza dello stimatore

Consistenza

Uno stimatore Tn è consistente per q se:

)

nnlim EQM T 0

T3

(distorto)

Tnq

T1

(corretto)

T2

(distorto)T4

(distorto)

Tra uno stimatore corretto ma meno efficiente ed uno

distorto ma più efficiente quale è meglio?

Problema:

Risposta: dipende…

Uno stimatore Tn è sufficiente per q se riassume tutta l’informazione del

campione X1, … ,Xn rilevante per q

Se Tn è sufficiente per q, tutte le informazioni riguardanti q, che

pure esistono nel campione casuale, vengono integralmente

“trasferite” nello stimatore Tn.

In tal caso, una volta osservato uno specifico valore tn, non vi è

più alcuna informazione riguardante il parametro q nella

distribuzione condizionata del campione casuale.

3. Sufficienza

Formalmente: Tn è sufficiente per q se la distribuzione condizionata:

)1 n nf x , ,x | t

di X1, …, Xn, posto che Tn abbia assunto un valore tn, non dipende da q.

Quindi:

)q qn X 1 2 n n nT sufficiente per x ,x , ,x | T t non dipende da