Ekonometrija 2

Ekonometrija, Osnovne studije

Predavač: Aleksandra Nojković

Struktura predavanja

Svojstva ocena na malim uzorcima

Asimptotska svojstva ocena

Svojstva ocena dobijenih metodom ONK

Svojstva ocena

U regresionoj analizi ocenjujemo nepoznate parametre β i β0.

Da li su ocene ONK kvalitetne?

Da li omogućavaju pouzdano zaključivanje o nepoznatim parametrima?

Uopštavanje: Pretpostavimo da se osnovni skup sastoji od vrednosti koje uzima slučajna promenljiva X, čije vrednosti su određene nekom raspodelom verovatnoće (može biti poznata).

Svojstva ocena (nastavak) Nepoznati parametar osnovnog skupa je θ.

Ocena ovog parametra se dobija na osnovu svih n elemenata uzorka X1, X2, ..., Xn; Ocena se dobija prema svim raspoloživim podacima iz uzorka (egzostivnost); Ispunjeno je za ONK ocene b i bo.

Ocena je slučajna promenljiva – funkcija je elemenata uzorka, koji su slučajne promenljive.

Ocene vs ocenjena vrednost (konkretan broj).

Analiza ocene zasniva se na poznavanju uzoračke raspodele verovatnoće ocene θ.

Svojstva ocena na malim uzorcima

(uzoračka svojstva ocena)

Nepristrasnost

Efikasnost

Linearnost

1) Nepristrasnost (centriranost)

Ocena je nepristrasna ako je njena srednja vrednost jednaka parametru koji se ocenjuje.

Pojedinačno se svaka ocenjena vrednost izračunata na bazi većeg broja uzoraka istog obima može razlikovati od stvarne vrednosti parametra θ.

.E

F-ja gustine nepristrasne i pristrasne ocene

Varijansa ocene

U praksi se ocena nepoznatog parametra dobija na bazi jednog uzorka.

Postoji verovatnoća da se i nepristrasna ocena u izvesnoj meri razlikuje od θ.

Pitanje širine intervla u čijim granicama varira ova ocena.

Varijansa ocene se definiše:

.EEvar

2

2) Efikasnost

Ocena je efikasna ocena parametra θ, ako je:

a) data ocena nepristrasna i

b) ne postoji druga nepristrasna ocena sa manjom varijansom.

Efikasna je ona ocena koja ima najmanju disperziju oko prave vrednosti parametra.

Efikasna ocena se često naziva i najbolja nepristrasna ocena (najbolja je ona ocena koja ima najmanju varijansu).

F-ja gustine relativno efikasne i

neefikasne ocene

3) Linearnost

Uslov koji pojednostavljuje problem određivanja efikasne ocene.

Linearna je ocena koja se dobija kao linearna funkcija elemenata iz uzorka:

gde su α1, α2,..., αn parametri.

,nn2211 XXX

Najbolja linearna nepristrasna

ocena (NLNO)

Ocena je NLNO ukoliko zadovoljava sledeće uslove:

a) linearna ocena,

b) nepristrasna ocena i

c) ocena sa najmanjom varijansom.

Engl. akronim BLUE (engl. Best Linear Unbiased Estimator).

Funkcije gustine ocena 21 i

Srednja kvadratna greška (SKG)

U cilju izbora bolje ocene koristi se kriterijum SKG.

U cilju izbora bolje ocene koristi se kriterijum minimalne srednje kvadratne greške (SKG).

SKG omogućava izbor one ocene koja će imati što manju varijansu i pristrasnost (zbir varijanse i kvadrata pristrasnosti, pokazati...).

SKG jednaka je varijasi samo ako je zadovoljen uslov nepristrasnosti (sredstvo za izbor efikasne ocene).

.

2

ESKG

Pojam asimptotske raspodele i

granične vrednosti Asimptotska raspodela (granična raspodela) verovatnoće

ocene jeste raspodela čija svojstva poprima ocena kada se obim uzorka povećava i teži beskonačnosti.

Pretpostavimo da slučajnu promenljivu X karakteriše srednja vrednost μ i σ2 (raspodela nije specifikovana).

Na osnovu uzorka od n opservacija određujemo ocenu (čija je srednja vrednost μ a varijansa σ2/n).

Prema CGT, sa rastom uzorka, asimptotska raspodela se aproksimira normalnom raspodelom.

Za beskonačan uzorak, varijansa je jednaka nuli (ispunjeno je samo za parametre...).

_

X

_

X

_

X

Raspodela za uzorke različitog obima _

X

Granična vrednost ocene

Kada se raspodela svodi na jednu vrednost -konstantu (pri uslovu n ──>∞), onda ocena konvergira u verovatnoći ka toj konstanti.

Vrednost ka kojoj konvergira ocena naziva se granična vrednost ocene i obeležava se kao:

Granična vrednost ocene je μ, što se predstavlja na sledeći način:

.limp

_

X

.XlimpXElim__

n

Asimptotska raspodela

Važno je utvrditi da li asimptotska raspodela uopšte postoji i ako postoji kojeg je oblika.

Moguće su sledeće situacije: uzoračka raspodela ocena je poznata i identična za sve obime uzorka; mnoge ocene karakteriše jedna raspodela za određene obime uzorka, da bi sa uslovom n ──>∞ raspodela poprimila nova svojstva; uzoračka raspodela pojedinih ocena ne mora biti poznata, ali postoji mogućnost da se odredi njena asimptotska raspodela (npr. asim. raspodela ).

Asimptotsku raspodelu karakterišu asimptotska srednja vrednost i asimptotska varijansa.

_

X

Parametri asimptotske

raspodele ocene

Asimptotska srednja vrednost dobija se na osnovu

sredje vrednosti ocene pri uslovu n ──>∞ i

predstavlja se kao:

Asimptotska varijansa (varijansa asimptotske raspodele) ocene se određuje kao:

.varnlimn

1

n

.Elim n

Asimptotska svojstva ocena

(svojstva ocena na velikim uzorcima)

Asimptotska nepristrasnost

Konzistentnost

Asimptotska efikasnost

1) Asimptotska nepristrasnost

Ocena je asimptotski nepristrasna ocena parametra θ ako je zadovoljen sledeći uslov:

Ocena je asimptotski nepristrasna ako postaje nepristrasna sa rastom uzorka.

Pri tome, varijansa ocene ne mora da se smanjuje.

.n,E

Asimptotski nepristrasna ocena

2) Konzistentnost

Ocena je konzistentna ocena parametra θ ako je zadovoljen sledeći uslov:

Ocena je konzistentna ako konvergira u verovatnoći

ka stvarnoj vrednosti parametra kada n ──>∞.

Dovoljan uslov za konzistentnost ocene jeste da varijansa i pristrasnost teže ka nuli kada obim uzorka teži ka beskonačnosti (potreban uslov podrazumeva da postoje asimptotska srednja vrednost i varijansa), odnosno SKG teži nuli kada obim uzorka teži beskonačnosti.

.limp

F-ja gustine konzistentne ocene

F-ja gustine nekonzistentne ocene

Ocena je nekonzistentna (plim( )≠θ) kada sa rastom uzorka

a) smanjuje varijansa, ali ne i pristrasnost ili

b) smanjuje pristrasnost, ali ne i varijansa.

Uzoračke raspodele nepristrasnih

ocena 21 i

“Brzina” konvergencije

Pretpostavimo da su moguće nepristrasne ocene parametra θ (prikazane na slici).

Obe ocene su konzistentne, jer se sa rastom uzorka smanjuje njihova varijansa, tako da ocene konvergiraju u verovatnoći ka θ, kada n──>∞.

Ocena konvergira u verovatnoći “brže“ od ocene odnosno svojstvo konzistentnosti postiže za manji obim uzorka – ima manju asim. varijansu.

21 i

1

,2

3) Asimptotska efikasnost

Ako raspodela ocene konvergira ka θ po bržoj stopi od , onda je varijansa raspodele ocene (pri datoj veličini uzorka) manja od varijanse raspodele verovatnoće ocene

Ocena je asimptotski efikasna ocena parametra θako je:

a) konzistentna ocena i

b) ne postoji druga konzistentna ocena sa manjom asimptotskom varijansom.

Ocena koja najbrže teži ka nepoznatom parametu θ.

1

2

.2

1

Osobine ocena dobijenih

metodom NK i metodom MV

Ocene dobijene metodom NK imaju sve poželjne osobine u malim uzorcima.

Metod maksimalne verodostojnosti (MV) daje ocene parametara koje imaju poželjne asimptotske osobine: konzistentost i asim. efikasnost.

Metod MV se koristi kada su na raspolaganju veliki uzorci i kada se pretpostavka o normalnoj distribuciji grešaka može smatrati opravdanom (u opštem slučaju pristrasne u malim uzorcima).

Svojstva ocena dobijenih primenom

metoda ONK

Polazna relacija u analizi statističkih karakteristika ocene b:

gde je sa ωi označen količnik

,

x

yx

bn

1i

iin

1i

2

i

n

1i

ii

.

x

xn

1i

2

i

i

Linearnost

Na osnovu sledećeg izraza:

zaključujemo da je ocena b linearna funkcija slučajne

promenljive Yi, a time i raspoloživih podataka.

Linearna ocena je i ocena

Ovo svojstvo obezbeđuje veći stepen jednostavnosti u analizi ocena.

,Ybn

1i

ii

.XbYb0

Nepristrasnost

Ukoliko su zadovoljene pretpostavke KLRM, ocene b0 i b su nepristrasne i važi:

Pokazati...

.bEibE oo

Varijansa ocena

Daje odgovor na pitanje u kojoj meri promena uzorka utiče na ocenjene vrednosti b0 i b.

Varijanse ocena ONK su:

Primećujemo da varijanse ocena zavise od: 1. varijanse σ2, 2. obima uzorka n i 3. zbira kvadrata odstupanja vrednosti nezavisne promenljive od odgovarajuće aritmetičke sredine, Σxi

2.

Pokazati...

2

2

2

0

1var

ix

X

nb

2

i

2

xbvar

Najbolje linearne nepristrasne ocene

Ocene b0 i b dobijene metodom ONK su NLNO, odnosno ocene sa najmanjom varijansom.

Pokazati da je ocena nagiba b NLNO parametra β...

Dokaz

Proizvoljna ocena b* parametra β je linearna:

b*=ΣaiYi,

pri čemu su a1, a2, ...an proizvoljne konstante.

Iz uslova nepristrasnosti: E(b*)=β, sledi da moraju biti ispunjeni uslovi:

Σai=0, ΣaiXi=1.

Varijansa ocene b* je:

var (b*)=E(b*-E(b*))2=σ2Σai2.

Dokaz (nastavak 1)

Određujemo konstante ai tako da var(b*) bude minimalna uz ispunjenje dva uslova koji obezbeđuju nepristrasnost ocene b*.

Formiramo funkciju Lagrange-ovog multiplikatora:

gde su λ1 i λ2 Lagrange-ovi multiplikatori.

Izjednačavamo prve parcijalne izvode H po ai, λ1 i λ2 sa nulom:

,1XaaaH ii2i1i

2

01Xa

0a

0Xa2

0Xa2

ii

i

221

2

2

121

2

1

Dokaz (nastavak 2)

Na osnovu prvih n jednačina imamo:

odakle je:

,X2

1a i212i

.XX2

1Xa

Xn2

1a

2

i2112ii

i212i

Dokaz (nastavak 3)

Iz poslednej dve jednačine (izjednačavanje funkcije H po λ1 i λ2 sa nulom) sledi:

Rešavajući po λ1 i λ2 dobijamo:

.1XX2

1

0Xn2

1

2

i2112

i212

.

XXn

n2

XXn

X2

2

i

2

i

2

2

2

i

2

i

i

2

1

Dokaz (nastavak 4)

Zamenjujući rešenja za λ1 i λ2 u jednakost:

dobijamo rešenje za ai:

Proizvoljna ocena b* je NLNO za ai=ωi, tako da ocena b* predstavlja ocenu b dobijenu metodom ONK.

Slično, dokaz za bo...

,X2

1a i212i

.

x

x

XnXn

XXn

XXn

XnXa i2

i

i

_22

i

_

i

2

i

2

i

ii

i

Konzistentnost

Ocene b0 i b su konzistentne što znači da konvergiraju u verovatnoći parametrima β0 i β

kada obim uzorka teži beskonačnosti.

Pokazano je da su ocene nepristrasne, pri tome varijanse teže nuli sa povećanjem obima uzorka (povećavaju se vrednosti n i Σxi

2 u imeniocu

izraza za varijansu), tako da je ispunjeno:

.n,0bvar,0bvar 0

Ocena varijanse slučajne greške σ2

Ocena varijase slučajne greške (s2) se određuje kao:

S2 je nepristrasna ocena σ2 (pokazati...)

s je broj koji se obično naziva standardna greška regresije.

.2n

e

s

n

1i

2

i2