profesor zorica mladenovićavs.ekof.bg.ac.rs/oekonometrije/materijal/2017/glava6.pdf · profesor...
TRANSCRIPT
Profesor Zorica Mladenović
Ekonomski fakultet, 2017. 1
Zorica Mladenović
1
Klasični višestruki
linearni regresioni model
Struktura
Osnove višestrukog linearnog regresionog
modela
Dvostruki linearni regresioni model
Ocene parametara primenom metoda ONK (na
vežbama)
Matrična notacija (na vežbama)
Pretpostavke višestrukog KLRM
Svojstva ocena dobijenih primenom metoda ONK
u višestrukom KLRM (na vežbama)
Korelacija u višestrukom KLRM
Statističko zaključivanje u višestrukom KLRM
Profesor Zorica Mladenović
Ekonomski fakultet, 2017. 2
Osnove
Klasični višestruki linearni regresioni model: osnove
Na jednom od prethodnih primera ispitivali smo zavisnost tražnje datog proizvoda od njegove cene
Ovakva postavka može biti suviše restriktivna.
Tražnja za datim proizvodom može zavisiti i od:
1. dohotka potrošača,
2. cena konkurentnih proizvoda i
3. opšteg indeksa cena.
Neophodno je napraviti uopštenje linearnog regresionog modela: izabrana zavisna promenljiva zavisi od većeg broja nezavisnih promenljivih.
Time dolazimo do višestrukog linearnog regresionog modela.
.21 0 ,..., n,i,XY iii
Profesor Zorica Mladenović
Ekonomski fakultet, 2017. 3
Postavka modela
Analitički oblik višestrukog linearnog regresionog
modela (ukupan broj parametara je k):
Parametri modela:
su parcijalni koeficijenti nagiba
Na primer: ako se X1 poveća za jednu jedinicu,
očekivana promena Y je jedinica, pod
pretpostavkom da se ne menja uticaj ostalih
objašnjavajućih promenljivih
Parametar slobodnog člana:
121 k,...,,
1
1122110 kk X...XXY
0
Dvostruki linearni regresioni model
Profesor Zorica Mladenović
Ekonomski fakultet, 2017. 4
Dvostruki linearni regresioni model
Najjednostavniji je model sa dve objašnjavajuće promenljive:
Y=β0+β1X1+β2X2+ε
Populaciona regresiona jednačina (za E(ε)=0) je:
E(Y)=β0+β1X1+β2X2
Parametri β0, β1 i β2 su populacioni parametri ili regresioni koeficijenti.
Populaciona regresiona jednačina ne opisuje pravu, nego ravan.
Parametar β0 je odsečak (presek ravni sa y-osom).
Parametri β1 i β2 parcijalni koeficijenti nagiba.
Grafički prikaz modela
Profesor Zorica Mladenović
Ekonomski fakultet, 2017. 5
Dvostruki linearni regresioni model II
Uključivanjem konkretnih podataka model postaje:
Uzoračka regresiona funkcija je:
gde su b0, b1 i b2 ocene parametara.
Ocene nepoznatih parametara dobijaju se
primenom metoda ONK.
.n,...,,iza,XXY iiii 2122110
iii XbXbbY 22110
Metod ONK
Profesor Zorica Mladenović
Ekonomski fakultet, 2017. 6
11
Izvođenje ONK ocena
Potrebno je minimizirati zbir (tzv. rezidualnu sumu
kvadrata):
Šta je ? To je razlika
Naći minimum
je ekvivalentno određivanju minimuma
n
i
in ee...ee
1
2222
21
iii YYe
n
i
ie
1
2
2
1
)YY( ii
n
i
ie
12
Izvođenje ocena metoda ONK (II)
Kako je , možemo definisati funkciju
Potrebno je minimizirati funkciju S u odnosu na b0 , b1 i b2 :
222110
1
2
1
210 )XbXbbY()YY()b,b,b(S iii
n
i
ii
n
i
(3) 02
(2) 02
(1) 02
1
2221102
210
1
1
221101
210
1
221100
210
n
i
iiii
i
n
i
iii
n
i
iii
XXbXbbYb
b,b,bS
XXbXbbYb
b,b,bS
XbXbbYb
b,b,bS
iii XbXbbY 22110
Profesor Zorica Mladenović
Ekonomski fakultet, 2017. 7
13
Izvođenje ocena metoda ONK (III)
Iz (1):
Zamenom (4) u (2) i (3)
(4)
0
0
22110
1 1
22110
1
22110
1
XbXbYb
XbXbnbY
)XbXbbY(
n
i
n
i
ii
n
i
i
iii
n
i
(6) 0
(5) 0
1
222112211
1
1
22112211
n
i
iiii
i
n
i
iii
XXbXbXbXbYY
XXbXbXbXbYY
14
Izvođenje ocena metoda ONK (IV)
.XXXXXXX
,XXXXXXX
XXXXX,XXXXX
XXYYXYY
XXYYXYY
XXXbXXbYY
XXXbXXbYY
n
i
iii
n
i
i
i
n
i
ii
n
i
i
n
i
ii
n
i
i
n
i
ii
n
i
i
n
i
iii
n
i
i
n
i
iii
n
i
i
n
i
iiii
i
n
i
iii
1
22111
1
22
22
1
112
1
11
2
1
222
1
22
2
1
111
1
11
1
122
1
1
111
1
1
2222111
1
1
222111
:je da Znamo
(8) 0
(7) 0
Profesor Zorica Mladenović
Ekonomski fakultet, 2017. 8
15
Izvođenje ocena metoda ONK: sistem normalnih jednačina
YYXXyx,YYXXyx
XXXXxx
,XXx,XXx
:
YYXXXXbXXXXb
YYXXXXXXbXXb
i
n
i
i
n
i
iii
n
i
i
n
i
ii
i
n
i
i
n
i
ii
n
i
i
n
i
n
i
i
n
i
n
i
ii
n
i
ii
n
i
i
i
n
i
ii
n
i
i
n
i
i
ii
1
22
1
2
1
11
1
1
22
1
11
1
21
2
1
22
1
2
2
1
11
1
2
1
22
2
1
22222
1
111
1
1122
1
112
2
1
111
podatke centrirane za Notacija
21
16
Izvođenje ocena metoda ONK:
najčešća forma
XbXbYb
yxxbxxb
yxxxbxb
n
iii
n
ii
n
iii
n
iii
n
iii
n
ii
22110
12
1
222
1211
11
1212
1
211
Profesor Zorica Mladenović
Ekonomski fakultet, 2017. 9
17
Ocena b1
n
ii
n
iii
n
iii
n
ii
n
ii
n
iii
n
iii
n
iii
xxx
xxx
xyx
xxyx
b
1
22
121
121
1
21
1
22
12
121
11
1
18
Ocena b2
,
xxx
xxx
yxxx
yxx
b
n
ii
n
iii
n
iii
n
ii
n
iii
n
iii
n
iii
n
ii
1
22
121
121
1
21
12
121
11
1
21
2
Profesor Zorica Mladenović
Ekonomski fakultet, 2017. 10
Primer
Dati su godišnji podaci o potrošnji piva, relativnoj ceni piva i
realnom dohotku na slučaj izabranih domaćinstava.
Prema uzorku od 20 godina potrebno je oceniti parametre
cenovne i dohodne elastičnosti tražnje za pivom.
Promenljive
Yi - ln (potrošnja piva)
X1i - ln (relativna cena piva)
X2i - ln (realni nivo dohotka)
Model:
Uzoračka funkcija:
1,2,...,20i 22110 ,XXY iiii
iii XbXbbY 22110
Primer: podaci
God. Y X1 X2
1 4.40305 0.47225 10.02578
2 4.04130 1.22026 10.58768
3 4.16044 0.97932 10.33316
4 4.18052 1.05315 10.49711
5 4.16044 0.75710 10.15131
6 4.06217 0.81697 10.12964
7 4.12228 0.83808 10.16214
8 4.17899 0.73465 10.12368
9 4.05699 1.06000 10.39294
10 4.15104 0.73827 10.04659
11 4.18814 0.79851 10.16956
12 3.87743 1.11619 10.38318
13 4.01818 1.19292 10.43950
14 3.86912 1.07717 10.25049
15 4.04305 0.72916 9.98371
16 3.94352 0.97762 10.22916
17 3.99268 0.96266 10.25149
18 3.94546 0.89116 10.11648
19 4.02356 0.77824 10.03082
20 3.95316 1.08988 10.35204
Profesor Zorica Mladenović
Ekonomski fakultet, 2017. 11
Primer: potrebne sume centriranih vrednosti
10.23282X,.X ,.Y
.y,.yx
,.yx,.xx
,.x,.x
ii
iii
iii
iii
ii
ii
21
20
1
220
12
20
11
20
121
20
1
22
20
1
21
91417700685774
309793001152000
30575105433190
54383006858330
Primer: ocene parametara
X.X..Y
.b
.....b
,..
.b
,..
.b
.b.b.
.b.b.
iii 21
0
0
2
1
21
21
120133311746
1746
23282101201914177033310685774
12010777810
0871120
33310777810
1036860
115200054383005433190
305751054331906858330
Profesor Zorica Mladenović
Ekonomski fakultet, 2017. 12
Primer: interpretacija ocena parametara
iii X.X..Y 21 120133311746
Ocene parcijalnih koeficijenata nagiba:
-1.333, cenovna elastičnost tražnje
Ako se relativna cena poveća za 1%, tada tražnja za pivom opada za 1.33%, pod pretpostavkom da nivo realnog dohotka ostaje nepromenjen
1.120, dohodna elastičnost tražnje
Ako se realni dohodak poveća za 1%, onda tražnja za pivom raste za 1.12%, pod prepostavkom da se ne menja cena piva.
Koeficijent determinacije
Profesor Zorica Mladenović
Ekonomski fakultet, 2017. 13
Koeficijent determinacije R2 Kao i u jednostavnom modelu, pokazuje udeo objašnjenog
varijabiliteta u ukupnom varijabilitetu zavisne promenljive
Prilikom određivanja varijabiliteta koji je objašnjen
modelom, odnosno izabranim promenljivima, vodi se računa
o svakoj od ocena parcijalnih koeficijenata nagiba.
Na primer, u modelu sa dve objašnjavajuće promenljive:
ni ii
ni ii
ni i
ni i
ni i
ni ii
ni ii
yxbyxbye
y
yxbyxbR
1 221 1112
12
12
1 221 112
ii
ii
ni i
ni i
YY
e
y
yR
USK
RSK
USK
OSKR
2
2
12
12
2
2
1
1
Ograničenja u primeni R2 kao
pokazatelja kvaliteta regresije
1. R2 se uvek povećava sa dodavanjem novih objašnjavajućih promenljivih:
Regresija 1: Yi= 0 + 1X1i + 2X2i + i
Regresija 2: Yi = 0 + 1X1i + 2X2i + 3X3i + i
R2 će uvek biti veći u regresiji 2, bez obzira na to kakva je eksplanatorna snaga nove objašnjavajuće promenljive.
2. R2 je krajnje nepouzdan pokazatelj u regresionoj analizi vremenskih serija kada vrednost 0.999, ne mora nužno pokazivati ništa.
Profesor Zorica Mladenović
Ekonomski fakultet, 2017. 14
Korigovani koeficijent determinacije R2 Koriguje se koeficijent determinacije sa ciljem dobijanja
pokazatelja koji se neće neopravdano povećavati sa
rastom broja objašnjavajućih promenljivih.
Novi pokazatelj:
korigovani koeficijent determinacije
Korekcija: svaka od suma u formuli za R2 deli se sa
korespondirajućim brojem stepeni slobode.
modela parametarabroj ukupank uzorka, obim - n
Rkn
n
)n/(
i
YiY
i
)kn/(ie
R
i
YiY
iie
R
211
1
12
2
12
2
2
12
2R
28
Primer: izračunavanje rezidualne sume kvadrata i
koeficijenta determinacije u modelu sa dve
objašnjavajuće promenljive
Prethodno je ocenjena sledeća zavisnost:
89903097930
03125012
0312502
115200012013057510333130979302
221122
..
.R
.
iie
.....
iie
iy
iixbiy
i iixbiy
iie
iX.iX..iY 21201133311746
Profesor Zorica Mladenović
Ekonomski fakultet, 2017. 15
29
Primer: korigovani koeficijent determinacije u modelu
sa dve objašnjavajuće promenljive
...R
Rkn
nR
.R
,X.X..Y
2
2
2
iii
88708990117
191
11
1
8990
120133311746
2
320
120
21
Pretpostavke višestrukog KLRM
Profesor Zorica Mladenović
Ekonomski fakultet, 2017. 16
31
Pretpostavke višestrukog KLRM (I)
Redni broj
pretpostavke 1. 2. 3.
Formulacija
Očekivana
vrednost slučajne
greške je nula
Slučajne greške su
homoskedastične,
odnosno poseduju
istu varijansu
Slučajne greške su
međusobno
nekorelisane
Zapis
za svako i
za svako i
za svako i , j koji su
različiti.
22 i
E)(v i 0iE .E,cov jiji 0
32
Pretpostavke višestrukog KLRM (II)
Redni broj
pretpostavke 4. 5. 6.
Formulacija Slučajna
greška ima
normalnu
raspodelu
Nijedna od
objašnjavajućih
promenljivih nije
slučajna promenljiva
Objašnjavajuće promenljive
nisu međusobno linearno
zavisne: nijedna se ne može
izraziti kao tačna linearna
kombinacija ostalih
objašnjavajućih promenljivih
Zapis/naziv
Odsustvo ekstremne
multikolinearnosti
i svakoza
,N:i20
1.-k1,...,j
i, svakoza
i,ijXcov
0
Profesor Zorica Mladenović
Ekonomski fakultet, 2017. 17
O ocenama parametara u
dvostrukom linearnom regresionom
modelu
34
Implikacije pretpostavki višestrukog KLRM
Ako su zadovoljene sve pretpostavke višestrukog KLRM,
tada se primenom metoda ONK dobijaju:
najbolje,
linearne,
nepristrasne i
konzistentne ocene
Profesor Zorica Mladenović
Ekonomski fakultet, 2017. 18
35
Model sa dve objašnjavajuće promenljive:
ocena varijanse slučajne greške modela
Nepristrasna ocena 2 je:
gde je rezidualna suma kvadrata i n je obim uzorka.
Kvadratni koren, s, je standardna greška regresije, odnosno standardna devijacija reziduala.
Oznake za ocene varijansi ocena nagiba: s2(b1) i s
2(b2)
n
iie
ns
1
2
3
12
n
i
ie1
2
36
Model sa dve objašnjavajuće promenljive: ocene varijansi
ocena parcijalnih koeficijenata nagiba
n
ii
xn
ii
x
n
ii
xi
x
r
n
ii
xr
s)b(s)b(v ,
n
ii
xr
s)b(s)b(v
n
ii
xr
)b(v ,n
ii
xr
)b(v
1
22
1
21
121
1
22
21
2
22
2
1
21
21
2
12
1
1
22
21
2
2
1
21
21
2
1
Profesor Zorica Mladenović
Ekonomski fakultet, 2017. 19
37
Standardne greške ocena parametara zavise od sledećih faktora:
Slično kao kod jednostavnog modela:
1. Varijabilitet modela (s2 ili s).
2. Suma kvadrata odstupanja podataka objašnjavajuće promenljive od aritmetičke sredine.
3. Obim uzorka n.
Novo u odnosu na jednostavni model:
4. Stepen korelisanost između objašnjavajućih promenljivih. Što je korelacija izraženija, to su varijanse ocena veće, odnosno ocene su nepreciznije.
38
Primer: izračunavanje odgovarajućih standardnih grešaka
ocena u modelu sa dve objašnjavajuće promenljive
Ocena varijanse slučajne greške modela:
Ocena koef. korelacije
Ocene varijanse ocena parcijalnih nagiba:
001838017
031250
3
22 .
.
n
ies
12702016090
54383007901
0018380
1
22
21
2
22
1130101276068583307901
0018380
1
21
21
2
12
.)b(s...
.
n
ii
xr
s)b(s
.)b(s...
.
n
ii
xr
s)b(s
790289054383006858330
5433190
1
22
1
21
121
.r...
.
n
ii
xn
ii
x
n
iixix
r
Profesor Zorica Mladenović
Ekonomski fakultet, 2017. 20
39
Primer: finalni zapis
..R ,.R
(0.127) ) .(
,X.X..Y
22
iii
88708990
1130
120133311746 21
Elementi statističkog zaključivanja
Profesor Zorica Mladenović
Ekonomski fakultet, 2017. 21
41
Statističko zaključivanje u višestrukom KLRM
Testiranje hipoteza o vrednostima
parametara višestrukog KLRM
Pojedinačna vrednost parametra
Vrednosti parametara zbirno posmatrano
Formiranje intervalnih ocena parametara
višestrukog KLRM
Testiranje hipoteze o vrednosti
pojedinačnog parametara višestrukog KLRM
Kao i u slučaju jednostavnog modela, i u višestrukoj
regresiji sa k parametara se koristi test-statistika oblika:
Hipoteze:
Pretpostavimo da je hipoteza od interesa: H0 : i= 0,
protiv H1 : i 0.
U uslovima validnosti nulte hipoteze test-statistika je:
t-odnos: provera značajnosti pojedinačnog uticaja
svake od objašnjav. promenljivih na zavisnu promen.
1.-k0,1,2,...,i ,)ib(s
*iibknt
)ib(s
ibknt
.k,...,,,i *,ii :H *,ii :H 121010
Profesor Zorica Mladenović
Ekonomski fakultet, 2017. 22
Pojedinačni uticaj cene i dohotka na tražnju:
primena t-odnosa
U prethodnom primeru smo dobili:
Ocena -1.333 1.120
Standardna
greška ocene 0.113 0.127
t-odnosi -11.80 8.82
Kritična vrednost t-raspodele sa 20-3= 17 stepeni slobode i
nivo značajnosti 5%: 2.11.
Da li prihvatamo
H0: 1 = 0? (Ne)
H0: 2 = 0? (Ne)
Zaključak: promenljive ostvaruju uticaj koji je pojedinačno
statistički značajan na nivou značajnosti 5%.
Testiranje hipoteze o vrednosti
svih parametara višestrukog KLRM Ispitivanje kvaliteta regresije na osnovu
koeficijenta determinacije – opšti slučaj
Hipoteze od interesa:
Nulta hipoteza: regresija nije statistički značajna (zajednički
uticaj objašnjavajućih promenljivih nije statistički značajan)
Alternativna hipoteza: objašnjavajuće promenljive ostvaruju
statistički značajan uticaj na kretanje zavisne promenljive (bar
jedan od parametara je značajno različit od nule)
021 tacnanije 0 1
02001210
R:HHhipoteza:H
R:Hk...:H
iikXk...iXiXiY 1122110
Profesor Zorica Mladenović
Ekonomski fakultet, 2017. 23
Ispitivanje kvaliteta regresije na
osnovu koeficijenta determinacije – opšti slučaj
Relevantna statistika:
)kn/()R(
)k/(Rkkn
F
21
121
Pravilo odlučivanja:
Ako je izračunata vrednost date statistike veća od
kritične vrednosti F-raspodele sa k-1 i n-k stepeni
slobode, tada se nulta hipoteza odbacuje uz izabrani
nivo značajnosti.
Objašnjavajuće promenljive ostvaruju zbirno
statistički značajan uticaj na kretanje zavisne
promenljive.
Ispitivanje kvaliteta regresije na osnovu
koeficijenta determinacije – dvostruki model
Relevantne hipoteze
Nulta hipoteza: regresija nije statistički značajna
Alternativna hipoteza: objašnjavajuće promenljive ostvaruju
statistički značajan uticaj na kretanje zavisne promenljive
Test- statistika:
021 tacnanije 0 1
0200210
R:HHhipoteza:H
R:H:H
)n/()R(
/Rn
F321
222
3
iiii XXY 22110
Profesor Zorica Mladenović
Ekonomski fakultet, 2017. 24
2
12
12
1
21
2
12
1
2
1
22
1
4
1
22
1
2
1
3
21
2
1
1
102202
2
1
22
1
2
1
22
110201
1
2
k
knn~
OSK
)Yn
iiY(
n~
USK
)Yn
iiY(
kn~
RSK
n
iie
.
n
iie)Y
n
iiY()Y
n
iiY(OSKUSKOSKOSKRSKUSK .
n~
USK
)Yn
iiY(
),(N~YEiY
)),Y(E(N~iY),(N~i .
.kn
~
RSK
n
tie
n~n
ii),(N~i),(N~i .
)kn()R(
)k(R
)k(
)kn(
)YY(
e
)YY(
)YY(
)k(
)kn(
e
)YY(
)kn/(
)k/(~F .
n
ii
n
ii
n
ii
n
ii
n
ii
n
ii
kn
k1-kk-n
2
2
2
1
1
2
2
1
2
1
1
22
2
12
2
21
1
1
1
11
1
15
Profesor Zorica Mladenović
Ekonomski fakultet, 2017. 25
F-statistika kvaliteta regresije
u jednostavnom modelu
modelu. omjednostavnu noalternativ koristitimogu setesta dva Ova
bs
b
)R(
)n(RtF
)R(
)n(R
)n/()R(
RF
apromenljiv jucaobjasnjava jedna i clan slobodan,k
)kn/()R(
)k/(RF
bs
bXbY
nn
n
kkn
ii
2
2
22
21
2
2
2
2
21
2
2
21
0
1
2
1
2
21
2
1
1
Zajednički uticaj cene i dohotka
na tražnju: primena F-statistike
U prethodnom primeru smo dobili:
Realizovana vrednost F-statistike:
Kritična vrednost F-raspodele sa redom 2 i 17 stepeni slobode
i nivoom značajnosti 5%: 3.59
Da li prihvatamo
H0: 1 = 2= 0? (Ne)
Zaključak: promenljive ostvaruju uticaj koji je zbirno
statistički značajan na nivou značajnosti 5%.
8990.R2
775
1789901
28990
1
1
217
2
22
17
.F
/).(
/.
)kn/()R(
)k/(RF