5 Linearni regresijski model

1

5.1. Uvod i definicije

U tocki 2.11 razmatrali smo problem prilagodbe pravcatockama:

(xi, yi), i = 1,2, . . . , n

← podaci dobiveni mjerenjem ili opazanjem nekog2-dimenzionalnog vektora (X, Y ) gdje su:X = varijabla poticaja (neslucajna!)Y = varijabla odziva (slucajna)

Jer je X neslucajna varijabla, od sada pa nadaljeoznacavamo je sa x. x se (najcesce) zadaje, a Y seopaza (mjeri).

2

Linearni regresijski model:

Pretpostavljamo da su varijable x i Y u srednjem

linearno povezane, tj.:

E[Y |x] = θ0 + θ1x.

Preciznije:

Y = θ0 + θ1x + ε,

gdje su:

- θ0, θ1 parametri modela

- ε je s.v. t.d. je E[ε] = 0 (ne opaza se!)

(ε se interpretira kao slucajna greska ili sum.)

3

Neka je

(x1, Y1), (x2, Y2), . . . , (xn, Yn)

slucajni uzorak iz linearnog regresijskog modela.

Pretpostavka: parametri θ0, θ1 su nepoznati

→ procjena metodom najmanjih kvadrata

→ uz iste oznake kao u 2.11 procjenitelji od θ0, θ1su

θ1 =SxY

Sxx, θ0 = Y − θ1x.

4

Opci linearni regresijski model:

Y = θ0 + θ1x1 + θ2x2 + · · ·+ θkxk + ε,

gdje su:

- θ0, θ1, θ2,...,θk parametri modela

- x1, x2,..., xk su varijable poticaja

- ε je slucajna greska ili sum

5

Neka je

(xi1, xi2, . . . , xik, Yi), i = 1,2, . . . , n

slucajni uzorak iz linearnog regresijskog modela.

Vektorski zapis:

Y = Xθ + ε

gdje su:

Y = (Y1, Y2, . . . , Yn)τ

ε = (ε1, ε2, . . . , εn)τ

θ = (θ0, θ1, θ2, . . . , θk)τ ∈ Rk+1

vektori stupci i X je matrica:

6

X = (1,x1,x2, . . . ,xk) ∈ Mn,k+1(R)

kojoj su stupci:

1 = (1,1, . . . ,1)τ ∈ Rn

xj = (x1j, x2j, . . . , xnj)τ , j = 1,2, . . . , k

Pretpostavlja se da je n ≥ k + 1.

7

5.2. Procjena parametara modela

Procjenitelj vektora parametara θ metodom najma-

njih kvadrata je:

θ = (XτX)−1XτY

(ako je X matrica punog ranga: r(X) = k + 1)

(Izvod)

8

Projekcija Y vektora Y na potprostor razapet stupcima

od X:

Y = HY, gdje je H := X(XτX)−1Xτ

Vektor reziduala:

e := Y − Y = MY, gdje je M := I −H

H i M su ortogonalni projektori u Rn t.d.

I = H + M, r(H) = k + 1, r(M) = n− k − 1.

9

Prema tome:

Y ⊥ e

i

e ⊥ 1,x1, . . . ,xk

Specijalno slijedi:

eτ1 = e1 + e2 + · · ·+ en = 0.

10

Za slucajne greske εi, i = 1,2, . . . , n, pretpostavimo

da vrijede Gauss-Markovljevi uvjeti:

(i) E[εi] = 0 za sve i = 1,2, . . . , n,

(ii) Var[εi] = σ2 za sve i = 1,2, . . . , n,

(iii) cov(εi, εj) = 0 za sve i 6= j.

Tada su procjenitelji najmanjih kvadrata nepristrani:

Eθ[θ] = θ, ∀θ ∈ Rk+1.

Vrijedi i vise.

11

Neka je L : Rk+1 → R linearni funkcional param-

etara:

L(θ) = `τθ.

Definicija. Neka je Y vektor opazenih vrijednosti

varijable odziva.

Statistika T = t(Y) je:

(1) linearni procjenitelj za L(θ) ako je oblika

T = cτY za neki neslucajni vektor c ∈ Rn.

12

(2) nepristrani procjenitelj za L(θ) ako je

Eθ[T ] = L(θ), ∀θ ∈ Rk+1.

(3) najbolji linearni nepristrani procjenitelj (BLUE)

za L(θ) ako je za L(θ):

– linearan procjenitelj

– nepristran procjenitelj

– u klasi svih nepristranih linearnih procjenitelja za

L(θ) ima najmanju varijancu.

13

Teorem 5.1. (Gauss-Markov)

Neka je θ procjenitelj metodom najmanjih kvadrata

za parametre linearnog regresijskog modela i neka

je L(θ) = `τθ. Ako vrijede Gauss-Markovljevi uvjeti,

tada je statistika

T = `τ θ

najbolji linearni nepristrani procjenitelj za L(θ).

(Dokaz.)

14

Primjenom tma. o projekciji, minimalna vrijednostkriterijske funkcije je:

Φ(θ) = |Y−Xθ|2 = |Y−Y|2 = |e|2 = |MY|2 = YτMY

Propozicija 5.2. Ukoliko vrijede Gauss-Markovljeviuvjeti, statistika

σ2 :=1

n− k − 1YτMY

je nepristrani procjenitelj parametra zajednicke vari-jance σ2.

(Dokaz.)

15

5.3. Rastav varijance i ANOVA tablica

SS :=n∑

i=1

(Yi − Y )2 = |Y − Y 1|2

SSR :=n∑

i=1

(Yi − Y )2 = |Y − Y 1|2

SSE :=n∑

i=1

(Yi − Yi)2 = YτMY = ετMε

16

Teorem 5.3. Vrijedi:

SS = SSR + SSE.

(Dokaz.)

17

Nadalje, neka su:

MSR :=1

kSSR

MSE :=1

n− k − 1SSE

18

Cjelokupni racun se prikazuje u ANOVA-tablici:

broj zbroj srednjeizvor stupnjeva kvadrata kvadratno

varijabilnosti slobode odstupanja odstupanje F -stat.

zbog regresije k SSR MSR Fsl. pogreska n− k − 1 SSE MSE —

ukupno n− 1 SS — —

Statistika F := MSR/MSE je testna statistika za

testiranje nul-hipoteze:

H0 : θ1 = θ2 = · · · = θk = 0.

19

5.4. Statisticko zakljucivanje o modelu

Od sada pa nadalje pretpostavimo da vrijede Gauss-

Markovljevi uvjeti i dodatno:

(iv) εi ∼ N(0, σ2), i = 1,2, . . . , n.

20

Propozicija 5.4. Uz prethodnu pretpostavku,

θ ∼ Nk+1(θ, σ2(XτX)−1)

i

(n− k − 1)σ2

σ2∼ χ2(n− k − 1).

Nadalje, θ i σ2 su nezavisne s.v.

21

Zadatak 1. Dokazite propoziciju 5.4.

22

Zadatak 2. Dokazite da za jednostavni linearni re-

gresijski model (pravac y = α + βx) vrijedi:

(n− 2) · σ2

σ2∼ χ2(n− 2)

α− α

σ ·√

1n + x2

Sxx

∼ t(n− 2)

β − β

σ ·√

1Sxx

∼ t(n− 2)

Pomocu druge dvije statistike konstruirajte pouz-

dane intervale za α i β, te opisite test hipoteze

H0 : β = 0.

23

Primjer 5.1.

Na slucajan nacin odabrano je 10 novih automobila

istoga tipa. Za razne vrijednosti od

x = kolicina dodatka benzinu

mjeri se

y = redukcija dusikovog oksida u ispustu.

x 1 1 2 3 4 4 5 6 6 7y 2.1 2.5 3.1 3.0 3.8 3.2 4.3 3.9 4.4 4.8

24

0 2 4 6 80

1

2

3

4

5

6

x

y

25

xi yi x2i xiyi y2

i1. 2.1 1. 2.1 4.411. 2.5 1. 2.5 6.252. 3.1 4. 6.2 9.613. 3.0 9. 9.0 9.004. 3.8 16. 15.2 14.444. 3.2 16. 12.8 10.245. 4.3 25. 21.5 18.496. 3.9 36. 23.4 15.216. 4.4 36. 26.4 19.367. 4.8 49. 33.6 23.04

39. 35.1 193. 152.7 130.05

26

Iz prethodne tablice se izracuna

α = 2.0, β = 0.4, SSE = 0.74, Sxx = 40.9

Odavde je:

σ2 =SSE

10− 2=

0.74

8= 16.3 ⇒ σ =

√0.09 = 0.3

27

95% p.i. za β:

[β ± t0.025(8) · σ√

1

sxx] = [0.3, 0.5]

Odavde slijedi da nul-hipotezu

H0 : β = 0

u odnosu na dvostranu alternativu odbacujemo na

razini znacajnosti od 5%.

(Test znacajnosti linearnog regresijskog modela).

28

Teorem 5.5. Ako vrijedi

H0 : θ1 = θ2 = · · · = θk = 0

i ε ∼ Nn(0, σ2I), tada su sljedece statistike nezavisne

i1

σ2SSR ∼ χ2(k),

1

σ2SSE ∼ χ2(n− k − 1).

Nadalje,

F =MSR

MSE

H0∼ F (k, n− k − 1).

29

Zadatak 3. Dokazite teorem 5.5.

30

Zadatak 4. Neka je C matrica reda (m, k+1) punog

ranga m (m ≤ k+1) i neka je γ= (γ1, . . . , γm)τ vektor

dimenzije m. Ako je Cθ =γ, tada

1

mσ2·(Cθ−γ)τ [C(XτX)−1Cτ ]−1(Cθ−γ) ∼ F (m, n−k−1).

31

5.5. Predvidanje

Neka je x0 neka konkretna vrijednost vektora vari-

jabli poticaja x.

Zelimo procijeniti:

(a) ocekivanu ili srednju vrijednost od Y , tj.:

E[Y |x = x0],

(b) iznos mjerenja Y za dani x = x0, tj.:

Y.

32

U oba slucaja je tockovni procjenitelj:

E[Y |x = x0] = Y := [1 xτ0] · θ = θ0+ θ1x01+ · · · θkx0k.

Intervalni procjenitelji su razliciti.

33

Propozicija 5.6.

• (1− α) · 100% p.i. za Y u x = x0 je

Y ± tα/2(n− k− 1) · σ ·√√√√1 + [1 xτ

0] · (XτX)−1 ·[

1x0

]

• (1− α) · 100% p.i. za E[Y |x = x0]:

E[Y |x = x0]±tα/2(n−k−1)·σ·√√√√[1 xτ

0] · (XτX)−1 ·[

1x0

].

(Dokaz.)

34

Zadatak 5. Pokazite da su u slucaju pravca (jed-

nostavne linearne regresije):

• (1− γ) · 100% p.i. za Y u x = x0:

Y ± tγ/2(n− 2) · σ ·√√√√1 +

1

n+

(x0 − x)2

Sxx

• (1− γ) · 100% p.i. za E[Y |x = x0]:

E[Y |x = x0]± tγ/2(n− 2) · σ ·√√√√1

n+

(x0 − x)2

Sxx

35

Primjer 5.1. (nastavak) Graficki prikaz granica

pouzdanih intervala za Y i E[Y |x]:

0 2 4 6 80

1

2

3

4

5

6

x

y

36