jost reinecke - uni bielefeld ss05/folien/reg2b.pdf · im spss-output wird nur die erkl¨arte...

Trivariate RegressionMultiple Regression

Multiple Regressionsanalyse

Jost Reinecke

Universitat Bielefeld

25. April 2005

Jost Reinecke Multiple Regressionsanalyse


Trivariate Regression

Multiple Regression



Trivariate Regression

x1

x2 y- �

ZZ

ZZ

ZZ

ZZ

ZZ

ZZ

ZZ~?

6

ey

rx1x2

byeybyx2

byx1



Fur die endogene Variable y kann eineRegressionsgleichung aufgestellt werden:

y = byx1x1 + byx2

x2 + byeyey (1)

Die zwei Regressionskoeffizienten byx1und byx2

werden wie folgt berechnet:

1. Multiplikation der Gleichung (1) mit denexogenen Variablen x1 und x2

2. Die Bildung von Mittelwerten fur jede Variablein den Gleichungen

3. Die Umformulierung in r -Gleichngen undSubstitution



Die jeweilige Multiplikation der Gleichung (1) mitden exogenen Variablen x1 und x2 ergibt:

yx1 = byx1x21 + byx2

x2x1 + byeyeyx1 (2)

yx2 = byx1x1x2 + byx2

x22 + byey

eyx2 (3)



Fur jeden Term der Gleichungen (2) und (3) werdenMittelwerte gebildet:

∑(yx1)

N= byx1

∑(x2

1 )

N+byx2

∑(x2x1)

N+byey

∑(eyx1)

N(4)∑

(yx2)

N= byx1

∑(x1x2)

N+byx2

∑(x2

2 )

N+byey

∑(eyx2)

N(5)



Da bei standardisierten Variablen die summiertenProdukte zweier Variablen dividiert durch N gleichder Korrelation dieser Variablen sind, konnenGleichung (4) und (5) umformuliert werden:

rx1y = byx1rx2

1+ byx2

rx2x1+ byey

reyx1(6)

rx2y = byx1rx1x2

+ byx2rx2

2+ byey

reyy1(7)



Das Residuum ey darf nicht mit den exogenenVariablen x1 und x2 korrelieren:

reyx1= reyx2

= 0

Da rx21

= rx22

= 1 ist, lassen sich die Gleichungen (6)und (7) verkurzen:

rx1y = byx1+ byx2

rx2x1(8)

rx2y = byx1rx1x2

+ byx2(9)



Die Umformung der Gleichung (8) ergibt:

byx1= rx1y − byx2

rx2x1(10)

Durch Einsetzen (Substitution) in Gleichung (9)ergibt sich:

rx2y = (rx1y − byx2rx2x1

)rx2x1+ byx2

(11)

rx2y = rx1y rx2x1− byx2

r 2x2x1

+ byx2(12)

rx2y = rx1y rx2x1+ byx2

(1− r 2x2x1

) (13)

rx2y − rx1y rx2x1

1− r 2x2x1

= byx2(14)



Einsetzen von byx2in Gleichung (10) ergibt:

byx1= rx1y −

rx2y − rx1y rx2x1

1− r 2x2x1

rx2x1(15)

byx1= rx1y −

rx2y rx2x1− rx1y r

2x2x1

1− r 2x2x1

(16)

Zusammengefaßt lauten die Losungen derRegressionskoeffizienten:

byx2=

rx2y − rx1yrx2x1

1− r2x2x1

(17)

byx1= rx1y −

rx2yrx2x1− rx1yr

2x2x1

1− r2x2x1

(18)



Beispiel

Variablen: Einkommen (y), Alter (x1) undSchichtzugehorigkeit (x2)

(y) (x1) (x2)

(y) 1,000 0,650 0,067

(x1) 0,650 1,000 0,048

(x2) 0,067 0,048 1,000



x1 (A)

x2 (S) y (E)- �

ZZ

ZZ

ZZ

ZZ

ZZ

ZZ

ZZ~?

6

ey

rx1x2

byeybyx2

byx1

Graphische Darstellung des Beispiels



Die Korrelationen aus der Tabelle werden in dieGleichungen (17) und (18) eingesetzt:

bx2y =0, 067− 0, 650 ∗ 0, 048

1− 0, 0482= 0, 036 (19)

byx1= 0, 650−0, 048 ∗ 0, 067− 0, 650 ∗ 0, 0482

1− 0, 0482= 0, 648

(20)Erklarte Varianz der abhangigen Variablen y :

R2 = b2yx1

+ b2yx2

= 0, 6482 + 0, 0362

= 0, 421 ≈ 42%EV

(21)



Residualvarianz der abhangigen Variablen y :

1− R2 = 1− (b2yx1

+ b2yx2

)= 1− (0, 6482 + 0, 0362)= 0, 579 ≈ 58%NEV

(22)

Berechnung des Residualregressionskoeffizientenbyey

:√

1− R2 =√

1− (b2yx1

+ b2yx2

)

=√

1− (0, 6482 + 0, 0362)= 0, 761

(23)

Die Regressionsgleichung (vgl. Gleichung 1) lautet:

y = 0, 648x1 + 0, 036x2 + 0, 761ey (24)



Multiple Regression

Die bi- und trivariate Regressionsanalyse beschranktsich auf die Analyse von zwei oder drei Variablen ineinem Modell. Werden mehrere als eineunabhangige Variable zur Erklarung der Variation inder abhangigen Variable berucksichtigt, dann mußdie Regressionsgleichung um weitere Termeerweitert werden:

yi = a + b1x1i + b2x2i + . . . + bkxki + e (25)

Gleichung 25 formalisiert ein multiplesRegressionsmodell mit der Konstanten a, denRegressionskoeffizienten b1, b2 . . . bk und demResiduum e.



xk

x2

x1

y

��1-

PPPPPPPPPPPPPPPPPPPq

...

b1

b2

bk

e

?

Graphische Darstellung eines multiplen Regressionsmodells



Die Terme in Gleichung 25 lassen sich auch alsVektoren darstellen, wobei der Einfachheit halberauf die Konstante a verzichtet wird (d. h. es werdenstandardisierte Variablen angenommen):

yi = (x1i + x2i + . . . + xki)β + e = Xβ + e (26)

mit

β =

b1

b2...bk

(27)



Eine Losung der Regressionskoeffizenten im Vektorβ kann auch hier uber die Methode der kleinstenQuadrate gefunden werden, die von einerquadratischen Fehlerfunktion ausgeht.Gleichung 26 wird nach dem Fehlerterm eumgestellt:

e = yi − Xβ (28)

Die quadratische Fehlerfunktion lautet:

Q(e) :=∑

e2i = e ′e (29)

mit e ′ als transponierten Vektor von e.



Wird Gleichung 28 in Gleichung 29 eingesetzt, dannergibt sich:

e ′e = (yi − Xβ)′(yi − Xβ) (30)

Die Kleinst-Quadrate-Schatzer des Parametervektorsβ lassen sich eindeutig bestimmen:

β = (X ′X )−1X ′y =

(1

nX ′X

)−1 (1

nX ′y

)(31)

1nX

′X ist die Kovarianzmatrix fur die unabhangigenVariablen xk ,

1nX

′y ist die Kovarianzmatrix zwischenden unabhangigen Variablen xk und der abhangigenVariablen y .



Beispiel

Variablen:Schulbildung (y),Schulbildung Vater (x1),Schulbildung Mutter (x2),Berufsprestige Vater (x3)

(y) (x1) (x2) (x3)(y) 1,000 0,475 0,425 0,373(x1) 0,475 1,000 0,709 0,644(x2) 0,425 0,709 1,000 0,479(x3) 0,373 0,644 0,479 1,000



x3

x2

x1

y

��1-

PPPPPPPPPPPPPPPPPPPq

0, 284

0, 172

0, 107

0, 867

?

Graphische Darstellung des BeispielsJost Reinecke Multiple Regressionsanalyse


Regressionsgleichung des Beispiels:

y = b1x1 + b2x2 + b3x3 + e (32)

Einsetzen der standardisierten Regressionskoeffizienten:

y = 0, 284x1 + 0, 172x2 + 0, 107x3 + 0, 867e

Erklarte Varianz in der abhangigen Variablen y :

R2 = 0, 248 ≈ 25%

Nicht erklarte Varianz in der abhangigen Variablen y :

1− R2 = 0, 752 ≈ 75%



Berechnung des Residualregressionskoeffizienten e:

1− R2 =√

1− 0, 248 = 0, 867

Hinweis:Im SPSS-Output wird nur die erklarte Varianz (R2)ausgewiesen, die nicht erklarte Varianz (1− R2) und derResidualregressionskoeffizient (

√1− R2) mussen selbst

ausgerechnet werden.


jost reinecke - uni bielefeld ss05/folien/reg2b.pdf · im spss-output wird nur die erkl¨arte...

Documents