wykład 13

40
Wykład 13 Estymacja wartości oczekiwanej zmiennej zależnej. ``Pasmo’’ ufności dla prostej regresji Przedziały predykcyjne Analiza wariancji

Upload: tiara

Post on 04-Feb-2016

43 views

Category:

Documents


0 download

DESCRIPTION

Wykład 13. Estymacja wartości oczekiwanej zmiennej zależnej. ``Pasmo’’ ufności dla prostej regresji Przedziały predykcyjne Analiza wariancji. Estymacja E(Y h ). E(Y h ) = μ h = β 0 + β 1 X h , wartość oczekiwana Y gdy X=X h estymujemy E(Y h ) za pomocą = b 0 + b 1 X h. - PowerPoint PPT Presentation

TRANSCRIPT

Page 1: Wykład 13

Wykład 13

• Estymacja wartości oczekiwanej zmiennej zależnej.

• ``Pasmo’’ ufności dla prostej regresji• Przedziały predykcyjne • Analiza wariancji

Page 2: Wykład 13

Estymacja E(Yh)• E(Yh) = μh = β0 + β1Xh, wartość

oczekiwana Y gdy X=Xh • estymujemy E(Yh) za pomocą • = b0 + b1Xh

^

h

Page 3: Wykład 13

Teoria estymacji E(Yh)

• ma rozkład normalny o wartości oczekiwanej μh (jest estymatorem nieobciążonym) i wariancji σ2( )=

2

22 1

XX

XXn

i

h

h

h

Page 4: Wykład 13

Toria estymacji E(Yh) (2)

• Normalność wynika z faktu, że• = b0 + b1Xh jest liniową

kombinacją Yi

h

Page 5: Wykład 13

• Estymujemy σ2( ) za pomoca

• s2( )=

• t= ~ t(n-2)

h

h

2

22 1

XX

XXn

si

h

)ˆ()(ˆ

h

hh

sYE

Page 6: Wykład 13

95% przedział ufności dla E(Yh)

• ± tc s( ) • gdzie tc = t(.025, n-2)• a s( ) =

h h

h )ˆ(s2 h

Page 7: Wykład 13

data a1; infile ‘../data/ch01ta01.dat'; input size hours;data a2; size=65; output; size=100; output;data a3; set a1 a2; proc print data=a3; proc reg data=a3; model hours=size/clm;run;

Page 8: Wykład 13

Dep Var Predicted Obs size hours Value 26 65 . 294.4290 27 100 . 419.3861

Std ErrorMean Predict 95% CL Mean 9.9176 273.9129 314.9451 14.2723 389.8615 448.9106

Page 9: Wykład 13

``Pasmo’’ ufności dla prostej regresji

• ± Ws( ) • gdzie W2=2F(1-α; 2, n-2) • Wartości krytyczne leżą na hiperboli

h h

Page 10: Wykład 13

``Pasmo’’ ufności dla prostej regresji

• ``Pasmo’’ ufności związane jest z obszarem ufności dla (β0, β1 ), który jest elipsą.

• Możemy obliczyć wartość alfa, dla której odpowiednie tc da te same wyniki

• Zajdziemy W2 i odpowiednie alfa dla tc,

tak aby W = tc

Page 11: Wykład 13

data a1; n=25; alpha=.10; dfn=2; dfd=n-2; w2=2*finv(1-alpha,dfn,dfd); w=sqrt(w2); alphat=2*(1-probt(w,dfd)); tc=tinv(1-alphat/2,dfd); output;proc print data=a1;run;

Page 12: Wykład 13

Obs n alpha dfn dfd w2 1 25 0.1 2 23 5.09858

w alphat tc 2.25800 0.033740 2.25800

Page 13: Wykład 13

data a2; infile‘../data/ch01ta01.dat'; input size hours;

symbol1 v=circle i=rlclm97;

proc gplot data=a2; plot hours*size; run;

Page 14: Wykład 13
Page 15: Wykład 13

Predykcja Yh(new)

• Yh = β0 + β1Xh + ξh • Var(Yh - )=Var Yh + Var = σ2+Var

• S2(pred)=

(Yh - )/s(pred) ~ t(n-2)

2

22 11

XX

XXn

si

h

hh h

h

Page 16: Wykład 13

data a1; infile ‘../data/ch01ta01.dat'; input size hours;data a2; size=65; output; size=100; output;data a3; set a1 a2; proc print data=a3; proc reg data=a3; model hours=size/cli;run;

Page 17: Wykład 13

Dep Var Predicted Obs size hours Value 27 100 . 419.3861

Std ErrorMean Predict 95% CL Predict 14.2723 314.1604 524.6117

Page 18: Wykład 13

Uwagi• Błąd standardowy (Std Error Mean Predict)na tym wydruku to, s2( ), a nie s2(pred)

• Przedział predykcyjny jest szerszy (często znacznie) niż przedział ufności dla wartości oczekiwanej

h

Page 19: Wykład 13

95% przedział ufności dla E(Yh) i 95% przedział predykcyjny dla Yh

• ± tc s( ) • ± tc s(pred)• gdzie tc = t(.025, n-2)

hh

h

Page 20: Wykład 13

data a1; infile ‘../data/ch01ta01.dat'; input size hours; symbol1 v=circle i=rlclm95; proc gplot data=a1; plot hours*size; run; symbol1 v=circle i=rlcli95; proc gplot data=a1; plot hours*size; run;quit;

Page 21: Wykład 13
Page 22: Wykład 13
Page 23: Wykład 13

Analiza wariancji (ANOVA)

• (Całkowity) rozrzut Y opisujemy za pomocą Σ(Yi – )2

• Rozrzut ten wynika z dwóch przyczyn– Zależności od X (model)– Zakłóceń losowych

Y

Page 24: Wykład 13

ANOVA (Total)

• SST = Σ(Yi – )2 • dfT = n-1• MST = SST/dfT

Y

Page 25: Wykład 13

ANOVA (Total) (2)• MST to zwykły estymator wariancji Y gdy

nie ma zmiennych wyjaśniających• SAS (w wersji angileskiej) używa nazwy Corrected Total

• Nieskorygowana suma kwadratów to ΣYi2

YY

Page 26: Wykład 13

ANOVA (Model) • SSM = Σ( - )2 • dfM = 1 (za nachylenie)• MSM = SSM/dfM

YiY

Page 27: Wykład 13

ANOVA (Error) • SSE = Σ(Yi – )2 • dfE = n-2• MSE = SSE/dfE• MSE jest estymatorem warunkowej

wariancji Y, przy ustalonym X

iY

Page 28: Wykład 13

ANOVA

Source df SS MS Model 1 Σ( - )2 SSM/dfMError n-2 Σ(Yi – )2 SSE/dfETotal n-1 Σ(Yi – )2 SST/dfT

iYiYY

Y

Page 29: Wykład 13

ANOVA (2)

Source df SS MS F P

Model 1 SSM MSM MSM/MSE .nnError n-2 SSE MSETotal n-1

Page 30: Wykład 13

Wartości oczekiwane

• MSM, MSE to zmienne losowe• E(MSM) = σ2 + β1

2Σ(Xi – )2

• E(MSE) = σ2

• Gdy H0 zachodzi, β1 = 0, E(MSM) = E(MSE)

X

Page 31: Wykład 13

Test F • F=MSM/MSE ~ F(dfM, dfE) = F(1, n-2)

• Gdy H0 nie zachodzi, β1 0 i MSM jest zwykle większe niż MSE

• Odrzucamy H0 dla dużych wartości F:• F F(α, dfM, dfE) = F(.05, 1, n-2) • W praktyce używamy p-wartości

Page 32: Wykład 13

Test F (2)• Gdy H0 nie zachodzi, statystyka F ma

niecentralny rozkład F • Jest to podstawą do obliczeń mocy

Przypomnijmy, że t = b1/s(b1) testuje H0

• Można pokazać, że t2 = F• Oba testy zwracają te same p-

wartości

Page 33: Wykład 13

data a1; infile ‘h:/STAT512/ch01ta01.txt'; input size hours;proc reg data=a1; model hours=size; run;

Page 34: Wykład 13

Sum of MeanSource DF Squares SquareModel 1 252378 252378Error 23 54825 2383C Total 24 307203

F Value Pr > F105.88 <.0001

Page 35: Wykład 13

Par StVar DF Est Err t Pr>|t|

Int 1 62.36 26.17 2.38 0.0259size 1 3.57 0.34 10.29 <.0001

Page 36: Wykład 13

Ogólne testy liniowe

Porównujemy dwa modele– Yi = β0 + β1Xi + ξi (model pełny)– Yi = β0 + ξi (model zredukowany)

• Porównujemy za pomocą SSEs: SSE(F), SSE(R)

• F=((SSE(R) - SSE(F))/(dfE(R) - dfE(F)))/ MSE(F)

Page 37: Wykład 13

Prosta regresja liniowa• SSE(R)= Σ(Yi-b0)2= Σ(Yi- )2=SST• SSE(F)=SSE• dfE(R)=n-1, dfE(F)=n-2, • dfE(R )-dfE(F )=1• F=(SST-SSE)/MSE=SSM/MSE

Y

Page 38: Wykład 13

R2 , r2

• r – klasyczny estymator współczynnika korelacji

• r2 = R2 =SSM/SST = 1 – SSE/SST• Rozrzut wyjaśniony i niewyjaśniony

Page 39: Wykład 13

Sum of MeanSource DF Squares SquareModel 1 252378 252378Error 23 54825 2383C Total 24 307203

F Value Pr > F105.88 <.0001

Page 40: Wykład 13

R-Square 0.8215 (SAS) = SSM/SST = 252378/307203

Adj R-Sq 0.8138 (SAS) =1-MSE/MST =1-2383/(307203/24)