Pokok Bahasan :
Review
Regresi Linier Sederhana dan Berganda
Analisis Regresi 2
Tujuan Instruksional Khusus : Mahasiswa dapat menjelaskan regresi linier sederhana dan
berganda dan asumsi-asumsi yang mendasarinya
Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
Regresi Linier Sederhana
Model Regresi Linier Sederhana (1 peubah penjelas)
Model Regresi Linier Berganda ( k peubah penjelas )
Dengan notasi matriks dapat dituliskan :
εxββY 110
penjelas p banyaknyak , 11111
nkknny X
εxβ.....xβxββY kk 22110
Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
Ringkasan Regresi Linier Berganda
Model Regresi Linier Berganda dengan 2 peubah
penjelas :
Model umum Regresi Berganda dengan k peubah
penjelas dalam notasi matriks :
εxβxββY 22110
11111 nkknn
y X
Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
Ringkasan Regresi Linier Berganda
yby HX ˆ
21
10
1101
0100
'
)(ˆ............ ),cov( ),cov(
... ... ...
),(cov ....... )(ˆ ),cov(
),(cov ....... ),(cov )(ˆ
)(ˆ s
bVbbbb
bbbVbb
bbbb bV
bV
kkk
k
k
XX
Nilai dugaan
Matriks dugaan ragam peragam bagi b :
lanjutan
dengan :
s2 = KT sisaan
')'( H XXXX1
Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
KOEFISIEN DETERMINASI
Dugaan simpangan baku
Ringkasan Regresi Linier Berganda
lanjutan
dengan :
s2 = KT sisaanscs jjb j )1)(1(
)'( matriks diagonal 1j keunsur c 1
1)1)(j(j
XX
2
222
'
''R
'
''R
YnYY
YnYXb
YY
YXbadj
Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
Pendugaan model regresi linier
berganda dengan notasi matriks
Notasi Matriks pada Model Regresi Linier Berganda
dengan k = 2
Penduga parameter regresi berganda dg notasi
matriks :
Xy
nny
y
y
.
.
x x1
. . .
. . .
x x1
x x1
.
.
2
1
2
1
0
2n1n
2212
2111
2
1
11)(k)1()1(1)1( ' )'( ybnnkkk XXX
1
Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
Contoh: model regresi linier berganda
dalam notasi matriks
2
1
0
30 2.2 1
25 2.8 1
40 3.9 1
30 3.2 1
20 3.0 1
25 3.4 1
30 3.1 1
2.3
2.5
4.0
2.9
3.0
3.2
3.5
Xy
Data : Model Regresi dalam notasi Matriks :
Xyy x1 x2
3.5 3.1 30
3.2 3.4 25
3.0 3.0 20
2.9 3.2 30
4.0 3.9 40
2.5 2.8 25
2.3 2.2 30
Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
Contoh : Menduga parameter regresi
linier berganda dg matriks
11)(k)1()1(1)1( ' )'( ybnnkkk XXX
1
30 2.2 1
25 2.8 1
40 3.9 1
30 3.2 1
20 3.0 1
25 3.4 1
30 3.1 1
Dugaan bagi parameter regresi :
Dari data contoh tsb. didapat :
30 25 40 30 20 25 30
2.2 2.8 3.9 3.2 3.0 3.4 1.3
1 1 1 1 1 1 1
X’X =
3 x 7
7 x 3
Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
Contoh : Menduga parameter regresi
linier berganda dg matriks
X X
7 0 216 200 0
216 683 626 0
200 0 626 0 5950 0
. . .
. . .
. . .
Dengan perhitungan cara matriks didapat :
0.005 0.028- 0.064-
0.028- 0.760 1.529-
0.064- 1.529- 6.683
)'( 1XX
30 25 40 30 20 25 30
2.2 2.8 3.9 3.2 3.0 3.4 1.3
1 1 1 1 1 1 1
0.005 0.028- 0.064-
0.028- 0.760 1.529-
0.064- 1.529- 6.683
2.3
2.5
4.0
2.9
3.0
3.2
3.5
b =
017.0
898.0
214.0
Dugaan persamaan garis regresinya :
21 017.0898.0214.0ˆ xxy y
lanjutan
(X’X) -1 X’
Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
Pemeriksaan Model Regresi Berganda :
uji-t
Uji-t dimaksudkan untuk menguji pengaruh setiap peubah penjelas secara satu per satu terhadap peubah responnya
0atau
0atau
0 :
0 :
1
0
j
j
j
j
H
H
Peubah penjelas Xj tidak berhubungan linier dg Y
Peubah penjelas Xj berhubungan linier dg Y
Peubah penjelas Xj berhubungan linier positif dg Y
Peubah penjelas Xj berhubungan linier negatif dg Y
Model Regresi Berganda dg 2 peubah penjelas :
εxβxββY 22110
Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
Pemeriksaan Model untuk Regresi
Berganda : uji-t
0atau
0atau
0 :
0 :
1
1
11
10
H
Hscs
s
bjjb
b
jj
j
j
, t )1)(1(hit
Hipotesis :
1.
Statistik uji-nya :
Derajat bebasnya = n – k - 1
Unsur ke (j+1) diagonal (X’X)-1
Akar dari KT sisaan
k = banyaknya peubah penjelas
2.
0atau
0atau
0 :
0 :
2
2
21
20
H
H
lanjutan
Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
Contoh : uji-t dengan notasi matriks
Dengan menggunakan data contoh pada slide
sebelumnya ingin diuji apakah X1 dan atau X2
berpengaruh linier thdp Y
Didapatkan bahwa
Dugaan garis regresi-nya:
Hipotesisnya :
0.005 0.028- 0.064-
0.028- 0.760 1.529-
0.064- 1.529- 6.683
)'( 1XX
21 017.0898.0214.0ˆ xxy
0 :
0 :
1
0
j
j
H
H
Peubah penjelas Xj tidak berhubungan linier dg Y
Peubah penjelas Xj berhubungan linier dg Y
Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
Contoh : uji-t dengan notasi matriks
Statistik uji-nya :
lanjutan
scss
bjjb
b
jj
j
j
, t )1)(1(hit
55.3253.0
898.0t 0.25300.2902 x 76.0s 1,juntuk hitb1
. . . 2 1
467 44 671031 0 08422 S2=
829.00205.0
017.00205.00.2902 x 005.0s 2,juntuk hitb2
t
Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
Contoh : uji-t dengan notasi matriks
Tolak H0Tolak H0
a/2=.025
-tn-3,α/2
Terima H0
0
a/2=.025
-2.776 2.776
d.b. = 7 - 3 = 4 t4,.025 = 2.776
(lanjutan)
tn-3,α/2
Untuk j=1 t hit = 3.55 tolak H0
Untuk j=2 t hit = 0.829 terima H0
KESIMPULAN :
1. Cukup bukti untuk mengatakan
bahwa ada hub linier antara x1 dan Y
2. Tidak cukup bukti untuk mengatakan
bahwa ada hub linier antara x2 dan Y
Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
Contoh : uji-t dengan Minitab
Regression Analysis: Y versus X1, X2
The regression equation is
Y = - 0.214 + 0.898 X1 + 0.0175 X2
Predictor Coef SE Coef T P
Constant -0.2138 0.7502 -0.29 0.790
X1 0.8984 0.2530 3.55 0.024
X2 0.01745 0.02116 0.82 0.456
S = 0.290208 R-Sq = 83.3% R-Sq(adj) = 74.9%
lanjutan
> 0.05
Terima H0
Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
Dengan uji F ini kita dapat mengetahui :
peubah-peubah penjelas yang ada dalam model
berpengaruh secara serempak terhadap respon atau
tidak. (model regresi layak atau tidak)
Penambahan satu peubah penjelas ke dalam model
setelah peubah penjelas lainnya ada dalam model
berpengaruh nyata atau tidak terhadap respon
Penambahan sekelompok peubah penjelas ke dalam
model setelah peubah penjelas lainnya ada dalam
model berpengaruh nyata atau tidak terhadap respon
Pemeriksaan Model
Regresi Berganda : uji-F
Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
Uji Parameter Regresi Linier Berganda :
uji-F untuk model keseluruhan
Sumber
Keragaman
Derajat Bebas (db)
Jumlah Kuadrat (JK) Kuadrat Tengah
(KT)
b1, b2,..,bk| b0 k b’X’Y – Y’11’Y/n
Sisaan n – k-1 Y’Y – b’X’Y
Total
(terkoreksi)n - 1 Y’Y – Y’11’Y/n
k
JKRegresi
sisaan
regresi
hitKT
KTF
k1,2,.....,j ,0satu ada min:
0...:
1
210
j
k
H
H
1-kn
JKsisaan
H0 : peubah respon tidak memp hub linier dg peubah penjelas ke-1 s.d ke-k
H1 : peubah respon memp hub linier dg min 1 peubah penjelas ke-1 s.d ke-k
KRITERIA PENOLAKAN : α1,knk,0 FF jika HTolak
Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
The regression equation isTekanan Darah = 50,5 + 12,8 Ukuran Tubuh + 0,848 Umur
+ 9,11 Merokok
S = 7,88677 R-Sq = 72,6% R-Sq(adj) = 69,6%
Analysis of VarianceSource DF SS MS F PRegression 3 4610,3 1536,8 24,71 0,000Residual Error 28 1741,6 62,2Total 31 6352,0
KESIMPULAN:
Tekanan darah memiliki hubungan linier dg min satu peubah penjelas
KEPUTUSAN:
tolak H0. = 5%
OUT PUT MINITAB : DATA TEKANAN DARAH
a
lanjutan
k1,2,..,j ,0 1 ada min:
0...:
1
210
j
k
H
H
F tabel : F (3,28), 5% =2,95
Uji Parameter Regresi Linier Berganda :
uji-F untuk model keseluruhan
Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
Statistik uji-nya:
Keputusan:
Kesimpulan:
Tolak H0
Cukup bukti untuk mengatakan
bahwa minimum ada satu peubah
penjelas yg berhubungan linier dg Y0
a = .05
F.05 = 2,95Tolak H0Terima H0
F
1,2,3j ,0satu ada min:
0:
1
3210
jH
H
71,24KT
KTF
sisaan
regresi
hit
Uji Parameter Regresi Linier Berganda :
uji-F untuk model keseluruhan
F tabel : F (3,28), 5% =2,95
lanjutan
Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
Uji-F Parsial dan uji-F Sekuensial
Terhadap semua peubah penjelas yang tersedia :
Diuji peubah penjelas apa yg berpengaruh nyata thd respon.
Dari yang ada dalam model, usahakan yang dipakai hanya
peubah penjelas yang keberadaannya dalam model menyum-
bangkan keragaman kepada garis regresi cukup besar
Jika suatu peubah penjelas keberadaannya dalam model
sudah dapat diwakili oleh yg lainnya, maka peubah penjelas
tsb tidak perlu lagi digunakan dlm model
Lebih disenangi model yang memiliki banyaknya peubah
penjelas yang lebih sedikit.
PADA ANALISIS REGRESI LINIER BERGANDA :
Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
0:
Y model dalam 0:
21
2211020
H
xxH
Sumber
Keragaman
Derajat Bebas (db)
Jumlah Kuadrat (JK)Kuadrat Tengah
(KT)
b1, b2 | b0 2 b’X’Y – Y’11’Y/n
Sisaan n – 3 Y’Y – b’X’Y
Total
(terkoreksi)n - 1 Y’Y – Y’11’Y/n
3-nJKsisaan
Apakah penambahan X2 ke dalam model
berpengaruh terhadap YεxββY 110
sisaan
b,b|b
hitKT
KTF 102102 b,b b 1 01021 b |bb |b,b JKJK
sisaan
b,b |b
JK
JK10 2
Pemeriksaan Model
Regresi Berganda : uji-F
Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
KOEFISIEN DETERMINASI BERGANDA
Proporsi keragaman pada Y dijelaskan oleh
semua peubah X secara bersama-sama
yyyy
yy
SS
SSE
SS
SSESSR
1
Keragaman Total
dijelaskan ygKeragaman 2
Pemeriksaan Model Regresi Berganda :
KOEFISIEN DETERMINASI BERGANDA
Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
R2 besarnya tidak pernah turun ketika peubah X
ditambahkan ke dalam model
Hanya nilai Y yang menentukan besarnya SSyy
Tidak ada gunanya kalau membandingkan model yg satu dg yg
sdh ditambah peubah penjelasnya.
Solusi: Adjusted R2
Setiap penambahan peubah penjelas akan menurunkan nilai
adjusted R2.
22 1
1
11 R
SSyy
SSE
SS
SSE
kn
nR
yya
Pemeriksaan Model Regresi Berganda :
Adjusted R2
Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
Validitas Model
PRESS = Prediction Sum of Squares, adalah prosedur yang
merupakan kombinasi dari: semua kemungkinan regresi,
analisis sisaan, dan teknik validasi.
Digunakan untuk mengukur validitas model.
2i,-i
2
,
e
ˆPRESS
iii yy
2
2 PRESS1R
yyi
PRED
yi : nilai respon pada x=xi (data lengkap)
: nilai ramalan y pd x=xi yg diramal
melalui dugaan persamaan regresi
dari data tanpa amatan ke-i
Model valid jika memiliki PRESS yg kecil
iiy ,ˆ
2
1 1
n
i ii
i
h
e=
R2pred adalah statistik la-
innya yg berhub dg PRESS. Model valid jika R2
pred besar.
Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
(lanjutan)PROSEDUR PRESS
Mis. k adalah banyaknya peubah dalam suatu persamaan regresi,
n adalah banyaknya amatan
kyy 11ˆ
nknkk yyyyyy ˆ ..., ,ˆ ,ˆ3322
2
1
ˆ
n
i
iki yyPRESS
Langkah-langkahnya:
1. Sisihkan amatan ke-1, amatan ke-1 tidak digunakan, data tinggal n-1.
2. Dugalah semua ”kemungkinan model regresi” thdp n-1 data tersebut. (jika
k=1 banyaknya ”kemungkinan model” hanya 1)
3. Ramal y1 dengan model yang didapat pd no.2. (lakukan untuk semua
kemungkinan model hanya 1 jika k=1)
4. Hitung perbedaan y1 yg disisihkan tadi dengan hasil no.3.
5. Ulangi langkah 1-4 dengan menyisihkan amatan ke-2, ke-3,...., ke-n.
Didapat
6. Untuk setiap model regresi yang mungkin hitung :
7. Pilih model yang relatif memiliki nilai PRESS terkecil, dan melibatkan
peubah penjelas sedikit.
Validitas Model
Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
(lanjutan)
Y XDugaan Garis Regresi dg Data tanpa
amatan ke-i
ramalan Yi tnp
amatan ke-i ei,-i e i,-i kuadrat
7,46 10 Y tnp 1 = 3,01 + 0,505 X tnp 1 8,06 -0,6 0,36
6,77 8 Y tnp 2 = 3,05 + 0,497 X tnp 2 7,026 -0,256 0,06553
12,74 13 Y tnp 3 = 4,01 + 0,345 X tnp 3 8,495 4,245 18,02003
7,11 9 Y tnp 4 = 3,04 + 0,500 X tnp 4 7,54 -0,43 0,18490
7,81 11 Y tnp 5 = 2,95 + 0,514 X tnp 5 8,604 -0,794 0,63043
8,84 14 Y tnp 6 = 2,46 + 0,577 X tnp 6 10,538 -1,698 2,88320
6,08 6 Y tnp 7 = 2,97 + 0,502 X tnp 7 5,982 0,098 0,00960
5,39 4 Y tnp 8 = 2,72 + 0,526 X tnp 8 4,824 0,566 0,32035
8,15 12 Y tnp 9 = 2,84 + 0,528 X tnp 9 9,176 -1,026 1,05267
6,42 7 Y tnp 10 = 3,03 + 0,498 X tnp10 6,516 -0,096 0,00921
5,73 5 Y tnp 11 = 2,88 + 0,511 X tnp11 5,435 0,295 0,08703
Total = PRESS = 23,6229
Contoh Proses PRESS, untuk n=11 dan k=1
Validitas Model
Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
Output Minitab untuk data contoh tsb
(lanjutan)
The regression equation isY = 3,00 + 0,500 X
Predictor Coef SE Coef T PConstant 3,002 1,124 2,67 0,026X 0,4997 0,1179 4,24 0,002
S = 1,23631 R-Sq = 66,6% R-Sq(adj) = 62,9%
PRESS = 23,6210 R-Sq(pred) = 42,70%
Analysis of VarianceSource DF SS MS F PRegression 1 27,470 27,470 17,97 0,002Residual Error 9 13,756 1,528Total 10 41,226
• Hasil PRESS melalui proses
= hasil Minitab
• Untuk k=1 hanya ada 1 model
• Amatan ke-3 memberikan
simpangan ramalan terbesar
• Amatan ke-3 dapat dipandang
sebagai amatan berpengaruh
• Dugaan parameter regresi
tanpa amatan ke-3 sangat
berbeda dg lainnya dugaan
yg ini relatif yg benar/baik
Keluarkan amatan ke-3 dari analisis. Cek nilai PRESS-nya. Cek nilai R2nya
Validitas Model
Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
The regression equation is
Y tnp 3 = 4,01 + 0,345 X tnp 3
Predictor Coef SE Coef T P
Constant 4,00619 0,00221 1811,78 0,000
X tnp 3 0,345334 0,000237 1454,74 0,000
S = 0,00308655 R-Sq = 100,0
PRESS = 0,000174853 R-Sq(pred) = 100,00%
Analysis of Variance
Source DF SS MS F P
Regression 1 20,161 20,161 2116264,34 0,000
Residual Error 15 0,000 0,000
Total 16 20,161
Output Minitab data lengkap Output Minitab data tanpa amatan ke-3
The regression equation is
Y = 3,00 + 0,500 X
Predictor Coef SE Coef T P
Constant 3,002 1,124 2,67 0,026
X 0,4997 0,1179 4,24 0,002
S = 1,23631 R-Sq = 66,6%
PRESS = 23,6210 R-Sq(pred) = 42,70%
Analysis of Variance
Source DF SS MS F P
Regression 1 27,470 27,470 17,97 0,002
Residual Error 9 13,756 1,528
Total 10 41,226
(lanjutan)
Menyisihkan amatan ke-3 mempengaruhi dugaan parameter, menurunkan nilai PRESS
Dari sisi model, “persamaan tanpa amatan ke-3” yg terbaik.
R-Sq(pred)=100,00% model sangat valid PELUANG salah memprediksi = 0
Validitas Model
Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
X
Y
15,012,510,07,55,0
13
12
11
10
9
8
7
6
5
4
Fitted Line PlotY = 3,002 + 0,4997 X
X tnp 3
Y t
np
3
15,012,510,07,55,0
9
8
7
6
5
Fitted Line PlotY tnp 3 = 4,006 + 0,3453 X tnp 3
(lanjutan)
Dugaan garis regresi dg data lengkap
PRESS = 23,6210 R-Sq(pred) = 42,70%
Dugaan garis regresi tanpa amatan ke-3
PRESS = 0,000174853 R-Sq(pred) = 100,0%
Semakin kecil nilai PRESS-nya model semakin valid semakin baik untuk
memprediksi. Setiap 1 model regresi thdp 1 set data memiliki 1 nilai PRESS
Validitas Model
Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
ASUMSI ASUMSI YANG HARUS DIPENUHI DALAM ANALISIS REGRESI BERGANDA :
1. Kondisi Gauss-Marcov
siautokorela adabebas/tdk saling ji ,0][ 3.
)ticity homoscedas (
xnilai setiapuntuk homogen sisaan ragam ,][var ]E[ 2.
nol sisaan taan harapan/ra-nilai 0][ .1
22
i
sisaanE
E
ji
i
3. Galat bebas terhadap peubah bebas,
2. Galat menyebar Normal
i ,0),cov(xi j
4. Tidak ada multikolinieritas pd peubah bebas, ji ,0)x,cov(x ji