anreg kelompok 5

5/22/2018 ANREG KELOMPOK 5

1/44

Regresi dalam lambangmatriks

Kelompok:

Faiz. H (3125100128)

Dina. Oktasari (3125102314)

Antoni. Ahmad (3125102334)Ristasari. Belina

(3125102327)


2/44

Regresi dalam lambang matriks

Y1dan X1pengamatan yang dilakukan pada y dan xdengan galat 1. Bila diambil pengamatan sebanyak nmaka persamaan ini dapat ditulis sebagai

Y1= 0+ 1X1+ 1

Y2= 0+ 1X2+ 2

Yn= 0+ 1Xn+ n


3/44

Dalam lambang matriks ditulis menjadi

Misalkan Y = , = , X = , dan =

Atau dapat disederhanakan penulisannya menjadi

Y = X +


4/44

Model regresi umum yang mengandung k

peubah bebas dapat ditulis sebagaiY = 0+ 1X1+ 2X2 + . + kXk+

Bila pengamatan mengenai Y, X1, X2, , Xkdinyatakan masing-masing dengan Yi, Xi1, Xi2, ,Xikdan galatnya i, maka persamaannyamenjadi

Yi= 0+ 1Xi1+ 2Xi2+ . + kXik+ ii=1,2,..,n


5/44

dalam lambang matriks menjadi

= +

dapat juga ditulis

Y = X+

Dalam bentuk umum Y merupakan vectorrespons nx1, X menyatakan matriks peubahbebas ukuran nx(k+1), vektor parameterukuran (k+1)x1 dan vektor galat ukuran nx1.

Ada sebanyak k+1 parameter yang harusditaksir dari data termasuk 0. Taksirannya akanditulis dalam bentuk persamaan umum = Xb,dengan b = , vector taksiran dari .


6/44

Vector dan matriks peubah acak

Z =

Nilai harapan Z didefinisikan sebagai

E (Z) =


7/44

Misalkan W =

Maka variansi dari W didefinisikan sebagaiE([W-E(W)] [W-E(W)]')

=


8/44

Teorema

Bila A dan B dua matriks tetapan (semua unsurnya

tetapan) dan W vector peubah acak maka

1. E(AW) = AE(W)

E(AWB) = AE(W)B

2. Bila Z = AW

maka

Bukti :

1. Sifat ini dibuktikan dengan menuliskan perkalian AW

dalam bentuk matriks, kemudian gunkaan definisi nilaiharapan.


9/44

2. Menurut definisi

E[(Z-E(Z)) (Z-E(Z))']

= E[(AW-AE(W) (AW-AE(W))']= A[E(W)-E(W)) (W-E(W))'] A

=

5 3 M t d k d t t k il


10/44

5.3 Metode kuadrat terkecil

dengan matriks

vector b = (b0, b1, , bk) , taksiran dari vectorparameter =( 0, 1, , k) , yang meminimumkan

bentuk kuadrat


11/44

kita ingin mencari b0, b1, bk yangmeminimumkan jumlah kuadrat galat

Seperti hal nya dengan regresi linier

sederhana , turunkan J secara parsialterhadap 0 , 1, 2, , k dan samakan

dengan nol .

Jadi


12/44

Setelah disusun kembali dan ganti semua parameter dengan

penaksirannya , system persamaan ini dapat ditulis sebagai

...............................


13/44

Persamaan tsb disebut persamaan normal. Jika ditulis dalam lambing

matriks maka bentuknya menjadi

Bila Y= (y1, y2, ,yn), dan b= (b0,b1, b2, ,bk)

. Bila X X tidak singular , maka

Cara kedua A = Q R


14/44

Contoh 5.2 Pandang matriks

Dengan pengortogonalan Gram-Schmidt , misalnya , dapat dicari Q

dan R sehingga A = QR , Q Q = dan R matriks segi-tiga . Matrikstersebut adalah

Matriks A sesungguhnya tidak perlu bujur sangkar seperti terlihat dari

contoh berikut.Pandang Dalam hal ini


15/44

Pandang kembali peminimuman persamaan

J = YY 2YQR + RQQR= (YY Y QQ Y) + (Y QQ Y 2YQR +

RR)

= Y( - QQ)Y + (QY R)(QY R)J akan minimum jikaatau


16/44

=

=Conth 5.3 Misalkan p=3 serta

Maka dari persamaan (5.19), dengan mengganti dengan b diperoleh

Atau 3b2 = -12 , sehingga diperoleh

b2 = -4,

b1 = 5,

b0 = 30.


17/44

5.4 Sifat taksiran kuadrat

terkecil

Sifat penaksir

1. Takbias

2. Variansi minimum


18/44

Teorema Gauss-MarkovPenaksir kuadrat terkecil mempunyai variansi

terkecil dalam himpunan semua penaksir linier takbias.

Bukti

Misalkan b. penaksir linier lain dari yang juga takbias. Karena b.

penaksir linier maka dapat dimisalkan bentuknya sebagai

Untuk suatu matrik U yang merupakan fungsi dari X.

Jadi


19/44

Karena

Contoh 5.4 Untuk k=1 (regresi linier sederhana)dan


20/44

Unsur pada diagonal dari kiri atas ke kanan bawah adalah masing-

masing var(b0) dan var(b1), sedangkan yang lainnya adalah kov(b0,

b1). Atau,


21/44

Dari contoh ini terlihat jelas bahwa matriks variansi b tidak tergantung

pada respons Y, tapi sangat dipengaruhi oleh struktur matriks X, yaitu

rancangan percobaan.

*Akibat 1

Dari diperoleh

*akibat 2


22/44

Misalkan Y N (X, 2I), peubah ganda normal dan misalkanfungsi kemungkinan dari pengamatan y

dengan menurunkan terhadap 2 kemudian

menyamakannya dengan 0,

Maka diperoleh hasil tambahan


23/44

5.5 Pengujian Hipotesis Linear Umum di

dalam Regresi

Peneliti seringkali mempostulatkan modelyang lebih umum daripada yang mereka kira

perlukan. Misalnya seorang peneliti

menyelidiki hubungan antsra responsdengan dua peramalX1danX2dan iatelah

memperoleh data (Y1,X1, X2) i= 1, 2, ,n. Iamemperkirakan bahwa meskipunX

1

danX2

keduanya mempengaruhi Y, peramal tunggal

yang sesungguhnya paling berpengaruh

adalah selisihX1X2.Bila keduaXitu

dibutuhkan, berarti ia ingin menggunakan


24/44

Namun jika kecurigaannya benar, berarti model

Sudah cukup baik.

Suatu hipotesis linear mungkin saja terdiri atas lebih dari

satu

pernyataan tentang . Sekarang akan disampaikan

teladan

beberapa hipotesis linear lainnya, dijelaskan bagaimana

cara

mengujinya, dan diilustrasikan prosedurnya dengan

ilustrasi

0 1 1 2 2 (1)Y X X e

0 1 2( ) (2)Y X X e


25/44

Teladan 1. Model :

(dua fungsi liear yang bebas)(yang dimaksud dengan bebas adalah bebas linear,

artinya pernyataan yang satu tidak dpat diperoleh

sebagai suatu kombinasi linear pernyataan-

pernyataan lainnya dalam grup tersebut)

Teladan 2. Model :

:

(fungsi linear yang semuanya

bebas)

0 1 1 2 2E Y X X

0 1: 0H

2 0

2 0

0 1: 0H

0 1 1 2 2 k kE Y X X X

0i


26/44

Teladan 3. Model :

:

(fungsi linear yang semuanya

bebas)Perhatikan bahwa ini tidak lain adalah suatu hipotesis

misalnya

Teladan 4. (Bentuk Umum)

: : :

0 1 1 2 2 k kE Y X X X

0 1 2: 0H

2 3 0

1 0k k

0 1 2 2:

kH

0 1 1 2 2 k kE Y X X X

0 10 0 11 1 12 2 1: 0

k kH c c c c

0 0 0 1 1 2 2: 0

m m m mk k H c c c c


27/44

Pengujian Hipotesis Linear Umum

Misalkan model yang dipostulatkan yang diasumsikan benar,

adalah

Dengan vektor Y berukuran (n x 1) matrik X berukuran (n x p)

dan

vektor berukuran (p x 1). Bila XXtidak singular kita dapat

menduga dengan

Jumlah kuadrat sisa untuk analisis ini adalah

Jumlah kuadrat ini memiliki np derajat bebas. Hipotesislinear

yang akan diuji yaitu

E Y X

1 '

( ' )b X X X Y

' ''JKS Y Y b X Y

0: 0H C


28/44

Asumsi bahwa menyatakan m buah persamaan

yang hanya

q diantaranya yang bebas. Kita dapat menggunakan q

persamaan

yang bebas itu untuk mencari jawaban bagi q parameter

diucapkan

sebagai fungsi pq parameter lainnya. Pensubstitusianjawaban itu

kembali ke model semula menghasilkan model tereduksi

misalnya

Sekarang kita dapat menduga vektor partameter dalam

model baru

ini dengan

Kalau ZZtidak sin ular dan da at mem eroleh umlah

0C

E Y Z

1 '( ' )a Z Z Z Y

' ''JKW Y Y a Z Y


29/44

Uji hipotesis sekarang dapat dilakukan dengan

menghitung

nisbah

Uji yang layak bagi Teladan 1 dan 2 adalah bentuk khusus uji

ini.

Model tereduksi dalam kedua kasus ini adalah:

Dengan 1 = (1, 1, ..., 1)adalah vektor yang semua unsurnya

satu.Cara lain menuliskan model ini adalah

( ) /

/ ( )

JKW JKS q

JKS n p

0: 0H C

01E Y

0( ) , 1, 2, ,iE Y i n


30/44

Karena dengan (n1) derajat bebas,sedangkan

dengan (nk - 1) derajat bebas. Dengan

demikian

nisbah untuk uji adalah

2

'

0 ,b Y JKW Y Y n Y

'' 'JKS Y Y b X Y

2

'

' '

' '

1

b X Y nY

kY Y b X Y

n k

0 1 2 , 0

k


31/44

TELADAN: Diberikan model ujilah hipotesis

bila

X = dan

Jawab: Pertama-tama kita hitung JKS berdasarkan model

mula-mula

kita peroleh

E Y X0: 0H C

' (1,4,8,9,3,8,9)Y

'

0 1 2 11( , , , ) 1 1 1 1

1 1 1 1

1 1 1 1

1 1 1 1

1 0 0 0

1 0 1 0

1 0 2 0

0 0 0 1

0 1 1 0

0 1 1 1

0 2 2 3

20 1 1 2 2 1 11E Y X X X

1

' 1

1 1 102 6 2

7 0 3 4 10 0 0

0 4 0 0 4( )

1 1 13 0 9 00

6 6 64 0 0 4

1 1 30

2 6 4

X X


32/44

JKS = 316312,33 = 3,67

Persamaan-persamaan untuk hipotesis nol adalah

' ' 1 '

11

42 3

4 1( )

38 3

22 11

6

X Y b X X X Y

' ' '312.33b X Y

'

316Y Y

0: 0H C

1 0

1 2 0 1 2 11

0

1 2 112 2 3 0


33/44

Hipotesis nol ini secara lebih singkat dapat ditulskan sebagai

, misalnya, katena persamaan yang ketiga

dan

keempat mempunysi kombinasi linear persamaan yang

pertama dan

kedua. Dengan mensubstitusikan syarat itu ke dalam model

maka

diperoleh model tereduksian

dengan

, dengan demikian

Z =

1 11 1 2: 0, 0H

0 1 2 0E Y X X Z

0 0 1 2, ,Z X X

1 ( 1 1)) 1 2

1 (1 1) 1 0

1 ( 1 1) 1 0

1 (1 1) 1 2

1 (0 0) 1 0

1 (0 1) 1 1

1 (0 2) 1 2

1

' 142 7 3 13 31, '42 3 13 3 782

Z Y Z Z


34/44

JKW = 316301,17 = 14,83

Selanjutnya dalam kasus ini p = 4, q = 2, n = 7, np = 3sehingga

JKWJKS = 14,833,67 = 11,16 = JK yang berasal darihipotesis.

Statistik uji untuk H0dengan demikian adalah

(11.16/2)/(3.67/3) =

4.56. Karena F(2, 3, 0.95) = 9,55, kita tidak dapat menolak H0

Karena

model semula adalah dan hipotesis

nol

yang tidak ditolak berimplikasi bahwa maka

model

an lebih masuk adalah .

1 ' '1021

' , 301,17441

a Z Z Z Y aZ Y

20 1 1 2 2 1 11E Y X X X 11 1 2

0, 0

0 1 2E Y X X


35/44

5.6 Perubahan Jumlah Kuadrat Regresi

Pandanglah bentuk

Bentuk diatas adalah pengelompokan dari

dengan

Denganx0suatu vektor yang semunya unsurnya. Dengan

demikian

penaksir kuadrat terkecil dari parameter dan adalah

atau

1 1 2 2Y X X e

0 1 1 1 1k q k q k q k q k k Y x x x x c

2 2E b

1 2

1( ' ) 'b X X X Y

1' '

1 1 1

1 2' '2 2 2

b X Xb X X Y

b X X


36/44

Misalkan

Dan

maka

1' ' '

1 1 1 1 1

' ' '

2 1 2 2 2

X X X X X Y

X X X X X Y

1

'

1 1 1 1 1'H X X X X

' ' ' 1 ' ' ' '

2 2 1 1 1 1 1 2 2 2 2 1 2( )D X X X X X X X X X X X H X

'

2 1 2(1 )X H X

1 1' 1 ' 1 ' ' 1 ' '

'1 1 1 2 2 1 1 1 2 1 1 11

'11 ' ' 1 2

2 1 1 1

1X X X X D X X X X D X X X X X Yb

X YD X X X X D

1 1

' ' ' ' 1 '

1 1 1 1 1 1 2 2 1

1 '

2 1

(1 )Y

(1 )

X X X Y X X X X D X H

D X H Y

Sehingga


37/44

Sehingga

BilaX1ortogonalX2, yaituX1danX2tidak berkorelasi, maka

bentuk

dapat disederhanakan menjadi

Tetapi

Sehingga

' 1 '

1 1 1

1 ' ' ' 1 '

2 2 1 1 1 1

( )

( ( ) )

X X X Y

b D X X X X X X Y

' 1 '

1 1 1

1 '

2

( )X X X Yb

D X Y

1

1 1 ' ' ' 1 ' ' ' 1 '

2 2 2 2 1 1 1 1 2 2 2 2 2( ) ( )D X Y X X X X X X X X X Y X X X Y

' 1 '

1 1 1

' 1 '

2 2 2

( )

( )

X X X Yb

X X X Y


38/44

Misalkan JKR adslah jumlah kuadrat regresi untuk model

(5.41) maka

Tetapi menurut (5.43)

Dan

Sehingga


39/44

Sekarang misalkan dikeluarkan dari model, jadi kita

memandang

Model

Perhatikan bahwa koefisien regresi pada persamaan

(5.48) tidak

perlu sama dengan pada persamaan (5.41). misalkan

jumlah

kuadrat regresi akibat model terakhir ini kita nyatakan dengan

JKR1

Maka

Dengan demikian pengurangan jumlah kuadrat regreai akibat

pengeluaran faktorX2dari model (5.41) diperoleh dengan

2

1 * ' ' ' '

1 1 1 1 1 1

( )( )

yJKR b X Y Y X X X X Y

n

' 1 '

1 1 2 1 1( ) ( )JKR JKR Y I H X D X I H Y


40/44

Mengingat

maka (5.50) dapat pula ditulis sebagai

BilaX1dan X2ortogonal maka

Jumlah kuadrat ini sama dengan JKR2, jika JKR2menyatakan

jumlah

kuadrat regresi bila hanyaX2yang ada dalam model. Ini

berartibahwa jikaX1danX2ortogonal maka urutan pemasukan

peubah

bebas kedalam moel tidak mempengaruhi jumlah kuadrat

regresi

1 '

2 2 1( )b D X I H Y

'

1 2JKR JKR b Db

' ' ' ' '

1 2 2 2 2 2 2 2 2( )JKR JKR b X X b Y X X X X Y


41/44

Uji-F SebagianJika di bab yang lalu ttelah kita lihat bahwa penambahan suatu peubah bebas ke

dalam persamaan regresi menaikkan jumlah kuadrat regresi dan sebaliknya.Makin besar pengaruh peubah bebas yang ditambahkan/dibuang makin besar

pula penambahan/pengurangan jumlah regresi yang diakibatkannya. Maka uji-

Finiialah sebuah acuan untuk memutuskan kapan suatu

penambahan/pengurangan jumlah kuadrat regresi disebut besar atau kecil, yaitu

berarti atau tidak. Dengan kata lain, kita membutuhkan suatu pembanding yanguntungnya dengan mudah tersedia, yaitu s2penaksir . Sebelum kita

membahasnya secara lebih umum mari kita tinjau kembali persamaan berikut :

Kita ingin misalnya membandingkan model ini dengan

* *

0 1 1Y x c

0 1 1 2 2Y x x c

H l h l k i d l ji


42/44

Hal-hal yang terkait dalam uji-

F JKR JKS

JKR1 JKS1 Dk JKR dan JKR1

Dk JKS dan JKS1 F-Hitung


43/44

JKR =

JKS =

Dk (JKR - JKR1) = 2-1 = 1 Dk (JKS1- JKS ) = 2-1 = 1

F-Hitung

( )iy y

2( )

iy y

1JKS JKS / 1/ ( 3)

FJKS n


44/44

Contoh

H0: = 0H1:

pada tabel 4.5 kita telah peroleh JKR = 3329,7674

dimana JKR1= 2880,3850 sedangkan JKS = 0,0246

dengan dk = 20-3 = 17.Jadi

= 3,11 x 105

Nilai F sebesar ini jelas menyebabkan penolakan

H0sehingga kita meyakini model

22 0

3329,7674 2880,3850 /10,0246 /17

F

0 1 1 2 2Y x x c

1JKS JKS / 1/ ( 3)

FJKS n

anreg kelompok 5

Documents