pcr dan gulud
Post on 06-Mar-2016
31 Views
Preview:
DESCRIPTION
TRANSCRIPT
PCR (Principle Component Regression)
PCR merupakan salah satu metode dalam pemilihan model terbaik dengan berusaha mempertahankan seluruh variabel independen karena terjadi multikolinieritas. Dasar dari PCR adalah centering dan scalling.Dari data yang tersedia, maka dilakukan metode PCR dengan langkah-langkah sebagai berikut:1. Memeriksa apakah antar variabel prediktor terjadi kolinier/multikolinier apa tidak. Diperoleh output minitab sebagai berikut:
Regression Analysis: Y versus X1; X2; X3; X4; X5; X6The regression equation isY = 9,32 + 0,00019 X1 - 0,0407 X2 + 0,00049 X3 - 0,0599 X4 + 0,100 X5+ 0,0082 X6Predictor Coef SE Coef T P VIFConstant 9,320 5,753 1,62 0,115X1 0,000193 0,002112 0,09 0,928 2,986X2 -0,040681 0,009808 -4,15 0,000 4,354X3 0,000492 0,001451 0,34 0,737 5,582X4 -0,05990 0,05940 -1,01 0,321 1,830X5 0,100428 0,009408 10,67 0,000 8,600X6 0,00822 0,01088 0,76 0,456 3,681S = 0,268546 R-Sq = 97,9% R-Sq(adj) = 97,4%Analysis of VarianceSource DF SS MS F PRegression 6 102,117 17,019 236,00 0,000Residual Error 31 2,236 0,072Total 37 104,353
Berdasarkan output diatas diketahui bahwa P-value sebesar 0,000 < 0,05 (pada uji overall) dan R-Sq 97,9%, menunjukkan bahwa model regresi sudah baik atau sudah sesuai, namun pada uji individu terlihat bahwa P-value untuk dan lebih besar dari 0,05 sehingga parameter dan tidak signifikan. Ini mengindikasikan adanya multikolinieritas. Saat diperiksa VIF, ternyata diketahui bahwa VIF untuk sebesar 8,600 > 5 sehingga bisa disimpulkan data tersebut multikolinier.2. Diketahui bahwa data multikolinier, maka untuk memilih model terbaik dilakukan metode Principle Component Regression (PCR). Langkah berikutnya adalah melakukan standarisasi data variabel independen dengan rumus:
Sehingga diperoleh nilai sebagai berikut:
-0,9509-0,502160,1729370,228232-0,363370,504807
-1,162690,507146-0,886661,08358-0,2282-0,14763
-0,65246-0,5703-0,516450,069098-0,532690,438022
-1,06219-0,69593-0,121340,1486650,090091-0,199
0,875716-0,360560,2000561,143255-0,38226-0,37367
-1,09901-0,69486-0,430081,1929850,182382-0,05131
-0,19844-0,01454-0,03637-0,50776-0,37064-0,4777
-0,646930,411326-0,86274-2,77543-1,018120,091255
-0,259620,41239-0,59544-1,751-0,69838-1,38829
1,084180,146224-0,136780,397313-0,367-0,52008
-0,638340,847839-0,94382-0,38841-0,964350,622965
-0,183770,792476-0,85592-1,18409-0,62207-0,48541
-0,515980,818028-0,90057-0,37847-1,346591,032664
-0,21782-0,10717-0,51172-0,54755-0,800110,064284
1,122108-1,150541,1616051,0239051,336378-0,81291
-0,10044-0,663990,5613670,8349320,372777-0,58045
-1,245190,496499-0,89389-0,756410,1562210,235099
-0,34212-0,33607-0,22092-0,85587-0,241280,566454
-0,613150,080214-0,42160,685744-0,147540,205559
-0,33797-0,29455-0,400741,0537420,05303-0,3223
-0,989940,429425-0,634241,073634-0,393890,507376
-0,781750,155806-0,566370,029314-0,480370,89781
-1,184831,346103-0,9587-0,12982-0,649691,172655
-0,823550,06318-0,270570,238178-0,058150,823319
0,171148-0,357360,4110290,91450,4883220,590857
-0,643881,544131-0,91684-1,26365-1,567511,564374
-1,220273,654301-1,00988-1,63165-2,145962,573853
0,6481510,71582-0,9797-0,62712-0,834271,67611
-0,863141,88376-0,91461-1,57198-0,994141,746748
1,519656-0,991910,6252010,7155821,315304-0,73328
1,519656-0,990841,1088961,0636881,353819-0,94519
1,459581-0,948252,7118490,208341,462824-1,56552
0,963476-0,40740,9395060,6857440,801529-0,40963
1,444908-1,004680,467632-1,293490,767374-0,86942
1,519656-0,965291,6711670,6360141,643045-1,14555
1,519656-1,151611,6955051,0239051,913377-1,58094
1,519656-1,134572,7286760,5962312,027468-1,46406
1,366838-0,962090,5304930,6161231,242634-1,24187
3. Kemudian membuat matrik korelasi antar variabel independen yang diperoleh dari output Minitab sebagai berikut.
1-0,6190,7930,3230,750-0,684
-0,6191-0,713-0,586-0,8340,798
0,793-0,71310,4740,883-0,727
0,323-0,5860,47410,599-0,389
0,750-0,8340,8830,5991-0,795
-0,6840,798-0,727-0,389-0,7951
4. Menentukan eigen value, proportion, cumulative, dan eigen vector dari output Minitab sebagai berikut.
Principal Component Analysis: Z1; Z2; Z3; Z4; Z5; Z6 Eigenanalysis of the Correlation MatrixEigenvalue 4,3809 0,7632 0,4033 0,2056 0,1640 0,0830Proportion 0,730 0,127 0,067 0,034 0,027 0,014Cumulative 0,730 0,857 0,925 0,959 0,986 1,000Variable PC1 PC2 PC3 PC4 PC5 PC6Z1 0,395 -0,422 0,484 -0,640 -0,147 0,035Z2 -0,427 -0,146 0,493 0,056 0,706 0,229Z3 0,434 -0,176 0,359 0,604 0,099 -0,527Z4 0,302 0,852 0,257 -0,238 0,228 -0,092Z5 0,458 0,023 0,052 0,361 -0,045 0,809Z6 -0,416 0,208 0,571 0,190 -0,645 0,072
Dari output minitab tersebut diketahui bahwa eigen value dari , sehingga yang digunakan sebagai variabel baru adalah, didapatkan 5. Langkah selanjutnya adalah mensubtitusikan variabel ke persamaan sehingga diperoleh hasil sebagai berikut:CasePC1
1-0,39363
2-0,77648
3-0,64367
4-0,00612
50,912325
60,141096
7-0,21233
8-2,14804
9-0,80819
100,474708
11-1,84192
12-1,22302
13-2,10458
14-0,82092
152,698101
161,151831
17-1,34649
18-0,69214
19-0,40541
200,294948
21-0,91688
22-1,20577
23-2,28346
24-0,76691
250,652619
26-3,06191
27-5,02701
28-1,74357
29-3,19895
302,418705
312,839098
323,542531
331,706881
341,525192
353,158868
363,671064
373,986663
382,452764
6. Kemudian melakukan regresi antara variabel dengan variabel . Dari output minitab didapatkan hasil sebagai berikut.
Regression Analysis: Y versus PC1 The regression equation isY = 7,22 + 0,769 PC1Predictor Coef SE Coef T PConstant 7,22289 0,07905 91,37 0,000PC1 0,76851 0,03826 20,09 0,000S = 0,487303 R-Sq = 91,8% R-Sq(adj) = 91,6%Analysis of VarianceSource DF SS MS F PRegression 1 95,804 95,804 403,44 0,000Residual Error 36 8,549 0,237Total 37 104,353
Dari output di atas diketahui informasi bahwa:a. P-value pada uji overall sebesar 0,000 < 0,05. Dengan hipotesis sebagai berikut,
maka disimpulkan tolak Jadi minimal ada satu yang signifikan. b. Kemudian dilakukan uji individu untuk dengan hipotesis:
Dari output minitab di atas diketahui P-value adalah 0,000 < 0,05. Sehingga tolak Jadi signifikan terhadap model regresi.c. Lalu dilakukan uji individu untuk dengan hipotesis:
Dari output minitab di atas diketahui P-value adalah 0,000 < 0,05. Sehingga tolak Jadi signifikan terhadap model regresi.Kedua parameter ternyata signifikan terhadap model regresi, selain itu dari output tersebut diketahui R-Sq = 91,8% > 75%, sehingga dapat disimpulkan bahwa model regresi merupakan model regresi yang sudah sesuai dan merupakan yang terbaik.7. Langkah selanjutnya adalah menentukan model regresi tersebut dalam variabel dengan mensubtitusikan nilai
8. Langkah terakhir adalah menentukan model regresi tersebut dalam variabel dengan mensubtitusikan nilai
9. Jadi model regresi terbaik dengan metode PCR (Principle Component Regression) adalah
Regresi Gulud (Ridge Regression)
Regresi gulud adalah salah satu metode yang digunakan untuk mengatasi multikolinieritas dengan cara memodifikasi metode kuadrat terkecil, sehingga dihasilkan penduga koefisien regresi lain yang bias namun mempunyai varian yang lebih kecil daripada regresi linier berganda.Langkah-langkah regresi gulud adalah sebagai berikut:1. Memeriksa apakah antar variabel prediktor terjadi kolinier/multikolinier apa tidak.Pada langkah 1 pemilihan model terbaik dengan metode PCR di atas telah diketahui bahwa data multikolinier karena saat diperiksa VIF, ternyata diketahui bahwa VIF untuk sebesar 8,600 > 5. Bisa juga di cek matriks korelasinya sebagai berikut:
1-0,6190,7930,3230,750-0,684
-0,6191-0,713-0,586-0,8340,798
0,793-0,71310,4740,883-0,727
0,323-0,5860,47410,599-0,389
0,750-0,8340,8830,5991-0,795
-0,6840,798-0,727-0,389-0,7951
Dari data di atas diketahui bahwa yang berwarna kuning menunjukkan korelasi antar variabel independen cukup tinggi, lebih besar atau sama dengan 75%. Ini berarti terjadi multikolinieritas.2. Karena terjadi multikolinieritas maka bisa dilakukan metode regresi gulud untuk memilih model regresi terbaik. Langkah pertama dalam metode regresi gulud adalah melakukan centering dan scaling untuk semua variabel dengan rumus:
sehingga diperoleh output sebagai berikut:
-0,0414-0,15633-0,082550,0284310,037521-0,059740,08299
-0,05217-0,191140,083374-0,145770,178139-0,03752-0,02427
-0,0365-0,10726-0,09376-0,08490,01136-0,087570,07201
0,044747-0,17462-0,11441-0,019950,024440,014811-0,03272
-0,042380,143967-0,059280,0328890,18795-0,06284-0,06143
0,039852-0,18068-0,11423-0,070710,1961260,029983-0,00843
-0,04042-0,03262-0,00239-0,00598-0,08348-0,06093-0,07853
-0,14614-0,106350,067622-0,14183-0,45628-0,167380,015002
-0,10894-0,042680,067797-0,09789-0,28786-0,11481-0,22823
-0,066850,1782380,024039-0,022490,065318-0,06033-0,0855
-0,18041-0,104940,139384-0,15516-0,06385-0,158540,102415
-0,1295-0,030210,130282-0,14071-0,19466-0,10227-0,0798
-0,19313-0,084830,134483-0,14805-0,06222-0,221380,169769
-0,08349-0,03581-0,01762-0,08413-0,09002-0,131540,010568
0,2336790,184473-0,189150,1909670,1683290,219699-0,13364
0,062368-0,01651-0,109160,0922880,1372620,061284-0,09542
0,042789-0,204710,081624-0,14695-0,124350,0256830,03865
-0,01986-0,05624-0,05525-0,03632-0,1407-0,039670,093125
-0,03944-0,10080,013187-0,069310,112736-0,024260,033794
-0,00028-0,05556-0,04842-0,065880,1732340,008718-0,05299
-0,08741-0,162740,070597-0,104270,176504-0,064760,083412
-0,07468-0,128520,025614-0,093110,004819-0,078970,147599
-0,09622-0,194790,221298-0,15761-0,02134-0,106810,192783
-0,02965-0,135390,010387-0,044480,039156-0,009560,135353
0,0750940,028137-0,058750,0675730,1503430,080280,097136
-0,26851-0,105850,253854-0,15073-0,20774-0,25770,257182
-0,38304-0,200610,600763-0,16602-0,26824-0,352790,423139
-0,122650,1065550,11768-0,16106-0,1031-0,137150,275551
-0,23816-0,14190,309688-0,15036-0,25843-0,163440,287164
0,2503210,24983-0,163070,1027820,1176410,216235-0,12055
0,2356370,24983-0,162890,1823010,1748690,222567-0,15539
0,2640260,239954-0,155890,4458250,0342510,240487-0,25737
0,1220820,158394-0,066980,1544540,1127360,131771-0,06734
0,1661330,237541-0,165170,076878-0,212650,126155-0,14293
0,2561940,24983-0,158690,2747380,104560,270115-0,18833
0,3031830,24983-0,189320,2787390,1683290,314557-0,2599
0,2698990,24983-0,186520,4485920,098020,333314-0,24069
0,115230,224707-0,158170,0872120,101290,204288-0,20416
3. Kemudian diregresikan variabel terhadap variabel , , ..., . Dari output minitab diperoleh hasil:
Regression Analysis: Y versus Z1; Z2; Z3; Z4; Z5; Z6 The regression equation isY = 0,00000 + 0,0042 Z1 - 0,228 Z2 + 0,0211 Z3 - 0,0359 Z4 + 0,823 Z5 + 0,0381 Z6Predictor Coef SE Coef T PConstant 0,000000 0,004265 0,00 1,000Z1 0,00415 0,04543 0,09 0,928Z2 -0,22753 0,05485 -4,15 0,000Z3 0,02105 0,06211 0,34 0,737Z4 -0,03586 0,03556 -1,01 0,321Z5 0,82291 0,07709 10,67 0,000Z6 0,03810 0,05043 0,76 0,456S = 0,0262885 R-Sq = 97,9% R-Sq(adj) = 97,4%Analysis of VarianceSource DF SS MS F PRegression 6 0,97858 0,16310 236,00 0,000Residual Error 31 0,02142 0,00069Total 37 1,00000
diketahui bahwa persamaan regresinya adalah .Ini adalah kondisi saat sehingga bisa diketahui juga vektor koefisien . 4. Langkah selanjutnya adalah menentukan dengan rumus:
dimana:k adalah banyaknya variabel parameter selain adalah MS residual saat Sehingga perhitungannya adalah sebagai berikut:
5. Kemudian menentukan dengan
6. Kemudian disubtitusikan ke persamaan 4.1 sehingga
7. Langkah terakhir adalah menentukan model regresi tersebut dalam variabel dengan mensubtitusikan nilai
8. Jadi model regresi terbaik dengan metode Regresi Gulud (Ridge Regression) adalah
top related