INTERPRETASI GEOMETRI METODE KUADRAT TERKECIL
DALAM REGRESI LINIER SEDERHANA
SKRIPSI
WIRA MOORER K S
160823021
DEPARTEMEN MATEMATIKA
FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM
UNIVERSITAS SUMATERA UTARA
MEDAN
2018
UNIVERSITAS SUMATERA UTARA
INTERPRETASI GEOMETRI METODE KUADRAT TERKECIL
DALAM REGRESI LINIER SEDERHANA
SKRIPSI
Diajukan untuk melengkapi tugas dan memenuhi syarat mencapai gelar Sarjana Sains
WIRA MOORER K S
160823021
DEPARTEMEN MATEMATIKA
FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM
UNIVERSITAS SUMATERA UTARA
MEDAN
2018
UNIVERSITAS SUMATERA UTARA
i
PERSETUJUAN
Judul : INTERPRETASI GEOMTERI METODE KUADRAT
TERKECIL DALAM REGRESI LINIER SEDERHANA Kategori : SKRIPSI
Nama : WIRA MOORER K S
Nomor Induk Mahasiswa : 160823021
Program Studi : SARJANA (S-1) MATEMATIKA
Departemen : MATEMATIKA
Fakultas : MATEMATIKA DAN ILMU PENGETAHUAN ALAM
(FMIPA) UNIVERSITAS SUMATERA UTARA
Disetujui di
Medan, Juli 2018
Disetujui oleh:
Departemen Matematika FMIPA USU Pembimbing,
Ketua,
Dr. Suyanto, M.Kom Dr. Open Darnius, M.Sc
NIP. 19531218 198003 1 003 NIP. 19641014 199103 1 004
UNIVERSITAS SUMATERA UTARA
ii
PERNYATAAN
INTERPRETASI GEOMTERI METODE KUADRAT TERKCECIL
DALAM REGRESI LINIER SEDERHANA
TUGAS AKHIR
Saya mengakui bahwa skripsi ini adalah hasil kerja saya sendiri, kecuali beberapa
kutipan dan ringkasan yang masing-masing disebutkan sumbernya.
Medan, Juli 2018
WIRA MOORER K S
160823021
UNIVERSITAS SUMATERA UTARA
iii
PENGHARGAAN
Puji dan syukur penulis panjatkan kepada Tuhan Yang Maha Pengasih dan Maha
Penyayang, dengan limpah karunia-Nya Penulis dapat menyelesaikan skripsi ini
dengan judul Interpretasi Geometri Metode Kudarat Terkecil dalam Regresi Linier
Sederhana.
Terimakasih penulis sampaikan kepada Bapak Dr. Open Darnius, M.Sc
selaku pembimbing yang telah meluangkan waktunya selama penyusunan skripsi
ini. Terimakasih kepada Bapak Dr. Suyanto, M.Kom dan Bapak Drs. Rosman
Siregar, M.Si selaku Ketua dan Sekretaris Departemen Matematika FMIPA USU
Medan, Bapak Dr. Kerista Sebayang, MS selaku Dekan FMIPA USU Medan,
seluruh Staff dan Dosen Program Studi S1 Matematika pegawai FMIPA USU dan
rekan-rekan kuliah. Akhirnya tidak terlupakan kepada ayah dan ibu penulis,
Bapak Ir. Tumpak Sitorus, Ibu Taruli Manna Manik, dan semua keluarga yang
selama ini memberikan bantuan dan dorongan yang diperlukan. Semoga Tuhan
Yang Maha Esa akan membalasnya.
Penulis,
WIRA MOORER K S
UNIVERSITAS SUMATERA UTARA
iv
INTERPRETASI GEOMETRI METODE KUADRAT TERKECIL
DALAM REGRESI LINIER SEDERHANA
ABSTRAK
Dalam menyusun paper ini penulis mengadakan studi literatur, memberi uraian
dan penjelasan tentang gambaran umum mengenai analisa regresi linier, tentang
metode kuadrat terkecil, serta interpretasinya ke dalam konsep geometri. Metode
Kuadrat Terkecil (least-square method) untuk menentukan persamaan linier
estimasi, berarti memilih satu kurva linier dari beberapa kemungkinan kurva linier
yang dapat dibuat dari data yang mempunyai kesalahan (error) paling kecil dari
data aktual dengan data estimasinya. Kriteria ini dikenal dengan istilah prinsip
kuadrat terkecil (principle of least square). Metode Kuadrat terkecil dalam
Regresi Linier Sederhana ini kemudian di interpretasikan ke dalam konsep
geometri. Dengan interpretasi geometri metode kuadrat terkecil dalam regresi
linier sederhana diharapkan bisa meendapatkan error yang lebih kecil dari
persamaan regresi linier, sebagai dasar pemecahan masalah ataupun persoalan
untuk dasar penelitian lebih lanjut.
Kata kunci : Regresi Linier, Metode Kuadrat Terkecil, Geometri
UNIVERSITAS SUMATERA UTARA
v
GEOMETRIC INTERPRETATION OF LEAST SQUARE METHODS
IN SIMPLE LINEAR REGRESSION
ABSTRACT
In compiling this paper the authors conduct literature studies, giving descriptions
and explanations of the general description of linear regression analysis, the least
squares method, and its interpretation into the concept of geometry. The least-
squares method for determining the linear equations of estimation means choosing
a linear curve from several possible linear curves which can be made from data
having the least error of the actual data with the estimation data. This criterion is
known as the principle of least square. The least squares method in Simple Linear
Regression is then interpreted into the concept of geometry. By geometry
interpretation the least squares method in simple linear regression is expected to
get smaller error from linear regression equation, as the basis of problem solving
or problem for further research base.
Keywords: Linear Regression, Least Square Method, Geometry
UNIVERSITAS SUMATERA UTARA
vi
DAFTAR ISI
Halaman
Persetujuan i
Pernyataan ii
Penghargaan iii
Abstrak iv
Daftar Isi vi
Daftar Gambar vii
Bab 1 Pendahuluan 1
1.1 Latar Belakang 1
1.2 Rumusan Masalah 1
1.3 Batasan Masalah 1
1.4 Manfaat dan Tujuan Penelitian 2
1.5 Metodologi Penelitian 2
Bab 2 Tinjauan Pustaka 3
2.1 Analisis Regresi 3
2.2.1 Analisis Regresi Linier Sederhana 5
2.2.2 Analisis Regresi Linier Berganda 5
2.2 Metode Kudarat Terkecil 6
2.3 Bentuk Umum Matriks Untuk Regresi Linier 8
2.3.1 Matriks Orthogonal 9
Bab 3 Hasil dan Pembahasan 12
3.1 Analisis Regresi Linier Sederhana 12
3.2 Analisis Regresi Linier Berganda 14
3.3 Regresi linier dalam bentuk matriks 15
3.4 Metode Kuadrat Terkecil 16
3.5 Interpretasi Geometri Metode Kuadrat terkecil 20
3.5.1 Model Linier 20
3.5.2 Metode Kuadrat Terkecil 21
3.5.3 Kasus Orthogonal 22
UNIVERSITAS SUMATERA UTARA
vii
Bab 4 Kesimpulan dan Saran 26
4.1 Kesimpulan 26
4.2 Saran 26
Daftar Pustaka 27
UNIVERSITAS SUMATERA UTARA
vii
DAFTAR GAMBAR
Halaman
Gambar 2.1 Diagram Pencar 7
Gambar 2.2 Penjelasan Konsep Devasi Total, Explained, dan Unexplained 8
Gambar 3.1 Interpretasi Geometri Metode Kuadrat Terkecil 22
Gambar 3.2 Interpretasi Geometri Kasus Orthogonal 24
Gambar 3.3 Bagian dari Gambar 3.2 25
UNIVERSITAS SUMATERA UTARA
BAB 1
PENDAHULUAN
A. Latar Belakang
Untuk mengestimasi parameter regresi linier dapat digunakan metode kuadrat
terkecil, dimana metode kuadrat terkecil (Least Square Method) ini adalah suatu
metode yang digunakan untuk menentukan hubungan linier dari suatu data agar
dapat diprediksi nilai-nilainya. Bentuk persamaannya yaitu:
Persamaan garis regresi kuadrat terkecil (least-squares prediction line):
Untuk persamaan regresi yang variabel bebasnya lebih dari dua bahkan bisa
sampai sebanyak n buah bentuk persamaannya adalah:
Dengan metode kuadrat terkecil persamaan regresi dapat diselesaikan dengan
mudah menggunakan matriks:
Model ini dapat direpresentasikan dalam model geometri sehingga penelitian ini
berjudul “Interpretasi Geometri Metode Kudarat Terkecil pada Regresi
Linier Sederhana”.
B. Rumusan Masalah
Berdasarkan latar belakang yang telah diuraikan maka rumusan masalah dari
penelitian ini adalah bagaimana model representasi dan interpretasi metode
kuadrat terkecil dalam regresi linier sederhana dapat dibuat secara geometri?
C. Batasan Masalah
Dalam penelitian ini, penulis membatasi ruang lingkup hanya mengkaji geometri
metode kuadrat terkecil dalam regresi linier sederhana.
UNIVERSITAS SUMATERA UTARA
2
D. Manfaat dan Tujuan Penelitian
Dengan interpretasi geometri metode kuadrat terkecil dalam regresi linier
sederhana diharapkan bisa mendapatkan error yang lebih kecil dari persamaan
regresi linier yang dikerjakan, sebagai referensi pemecahan masalah ataupun
persoalan untuk dasar penelitian lebih lanjut.
E. Metodologi Penelitian
Dalam penelitian ini penulis melakukan studi literature, mencari bahan dari buku
maupun internet yang membahas metode kuadrat terkecil dalam regresi linier
sederhana, kemudian menginterpretasikannya ke dalam konsep geometri.
UNIVERSITAS SUMATERA UTARA
BAB 2
TINJAUAN PUSTAKA
2.1 Analisis Regresi
Pada umumnya teori yang digunakan untuk menganalisa hubungan antara dua
variabel atau lebih adalah analisa regresi linier. Regresi pertama digunakan
sebagai konsep statistik pada tahun 1877 oleh Sir Francis Galton. Dia telah
melakukan studi tentang kecenderungan tinggi badan anak.
Hasil studi tersebut merupakan suatu kesimpulan bahwa kecenderungan
tinggi badan anak yang lahir terhadap orang tuanya adalah menurun mengarah
pada tinggi badan rata-rata penduduk.
Istilah regresi pada mulanya bertujuan untuk membuat perkiraan nilai satu
variabel terhadap variabel yang lain. Pada perkembangan selanjutnya, analisis
regresi dapat digunakan sebagai alat untuk membuat perkiraan nilai suatu variabel
dengan menggunakan beberapa variabel lain yang berhubungan dengan variabel
tersebut. (Alfigari, 2000.Analisis Regresi Teori, kasus dan solusi, Edisi Kedua,
Yogyakarta : BPFE halaman 1 dan 2)
Pada dasarnya dalam suatu persamaan regresi terdapat dua macam
variabel, yaitu variabel bebas (independent variable) yang dinyatakan dengan
simbol X dan variabel terikat (dependent variable) yang biasanya dinyatakan
dengan simbol Y.
Variabel terikat adalah variabel yang dipengaruhi atau yang nilainya
bergantung dari nilai variabel lain. Variabel bebas adalah variabel yang
memberikan pengaruh. Bila variabel bebas diketahui maka variabel terikatnya
dapat diprediksi besarnya.
Prinsip dasar yang harus dipenuhi dalam membangun suatu persamaan
regresi adalah bahwa antara variabel terikat dengan variabel bebas mempunyai
sifat hubungan sebab-akibat.
UNIVERSITAS SUMATERA UTARA
4
Analisis regresi merupakan teknik yang digunakan dalam persamaan matematik
yang menyatakan hubungan fungsional antara variabel-variabel. Analisis regresi
linier atau regresi garis lurus digunakan untuk:
1. Menentukan hubungan fungsional antar variabel dependent dengan
independent. Hubungan fungsional ini dapat disebut sebagai persamaan garis
regresi yang berbentuk linier.
2. Meramalkan atau menduga nilai dari satu variabel dengan hubungannya
dengan variabel yang lain yang diketahui melalui persamaan garis regresi.
Variabel yang lain diketahui melalui persamaan garis regresinya. Analisis regresi
terdiri dari dua bentuk, yaitu:
1. Analisis Regresi Linier Sederhana
2. Analisis Regresi Linier Berganda
Analisis Regresi Linier Sederhana adalah bentuk regresi dengan model
yang bertujuan untuk mempelajari hubungan antara dua variabel, yakni variabel
terikat dan variabel bebas. Sedangkan analisis regresi berganda adalah bentuk
regresi dengan model yang memiliki hubungan antara satu variabel terikat dengan
dua atau lebih variabel bebas.
Analisis regresi digunakan untuk mengetahui hubungan antara dua
variabel atau lebih, terutama untuk menelusuri pola hubungan yang modelnya
belum diketahui dengan baik, atau untuk mengetahui bagaimana variasi dari
beberapa variabel bebas mempengaruhi variabel terikat dalam suatu fenomena
yang komplek. Jika adalah variabel-variabel bebas dan Y adalah
variabel terikat, maka terdapat hubungan antara fungsional antara X dan Y dimana
variasi dari X akan diiringi pula oleh variasi dari Y. Jika dibuat secara matematis
hubungan ini dapat dijabarkan sebagai berikut:
(2.1)
Keterangan: Y = Variabel terikat (Dependent)
X = Variabel bebas (Independent)
e = Variabel residu (Disturbace term)
Berkaitan dengan analisis regresi ini, setidaknya ada empat kegiatan yang lazim
dilaksanakan yakni:
1. Mengadakan estimasi terhadap parameter berdasarkan data empiris.
UNIVERSITAS SUMATERA UTARA
5
2. Menguji berapa besar variasi variabel dependent dapat diterangkan oleh
variasi independent.
3. Menguji apakah estimasi parameter tersebut signifikan atau tidak.
4. Melihat apakah tanda menghitung dari estimasi parameter cocok dengan teori.
2.2 Analisis Regresi Linier Sederhana
Analisis regresi linier sederhana terdiri dari satu variabel bebas dan satu variabel
terikat. Dengan kata lain variabel yang dianalisis terdiri dari satu variabel
prediktor dan satu variabel kriterium.
Model regresi linier sederhananya adalah:
2.2
Keterangan: Y = Variabel terikat (dependent variable)
X = Variabel bebas (independent variable)
= Konstanta (intercept)
= Kemiringan (slope)
Koefisien - koefisien regresi a dan b dapat dihitung dengan rumus:
∑ (∑
) ∑ ∑
∑ ∑
2.3
∑ ∑ ∑
∑ ∑
2.4
Jika koefisien b terlebih dahulu dihitung, maka koefisien a dapat dihitung dengan
rumus:
Dengan dan masing-masing rata-rata untuk variabel-variabel X dan Y.
2.3 Analisis Regresi Linier Berganda
Regresi linier ganda (Multiple Regression) berguna untuk mencari pengaruh atau
untuk meramalkan dua variabel prediktor atau lebih terhadap variabel
kriteriumnya. Suatu persamaan regresi linier yang memiliki lebih dari satu
variabel bebas X dan satu variabel terikat Y akan membentuk suatu persamaan
regresi yang baru, disebut persamaan regresi linieer berganda (multiple
regression). Model persamaan regresi linier berganda hampir sama dengan model
regrei linier sederhana, letak perbedaanya hanya pada jumlah variabel bebasnya.
UNIVERSITAS SUMATERA UTARA
6
Secara umum model regresi linier berganda adalah sebagai berikut:
(2.5)
Keterangan: Y = Variabel terikat (dependent variable)
X = Variabel bebas (independent variable)
= Konstanta regresi
= Koefisien regresi variabel bebas
= Pengamatan variabel error
2.4 Metode Kuadrat Terkecil
Prinsip pemilihan garis regresi dengan Metode Kuadrat Terkecil adalah memilih
garis yang mempunyai jumlah kuadrat deviasi nilai observasi Y terhadap Y
prediksinya yang minimum sebagai garis regresi yang paling baik. Prinsip
pemilihan garis yang mempunyai nilai a dan b yang dapat meminimumkan:
∑ ( )
(2.6)
Simbol SSE pada persamaan menunjukkan jumlah kuadrat deviasi, atau sering
disebut jumlah kuadrat untuk kesalahan (sum of square for error). Jika suatu
persamaan regresi diperoleh dari mensubtitusikan nilai dari a dari b yang
meminimumkan SSE, maka akan dihasilkan persamaan garis regresi kuadrat
terkecil (least-squares prediction line) sebagai berikut
(2.7)
yang menyatakan bahwa:
= taksiran nilai Y
= taksiran nilai a
= taksiran nilai b
X= nilai tertentu X
Persamaan estimasi secara umum dapat ditulis sebagai berikut:
+ (2.8)
(Y topi) adalah nilai estimasi Y, a adalah intersep estimasi, b adalah slope
estimasi, dan x adalah nilai x. Nilai a dan b pada persamaan estimasi dapat
ditentukan dengan formulasi sebagai berikut:
( ) (2.9)
UNIVERSITAS SUMATERA UTARA
7
(2.10)
yang menyatakan bahwa
b = slope estimasi yang baik
a = intersep estimasi yang baik
= nilai rata-rata Y
= nilai rata-rata X
n = jumlah data yang digunakan sebagai sampel
Pada dasarnya Metode Kuadrat Terkecil berpangkal pada kenyataan
bahwa jumlah kuadrat (pangkat dua) dari jarak titik-titik kepada regresi yang
sedang dicari harus sekecil mungkin. Sehingga penyimpangan pada persamaan
regresi dari data sangat kecil. Untuk menghindari penilaian subjektif ketika
menggambarkan garis dalam menyesuaikan data, maka ada kesepakatan tentang
“garis yang paling sesuai”. Untuk mendorong suatu kemungkinan rumusan
perhatikan Gambar 2.1 titik-titik data ditentukan oleh
Untuk nilai tertentu katakanlah maka ada perbedaan antar nilai
dengan nilai bersangkutan yang sedang dicari misalnya seperti digambarkan
oleh kurva. Seperti terlihat pada gambar, maka perbedaan ini disebut juga dengan
penyimpangan, kesalahan atau residu.
Gambar 2.1 Diagram Pencar
Interpretasi jumlah error dapat dilakukan dengan cara yang lain, yaitu
dengn menggunakan ukuran jumlah deviasi dalam Y yang dapat dijelaskan oleh
garis – garis regresi (amount of the variation in Y that is explained by the
regression line) . Perhatikan Gambar 2.2 untuk memahami konsep ini.
Nilai rata – rata variabel Y adalah . Misalnya titik A adalah suatu titik
pasangan data X dan Y. Deviasi total (total deviasion) Y terhadap rata –ratanya
adalah (Y- ). Besarnya deviasi total ini terdiri dari deviasi yang dapat dijelaskan
X
Y
UNIVERSITAS SUMATERA UTARA
8
(explained deviation) dan deviasi yang tidak dapat dijelaskan (unexplained
deviation). Total deviasi dari semua titik (pasangan data) adalah jumlah kuadrat
deviasi total titik tersebut dari rata – ratanya yaitu :
(2.30)
Variasi yang dapat dijelaskan (explained variation) adalah jumlah kuadrat
deviasi yang dapat dijelaskan nilai garis regresi terhadap rata – ratanya. Besaran
ini disebut juga sebagai jumlah kuadrat regresi (Sum of Square Regression
Error/SSE) atau secara sistematis dapat ditulis sebagai berikut :
( )
Gambar 2.1 Penjelasan Konsep Deviasi Total, Explained, dan Unexplained
2.5 Bentuk Umum Matriks untuk Regresi Linier
Bentuk umum dari sebuah matriks adalah susunan bilangan-bilangan yang
berbentuk persegi panjang yang dapat digambarkan sebagai berikut:
A = [
] (2.32)
Bilangan , , … , yang menyusun rangkaian itu disebut Elemen
atau unsur dari matriks itu. Indeks pertama dari elemen menunjukkan baris dan
indeks kedua menunjukkan kolom dimana elemen itu berada. Untuk menuliskan
matriks beserta elemen-elemennnya dipergunakan tanda kurung siku seperti yang
Y 0
Y
Y
Σ(𝑌 ��)
Deviasi yang tidak dapat dijelaskan
Σ(�� ��)
Deviasi yang dapat dijelaskan
Σ(𝑌 ��)
Total Deviasi
A
UNIVERSITAS SUMATERA UTARA
9
diperlihatkan pada contoh matriks yang diatas, sedangkan sebuah huruf yang
dicetak tebal (misalnya A) dapat digunakan juga untuk menyatakan sebuah
matriks.
Sebuah penyajian lain untuk sebuah matriks adalah dengan menuliskan
sebuah elemennya dalam sebuah kurung siku; maka matriks A dapat juga ditulis
[ ] atau [ ]. Ordo atau ukuran sebuah matriks ditentukan oleh banyaknya
jumlah baris dan kolomnya; maka matriks A mempunyai ordo dan biasanya
ditulis . Matriks bujur sangkar adalah matriks yang jumlah baris dan
kolomnya sama dan dikatakan berordo n.
Elemen – elemen dari matriks bujur sangkar mulai dari ujung kiri atas
sampai ujung kanan bawah secara diagonal (yaitu elemen-elemen ,…, )
disebut diagonal utama matriks, dan elemen-elemen dari kiri bawah sampai kanan
atas ( ,…, ) disebut diagonal kedua.
Sebuah vector dapat dipandang sebagai sebuah matriks khusus yang hanya
mempunyai satu baris atau satu kolom saja. Sebuah vektor baris yang terdiri dari n
elemen adalah sebuah matriks berordo 1 x n (atau matriks baris) dan suatu vektor
kolom yang mempunyai n elemen adalah sebuah matriks berordo n x 1 (matriks
kolom).
Selain itu perlu diperkenalkan juga dimensi dari sebuah matriks, yaitu
banyaknya indeks yang dibutuhkan untuk menentukann secara tunggal letak-letak
dari elemen-elemen dalam matriks itu. Matriks persegi panjang memerlukan dua
indeks untuk menentukan letak sebuah elemennya, maka matriks itu adalah
matriks berdimensi 2. Sedang sebuah vektor, hanya memerlukan satu indeks
untuk menenttukan letak sebuah elemen; misalnya sebuah vektor baris dalam
bentuk :
[ ] (2.33)
Oleh karena itu, sebuah vektor dapat dikatakan dapat dikatakan sebagai
matriks berdimensi 1. Sebuah matrikds berdimensi 3 yang berordo m x n x p
terdiri dari p buah susunan berdimensi 2 yang berordo m x n.
Dalam hal yang lebih luas lagi elemen-elemen suatu matriks dapat terdiri
dari pernyataaan matematika, seperti fungsi-fungsi geometri, pernyataan-
pernyataan aljabar, turunan, dan integral.
UNIVERSITAS SUMATERA UTARA
10
Matriks Orthogonal
Suatu Matriks bujursangkar yang inversnya sama dengan transposenya disebut
Matriks Orthogonal.
(2.49)
Maka A adalah matriks orthogonal.
Sifat-sifat matriks orthogonal :
1. Invers matriks orthogonal juga matriks orthogonal
2. Hasil kali matriks-matriks orthogonal juga orthogonal
3. Jika A matriks orthogonal maka det(A) = 1 atau det (A) = -1.
Suatu himpunan dari vektor-vektor seperti pada vector baris dan kolom dari
contoh tersebut dinamakan orthonormal. Jadi untuk himpunan vektor yang
orthonormal berlaku hubungan :
(2.50)
(2.51)
Dengan dan adalah vektor baris berdimensi-n. Jika baris-baris suatu matriks
terhimpun menjadi himpunan vektor orthonormal, maka dengan sendirinya kolom
kolom matriks itu juga terhimpun menjadi himpunan vektor orthonormal, dan
matriks itu sendiri adalah matriks orthogonal. Untuk memperlihatkan hipotesa ini
secara umum, perhatikan matriks bujursangkar A yang berordo-n dengan vektor-
vektor baris v seperti pada contoh matriks di bawah ini :
[
] (2.52)
Dalam matriks ini setiap vektor baris berdimensi n. Jika A dikali kanankan dengan
transposnya yaitu sebuah matriks yang kolom-kolomnya terdiri dari transpos
vektor-vektor , , … , :
[
] (2.53)
Maka hasil kalinya adalah matriks identitas:
[
] (2.54)
UNIVERSITAS SUMATERA UTARA
11
Sebagai hasil perkalian didapat juga matriks identitas karena kolom
dari matriks A merupakan himpunan vektor yang orthonormal. Oleh karena itu,
invers A adalah matriks orthogonal. Jadi baris-baris suatu matriks merupakan
vektor- vektor satuan yang saling orthogonal adalah syarat yang cukup agar
matriks itu orthogonal. Jika dua matriks A1 dan A2 ortogonal maka hasil kali dari
matriks A1 . A2 orthogonal juga.
(2.55)
Sesungguhnya pun, perkalian lebih dari 2 matriks orthogonal akan menghasilkan
matriks orthogonal juga. Maka berlakulah hubungan sebagai berikut :
(2.56)
dengan A1 , A2 , … , An merupakan matriks orthogonal.
Determinan matriks orthogonal harus sama dengan akar pangkat dua dari
kesatuan (yaitu sama dengan plus satu atau minus satu). Karena
harus 1. Akan tetapi
harga determinan suatu matriks tidak berubah oleh pengtransposan oleh karena itu
baik harga | | atau | | harus sama dengan atau .
UNIVERSITAS SUMATERA UTARA
BAB 3
HASIL DAN PEMBAHASAN
3.1 Analisis Regresi Linier Sederhana
Analisis regresi linier sederhana terdiri dari satu variabel bebas dan satu variabel
terikat. Dengan kata lain variabel yang dianalisis terdiri dari satu variabel
prediktor dan satu variabel kriterium.
Bila hanya terdapat satu X dan satu Y maka terdapat bentuk pasangan
pengamatan himpunan X dan Y, dimana *( ) +. Bila nilai X
diat maka ditetapkan nilai-nilai terlebih dahulu dan kemudian mengamati nilai
pedanannya . Bila dimisalkan bahwa semua rataan terletak pada satu garis
lurus, maka peubah acak dapat ditulis sebagai peubah acak . Hal ini
dapat ditulis sebagai:
(3.1)
dengan peubah acak yang mempunyai rataan 0. Setiap pengamatan dalam
sampel memiliki hubungan
(3.2)
dengan nilai yang dicapai bila berharga . Demikian juga dengan
menggunakan persamaan regresi:
(3.3)
tiap pasangan pengamatan memenuhi:
(3.4)
disebut sisa.
Untuk menafsir parameter yang diramalkan digunakan metode kuadrat
terkecil. Jadi harga a dan b akan dicari dengan meminimumkan dari persamaan
(3.4), maka:
∑
∑ ( )
(3.5)
Bila JKG diturunkan terhadap a dan b maka diperoleh:
UNIVERSITAS SUMATERA UTARA
13
( )
∑ ( )( )
∑ ( ) (3.6)
( )
∑ ( )( )
∑ ( ) . (3.7)
Bila kedua persamaan (3.6) dan (3.7) disamakan dengan 0 kemudian
disusun kembali maka akan diperoleh yang disebut dengan persamaan normal
yaitu:
dari persamaan (3.6) diperoleh: ∑ ( ) (3.8)
dari persamaan (3.7) diperoleh: ∑ ( ) . (3.9)
Dari persamaan (3.8) dan persamaan (3.9) yaitu persamaan normal maka dapat
dicari harga a dan b dengan metode subtitusi dapat dicari dari persamaan yaitu
sebagai berikut:
∑ ∑
(3.10)
∑ ∑
∑
(3.11)
Dari persamaan (3.11) diperoleh:
∑ ∑
∑
∑
(3.12)
Subtitusi a dalam persamaan (3.12) diperoleh:
∑ (
∑
∑
)∑
∑
∑
∑
∑
∑
∑
∑
∑
∑
∑
,
(∑ )
∑
]
∑
∑
∑
,
(∑ )
∑
]
∑ ∑
∑
, ∑
(∑ )
]
∑ ∑
∑
∑
(∑ )
Dari persamaan dan diperoleh .
UNIVERSITAS SUMATERA UTARA
14
3.2 Analisis Regresi Linier Berganda
Regresi linier ganda (Multiple Regression) berguna untuk mencari pengaruh atau
untuk meramalkan dua variabel prediktor atau lebih terhadap variabel
kriteriumnya. Suatu persamaan regresi linier yang memiliki lebih dari satu
variabel bebas X dan satu variabel terikat Y akan membentuk suatu persamaan
regresi yang baru, disebut persamaan regresi linieer berganda (multiple
regression). Model persamaan regresi linier berganda hampir sama dengan model
regrei linier sederhana, letak perbedaanya hanya pada jumlah variabel bebasnya.
Model linier dalam koefisien berganda pada K pebah bebas yaitu
dengan rataan diberikan oleh model regresi linier ganda
, dan taksiran respon diperoleh
dari persamaan regresi:
(3.13)
Andaikan kita mengambil regresi linier berganda dalam bentuk *( )
+ bila respon amatan yang berpadanan dengan nilai
dari kedua peubah bebas dan . Tiap nilai amatan ( )
memenuhi persamaan:
Untuk populasi :
(3.14)
Untuk sampel :
(3.15)
dengan dan masing-masing menyatakan galat acak dan sisa berpadanan
dengan respon . Menurut metode kuadrat terkecil, untuk mencari taksiran
dengan meminimumkan jumlah kuadrat galat:
∑ ∑ (
)
(3.16)
Jika diturunkan atau dideferensialkan JKG secara berurutan terhadap , ,
maka diperoleh:
∑ ∑ (
)
(∑
)
∑ ( )( ) (3.17)
(∑
)
UNIVERSITAS SUMATERA UTARA
15
∑ ( )( ) (3.17)
(∑
)
∑ ( )( ) (3.18)
kemudian disamakan dengan 0 maka diperoleh persamaan normal sebagai berikut:
(3.19)
∑ ∑ ∑
∑ ∑
∑ ∑
3.3 Regresi Linier dalam bentuk matriks
Dalam melakukan percobaan data yang berbentuk: *( )
+ menyatakan respon amatan pada nilai , ..., dari k
peubah bebas . Tiap amatan ( ) memenuhi
persamaan:
Untuk populasi:
(3.20)
Untuk sampel:
(3.21)
Dengan dan menyatakan galat acak dan sisa Y berpadanan dengan
respon . Metode kuadrat terkecil juga dapat digunakan untuk mencari tafsiran
harga-harga dan kemudian disamakan dengan nol sehingga diperoleh
persamaan normal dalam bentuk berikut:
∑ ∑ ∑ ∑
∑ ∑
∑ ∑ ∑
∑ ∑
∑ ∑ ∑
Dari:
,
diperoleh, jika:
(3.22)
UNIVERSITAS SUMATERA UTARA
16
.
Bentuk matriksnya:
[
]
[
]
[
]
(3.23)
Matriks X adalah:
[
]
Bentuk matriks A sehingga . Selain unsur pertama baris ke i matrik X
menyatakan X yang menntukan respon . Dari persamaan (3.23) diperoleh:
[
∑ ∑ ∑
∑ ∑ ∑ ∑
∑ ∑ ∑ ∑
]
[
]
[
∑
∑
∑
] .
Maka persamaan normal dapat dinyatakan dalam bentuk matriks:
.
Bila matriks A tidak ireguler, maka koefisien regresi dapat ditulis:
.
3.4 Metode Kuadrat Terkecil
Dalam model regresi linier sederhana ditentukan peubah acak
dengan rataan nol, misalkan selanjutnya bahwa berdistribusi normal dengan
variansi = dan bahwa saling bebas dari satu pengamatan
terhadap pengamatan berikutnya dalam pencobaan dengan anggapan normalitas
UNIVERSITAS SUMATERA UTARA
17
maka dapat dicari rataan dari variansi untuk penafsir dan . Perlu diingat bahwa
nilai a dan b hanyalah tafsiran sebenarnya dan yang didasarkan pada sampel n
pengamatan. Tafsiran dan dapat dihitung dengan mengambil beberapa sampel
n dan dapat dipandang sebagai nilai acak A dan B. Karena nilai X tidak berubah
maka nilai A dan B bergantung pada variasai dalam Y atau lebih tepat lagi pada
nilai peubah acak karena saling bebas dan berdistribusi normal
maka juga saling bebas dan beridistribusi ( ) karena :
∑ ∑
∑
∑
(∑ )
Merupakan fungsi linier peubah acak dengan koefisien
∑ ( )
Bahwa B berdistribusi normal dengan rataan ( ) dan varians
∑ ( )
Demikian juga peubah acak A dengan distribusi normal dan rataan
dan varians
∑ ( )
∑ ( )
Agar inferensi mengenai dan dapat dilihat maka ditafsir parameter yang
muncul dalam rumus varians A dan B diatas. Untuk itu dari segi teori diperlukan
notasi berikut :
∑( )
∑
(∑ )
∑( )
∑
(∑ )
∑( )( )
∑
(∑
)(∑
)
Jadi JKG (Jumlah Kuadrat Galat) dapat ditulis :
JKG = ∑ ( )
= ∑ ,( ) ( )-
= ∑ ( ) ∑ ( )( )
∑ ( )
=
=
UNIVERSITAS SUMATERA UTARA
18
Bahwa :
maka suatu taksiran tak bias untuk diberikan oleh:
atau ( )
( )
Metode Kuadrat Terkecil (Ordinary Least Square) merupakan suatu metode untuk
mendapatkan garis regresi yang baik yaitu sedekat mungkin dengan datanya sehingga
menghasilkan prediksi yang baik. Pada dasarnya Metode Kuadrat Terkecil
meminimumkan jumlah kuadrat error.
[
]
Dengan adalah suatu vektor kolom k-unsur dari estimasi Metode Kuadrat Terkecil
parameter regresi dan adalah suatu vektor kolom dari residual.
Untuk mengestimasi parameter model regresi linier digunakan Metode Kuadrat Terkecil.
Prosedur dilakukan dengan memilih nilai parameter yang tidak diketahui sehingga jumlah
eror diperoleh ∑ sekecil mungkin, sehingga dapat dinyatakan dengan :
[
]
[
]
[
]
[
]
∑
∑ ( )
Kemudian, untuk menentukan dengan meminimumkan jumlah kuadrat
residunya ∑
secara parsial terhadap dan samakan dengan 0, maka
dapat dituliskan :
∑
∑ ( )( )
∑
∑ ( )( )
∑
∑ ( )( )
∑
∑ ( )( )
UNIVERSITAS SUMATERA UTARA
19
Jika persamaannya disederhanakan dan disusun maka akan menjadi :
∑ ∑ ∑ ∑
∑ ∑ ∑ ∑ ∑
∑ ∑ ∑ ∑ ∑
∑ ∑ ∑ ∑ ∑ (3.24)
Dimana persamaan 2.23 disebut persamaan normal.
Dengan menjumlahkan persamaan untuk seluruh
pengamatan memeberikan persamaan pertama dalam persamaan 2.23 kemudian
mengalikannya dengan pasda kedua sisinya dan menjumlahkan untuk seluruh maka
dihasilkan persamaan kedua. Begitu juga dengan persamaan ketiga dalam persamaan
(2.23) mengalikan kedua sisinya dengan dan menjumlahkan untuk seluruh dan
seterusnya.
Dinyatakan dalam bentuk matriks, persamaan normal akan menjadi :
[ ∑ ∑ ∑
∑ ∑ ∑ ∑
∑
∑
∑
∑
∑ ∑
∑ ∑
]
[
]
[
]
[
]
= (3.25)
Persamaan (3.24) diperoleh dari menurunkan persamaan matriks , sehingga diperoleh :
( )
kemudian samakan hasil dengan 0, sehingga diperoleh :
( )
( ) ( ) ( )
=( )
( )
Dengan ( ) [
∑ ∑
∑ ∑ ∑
∑
∑
∑
]
UNIVERSITAS SUMATERA UTARA
20
Untuk menunjukkan bahwa ∑ minimum, maka hasil turunan pertama dari jumlah
kuadrat residualnya harus diturunkan sekali lagi sehingga menghasilkan turunan kedua,
dan nilainya harus lebih besar dari nol. Maka dapat dituliskan :
∑
=
(
.( )/
)
=
( )
Dipastikan bahwa turunan kedua dari ∑ terhadap haruslah berniali positif.
Sehingga nilai ∑ akan minimum apabila nilai lebih besar dari nol. Karena
matriks adalah turunan positif dengan semua unsur diagonalnya berbentuk kuadrat,
maka turunan kedua dari ∑ terhadap bernilai positif yang artinya
( ) minimum.
3.5 Interpretasi Geometri Metode Kuadrat Terkecil
3.5.1 Model Linier
Misalkan ada kumpulan data dengan variabel independen k antara lain, X1, X2,…,
Xk dan satu variabel dependen Y.
Model linier khas dari data ini biasanya diberikan oleh:
untuk i = 1,2,…, n.
Dimana Yi menunjukkan ith
variabel acak yang teramati Y,
menunjukkan variabel acak yang diobservasi ( )
menunjukkan parameter yang tidak diketahui dari model, dan menunjukkan
istilah kesalahan dalam pengamatan. Diasumsikan bahwa adalah independen
dan terdistribusi normal dengan mean nol dan varians .
Jika Y, X, b dan e didefinisikan
[
]
[
]
[
]
(3.26)
Persamaan (3.25) dapat diekspresikan secara sederhana (3.27)
Disini berdistribusi normal terdistribusi dengan ekspektasi , -
dan dispersi (kovarians) , - untuk I adalah matriks identitas n x n,
dan matriks X biasanya ditetapkan sebagai matriks desain model.
UNIVERSITAS SUMATERA UTARA
21
Dalam paper ini akan dieksplorasi model yang dapat digunakan untuk
memprediksi variabel dependen yang dapat diobservasi Y. Pada bagian
selanjutnya akan meninjau estimasi kuadrat terkecil (LSE) untuk
memperkirakan yang tunduk pada pembatasan linear. Interpretasi secara
geometri teknik ini akan dibahas.
3.5.2 Metode Kuadrat Terkecil
Asumsikan model tetap sebagaimana didefinisikan dalam Persamaan
(3.5). Prinsip kuadrat terkecil adalah untuk menemukan yang meminimalkan
jumlah kuadrat di mana simbol pangkat t melambangkan matriks transpose.
Jumlah kuadrat ini dapat ditulis sebagai fungsi dari
( ) ( ) ( ) (3.28)
Karena ( ) ( ) ( ) adalah fungsi kuadratik nonnegatif
yang bernilai nyata, eksistensi dari minimum ( ) terbatas dijamin. Untuk
mendapatkan solusi persamaan (3.27) ditulis sebagai:
( ) , dan membedakan dengan yang memberi:
( ( ))
( ) (3.29)
Solusi untuk , dilambangkan sebagai dari persamaan Persamaan (3.28)
ke nol memberikan S minimum ( ) dan persamaan ini dikenal sebagai
persamaan normal untuk garis regresi linier ditulis sebagai:
(3.30)
Oleh karena itu, dapat ditentukan estimator kuadrat terkecil :
( ) (3.31)
Dapat ditunjukkan bahwa perkiraan tidak bias, [ ] , dengan kovarian
( ) , dan model prediksi kuadrat terkecil adalah . Jumlah sisa
kuadrat (The Residual Sum of Squares) disingkat RSS, dari model ini
didefinisikan sebagai penjumlahan dari perbedaan kuadrat antara variabel yang
diamati Y dan estimasi kuadrat terkecil .
Persamaan normal garis regresi ini dilambangkan sebagai
( ) ( ) (3.32)
The Sum of Squared Errors (SSE) atau Jumlah kesalahan kuadrat dari model
UNIVERSITAS SUMATERA UTARA
22
didefinisikan sebagai penjumlahan dari perbedaan kuadrat antara nilai yang
diharapkan dari dan estimasi kuadrat terkecil , jadi
( ) ( ) ( ) (3.33)
3.5.3 Interpretasi Geometri
Interpretasi geometri dari metode kuadrat terkecil dapat digambarkan sebagai
berikut:
Biarkan Y menjadi vektor dalam ruang n-dimensi dan biarkan
menjadi kolom vektor n-dimensi X, untuk j = 1,2, ..., k dan X span k-dimensi
ruang vk. Maka dan adalah dua vektor dalam ruang p-dimensi di mana
adalah vektor proyeksi tegak lurus Y ke k-dimensi ruang . Ini dapat
digambarkan secara geometris seperti Gambar 3.1
Gambar 3.1 Interpretasi Geometri Metode Kuadrat Terkecil
Tujuan dari LSE adalah untuk menemukan jarak minimum dari vektor Y ke ruang
. Jarak tersebut digambarkan dalam Gambar 3.1 sebagai vektor
adalah jarak dari vektor Y ke vektor . Vektor adalah orthogonal untuk setiap
vektor di X. Oleh karena itu ( ) atau yang
merupakan persamaan normal sebuah garis regresi yang bisa ditentukan yang ada
pada Persamaan (3.31)
Mengikuti teorema Phytagoras yang terkenal, jarak minimum kuadratnya adalah
‖ ‖ ‖ ‖ ‖ ‖
(3.34)
Dalam notasi matriks persamaan ini dapat dinyatakan sebagai
𝑌
𝑌 𝑋��
𝑋��
𝑋�� 𝑋𝛽
𝑋𝛽
𝑌 𝑋𝛽
UNIVERSITAS SUMATERA UTARA
23
( ) ( )
Itu juga dapat ditunjukkan dari Gambar 3.1 bahwa SSE adalah
‖ ‖
‖ ‖ ‖ ‖ (3.35)
Dalam notasi matriks persamaan ini dapat dinyatakan sebagai
( ) ( ) ( ) ( )
( )
Persamaan ini sama dengan Persamaan (3.32)
3.5.4 Kasus Ortogonal
Pada bagian ini akan dipertimbangkan perilaku kriteria seleksi yang dibahas di
atas untuk serangkaian prediksi bersama. Artinya, kasus sederhana ketika semua
variabel independen saling ortogonal satu sama lain dan dengan
demikian = 0 untuk i ≠ j = 0,1,2, ..., k. Pertimbangkan model:
(3.36)
sebagaimana didefinisikan dalam (3.35). Simbol ⊥ menjelaskan bahwa semua
kolom vektor n dimensi X saling ortogonal. Jumlah kuadrat sisa atau RSS (The
Residual Sum of Squares) dari model ini ditunjukkan sebagai berikut:
( ) ( )
∑
∑
∑ (3.37)
Dimana TSS (The Sum of Squares) merupakan jumlah total kuadrat sisa
dari variabel dependen dan menunjukkan kontribusi variabel independen
pada jumlah residu kuadrat ketika variabel independen termasuk dalam model.
Akan dipertimbangkan perilaku untuk kesederhanaan, akan ditetapkan
k = 2 sehingga model penuh hanya melibatkan dua variabel independen dan
.
UNIVERSITAS SUMATERA UTARA
24
Untuk menjelaskan perilaku (dimana ), akan diuji ketiga model
yang ada, model yang melibatkan dua variabel independen, dan dan urutan
dua model yang melibatkan satu variabel independen. Setelah itu , ,
dan menjadi jumlah kuadrat sisa model yang melibatkan dan model
yang melibatkan dan model yang masing-masing menghasilkan , kemudian
, dan . Perilaku (dimana )
ditunjukkan pada Gambar 3.2
Gambar 3.2 Interpretasi Geometri Kasus Orthogonal
Dimana adalah proyeksi tegak lurus Y terhadap ruang yang dibatasi
oleh * + adalah proyeksi Y yang tegak lurus terhadap ruang yang
dibatasi oleh * +. Karena dan .bersifat ortogonal, proyeksi Y yang tegak
lurus dapat diabaikan seperti pada Gambar 3.2 dimana ditunjukkan bahwa
dan .
𝑉𝑥
𝑋��
𝑋 ��
𝑋
𝑋�� 𝑋 ��
𝑋�� 𝑋 ��
𝑋 �� 𝑋
𝑌 𝑋��
𝑌 𝑋 ��
𝑌
Δ /
UNIVERSITAS SUMATERA UTARA
25
Gambar 3.3 Bagian dari Gambar 3.2
Dari Gambar 3.2,‖ ‖
‖ ‖ ‖ ‖
. Ini menyiratkan
bahwa urutan variabel independen yang memasuki model tidak mengubah
pengurangan jumlah kuadrat sisa. dan dengan demikian dan bersifat
independen. Secara umum untuk adalah independen.
Persamaan (3.37) menunjukkan bahwa pengurangan jumlah sisa kuadrat
RSS ketika termasuk dalam model adalah yang berarti bahwa kontribusi
masing-masing variabel independen terhadap nilai RSS itu unik dan
independen terhadap kontribusi setiap pihak variabel bebas. Oleh karena itu,
urutan variabel independen yang memasuki model tidak mempengaruhi keputusan
memilih variabel menjadi model akhir ketika prediksi tersebut membentuk
himpunan ortogonal.
Jika dibandingkan jumlah total kuadrat dari model dengan urutan p dengan
model p+1 dengan memasukkan satu variabel independen ke model dengan p
order, selisih jumlah sisa kuadrat ini adalah simultan,.
𝑋 �� 𝑋�� Δ /
𝑋 ��
UNIVERSITAS SUMATERA UTARA
BAB 4
KESIMPULAN DAN SARAN
4.1 Kesimpulan
Dari persamaan ‖ ‖ ‖ ‖
‖ ‖
. Ini menyiratkan
bahwa urutan variabel independen yang memasuki model tidak mengubah
pengurangan jumlah kuadrat sisa. dan dengan demikian dan bersifat
independen. Secara umum untuk adalah independen.
Persamaan (3.35) ( ) ( ) ∑
menunjukkan bahwa pengurangan jumlah sisa kuadrat RSS ketika termasuk
dalam model adalah yang berarti bahwa kontribusi masing-masing variabel
independen terhadap nilai RSS itu unik dan independen terhadap kontribusi
setiap pihak variabel bebas. Oleh karena itu, urutan variabel independen yang
memasuki model tidak mempengaruhi keputusan memilih variabel menjadi model
akhir ketika prediksi tersebut membentuk himpunan ortogonal.
4.2 Saran
Pada paper selanjutnya dapat mengkaji bagaimana interpretasi geometri dengan
metode lain untuk kasus regresi linier sederhana, bisa juga dicoba untuk rgresi
linier berganda untuk mengatasi jumlah total kuadrat kesalahan dalam garis
regresi yang digunakan.
UNIVERSITAS SUMATERA UTARA
Daftar Pustaka
Algifari. 2000. Analisis Regresi Teori, Kasus, dan solusi, Edisi Kedua. BPFE-Yogyakarta,
Yogyakarta
Draper, N. dan Smith, H. 1992. Analisis Regresi Terapan. Edisi Kedua. Terjemahan Oleh
Bambang Sumantri. Jakarta: Gramedia Pustaka Utama.
G. Tejosutikno. 1983. Aljabar Matriks, Edisi Kedua. Erlangga, Jakarta
Iswardono. 1981. Sekelumit Analisis Regresi dan Korelasi, Edisi Pertama. BPFE-Yogyakarta,
Yogyakarta
J. Supranto. 1997, Pengantar Matriks Edisi Keenam..Rineka Cipta, Jakarta
Murray S. Dan Larry, S. 2000. Statistik Edisi Kedua. Terjemahan Oleh Bambang
Sumantri. Jakarta: Gramedia Pustaka Utama.
Riduan, Sunarto. 2009. Pengantar Statistika untuk Penelitian, Sosial, ekonomi, Komunikasi
dan Bisnis. Alfabeta. Bandung
Sudjana, M.A.,Teknik Analisis Regresi dan Korelasi Bagi Para Penelitian, Tarsito, Bandung,
1996
Iswardono. 1981. Sekelumit Analisis Regresi dan Korelasi, Edisi Pertama. BPFE-Yogyakarta,
Yogyakarta
Sembiring, Open Darnius. 1996. A Simulation Study On Order and Model Selection
Sembiring, R.K. 2003. Analisis Regresi. Edisi Kedua. Bandung: Institut Teknologi Bandung
Usman, Husaini, Akbar Purnomo, Pegantar Statistika, Bumi Aksara, Jakarta, 1995
UNIVERSITAS SUMATERA UTARA