Reference

• https://www.analyticsvidhya.com/blog/2016/01/complete-tutorial-ridge-lasso-regression-python/

• Andrew Rosenberg, 2009, Lecture 5: Linear Regression with RegularizationCSC 84020 - Machine Learning

• Hastie T., Tibshirani R., Friedman J.,

Linear Regression

Example Model

1

2

3

4

Manakah model yang paling baik?

Bias-Variance Trade Off

• Suatu model, ketika terjadioverfitting: bias kecil, variansi besar

• Ketika underfitting: bias besar, variansi kecil

• Semakin kompleks suatu model, maka akan terjadi overfitting

Overfitting terjadi ketika suatu model menggambarkansetiap input dari data, daripada meng-generalisasi-kan

Avoid Overfitting

Subset selection

Subset Selection

• Methods: • Best Subset Selection

• Stepwise Selection• Forward

• Backward

• Hybrid Approach

Problem Solution

1. Akurasi prediksi: memiliki bias kecil, tapi variansi besar. Dapat ditingkatkandengan menyusutkan beberapa koefisien ke 0, sehingga akan mengurangivariansi.

2. Interpretasi: dengan variabel yang sedikit, ingin memperoleh prediksioptimal.

Regularization

Nilai koefisien padaexample model. Dimana𝑤𝑖 merupakan estimasi

parameter

Ridge Regression

Rumus error ketika regresi tidak diregulasi

Rumus error ketika regresi diregulasidengan 𝐿2 norm (Ridge Regression)

𝜆 merupakan parameter regulasi

Example• Contoh hasil regulasi

Regulasi dengan nilailn 𝜆 = 0

(𝜆 = 𝑒0 = 1)

Regulasi dengan nilailn 𝜆 = −18(𝜆 = 𝑒−18)

Nilai ln 𝜆

Nilai error

Lasso Regression

• Penambahan 𝐿1 norm

Summary

Summary:

1. Subset Selection, Ridge and LASSO are decreasing complexity, decreasing

variance, increasing bias (slower), and increasing interpretability of a model.

2. Ridge doesn’t perform a variable selection, but LASSO does (regresi ridge tidak

menyeleksi variabel. Regresi lasso menyeleksi variabel dengan memberi nilai 0

pada variabel yang tidak signifikan.)

3. LASSO can handle p>n easily when it has a proper penalty term