logistic regression - and maximum likelihoodmpetrik/teaching/intro_ml_17_files/class4.pdflinear...
TRANSCRIPT
Logistic Regressionand Maximum Likelihood
Marek Petrik
Feb 09 2017
So Far in ML
I Regression vs ClassificationI Linear regressionI Bias-variance decompositionI Practical methods for linear regression
Simple Linear RegressionI We have only one feature
Y ≈ β0 + β1X Y = β0 + β1X + ε
I Example:
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
● ●
●
●
●
●
●
●
●
● ●
●
●
● ●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
0 50 100 150 200 250 300
510
1520
25
TV
Sal
es
sales ≈ β0 + β1 × TV
Multiple Linear Regression
X1
X2
Y
Types of Function f
Regression: continuous target
f : X → R
Years of Education
Sen
iorit
y
Incom
e
Classification: discrete target
f : X → {1, 2, 3, . . . , k}
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o oo
o
o o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
oo
oo
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
oo
o
o
o
o
o
o
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
oo o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
oo
o
o
o
o
o
oo
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
o
X1
X2
Today
I Why not use linear regression for classificationI Logistic regressionI Maximum likelihood principleI Maximum likelihood for linear regressionI Reading:
I ISL 4.1-3I ESL 2.6 (max likelihood)
Examples of Classification
1. A person arrives at the emergency room with a set ofsymptoms that could possibly be a�ributed to one of threemedical conditions. Which of the three conditions does theindividual have?
2. An online banking service must be able to determine whetheror not a transaction being performed on the site is fraudulent,on the basis of the user�s IP address, past transaction history,and so forth.
3. On the basis of DNA sequence data for a number of patientswith and without a given disease, a biologist would like tofigure out which DNA mutations are deleterious(disease-causing) and which are not.
Examples of Classification
1. A person arrives at the emergency room with a set ofsymptoms that could possibly be a�ributed to one of threemedical conditions. Which of the three conditions does theindividual have?
2. An online banking service must be able to determine whetheror not a transaction being performed on the site is fraudulent,on the basis of the user�s IP address, past transaction history,and so forth.
3. On the basis of DNA sequence data for a number of patientswith and without a given disease, a biologist would like tofigure out which DNA mutations are deleterious(disease-causing) and which are not.
Examples of Classification
1. A person arrives at the emergency room with a set ofsymptoms that could possibly be a�ributed to one of threemedical conditions. Which of the three conditions does theindividual have?
2. An online banking service must be able to determine whetheror not a transaction being performed on the site is fraudulent,on the basis of the user�s IP address, past transaction history,and so forth.
3. On the basis of DNA sequence data for a number of patientswith and without a given disease, a biologist would like tofigure out which DNA mutations are deleterious(disease-causing) and which are not.
IBM Watson
Fair use,
h�ps://en.wikipedia.org/w/index.php?curid=31142331
Logistic regression + clever function engineering
Predicting Default
default ≈ f(income, balance)
0 500 1000 1500 2000 2500
02
00
00
40
00
06
00
00
Balance
Inco
me
Predicting Default
default ≈ f(income, balance)
Boxplot
No Yes
05
00
10
00
15
00
20
00
25
00
Default
Bala
nce
No Yes
02
00
00
40
00
06
00
00
Default
Incom
e
Casting Classification as Regression
I Regression: f : X → RI Classification: f : X → {1, 2, 3}
I But {1, 2, 3} ⊆ RI Do we even need classification?
I Yes!I Regression: Values that are close are similarI Classification: Distance of classes is meaningless
Casting Classification as Regression
I Regression: f : X → RI Classification: f : X → {1, 2, 3}
I But {1, 2, 3} ⊆ RI Do we even need classification?
I Yes!I Regression: Values that are close are similarI Classification: Distance of classes is meaningless
Casting Classification as Regression
I Regression: f : X → RI Classification: f : X → {1, 2, 3}
I But {1, 2, 3} ⊆ RI Do we even need classification?
I Yes!I Regression: Values that are close are similarI Classification: Distance of classes is meaningless
Casting Classification as Regression: Example
I Predict possible diagnosis:
{stroke, overdose, seizure}
I Assign class labels:
Y =
1 if stroke
2 if overdose
3 if seizure
.
I Fit linear regression
I Make predictions: If uncertain whether symptoms point tostroke or seizure, we predict overdose
Casting Classification as Regression: Example
I Predict possible diagnosis:
{stroke, overdose, seizure}
I Assign class labels:
Y =
1 if stroke
2 if overdose
3 if seizure
.
I Fit linear regressionI Make predictions: If uncertain whether symptoms point to
stroke or seizure, we predict overdose
Linear Regression for 2-class Classification
Y =
{1 if default
0 otherwise
Linear regression Logistic regression
0 500 1000 1500 2000 2500
0.0
0.2
0.4
0.6
0.8
1.0
Balance
Pro
ba
bili
ty o
f D
efa
ult
| | || | ||| ||| || | ||| || || | || | || || ||| | | | ||| || || || || ||| || | ||| || ||| ||| || ||| |||| | ||| ||| | || | || | || || | ||| | || ||| || || | || | ||| || | ||| || ||| | ||| || || ||| | ||
|
|| ||| || || | |||| | || || | ||| || || || | || | | | |
|
||| | ||| |||| | || || ||| || ||| || |
|
| || |
|
| |
|
|| || ||| | || || ||| | || || || || |||| | ||
|
|
|
| ||| | || || || || ||| || |
|
|| | ||| | | ||| ||| || | || | | || || ||| || || | || || |||||||| || || | || | |||| | || || || || | || ||| || |||
|
|||
|
| | |
|
| | |||||
|
|| || || || || || ||| | || || |||| || | | ||| ||| | | | || || || || | ||
|
| | || || || ||| || | ||| ||| | ||| |||| | || |
||
| || ||| | | | ||| ||| | || | | |||| | || | ||||| || | ||| || || || |
|
| || || | ||||| | | || || | |||| | ||| | ||| | | ||| | | ||| || ||| | || ||||
|
| || |
|
| || || | || | | | || || | || || ||| |||| |||
|
| |||
|
|| | | || ||| | || ||| || || | ||| || | || || || |||| | ||| | | ||| || ||| | ||| |||| |
|
||| || | | ||
|
| || || |||| ||| ||| | | || | || || ||| ||| ||| | ||| || | || ||| || | | ||| || || ||| ||
|
| || || || | || || || || || || |||| ||
|
| |||| | | | ||| || |||| || |
|
||| | ||| ||| || || | || || || || |||| || | | ||| | |||| | |
|
||| | ||||| || || | || || || | ||| || || |
|
|||| |||| | | || || || || | || || |||| | | ||| |
|
|| || | | |||| || || || | |||| || || || || ||| || || | || | | || || | || || ||
|
|| | ||| | ||| |
|
|||||| | | ||| || | || || | | ||| | | | | || ||| | | |||| | ||
|
|| | || |
|
| ||| || | ||| | || || ||
|
| || | || | | || | || || | | |
|
| |||
|
||| | || || || | | | || || ||
|
|| || | | ||| | |||| || ||| || || || || || ||| ||| | ||| | | |||| || ||| | | ||
|
|| | | || ||| || | ||| || ||| || || || | || || || || ||
|
|| || |
||
|| | || ||| |||| | |||
|
| || | | ||| || | ||| ||| | || | | | ||| || || || | ||| || | ||| || || ||
|
|| | ||
|
|| | | || ||| || ||| ||| | || ||| |||| | || | | || |||| |
|
|| || | || ||| || | || || | || | ||| | || ||| || || || || | || || | || || || || | || | |||| | ||| | || || | || || || || ||| || | | || | ||| ||| | ||| | | |||
|
|
|
|||| || | | || | ||| ||| || | ||| || | | | |||| |
|
||| | || ||| | || |||| || | || || | | || || ||| ||| | ||| || || || || | |
|
|
|
|| || | ||| ||||| | | | ||| | | ||| || || || || || | |
|
||
|
|||| ||| |
|
| ||| |
|
||| ||| | ||||| | || || || || | | || || || || || ||| ||| | || | ||
|
||| | ||| || | ||| | |||| || | | || |||| | || || || || || | |
|
||| | | || |||| | || || | |
|
|| | || | || |||| | ||
|
| || || ||| || | | ||| || || ||
|
|| || ||| ||| || || || ||| || || ||| || | | | ||| || || ||||| || | ||| | || | |
|
| || || |
|
| || | | || || | ||||| || | || || || || || | || || || | ||
|
|| ||| || || || ||| | || |||| | | || || || | |
|
|| | || || ||| | ||| || ||| | | ||| ||| || || ||| || ||| || || ||||
|
|||
|
||| | || || || |
|
| || || ||| ||| || | |||
|
||| || || ||| || |
|
|| || || | ||| || | || | || |
|
| || ||| | | ||| || ||| | || | || | || | | || || || | || || | |||
|
|
|
|||| | || | | || | || | ||| | ||| | || | || || || || ||| || |||| || | ||| || || || || | ||
|
||| || | |
|
| | ||| | || || ||||| ||| ||| |
|
|| | ||| ||| ||| | ||
|
|| | || || ||| || | |
|
| | || ||||| ||| | || || ||| || || ||
|
|| | |
|
||| || | || | || | | ||||| | || ||| || |||
|
|| | | |||| | | || | || | |||| | | | | | ||| | |||
|
|||| || ||| || ||
|
||| || |
|
|| | || || || | || | |||||| |
|
|| |
|
||| | | || ||| |
|
| | ||| ||||| ||| | | || || || |
|
| || | ||| || || || || | | ||| || | | | ||| | || || || |||| || |
|
| || | ||| | | || ||| || | | ||| | | ||| | | ||| ||| ||| | |
|
| || | ||| || ||| | || |
|
| ||| | || ||| |||
|
||| | | || || || |||| ||| | ||| ||| ||| || || ||| | ||| |||| | || ||| | || || | || ||| || || || || || || | || || || |||| || || || ||| |
|
|| || || ||| ||
|
|| | ||| | || ||| | || | | | ||| | || || || | ||| |||| || | || || | | |||| | || ||| || | ||| ||| || | || | | | ||| ||
|
| ||| | || | | | |
|
|||| || || | ||| | || |||||| || || || ||| ||| | || ||| | |||| ||| | || || |
|
| || | || || || || || ||| | || || || || | ||| || | || ||| || || |||| ||
|
|| | ||| || || || || | | ||| ||| ||| || ||| |||| ||||| |
|
|||| | | || |||| ||| ||| || || ||| || || || || ||||| ||| | || || | || | ||| ||| |
|
| ||| || || || || || || |||| || |||| || || |
|
||| || || || || | |||
|
|| ||| | ||| || ||| || ||||| ||| | | || |||| || || | ||| || | || ||| | | ||||| | ||| ||| || | | | | || | | || || || | || |||| | ||
|
| || || || || || || || | | || || | | || | ||| ||| | | ||| ||
|
|| ||| || ||| || | || || ||| |||| | ||| || || ||| | | | ||| || | ||| |||| || || |||| || | || | ||| || | || | ||| || || || || ||| || |||| ||| || ||||| | || || |
|
|| || | ||| || ||
|
|| | | |||| | ||| ||| ||| || || || ||| || || || | || || || ||| | | ||||
|
|| | |||| || || ||
|
| || | |
|
|| || | |||| || | ||| ||| | || || || | || | | ||
|
|| || |
|
|| | ||| || |||| ||| || |
|
|| | || ||
|
|| | | || | || ||| ||| || | || |
|
| || ||| | |||| |||| || | ||||| | | |
|
|| ||| ||||
|
||| | || || ||| || | ||| | || || | || || || | ||| || |
|
|| || || | || ||
|
| || ||| ||
|
| || | | ||
|
|| || | || |
|
|| |||| | ||||| | | || | | |||||| || ||| ||| || || |||| | | || |||| || ||
|
| |
|
||| ||
|
| || | |
|
|| || | || | | |||| || | | || | | || || || || || | || ||| | | |||| | |
|
| || || || || || || ||| | | || || ||| || | |||| | || ||| | |||| |||||
|
| | |
|
| | ||| | |||| | || || || || || || | || | || | | | || || | || | |||| | || | || || | ||| | || || ||| || || |||
|
| || ||| | || | || || || ||| | || |||| || | || | ||
|
| | ||| ||| || | |||
|
|| ||| || || || | | || | ||| | || ||| | ||
|
|| || | || | | || ||| | |||| || || | || ||||| || ||| || || || ||| ||| ||| | ||| || ||| ||| || || | ||| |
|
|| |
|
| ||||| | || ||| || || || || | ||| || || | | | ||| | || ||| ||| ||| |||| ||| ||| || || | || | |
|
| || | ||| ||| || || || ||| || ||| | || || | | || | || || || | || | ||| | || || || ||| ||| || || | || | ||
|
| || ||| || || ||| || | ||| || | || |
|
| || | ||| ||| || ||| | ||| || || | | ||| | ||
|
| | || | | |
|
|| | ||| || || | | ||| | | ||| | | || || |||| | || ||
|
|| | | || | | | ||
|
| ||| | | || | || ||| || || | ||| | ||| || |||| | ||| ||| || | || || ||| ||| | ||| ||| ||||| |||| ||| | | |||| ||
|
| |||| | || | |
|
||| ||| || || ||
|
|| |
|
|
|
||| ||| | |||| || ||| | || ||| | | || ||| ||
|
| ||| || |||| || | || | || || | | |||| || | |||
|
||||| || | |||| ||
|
| ||| || |
|
|| || || ||||| | | ||| | ||| | || | ||| || | || | || | | || |||
|
| || |||| ||| | | |
|
| || |||
|
|| || | || | ||||| | | ||| || || | | ||| || || | | | | || ||| | |||| | | || | |||| || | ||| | || |||| | | || ||| ||
|
|| || | || | | || | ||| ||| || || | | || || | || || ||| || || || | | | || | |||| | | || || ||| |
|
|| || | || || || || | ||| | || || || | ||| | || ||| ||
|
|| || || ||
|
| || ||| || || | |
|
| || | | || | ||| | || || ||| || |||| || || | ||
|
|| || || || | | |||
|
|| || | ||| || ||| || | | || |||| | | || ||| |
|
| | |
|
| || | ||| || | | ||| || | || ||| || | | || | | ||| | || | | ||| || ||| | ||| || ||
|
|| || ||| ||| || || ||| || |
||
|| |
|
| | || | || || | ||| || | ||| | | | || | || | || | | |||| | ||| | ||| ||| ||| || | ||| || || || | || |||| | | |||| ||| | | | |||| |
|
|
|
| || || |||| | || |
|
|| || || | |||
| |
| ||| ||| | || | | | |||
|
| ||| | ||| || || || || || | ||| || | || ||| ||| | | || |||| | |||||
|
| || | ||| ||| || || | | ||||| ||| | || || || ||| | ||| || | | || | || || |||| || | ||| | ||| | || || || | || ||| ||| ||| || | ||| | || ||| || || ||| || || | |||| || ||| || ||| | ||| ||| | || | || || || ||| | || ||| | || | || ||| | | ||| | |
|
| | ||||| | ||
|
|| |
|
|||| || |||||
|
|| | | || |||| | || || ||
|
|| ||| || || || ||| |||| || ||| | |||| | | |
|
| | | |||| || ||| | ||| | | || || |
|
|| | || | || | |
|
| | |
|
||| | || | ||| || || || ||| |||| || || ||| || || |||
|
| | | || | || ||| || | ||| ||| || || | ||| || | || || || ||| || ||| | || | || | || || ||| | || ||||| | |
|
|| | | | |||| || ||| || || || || | | || |
|
||| | || || ||| || | || |||
|
|| || ||| | | ||| ||| | || || || || || || | | | ||| | || | | || || | | || ||| || ||| | || || | |||| || || ||| || |
|
|| | || | | || ||| |||| | || | | || ||| | || || || |||| || ||| ||| || || || || || | ||| ||| |||| | |
|
| ||| | ||| ||| || || || |||| || | ||||| | || | ||||| | ||
|
| | || || ||| || | |||| | ||| | || ||| ||| | | || |
|
|| ||| ||
|
| || | ||| || || || |||| || ||
|
||| | || |||| || | || ||| || || | || | || | || || ||| |||| ||| |
|
||| ||| || | || || || | || || | | ||| || || | ||| ||| | ||| ||| |||| | || | || || ||| | || || ||| |
|
|| | ||| ||| | || || || || | || | | ||| || | ||| | || || || || | | || | | || | | |||| || ||| | | || || || ||| || || | |
|
| | ||| || || || |
|
| || || |||
|
| | || |||| ||| | || | ||| || | || | || ||| | || || || || |||||| || | || || | ||| ||| | | || | | || || ||| | ||| || ||||| | || ||| | ||| |||| | || | || ||| ||
|
|||||| | ||| || | || || || ||| || || || || | | || | ||
|
|| || || || ||| | ||| ||| ||| || || || || | || || ||
|
||| | || || || | ||| | || || | || ||| | || || ||
|
| | || | ||| || || | | ||| | || | |||| |||| || || | || | | ||| | || | | |||| || | |||| | || || | || || | ||| || || | ||| || | || ||| |||
|
| || || |||| || || |||| | ||| |||| | |||| |||| || |
|
|| | || | | || | | |
|
| ||||| | |||||| | || | | || || || || | || ||| || | || || || |
|
|
|
| ||| | || | ||| ||| |||| |
|
|| || || || || | | || | ||| | | | ||
|
|| || | || | |||| | ||
|
| || |||| || | ||||| || || | ||| | | ||| ||| | || |||| ||| |
|
| |||| || | ||
|
|| || | |||| | || ||||| | || | ||| | | || || | | | || ||| ||| || | | || | ||
|
|| ||| |
|
| | || || |||| |
|
|| | ||| | || || | ||| || || ||| | || || | ||| || || | || | || |||| || ||| ||| ||| || | ||| | || || | |||
| |
||| || || || | || |||| | |||| || ||| || || | ||| ||
|
| || || ||| || || | | ||| | || | |||| ||
|
|| ||| || | || | | | || | ||| | |
|
| || || || | || || || | ||| || ||| || ||
|
| || | |||| |||
|
| ||| || || | || |
|
| || ||| || | || || |||| || | ||| | || | || | ||| | || | || ||||| |
|
|| | || || | | | ||| | || ||||
|
|
|
| | | | |||| ||| |||| |||| | | | ||| | || | || || | || | |||| | || | | ||| || |
|
||||
|
| ||| | ||| ||
|
| || || ||| ||| || |||| ||| |
|
||| || | ||
|
||| | | || ||| | || |||| || | || ||| || || | ||| | ||| || |||
|
|| ||| || ||| | | || || | || | ||| | || | | || | ||| |||| || || ||||| | ||| | || || || || | || | ||||
|
|| ||| || ||| | | || || | ||| |||| | |
|
|| | | ||| || ||
|
| || || || |
|
| | | || | || ||| ||| | | | || || || |||
|
| || || ||||| | | || ||
|
||
|
|| | || || | ||| || | || | ||| |
|
|| | || | |||
|
|| | |||| || ||| | ||| | | ||| || | || || || | | || |||| ||
|
| || | || || | || ||| | ||| ||| ||| | ||| | || | ||| ||||| | | | ||
|
| | | || | ||| || || ||
|
| || |||| | ||| | |||| || | | ||| || | ||
|
|| | | ||||| | || ||| || || || ||| |||| |||
|
| | | ||| |||| | || |||| | || | | || || | | || || || | ||||| ||| |||
|
|| ||| ||| ||
|
| | || | || ||||| ||| || || || || | ||| || | | | | ||
|
| ||| | || || | | || ||| || |||| ||| || | | ||| | ||| | || || || | || | || | || || | || |
|
| || || |||| ||||| | || | || | || |||| | || | || || |||| | | ||| ||
|
| || || || ||| || || | ||||| || || | ||| || |||| | || ||| ||| || || | |||| || | ||| ||| || | ||| | | || | || || | | || | | || | || |
|
|
|
||| | | ||| ||| || | || | || ||| | |
|
| ||| || || | | || ||| | | | || | || ||| || | || || | || || || || || || || ||| | || || || | || ||||
|
| ||| ||| |
|
| ||| | || | | ||||| | ||| || || || ||| || | ||| | || || ||| || | || | |
|
| |
|
||| ||||| | |||| || || ||| || | || | || ||| | ||
|
| | ||| | ||| | |||| || || | |||| | | ||
|
||| | | || | | ||| || | ||| || ||| || || ||| ||| ||| | || | | | || || ||| || | ||| |||| || || ||| | ||| |||| ||||| || ||| || || | | ||| || || || |||| ||| ||
|
||| ||| ||| | || | ||| | || | | || ||| | || || ||| | || | ||| || | | || ||| | ||| | || || || |||| | | ||
|
||||| || | | || || || ||||| | ||| || ||| ||| | || || || | | || || ||| || | |
|
|| | || |||| || ||
|
|| || | | || | | ||
|
|
|
|
|
|| || | || || ||
|
| || || || || | || ||| | || | | ||| | || || |||| |||| || | ||
|
| || || | || || ||| | | || ||| || || || | | | ||||
|
|| ||| ||| || || || | || || || | | || | || | ||| | || ||| || | || ||| || | || || || || ||| ||| | | ||| | || | || || || || | |||| || || | || || ||| | || | |||| | || | || | | | || || | || || ||| | | ||| |||| | ||| || | || ||| | || | ||| || ||| || || || ||| || | || || || | || |||| || | || || || ||| || || ||| | | | || | | | || |||
|
|| || || ||||| || | |||| |
|
| | | || | | | |||||| ||| || | | ||| | ||| | ||| |||| | | | | || |||| | ||
|
| ||
|
| | || || ||| || || ||| || | || || | ||| || || || || || || | || | ||| ||
|
|| | | || || | || ||| ||| || |
|
|| |||| | || | || || | | || | |||| || ||| || | | || | || | || || ||
|
| | || | |||| | || || | || |||| |||| | || | |||
|
|||| | ||| || | | |
|
| | || |||
|
| ||| |||| | | || | | ||| || | | || | | || | || | || |
|
||| || ||| | |
|
||| || ||| ||| ||| ||
|
|| | || || |||| ||| | || || | ||| || | ||
|
||
|
| |
| |
|| ||||| || | || | ||
|
| || ||| || |
|
|| | ||
|
| |||| || | || | ||| | ||| ||| || || || || || |||| | ||| | ||| |||
|
| || || | | || ||| || | || ||| || ||||| | |||
|
|| |||| | ||| | |||| |||| || || || | ||| | ||| ||| || | || | | || ||| || ||| | | | || ||| | | | || || | | || || || || || | ||| | ||| ||| | || | ||| || | || | || || | ||| ||| || || || | ||||| | ||
|
|| |||| || ||| ||| | |||
|
|| || | | ||| | | |
|
| | || | || || ||| || || || | || | || || || | | | ||| |||| || | || ||| | || || | | |
|
|| || || || || ||||| | | || || ||| | | ||| | ||| ||| | | |
|
||
|
| | ||| || || ||| || || || || || || | ||||| || | || || | || || || | | ||| || || | ||| || | | ||| ||| ||| |
|
||| || ||| || |
|
||| || | || ||| || ||| ||| | || | ||| ||| || ||| ||| || | | | || || | || || | | | ||| | | || || || | || | | ||
|
|| | || || || || ||| | || |||| || || || | | ||| | || | ||| | || || | ||
|
| |||
|
| || || || | |||| || ||| | || ||||
|
||| | || ||
|
| |||
|
| | || | ||||| ||| || || || | | | ||| | | || |||| || | ||||| ||| ||| | |||| | | || ||| || || || |||| || || | || ||| || |||| |||| | | | ||
|
|| ||| ||| || | || | || |||| |||| | || ||| ||| ||||||| || ||| | || | || ||| | | | || || |||| || || || | || | |
|
| || || || | || ||||
|
| || ||| | | || ||| || | ||| | | | |
|
||| | | |||| || || || || | || | ||| | || | ||| |
|
| || | || || ||| | || | | || | |||| || || ||| | || ||| ||| |
|
| || ||| || | ||| | || | || | ||| ||| || || |||| || | || ||| | || | ||| || || |||| ||| || |
|
||||
|
| ||||| ||| |
|
| | || ||| | |
|
|| | || ||||| | ||| || | |
|
| || || ||
|
||| || | | |||||| |
|
|||| | || ||
|
|| | |
|
|||| | |
|
| | || || | ||| || | ||
|
| | ||| || ||| || ||| || || | | || ||| | || ||| | || |||| ||||| || | ||||| | | || || ||| | ||| | || || |
|
|| || ||| || || ||| | || || || | || |||| || || | | |||| | | | ||
|
|| | | || ||| | | | | || ||| || || ||| ||| || | || || ||| ||| ||| ||| || || || | | | || | | || ||| | || || ||| ||| || || | | ||| ||| || |||| | | || | || | || || ||| | | || || | ||| || ||| | || |
|
||
|
| ||| || || |
|
|| || ||| ||| | || || |
|
|| || | ||| ||| || | |||| | || || ||| || ||||| || || | || ||
|
|| |||| | || || || || | || | ||| || | |
|
| |||| ||| |
|
| ||| || ||| | ||| || | | |
|
| |||||| |
|
| | || |||| || ||| || || || | || |||||
|
|
|
| | ||| ||| | | || | | ||| | || | | ||| |
|
| |||| ||| || || | ||| | | | ||
0 500 1000 1500 2000 2500
0.0
0.2
0.4
0.6
0.8
1.0
Balance
Pro
ba
bili
ty o
f D
efa
ult
| | || | ||| ||| || | ||| || || | || | || || ||| | | | ||| || || || || ||| || | ||| || ||| ||| || ||| |||| | ||| ||| | || | || | || || | ||| | || ||| || || | || | ||| || | ||| || ||| | ||| || || ||| | ||
|
|| ||| || || | |||| | || || | ||| || || || | || | | | |
|
||| | ||| |||| | || || ||| || ||| || |
|
| || |
|
| |
|
|| || ||| | || || ||| | || || || || |||| | ||
|
|
|
| ||| | || || || || ||| || |
|
|| | ||| | | ||| ||| || | || | | || || ||| || || | || || |||||||| || || | || | |||| | || || || || | || ||| || |||
|
|||
|
| | |
|
| | |||||
|
|| || || || || || ||| | || || |||| || | | ||| ||| | | | || || || || | ||
|
| | || || || ||| || | ||| ||| | ||| |||| | || |
||
| || ||| | | | ||| ||| | || | | |||| | || | ||||| || | ||| || || || |
|
| || || | ||||| | | || || | |||| | ||| | ||| | | ||| | | ||| || ||| | || ||||
|
| || |
|
| || || | || | | | || || | || || ||| |||| |||
|
| |||
|
|| | | || ||| | || ||| || || | ||| || | || || || |||| | ||| | | ||| || ||| | ||| |||| |
|
||| || | | ||
|
| || || |||| ||| ||| | | || | || || ||| ||| ||| | ||| || | || ||| || | | ||| || || ||| ||
|
| || || || | || || || || || || |||| ||
|
| |||| | | | ||| || |||| || |
|
||| | ||| ||| || || | || || || || |||| || | | ||| | |||| | |
|
||| | ||||| || || | || || || | ||| || || |
|
|||| |||| | | || || || || | || || |||| | | ||| |
|
|| || | | |||| || || || | |||| || || || || ||| || || | || | | || || | || || ||
|
|| | ||| | ||| |
|
|||||| | | ||| || | || || | | ||| | | | | || ||| | | |||| | ||
|
|| | || |
|
| ||| || | ||| | || || ||
|
| || | || | | || | || || | | |
|
| |||
|
||| | || || || | | | || || ||
|
|| || | | ||| | |||| || ||| || || || || || ||| ||| | ||| | | |||| || ||| | | ||
|
|| | | || ||| || | ||| || ||| || || || | || || || || ||
|
|| || |
||
|| | || ||| |||| | |||
|
| || | | ||| || | ||| ||| | || | | | ||| || || || | ||| || | ||| || || ||
|
|| | ||
|
|| | | || ||| || ||| ||| | || ||| |||| | || | | || |||| |
|
|| || | || ||| || | || || | || | ||| | || ||| || || || || | || || | || || || || | || | |||| | ||| | || || | || || || || ||| || | | || | ||| ||| | ||| | | |||
|
|
|
|||| || | | || | ||| ||| || | ||| || | | | |||| |
|
||| | || ||| | || |||| || | || || | | || || ||| ||| | ||| || || || || | |
|
|
|
|| || | ||| ||||| | | | ||| | | ||| || || || || || | |
|
||
|
|||| ||| |
|
| ||| |
|
||| ||| | ||||| | || || || || | | || || || || || ||| ||| | || | ||
|
||| | ||| || | ||| | |||| || | | || |||| | || || || || || | |
|
||| | | || |||| | || || | |
|
|| | || | || |||| | ||
|
| || || ||| || | | ||| || || ||
|
|| || ||| ||| || || || ||| || || ||| || | | | ||| || || ||||| || | ||| | || | |
|
| || || |
|
| || | | || || | ||||| || | || || || || || | || || || | ||
|
|| ||| || || || ||| | || |||| | | || || || | |
|
|| | || || ||| | ||| || ||| | | ||| ||| || || ||| || ||| || || ||||
|
|||
|
||| | || || || |
|
| || || ||| ||| || | |||
|
||| || || ||| || |
|
|| || || | ||| || | || | || |
|
| || ||| | | ||| || ||| | || | || | || | | || || || | || || | |||
|
|
|
|||| | || | | || | || | ||| | ||| | || | || || || || ||| || |||| || | ||| || || || || | ||
|
||| || | |
|
| | ||| | || || ||||| ||| ||| |
|
|| | ||| ||| ||| | ||
|
|| | || || ||| || | |
|
| | || ||||| ||| | || || ||| || || ||
|
|| | |
|
||| || | || | || | | ||||| | || ||| || |||
|
|| | | |||| | | || | || | |||| | | | | | ||| | |||
|
|||| || ||| || ||
|
||| || |
|
|| | || || || | || | |||||| |
|
|| |
|
||| | | || ||| |
|
| | ||| ||||| ||| | | || || || |
|
| || | ||| || || || || | | ||| || | | | ||| | || || || |||| || |
|
| || | ||| | | || ||| || | | ||| | | ||| | | ||| ||| ||| | |
|
| || | ||| || ||| | || |
|
| ||| | || ||| |||
|
||| | | || || || |||| ||| | ||| ||| ||| || || ||| | ||| |||| | || ||| | || || | || ||| || || || || || || | || || || |||| || || || ||| |
|
|| || || ||| ||
|
|| | ||| | || ||| | || | | | ||| | || || || | ||| |||| || | || || | | |||| | || ||| || | ||| ||| || | || | | | ||| ||
|
| ||| | || | | | |
|
|||| || || | ||| | || |||||| || || || ||| ||| | || ||| | |||| ||| | || || |
|
| || | || || || || || ||| | || || || || | ||| || | || ||| || || |||| ||
|
|| | ||| || || || || | | ||| ||| ||| || ||| |||| ||||| |
|
|||| | | || |||| ||| ||| || || ||| || || || || ||||| ||| | || || | || | ||| ||| |
|
| ||| || || || || || || |||| || |||| || || |
|
||| || || || || | |||
|
|| ||| | ||| || ||| || ||||| ||| | | || |||| || || | ||| || | || ||| | | ||||| | ||| ||| || | | | | || | | || || || | || |||| | ||
|
| || || || || || || || | | || || | | || | ||| ||| | | ||| ||
|
|| ||| || ||| || | || || ||| |||| | ||| || || ||| | | | ||| || | ||| |||| || || |||| || | || | ||| || | || | ||| || || || || ||| || |||| ||| || ||||| | || || |
|
|| || | ||| || ||
|
|| | | |||| | ||| ||| ||| || || || ||| || || || | || || || ||| | | ||||
|
|| | |||| || || ||
|
| || | |
|
|| || | |||| || | ||| ||| | || || || | || | | ||
|
|| || |
|
|| | ||| || |||| ||| || |
|
|| | || ||
|
|| | | || | || ||| ||| || | || |
|
| || ||| | |||| |||| || | ||||| | | |
|
|| ||| ||||
|
||| | || || ||| || | ||| | || || | || || || | ||| || |
|
|| || || | || ||
|
| || ||| ||
|
| || | | ||
|
|| || | || |
|
|| |||| | ||||| | | || | | |||||| || ||| ||| || || |||| | | || |||| || ||
|
| |
|
||| ||
|
| || | |
|
|| || | || | | |||| || | | || | | || || || || || | || ||| | | |||| | |
|
| || || || || || || ||| | | || || ||| || | |||| | || ||| | |||| |||||
|
| | |
|
| | ||| | |||| | || || || || || || | || | || | | | || || | || | |||| | || | || || | ||| | || || ||| || || |||
|
| || ||| | || | || || || ||| | || |||| || | || | ||
|
| | ||| ||| || | |||
|
|| ||| || || || | | || | ||| | || ||| | ||
|
|| || | || | | || ||| | |||| || || | || ||||| || ||| || || || ||| ||| ||| | ||| || ||| ||| || || | ||| |
|
|| |
|
| ||||| | || ||| || || || || | ||| || || | | | ||| | || ||| ||| ||| |||| ||| ||| || || | || | |
|
| || | ||| ||| || || || ||| || ||| | || || | | || | || || || | || | ||| | || || || ||| ||| || || | || | ||
|
| || ||| || || ||| || | ||| || | || |
|
| || | ||| ||| || ||| | ||| || || | | ||| | ||
|
| | || | | |
|
|| | ||| || || | | ||| | | ||| | | || || |||| | || ||
|
|| | | || | | | ||
|
| ||| | | || | || ||| || || | ||| | ||| || |||| | ||| ||| || | || || ||| ||| | ||| ||| ||||| |||| ||| | | |||| ||
|
| |||| | || | |
|
||| ||| || || ||
|
|| |
|
|
|
||| ||| | |||| || ||| | || ||| | | || ||| ||
|
| ||| || |||| || | || | || || | | |||| || | |||
|
||||| || | |||| ||
|
| ||| || |
|
|| || || ||||| | | ||| | ||| | || | ||| || | || | || | | || |||
|
| || |||| ||| | | |
|
| || |||
|
|| || | || | ||||| | | ||| || || | | ||| || || | | | | || ||| | |||| | | || | |||| || | ||| | || |||| | | || ||| ||
|
|| || | || | | || | ||| ||| || || | | || || | || || ||| || || || | | | || | |||| | | || || ||| |
|
|| || | || || || || | ||| | || || || | ||| | || ||| ||
|
|| || || ||
|
| || ||| || || | |
|
| || | | || | ||| | || || ||| || |||| || || | ||
|
|| || || || | | |||
|
|| || | ||| || ||| || | | || |||| | | || ||| |
|
| | |
|
| || | ||| || | | ||| || | || ||| || | | || | | ||| | || | | ||| || ||| | ||| || ||
|
|| || ||| ||| || || ||| || |
||
|| |
|
| | || | || || | ||| || | ||| | | | || | || | || | | |||| | ||| | ||| ||| ||| || | ||| || || || | || |||| | | |||| ||| | | | |||| |
|
|
|
| || || |||| | || |
|
|| || || | |||
| |
| ||| ||| | || | | | |||
|
| ||| | ||| || || || || || | ||| || | || ||| ||| | | || |||| | |||||
|
| || | ||| ||| || || | | ||||| ||| | || || || ||| | ||| || | | || | || || |||| || | ||| | ||| | || || || | || ||| ||| ||| || | ||| | || ||| || || ||| || || | |||| || ||| || ||| | ||| ||| | || | || || || ||| | || ||| | || | || ||| | | ||| | |
|
| | ||||| | ||
|
|| |
|
|||| || |||||
|
|| | | || |||| | || || ||
|
|| ||| || || || ||| |||| || ||| | |||| | | |
|
| | | |||| || ||| | ||| | | || || |
|
|| | || | || | |
|
| | |
|
||| | || | ||| || || || ||| |||| || || ||| || || |||
|
| | | || | || ||| || | ||| ||| || || | ||| || | || || || ||| || ||| | || | || | || || ||| | || ||||| | |
|
|| | | | |||| || ||| || || || || | | || |
|
||| | || || ||| || | || |||
|
|| || ||| | | ||| ||| | || || || || || || | | | ||| | || | | || || | | || ||| || ||| | || || | |||| || || ||| || |
|
|| | || | | || ||| |||| | || | | || ||| | || || || |||| || ||| ||| || || || || || | ||| ||| |||| | |
|
| ||| | ||| ||| || || || |||| || | ||||| | || | ||||| | ||
|
| | || || ||| || | |||| | ||| | || ||| ||| | | || |
|
|| ||| ||
|
| || | ||| || || || |||| || ||
|
||| | || |||| || | || ||| || || | || | || | || || ||| |||| ||| |
|
||| ||| || | || || || | || || | | ||| || || | ||| ||| | ||| ||| |||| | || | || || ||| | || || ||| |
|
|| | ||| ||| | || || || || | || | | ||| || | ||| | || || || || | | || | | || | | |||| || ||| | | || || || ||| || || | |
|
| | ||| || || || |
|
| || || |||
|
| | || |||| ||| | || | ||| || | || | || ||| | || || || || |||||| || | || || | ||| ||| | | || | | || || ||| | ||| || ||||| | || ||| | ||| |||| | || | || ||| ||
|
|||||| | ||| || | || || || ||| || || || || | | || | ||
|
|| || || || ||| | ||| ||| ||| || || || || | || || ||
|
||| | || || || | ||| | || || | || ||| | || || ||
|
| | || | ||| || || | | ||| | || | |||| |||| || || | || | | ||| | || | | |||| || | |||| | || || | || || | ||| || || | ||| || | || ||| |||
|
| || || |||| || || |||| | ||| |||| | |||| |||| || |
|
|| | || | | || | | |
|
| ||||| | |||||| | || | | || || || || | || ||| || | || || || |
|
|
|
| ||| | || | ||| ||| |||| |
|
|| || || || || | | || | ||| | | | ||
|
|| || | || | |||| | ||
|
| || |||| || | ||||| || || | ||| | | ||| ||| | || |||| ||| |
|
| |||| || | ||
|
|| || | |||| | || ||||| | || | ||| | | || || | | | || ||| ||| || | | || | ||
|
|| ||| |
|
| | || || |||| |
|
|| | ||| | || || | ||| || || ||| | || || | ||| || || | || | || |||| || ||| ||| ||| || | ||| | || || | |||
| |
||| || || || | || |||| | |||| || ||| || || | ||| ||
|
| || || ||| || || | | ||| | || | |||| ||
|
|| ||| || | || | | | || | ||| | |
|
| || || || | || || || | ||| || ||| || ||
|
| || | |||| |||
|
| ||| || || | || |
|
| || ||| || | || || |||| || | ||| | || | || | ||| | || | || ||||| |
|
|| | || || | | | ||| | || ||||
|
|
|
| | | | |||| ||| |||| |||| | | | ||| | || | || || | || | |||| | || | | ||| || |
|
||||
|
| ||| | ||| ||
|
| || || ||| ||| || |||| ||| |
|
||| || | ||
|
||| | | || ||| | || |||| || | || ||| || || | ||| | ||| || |||
|
|| ||| || ||| | | || || | || | ||| | || | | || | ||| |||| || || ||||| | ||| | || || || || | || | ||||
|
|| ||| || ||| | | || || | ||| |||| | |
|
|| | | ||| || ||
|
| || || || |
|
| | | || | || ||| ||| | | | || || || |||
|
| || || ||||| | | || ||
|
||
|
|| | || || | ||| || | || | ||| |
|
|| | || | |||
|
|| | |||| || ||| | ||| | | ||| || | || || || | | || |||| ||
|
| || | || || | || ||| | ||| ||| ||| | ||| | || | ||| ||||| | | | ||
|
| | | || | ||| || || ||
|
| || |||| | ||| | |||| || | | ||| || | ||
|
|| | | ||||| | || ||| || || || ||| |||| |||
|
| | | ||| |||| | || |||| | || | | || || | | || || || | ||||| ||| |||
|
|| ||| ||| ||
|
| | || | || ||||| ||| || || || || | ||| || | | | | ||
|
| ||| | || || | | || ||| || |||| ||| || | | ||| | ||| | || || || | || | || | || || | || |
|
| || || |||| ||||| | || | || | || |||| | || | || || |||| | | ||| ||
|
| || || || ||| || || | ||||| || || | ||| || |||| | || ||| ||| || || | |||| || | ||| ||| || | ||| | | || | || || | | || | | || | || |
|
|
|
||| | | ||| ||| || | || | || ||| | |
|
| ||| || || | | || ||| | | | || | || ||| || | || || | || || || || || || || ||| | || || || | || ||||
|
| ||| ||| |
|
| ||| | || | | ||||| | ||| || || || ||| || | ||| | || || ||| || | || | |
|
| |
|
||| ||||| | |||| || || ||| || | || | || ||| | ||
|
| | ||| | ||| | |||| || || | |||| | | ||
|
||| | | || | | ||| || | ||| || ||| || || ||| ||| ||| | || | | | || || ||| || | ||| |||| || || ||| | ||| |||| ||||| || ||| || || | | ||| || || || |||| ||| ||
|
||| ||| ||| | || | ||| | || | | || ||| | || || ||| | || | ||| || | | || ||| | ||| | || || || |||| | | ||
|
||||| || | | || || || ||||| | ||| || ||| ||| | || || || | | || || ||| || | |
|
|| | || |||| || ||
|
|| || | | || | | ||
|
|
|
|
|
|| || | || || ||
|
| || || || || | || ||| | || | | ||| | || || |||| |||| || | ||
|
| || || | || || ||| | | || ||| || || || | | | ||||
|
|| ||| ||| || || || | || || || | | || | || | ||| | || ||| || | || ||| || | || || || || ||| ||| | | ||| | || | || || || || | |||| || || | || || ||| | || | |||| | || | || | | | || || | || || ||| | | ||| |||| | ||| || | || ||| | || | ||| || ||| || || || ||| || | || || || | || |||| || | || || || ||| || || ||| | | | || | | | || |||
|
|| || || ||||| || | |||| |
|
| | | || | | | |||||| ||| || | | ||| | ||| | ||| |||| | | | | || |||| | ||
|
| ||
|
| | || || ||| || || ||| || | || || | ||| || || || || || || | || | ||| ||
|
|| | | || || | || ||| ||| || |
|
|| |||| | || | || || | | || | |||| || ||| || | | || | || | || || ||
|
| | || | |||| | || || | || |||| |||| | || | |||
|
|||| | ||| || | | |
|
| | || |||
|
| ||| |||| | | || | | ||| || | | || | | || | || | || |
|
||| || ||| | |
|
||| || ||| ||| ||| ||
|
|| | || || |||| ||| | || || | ||| || | ||
|
||
|
| |
| |
|| ||||| || | || | ||
|
| || ||| || |
|
|| | ||
|
| |||| || | || | ||| | ||| ||| || || || || || |||| | ||| | ||| |||
|
| || || | | || ||| || | || ||| || ||||| | |||
|
|| |||| | ||| | |||| |||| || || || | ||| | ||| ||| || | || | | || ||| || ||| | | | || ||| | | | || || | | || || || || || | ||| | ||| ||| | || | ||| || | || | || || | ||| ||| || || || | ||||| | ||
|
|| |||| || ||| ||| | |||
|
|| || | | ||| | | |
|
| | || | || || ||| || || || | || | || || || | | | ||| |||| || | || ||| | || || | | |
|
|| || || || || ||||| | | || || ||| | | ||| | ||| ||| | | |
|
||
|
| | ||| || || ||| || || || || || || | ||||| || | || || | || || || | | ||| || || | ||| || | | ||| ||| ||| |
|
||| || ||| || |
|
||| || | || ||| || ||| ||| | || | ||| ||| || ||| ||| || | | | || || | || || | | | ||| | | || || || | || | | ||
|
|| | || || || || ||| | || |||| || || || | | ||| | || | ||| | || || | ||
|
| |||
|
| || || || | |||| || ||| | || ||||
|
||| | || ||
|
| |||
|
| | || | ||||| ||| || || || | | | ||| | | || |||| || | ||||| ||| ||| | |||| | | || ||| || || || |||| || || | || ||| || |||| |||| | | | ||
|
|| ||| ||| || | || | || |||| |||| | || ||| ||| ||||||| || ||| | || | || ||| | | | || || |||| || || || | || | |
|
| || || || | || ||||
|
| || ||| | | || ||| || | ||| | | | |
|
||| | | |||| || || || || | || | ||| | || | ||| |
|
| || | || || ||| | || | | || | |||| || || ||| | || ||| ||| |
|
| || ||| || | ||| | || | || | ||| ||| || || |||| || | || ||| | || | ||| || || |||| ||| || |
|
||||
|
| ||||| ||| |
|
| | || ||| | |
|
|| | || ||||| | ||| || | |
|
| || || ||
|
||| || | | |||||| |
|
|||| | || ||
|
|| | |
|
|||| | |
|
| | || || | ||| || | ||
|
| | ||| || ||| || ||| || || | | || ||| | || ||| | || |||| ||||| || | ||||| | | || || ||| | ||| | || || |
|
|| || ||| || || ||| | || || || | || |||| || || | | |||| | | | ||
|
|| | | || ||| | | | | || ||| || || ||| ||| || | || || ||| ||| ||| ||| || || || | | | || | | || ||| | || || ||| ||| || || | | ||| ||| || |||| | | || | || | || || ||| | | || || | ||| || ||| | || |
|
||
|
| ||| || || |
|
|| || ||| ||| | || || |
|
|| || | ||| ||| || | |||| | || || ||| || ||||| || || | || ||
|
|| |||| | || || || || | || | ||| || | |
|
| |||| ||| |
|
| ||| || ||| | ||| || | | |
|
| |||||| |
|
| | || |||| || ||| || || || | || |||||
|
|
|
| | ||| ||| | | || | | ||| | || | | ||| |
|
| |||| ||| || || | ||| | | | ||
P[default = yes | balance]
Logistic Regression
I Predict probability of a class: p(X)
I Example: p(balance) probability of default for person withbalance
I Linear regression:
p(X) = β0 + β1
I logistic regression:
p(X) =eβ0+β1X
1 + eβ0+β1X
I the same as:
log
(p(X)
1− p(X)
)= β0 + β1X
I Odds: p(X)/1−p(X)
Logistic Function
y =ex
1 + ex
−10 −5 0 5 10
0.0
0.2
0.4
0.6
0.8
1.0
x
Logi
stic
Logistic Function
log
(p(X)
1− p(X)
)
0.0 0.2 0.4 0.6 0.8 1.0
−4
−2
02
4
p(x)
Logi
t
Logistic Regression
P[default = yes | balance] = eβ0+β1balance
1 + eβ0+β1balance
Linear regression Logistic regression
0 500 1000 1500 2000 2500
0.0
0.2
0.4
0.6
0.8
1.0
Balance
Pro
ba
bili
ty o
f D
efa
ult
| | || | ||| ||| || | ||| || || | || | || || ||| | | | ||| || || || || ||| || | ||| || ||| ||| || ||| |||| | ||| ||| | || | || | || || | ||| | || ||| || || | || | ||| || | ||| || ||| | ||| || || ||| | ||
|
|| ||| || || | |||| | || || | ||| || || || | || | | | |
|
||| | ||| |||| | || || ||| || ||| || |
|
| || |
|
| |
|
|| || ||| | || || ||| | || || || || |||| | ||
|
|
|
| ||| | || || || || ||| || |
|
|| | ||| | | ||| ||| || | || | | || || ||| || || | || || |||||||| || || | || | |||| | || || || || | || ||| || |||
|
|||
|
| | |
|
| | |||||
|
|| || || || || || ||| | || || |||| || | | ||| ||| | | | || || || || | ||
|
| | || || || ||| || | ||| ||| | ||| |||| | || |
||
| || ||| | | | ||| ||| | || | | |||| | || | ||||| || | ||| || || || |
|
| || || | ||||| | | || || | |||| | ||| | ||| | | ||| | | ||| || ||| | || ||||
|
| || |
|
| || || | || | | | || || | || || ||| |||| |||
|
| |||
|
|| | | || ||| | || ||| || || | ||| || | || || || |||| | ||| | | ||| || ||| | ||| |||| |
|
||| || | | ||
|
| || || |||| ||| ||| | | || | || || ||| ||| ||| | ||| || | || ||| || | | ||| || || ||| ||
|
| || || || | || || || || || || |||| ||
|
| |||| | | | ||| || |||| || |
|
||| | ||| ||| || || | || || || || |||| || | | ||| | |||| | |
|
||| | ||||| || || | || || || | ||| || || |
|
|||| |||| | | || || || || | || || |||| | | ||| |
|
|| || | | |||| || || || | |||| || || || || ||| || || | || | | || || | || || ||
|
|| | ||| | ||| |
|
|||||| | | ||| || | || || | | ||| | | | | || ||| | | |||| | ||
|
|| | || |
|
| ||| || | ||| | || || ||
|
| || | || | | || | || || | | |
|
| |||
|
||| | || || || | | | || || ||
|
|| || | | ||| | |||| || ||| || || || || || ||| ||| | ||| | | |||| || ||| | | ||
|
|| | | || ||| || | ||| || ||| || || || | || || || || ||
|
|| || |
||
|| | || ||| |||| | |||
|
| || | | ||| || | ||| ||| | || | | | ||| || || || | ||| || | ||| || || ||
|
|| | ||
|
|| | | || ||| || ||| ||| | || ||| |||| | || | | || |||| |
|
|| || | || ||| || | || || | || | ||| | || ||| || || || || | || || | || || || || | || | |||| | ||| | || || | || || || || ||| || | | || | ||| ||| | ||| | | |||
|
|
|
|||| || | | || | ||| ||| || | ||| || | | | |||| |
|
||| | || ||| | || |||| || | || || | | || || ||| ||| | ||| || || || || | |
|
|
|
|| || | ||| ||||| | | | ||| | | ||| || || || || || | |
|
||
|
|||| ||| |
|
| ||| |
|
||| ||| | ||||| | || || || || | | || || || || || ||| ||| | || | ||
|
||| | ||| || | ||| | |||| || | | || |||| | || || || || || | |
|
||| | | || |||| | || || | |
|
|| | || | || |||| | ||
|
| || || ||| || | | ||| || || ||
|
|| || ||| ||| || || || ||| || || ||| || | | | ||| || || ||||| || | ||| | || | |
|
| || || |
|
| || | | || || | ||||| || | || || || || || | || || || | ||
|
|| ||| || || || ||| | || |||| | | || || || | |
|
|| | || || ||| | ||| || ||| | | ||| ||| || || ||| || ||| || || ||||
|
|||
|
||| | || || || |
|
| || || ||| ||| || | |||
|
||| || || ||| || |
|
|| || || | ||| || | || | || |
|
| || ||| | | ||| || ||| | || | || | || | | || || || | || || | |||
|
|
|
|||| | || | | || | || | ||| | ||| | || | || || || || ||| || |||| || | ||| || || || || | ||
|
||| || | |
|
| | ||| | || || ||||| ||| ||| |
|
|| | ||| ||| ||| | ||
|
|| | || || ||| || | |
|
| | || ||||| ||| | || || ||| || || ||
|
|| | |
|
||| || | || | || | | ||||| | || ||| || |||
|
|| | | |||| | | || | || | |||| | | | | | ||| | |||
|
|||| || ||| || ||
|
||| || |
|
|| | || || || | || | |||||| |
|
|| |
|
||| | | || ||| |
|
| | ||| ||||| ||| | | || || || |
|
| || | ||| || || || || | | ||| || | | | ||| | || || || |||| || |
|
| || | ||| | | || ||| || | | ||| | | ||| | | ||| ||| ||| | |
|
| || | ||| || ||| | || |
|
| ||| | || ||| |||
|
||| | | || || || |||| ||| | ||| ||| ||| || || ||| | ||| |||| | || ||| | || || | || ||| || || || || || || | || || || |||| || || || ||| |
|
|| || || ||| ||
|
|| | ||| | || ||| | || | | | ||| | || || || | ||| |||| || | || || | | |||| | || ||| || | ||| ||| || | || | | | ||| ||
|
| ||| | || | | | |
|
|||| || || | ||| | || |||||| || || || ||| ||| | || ||| | |||| ||| | || || |
|
| || | || || || || || ||| | || || || || | ||| || | || ||| || || |||| ||
|
|| | ||| || || || || | | ||| ||| ||| || ||| |||| ||||| |
|
|||| | | || |||| ||| ||| || || ||| || || || || ||||| ||| | || || | || | ||| ||| |
|
| ||| || || || || || || |||| || |||| || || |
|
||| || || || || | |||
|
|| ||| | ||| || ||| || ||||| ||| | | || |||| || || | ||| || | || ||| | | ||||| | ||| ||| || | | | | || | | || || || | || |||| | ||
|
| || || || || || || || | | || || | | || | ||| ||| | | ||| ||
|
|| ||| || ||| || | || || ||| |||| | ||| || || ||| | | | ||| || | ||| |||| || || |||| || | || | ||| || | || | ||| || || || || ||| || |||| ||| || ||||| | || || |
|
|| || | ||| || ||
|
|| | | |||| | ||| ||| ||| || || || ||| || || || | || || || ||| | | ||||
|
|| | |||| || || ||
|
| || | |
|
|| || | |||| || | ||| ||| | || || || | || | | ||
|
|| || |
|
|| | ||| || |||| ||| || |
|
|| | || ||
|
|| | | || | || ||| ||| || | || |
|
| || ||| | |||| |||| || | ||||| | | |
|
|| ||| ||||
|
||| | || || ||| || | ||| | || || | || || || | ||| || |
|
|| || || | || ||
|
| || ||| ||
|
| || | | ||
|
|| || | || |
|
|| |||| | ||||| | | || | | |||||| || ||| ||| || || |||| | | || |||| || ||
|
| |
|
||| ||
|
| || | |
|
|| || | || | | |||| || | | || | | || || || || || | || ||| | | |||| | |
|
| || || || || || || ||| | | || || ||| || | |||| | || ||| | |||| |||||
|
| | |
|
| | ||| | |||| | || || || || || || | || | || | | | || || | || | |||| | || | || || | ||| | || || ||| || || |||
|
| || ||| | || | || || || ||| | || |||| || | || | ||
|
| | ||| ||| || | |||
|
|| ||| || || || | | || | ||| | || ||| | ||
|
|| || | || | | || ||| | |||| || || | || ||||| || ||| || || || ||| ||| ||| | ||| || ||| ||| || || | ||| |
|
|| |
|
| ||||| | || ||| || || || || | ||| || || | | | ||| | || ||| ||| ||| |||| ||| ||| || || | || | |
|
| || | ||| ||| || || || ||| || ||| | || || | | || | || || || | || | ||| | || || || ||| ||| || || | || | ||
|
| || ||| || || ||| || | ||| || | || |
|
| || | ||| ||| || ||| | ||| || || | | ||| | ||
|
| | || | | |
|
|| | ||| || || | | ||| | | ||| | | || || |||| | || ||
|
|| | | || | | | ||
|
| ||| | | || | || ||| || || | ||| | ||| || |||| | ||| ||| || | || || ||| ||| | ||| ||| ||||| |||| ||| | | |||| ||
|
| |||| | || | |
|
||| ||| || || ||
|
|| |
|
|
|
||| ||| | |||| || ||| | || ||| | | || ||| ||
|
| ||| || |||| || | || | || || | | |||| || | |||
|
||||| || | |||| ||
|
| ||| || |
|
|| || || ||||| | | ||| | ||| | || | ||| || | || | || | | || |||
|
| || |||| ||| | | |
|
| || |||
|
|| || | || | ||||| | | ||| || || | | ||| || || | | | | || ||| | |||| | | || | |||| || | ||| | || |||| | | || ||| ||
|
|| || | || | | || | ||| ||| || || | | || || | || || ||| || || || | | | || | |||| | | || || ||| |
|
|| || | || || || || | ||| | || || || | ||| | || ||| ||
|
|| || || ||
|
| || ||| || || | |
|
| || | | || | ||| | || || ||| || |||| || || | ||
|
|| || || || | | |||
|
|| || | ||| || ||| || | | || |||| | | || ||| |
|
| | |
|
| || | ||| || | | ||| || | || ||| || | | || | | ||| | || | | ||| || ||| | ||| || ||
|
|| || ||| ||| || || ||| || |
||
|| |
|
| | || | || || | ||| || | ||| | | | || | || | || | | |||| | ||| | ||| ||| ||| || | ||| || || || | || |||| | | |||| ||| | | | |||| |
|
|
|
| || || |||| | || |
|
|| || || | |||
| |
| ||| ||| | || | | | |||
|
| ||| | ||| || || || || || | ||| || | || ||| ||| | | || |||| | |||||
|
| || | ||| ||| || || | | ||||| ||| | || || || ||| | ||| || | | || | || || |||| || | ||| | ||| | || || || | || ||| ||| ||| || | ||| | || ||| || || ||| || || | |||| || ||| || ||| | ||| ||| | || | || || || ||| | || ||| | || | || ||| | | ||| | |
|
| | ||||| | ||
|
|| |
|
|||| || |||||
|
|| | | || |||| | || || ||
|
|| ||| || || || ||| |||| || ||| | |||| | | |
|
| | | |||| || ||| | ||| | | || || |
|
|| | || | || | |
|
| | |
|
||| | || | ||| || || || ||| |||| || || ||| || || |||
|
| | | || | || ||| || | ||| ||| || || | ||| || | || || || ||| || ||| | || | || | || || ||| | || ||||| | |
|
|| | | | |||| || ||| || || || || | | || |
|
||| | || || ||| || | || |||
|
|| || ||| | | ||| ||| | || || || || || || | | | ||| | || | | || || | | || ||| || ||| | || || | |||| || || ||| || |
|
|| | || | | || ||| |||| | || | | || ||| | || || || |||| || ||| ||| || || || || || | ||| ||| |||| | |
|
| ||| | ||| ||| || || || |||| || | ||||| | || | ||||| | ||
|
| | || || ||| || | |||| | ||| | || ||| ||| | | || |
|
|| ||| ||
|
| || | ||| || || || |||| || ||
|
||| | || |||| || | || ||| || || | || | || | || || ||| |||| ||| |
|
||| ||| || | || || || | || || | | ||| || || | ||| ||| | ||| ||| |||| | || | || || ||| | || || ||| |
|
|| | ||| ||| | || || || || | || | | ||| || | ||| | || || || || | | || | | || | | |||| || ||| | | || || || ||| || || | |
|
| | ||| || || || |
|
| || || |||
|
| | || |||| ||| | || | ||| || | || | || ||| | || || || || |||||| || | || || | ||| ||| | | || | | || || ||| | ||| || ||||| | || ||| | ||| |||| | || | || ||| ||
|
|||||| | ||| || | || || || ||| || || || || | | || | ||
|
|| || || || ||| | ||| ||| ||| || || || || | || || ||
|
||| | || || || | ||| | || || | || ||| | || || ||
|
| | || | ||| || || | | ||| | || | |||| |||| || || | || | | ||| | || | | |||| || | |||| | || || | || || | ||| || || | ||| || | || ||| |||
|
| || || |||| || || |||| | ||| |||| | |||| |||| || |
|
|| | || | | || | | |
|
| ||||| | |||||| | || | | || || || || | || ||| || | || || || |
|
|
|
| ||| | || | ||| ||| |||| |
|
|| || || || || | | || | ||| | | | ||
|
|| || | || | |||| | ||
|
| || |||| || | ||||| || || | ||| | | ||| ||| | || |||| ||| |
|
| |||| || | ||
|
|| || | |||| | || ||||| | || | ||| | | || || | | | || ||| ||| || | | || | ||
|
|| ||| |
|
| | || || |||| |
|
|| | ||| | || || | ||| || || ||| | || || | ||| || || | || | || |||| || ||| ||| ||| || | ||| | || || | |||
| |
||| || || || | || |||| | |||| || ||| || || | ||| ||
|
| || || ||| || || | | ||| | || | |||| ||
|
|| ||| || | || | | | || | ||| | |
|
| || || || | || || || | ||| || ||| || ||
|
| || | |||| |||
|
| ||| || || | || |
|
| || ||| || | || || |||| || | ||| | || | || | ||| | || | || ||||| |
|
|| | || || | | | ||| | || ||||
|
|
|
| | | | |||| ||| |||| |||| | | | ||| | || | || || | || | |||| | || | | ||| || |
|
||||
|
| ||| | ||| ||
|
| || || ||| ||| || |||| ||| |
|
||| || | ||
|
||| | | || ||| | || |||| || | || ||| || || | ||| | ||| || |||
|
|| ||| || ||| | | || || | || | ||| | || | | || | ||| |||| || || ||||| | ||| | || || || || | || | ||||
|
|| ||| || ||| | | || || | ||| |||| | |
|
|| | | ||| || ||
|
| || || || |
|
| | | || | || ||| ||| | | | || || || |||
|
| || || ||||| | | || ||
|
||
|
|| | || || | ||| || | || | ||| |
|
|| | || | |||
|
|| | |||| || ||| | ||| | | ||| || | || || || | | || |||| ||
|
| || | || || | || ||| | ||| ||| ||| | ||| | || | ||| ||||| | | | ||
|
| | | || | ||| || || ||
|
| || |||| | ||| | |||| || | | ||| || | ||
|
|| | | ||||| | || ||| || || || ||| |||| |||
|
| | | ||| |||| | || |||| | || | | || || | | || || || | ||||| ||| |||
|
|| ||| ||| ||
|
| | || | || ||||| ||| || || || || | ||| || | | | | ||
|
| ||| | || || | | || ||| || |||| ||| || | | ||| | ||| | || || || | || | || | || || | || |
|
| || || |||| ||||| | || | || | || |||| | || | || || |||| | | ||| ||
|
| || || || ||| || || | ||||| || || | ||| || |||| | || ||| ||| || || | |||| || | ||| ||| || | ||| | | || | || || | | || | | || | || |
|
|
|
||| | | ||| ||| || | || | || ||| | |
|
| ||| || || | | || ||| | | | || | || ||| || | || || | || || || || || || || ||| | || || || | || ||||
|
| ||| ||| |
|
| ||| | || | | ||||| | ||| || || || ||| || | ||| | || || ||| || | || | |
|
| |
|
||| ||||| | |||| || || ||| || | || | || ||| | ||
|
| | ||| | ||| | |||| || || | |||| | | ||
|
||| | | || | | ||| || | ||| || ||| || || ||| ||| ||| | || | | | || || ||| || | ||| |||| || || ||| | ||| |||| ||||| || ||| || || | | ||| || || || |||| ||| ||
|
||| ||| ||| | || | ||| | || | | || ||| | || || ||| | || | ||| || | | || ||| | ||| | || || || |||| | | ||
|
||||| || | | || || || ||||| | ||| || ||| ||| | || || || | | || || ||| || | |
|
|| | || |||| || ||
|
|| || | | || | | ||
|
|
|
|
|
|| || | || || ||
|
| || || || || | || ||| | || | | ||| | || || |||| |||| || | ||
|
| || || | || || ||| | | || ||| || || || | | | ||||
|
|| ||| ||| || || || | || || || | | || | || | ||| | || ||| || | || ||| || | || || || || ||| ||| | | ||| | || | || || || || | |||| || || | || || ||| | || | |||| | || | || | | | || || | || || ||| | | ||| |||| | ||| || | || ||| | || | ||| || ||| || || || ||| || | || || || | || |||| || | || || || ||| || || ||| | | | || | | | || |||
|
|| || || ||||| || | |||| |
|
| | | || | | | |||||| ||| || | | ||| | ||| | ||| |||| | | | | || |||| | ||
|
| ||
|
| | || || ||| || || ||| || | || || | ||| || || || || || || | || | ||| ||
|
|| | | || || | || ||| ||| || |
|
|| |||| | || | || || | | || | |||| || ||| || | | || | || | || || ||
|
| | || | |||| | || || | || |||| |||| | || | |||
|
|||| | ||| || | | |
|
| | || |||
|
| ||| |||| | | || | | ||| || | | || | | || | || | || |
|
||| || ||| | |
|
||| || ||| ||| ||| ||
|
|| | || || |||| ||| | || || | ||| || | ||
|
||
|
| |
| |
|| ||||| || | || | ||
|
| || ||| || |
|
|| | ||
|
| |||| || | || | ||| | ||| ||| || || || || || |||| | ||| | ||| |||
|
| || || | | || ||| || | || ||| || ||||| | |||
|
|| |||| | ||| | |||| |||| || || || | ||| | ||| ||| || | || | | || ||| || ||| | | | || ||| | | | || || | | || || || || || | ||| | ||| ||| | || | ||| || | || | || || | ||| ||| || || || | ||||| | ||
|
|| |||| || ||| ||| | |||
|
|| || | | ||| | | |
|
| | || | || || ||| || || || | || | || || || | | | ||| |||| || | || ||| | || || | | |
|
|| || || || || ||||| | | || || ||| | | ||| | ||| ||| | | |
|
||
|
| | ||| || || ||| || || || || || || | ||||| || | || || | || || || | | ||| || || | ||| || | | ||| ||| ||| |
|
||| || ||| || |
|
||| || | || ||| || ||| ||| | || | ||| ||| || ||| ||| || | | | || || | || || | | | ||| | | || || || | || | | ||
|
|| | || || || || ||| | || |||| || || || | | ||| | || | ||| | || || | ||
|
| |||
|
| || || || | |||| || ||| | || ||||
|
||| | || ||
|
| |||
|
| | || | ||||| ||| || || || | | | ||| | | || |||| || | ||||| ||| ||| | |||| | | || ||| || || || |||| || || | || ||| || |||| |||| | | | ||
|
|| ||| ||| || | || | || |||| |||| | || ||| ||| ||||||| || ||| | || | || ||| | | | || || |||| || || || | || | |
|
| || || || | || ||||
|
| || ||| | | || ||| || | ||| | | | |
|
||| | | |||| || || || || | || | ||| | || | ||| |
|
| || | || || ||| | || | | || | |||| || || ||| | || ||| ||| |
|
| || ||| || | ||| | || | || | ||| ||| || || |||| || | || ||| | || | ||| || || |||| ||| || |
|
||||
|
| ||||| ||| |
|
| | || ||| | |
|
|| | || ||||| | ||| || | |
|
| || || ||
|
||| || | | |||||| |
|
|||| | || ||
|
|| | |
|
|||| | |
|
| | || || | ||| || | ||
|
| | ||| || ||| || ||| || || | | || ||| | || ||| | || |||| ||||| || | ||||| | | || || ||| | ||| | || || |
|
|| || ||| || || ||| | || || || | || |||| || || | | |||| | | | ||
|
|| | | || ||| | | | | || ||| || || ||| ||| || | || || ||| ||| ||| ||| || || || | | | || | | || ||| | || || ||| ||| || || | | ||| ||| || |||| | | || | || | || || ||| | | || || | ||| || ||| | || |
|
||
|
| ||| || || |
|
|| || ||| ||| | || || |
|
|| || | ||| ||| || | |||| | || || ||| || ||||| || || | || ||
|
|| |||| | || || || || | || | ||| || | |
|
| |||| ||| |
|
| ||| || ||| | ||| || | | |
|
| |||||| |
|
| | || |||| || ||| || || || | || |||||
|
|
|
| | ||| ||| | | || | | ||| | || | | ||| |
|
| |||| ||| || || | ||| | | | ||
0 500 1000 1500 2000 2500
0.0
0.2
0.4
0.6
0.8
1.0
Balance
Pro
ba
bili
ty o
f D
efa
ult
| | || | ||| ||| || | ||| || || | || | || || ||| | | | ||| || || || || ||| || | ||| || ||| ||| || ||| |||| | ||| ||| | || | || | || || | ||| | || ||| || || | || | ||| || | ||| || ||| | ||| || || ||| | ||
|
|| ||| || || | |||| | || || | ||| || || || | || | | | |
|
||| | ||| |||| | || || ||| || ||| || |
|
| || |
|
| |
|
|| || ||| | || || ||| | || || || || |||| | ||
|
|
|
| ||| | || || || || ||| || |
|
|| | ||| | | ||| ||| || | || | | || || ||| || || | || || |||||||| || || | || | |||| | || || || || | || ||| || |||
|
|||
|
| | |
|
| | |||||
|
|| || || || || || ||| | || || |||| || | | ||| ||| | | | || || || || | ||
|
| | || || || ||| || | ||| ||| | ||| |||| | || |
||
| || ||| | | | ||| ||| | || | | |||| | || | ||||| || | ||| || || || |
|
| || || | ||||| | | || || | |||| | ||| | ||| | | ||| | | ||| || ||| | || ||||
|
| || |
|
| || || | || | | | || || | || || ||| |||| |||
|
| |||
|
|| | | || ||| | || ||| || || | ||| || | || || || |||| | ||| | | ||| || ||| | ||| |||| |
|
||| || | | ||
|
| || || |||| ||| ||| | | || | || || ||| ||| ||| | ||| || | || ||| || | | ||| || || ||| ||
|
| || || || | || || || || || || |||| ||
|
| |||| | | | ||| || |||| || |
|
||| | ||| ||| || || | || || || || |||| || | | ||| | |||| | |
|
||| | ||||| || || | || || || | ||| || || |
|
|||| |||| | | || || || || | || || |||| | | ||| |
|
|| || | | |||| || || || | |||| || || || || ||| || || | || | | || || | || || ||
|
|| | ||| | ||| |
|
|||||| | | ||| || | || || | | ||| | | | | || ||| | | |||| | ||
|
|| | || |
|
| ||| || | ||| | || || ||
|
| || | || | | || | || || | | |
|
| |||
|
||| | || || || | | | || || ||
|
|| || | | ||| | |||| || ||| || || || || || ||| ||| | ||| | | |||| || ||| | | ||
|
|| | | || ||| || | ||| || ||| || || || | || || || || ||
|
|| || |
||
|| | || ||| |||| | |||
|
| || | | ||| || | ||| ||| | || | | | ||| || || || | ||| || | ||| || || ||
|
|| | ||
|
|| | | || ||| || ||| ||| | || ||| |||| | || | | || |||| |
|
|| || | || ||| || | || || | || | ||| | || ||| || || || || | || || | || || || || | || | |||| | ||| | || || | || || || || ||| || | | || | ||| ||| | ||| | | |||
|
|
|
|||| || | | || | ||| ||| || | ||| || | | | |||| |
|
||| | || ||| | || |||| || | || || | | || || ||| ||| | ||| || || || || | |
|
|
|
|| || | ||| ||||| | | | ||| | | ||| || || || || || | |
|
||
|
|||| ||| |
|
| ||| |
|
||| ||| | ||||| | || || || || | | || || || || || ||| ||| | || | ||
|
||| | ||| || | ||| | |||| || | | || |||| | || || || || || | |
|
||| | | || |||| | || || | |
|
|| | || | || |||| | ||
|
| || || ||| || | | ||| || || ||
|
|| || ||| ||| || || || ||| || || ||| || | | | ||| || || ||||| || | ||| | || | |
|
| || || |
|
| || | | || || | ||||| || | || || || || || | || || || | ||
|
|| ||| || || || ||| | || |||| | | || || || | |
|
|| | || || ||| | ||| || ||| | | ||| ||| || || ||| || ||| || || ||||
|
|||
|
||| | || || || |
|
| || || ||| ||| || | |||
|
||| || || ||| || |
|
|| || || | ||| || | || | || |
|
| || ||| | | ||| || ||| | || | || | || | | || || || | || || | |||
|
|
|
|||| | || | | || | || | ||| | ||| | || | || || || || ||| || |||| || | ||| || || || || | ||
|
||| || | |
|
| | ||| | || || ||||| ||| ||| |
|
|| | ||| ||| ||| | ||
|
|| | || || ||| || | |
|
| | || ||||| ||| | || || ||| || || ||
|
|| | |
|
||| || | || | || | | ||||| | || ||| || |||
|
|| | | |||| | | || | || | |||| | | | | | ||| | |||
|
|||| || ||| || ||
|
||| || |
|
|| | || || || | || | |||||| |
|
|| |
|
||| | | || ||| |
|
| | ||| ||||| ||| | | || || || |
|
| || | ||| || || || || | | ||| || | | | ||| | || || || |||| || |
|
| || | ||| | | || ||| || | | ||| | | ||| | | ||| ||| ||| | |
|
| || | ||| || ||| | || |
|
| ||| | || ||| |||
|
||| | | || || || |||| ||| | ||| ||| ||| || || ||| | ||| |||| | || ||| | || || | || ||| || || || || || || | || || || |||| || || || ||| |
|
|| || || ||| ||
|
|| | ||| | || ||| | || | | | ||| | || || || | ||| |||| || | || || | | |||| | || ||| || | ||| ||| || | || | | | ||| ||
|
| ||| | || | | | |
|
|||| || || | ||| | || |||||| || || || ||| ||| | || ||| | |||| ||| | || || |
|
| || | || || || || || ||| | || || || || | ||| || | || ||| || || |||| ||
|
|| | ||| || || || || | | ||| ||| ||| || ||| |||| ||||| |
|
|||| | | || |||| ||| ||| || || ||| || || || || ||||| ||| | || || | || | ||| ||| |
|
| ||| || || || || || || |||| || |||| || || |
|
||| || || || || | |||
|
|| ||| | ||| || ||| || ||||| ||| | | || |||| || || | ||| || | || ||| | | ||||| | ||| ||| || | | | | || | | || || || | || |||| | ||
|
| || || || || || || || | | || || | | || | ||| ||| | | ||| ||
|
|| ||| || ||| || | || || ||| |||| | ||| || || ||| | | | ||| || | ||| |||| || || |||| || | || | ||| || | || | ||| || || || || ||| || |||| ||| || ||||| | || || |
|
|| || | ||| || ||
|
|| | | |||| | ||| ||| ||| || || || ||| || || || | || || || ||| | | ||||
|
|| | |||| || || ||
|
| || | |
|
|| || | |||| || | ||| ||| | || || || | || | | ||
|
|| || |
|
|| | ||| || |||| ||| || |
|
|| | || ||
|
|| | | || | || ||| ||| || | || |
|
| || ||| | |||| |||| || | ||||| | | |
|
|| ||| ||||
|
||| | || || ||| || | ||| | || || | || || || | ||| || |
|
|| || || | || ||
|
| || ||| ||
|
| || | | ||
|
|| || | || |
|
|| |||| | ||||| | | || | | |||||| || ||| ||| || || |||| | | || |||| || ||
|
| |
|
||| ||
|
| || | |
|
|| || | || | | |||| || | | || | | || || || || || | || ||| | | |||| | |
|
| || || || || || || ||| | | || || ||| || | |||| | || ||| | |||| |||||
|
| | |
|
| | ||| | |||| | || || || || || || | || | || | | | || || | || | |||| | || | || || | ||| | || || ||| || || |||
|
| || ||| | || | || || || ||| | || |||| || | || | ||
|
| | ||| ||| || | |||
|
|| ||| || || || | | || | ||| | || ||| | ||
|
|| || | || | | || ||| | |||| || || | || ||||| || ||| || || || ||| ||| ||| | ||| || ||| ||| || || | ||| |
|
|| |
|
| ||||| | || ||| || || || || | ||| || || | | | ||| | || ||| ||| ||| |||| ||| ||| || || | || | |
|
| || | ||| ||| || || || ||| || ||| | || || | | || | || || || | || | ||| | || || || ||| ||| || || | || | ||
|
| || ||| || || ||| || | ||| || | || |
|
| || | ||| ||| || ||| | ||| || || | | ||| | ||
|
| | || | | |
|
|| | ||| || || | | ||| | | ||| | | || || |||| | || ||
|
|| | | || | | | ||
|
| ||| | | || | || ||| || || | ||| | ||| || |||| | ||| ||| || | || || ||| ||| | ||| ||| ||||| |||| ||| | | |||| ||
|
| |||| | || | |
|
||| ||| || || ||
|
|| |
|
|
|
||| ||| | |||| || ||| | || ||| | | || ||| ||
|
| ||| || |||| || | || | || || | | |||| || | |||
|
||||| || | |||| ||
|
| ||| || |
|
|| || || ||||| | | ||| | ||| | || | ||| || | || | || | | || |||
|
| || |||| ||| | | |
|
| || |||
|
|| || | || | ||||| | | ||| || || | | ||| || || | | | | || ||| | |||| | | || | |||| || | ||| | || |||| | | || ||| ||
|
|| || | || | | || | ||| ||| || || | | || || | || || ||| || || || | | | || | |||| | | || || ||| |
|
|| || | || || || || | ||| | || || || | ||| | || ||| ||
|
|| || || ||
|
| || ||| || || | |
|
| || | | || | ||| | || || ||| || |||| || || | ||
|
|| || || || | | |||
|
|| || | ||| || ||| || | | || |||| | | || ||| |
|
| | |
|
| || | ||| || | | ||| || | || ||| || | | || | | ||| | || | | ||| || ||| | ||| || ||
|
|| || ||| ||| || || ||| || |
||
|| |
|
| | || | || || | ||| || | ||| | | | || | || | || | | |||| | ||| | ||| ||| ||| || | ||| || || || | || |||| | | |||| ||| | | | |||| |
|
|
|
| || || |||| | || |
|
|| || || | |||
| |
| ||| ||| | || | | | |||
|
| ||| | ||| || || || || || | ||| || | || ||| ||| | | || |||| | |||||
|
| || | ||| ||| || || | | ||||| ||| | || || || ||| | ||| || | | || | || || |||| || | ||| | ||| | || || || | || ||| ||| ||| || | ||| | || ||| || || ||| || || | |||| || ||| || ||| | ||| ||| | || | || || || ||| | || ||| | || | || ||| | | ||| | |
|
| | ||||| | ||
|
|| |
|
|||| || |||||
|
|| | | || |||| | || || ||
|
|| ||| || || || ||| |||| || ||| | |||| | | |
|
| | | |||| || ||| | ||| | | || || |
|
|| | || | || | |
|
| | |
|
||| | || | ||| || || || ||| |||| || || ||| || || |||
|
| | | || | || ||| || | ||| ||| || || | ||| || | || || || ||| || ||| | || | || | || || ||| | || ||||| | |
|
|| | | | |||| || ||| || || || || | | || |
|
||| | || || ||| || | || |||
|
|| || ||| | | ||| ||| | || || || || || || | | | ||| | || | | || || | | || ||| || ||| | || || | |||| || || ||| || |
|
|| | || | | || ||| |||| | || | | || ||| | || || || |||| || ||| ||| || || || || || | ||| ||| |||| | |
|
| ||| | ||| ||| || || || |||| || | ||||| | || | ||||| | ||
|
| | || || ||| || | |||| | ||| | || ||| ||| | | || |
|
|| ||| ||
|
| || | ||| || || || |||| || ||
|
||| | || |||| || | || ||| || || | || | || | || || ||| |||| ||| |
|
||| ||| || | || || || | || || | | ||| || || | ||| ||| | ||| ||| |||| | || | || || ||| | || || ||| |
|
|| | ||| ||| | || || || || | || | | ||| || | ||| | || || || || | | || | | || | | |||| || ||| | | || || || ||| || || | |
|
| | ||| || || || |
|
| || || |||
|
| | || |||| ||| | || | ||| || | || | || ||| | || || || || |||||| || | || || | ||| ||| | | || | | || || ||| | ||| || ||||| | || ||| | ||| |||| | || | || ||| ||
|
|||||| | ||| || | || || || ||| || || || || | | || | ||
|
|| || || || ||| | ||| ||| ||| || || || || | || || ||
|
||| | || || || | ||| | || || | || ||| | || || ||
|
| | || | ||| || || | | ||| | || | |||| |||| || || | || | | ||| | || | | |||| || | |||| | || || | || || | ||| || || | ||| || | || ||| |||
|
| || || |||| || || |||| | ||| |||| | |||| |||| || |
|
|| | || | | || | | |
|
| ||||| | |||||| | || | | || || || || | || ||| || | || || || |
|
|
|
| ||| | || | ||| ||| |||| |
|
|| || || || || | | || | ||| | | | ||
|
|| || | || | |||| | ||
|
| || |||| || | ||||| || || | ||| | | ||| ||| | || |||| ||| |
|
| |||| || | ||
|
|| || | |||| | || ||||| | || | ||| | | || || | | | || ||| ||| || | | || | ||
|
|| ||| |
|
| | || || |||| |
|
|| | ||| | || || | ||| || || ||| | || || | ||| || || | || | || |||| || ||| ||| ||| || | ||| | || || | |||
| |
||| || || || | || |||| | |||| || ||| || || | ||| ||
|
| || || ||| || || | | ||| | || | |||| ||
|
|| ||| || | || | | | || | ||| | |
|
| || || || | || || || | ||| || ||| || ||
|
| || | |||| |||
|
| ||| || || | || |
|
| || ||| || | || || |||| || | ||| | || | || | ||| | || | || ||||| |
|
|| | || || | | | ||| | || ||||
|
|
|
| | | | |||| ||| |||| |||| | | | ||| | || | || || | || | |||| | || | | ||| || |
|
||||
|
| ||| | ||| ||
|
| || || ||| ||| || |||| ||| |
|
||| || | ||
|
||| | | || ||| | || |||| || | || ||| || || | ||| | ||| || |||
|
|| ||| || ||| | | || || | || | ||| | || | | || | ||| |||| || || ||||| | ||| | || || || || | || | ||||
|
|| ||| || ||| | | || || | ||| |||| | |
|
|| | | ||| || ||
|
| || || || |
|
| | | || | || ||| ||| | | | || || || |||
|
| || || ||||| | | || ||
|
||
|
|| | || || | ||| || | || | ||| |
|
|| | || | |||
|
|| | |||| || ||| | ||| | | ||| || | || || || | | || |||| ||
|
| || | || || | || ||| | ||| ||| ||| | ||| | || | ||| ||||| | | | ||
|
| | | || | ||| || || ||
|
| || |||| | ||| | |||| || | | ||| || | ||
|
|| | | ||||| | || ||| || || || ||| |||| |||
|
| | | ||| |||| | || |||| | || | | || || | | || || || | ||||| ||| |||
|
|| ||| ||| ||
|
| | || | || ||||| ||| || || || || | ||| || | | | | ||
|
| ||| | || || | | || ||| || |||| ||| || | | ||| | ||| | || || || | || | || | || || | || |
|
| || || |||| ||||| | || | || | || |||| | || | || || |||| | | ||| ||
|
| || || || ||| || || | ||||| || || | ||| || |||| | || ||| ||| || || | |||| || | ||| ||| || | ||| | | || | || || | | || | | || | || |
|
|
|
||| | | ||| ||| || | || | || ||| | |
|
| ||| || || | | || ||| | | | || | || ||| || | || || | || || || || || || || ||| | || || || | || ||||
|
| ||| ||| |
|
| ||| | || | | ||||| | ||| || || || ||| || | ||| | || || ||| || | || | |
|
| |
|
||| ||||| | |||| || || ||| || | || | || ||| | ||
|
| | ||| | ||| | |||| || || | |||| | | ||
|
||| | | || | | ||| || | ||| || ||| || || ||| ||| ||| | || | | | || || ||| || | ||| |||| || || ||| | ||| |||| ||||| || ||| || || | | ||| || || || |||| ||| ||
|
||| ||| ||| | || | ||| | || | | || ||| | || || ||| | || | ||| || | | || ||| | ||| | || || || |||| | | ||
|
||||| || | | || || || ||||| | ||| || ||| ||| | || || || | | || || ||| || | |
|
|| | || |||| || ||
|
|| || | | || | | ||
|
|
|
|
|
|| || | || || ||
|
| || || || || | || ||| | || | | ||| | || || |||| |||| || | ||
|
| || || | || || ||| | | || ||| || || || | | | ||||
|
|| ||| ||| || || || | || || || | | || | || | ||| | || ||| || | || ||| || | || || || || ||| ||| | | ||| | || | || || || || | |||| || || | || || ||| | || | |||| | || | || | | | || || | || || ||| | | ||| |||| | ||| || | || ||| | || | ||| || ||| || || || ||| || | || || || | || |||| || | || || || ||| || || ||| | | | || | | | || |||
|
|| || || ||||| || | |||| |
|
| | | || | | | |||||| ||| || | | ||| | ||| | ||| |||| | | | | || |||| | ||
|
| ||
|
| | || || ||| || || ||| || | || || | ||| || || || || || || | || | ||| ||
|
|| | | || || | || ||| ||| || |
|
|| |||| | || | || || | | || | |||| || ||| || | | || | || | || || ||
|
| | || | |||| | || || | || |||| |||| | || | |||
|
|||| | ||| || | | |
|
| | || |||
|
| ||| |||| | | || | | ||| || | | || | | || | || | || |
|
||| || ||| | |
|
||| || ||| ||| ||| ||
|
|| | || || |||| ||| | || || | ||| || | ||
|
||
|
| |
| |
|| ||||| || | || | ||
|
| || ||| || |
|
|| | ||
|
| |||| || | || | ||| | ||| ||| || || || || || |||| | ||| | ||| |||
|
| || || | | || ||| || | || ||| || ||||| | |||
|
|| |||| | ||| | |||| |||| || || || | ||| | ||| ||| || | || | | || ||| || ||| | | | || ||| | | | || || | | || || || || || | ||| | ||| ||| | || | ||| || | || | || || | ||| ||| || || || | ||||| | ||
|
|| |||| || ||| ||| | |||
|
|| || | | ||| | | |
|
| | || | || || ||| || || || | || | || || || | | | ||| |||| || | || ||| | || || | | |
|
|| || || || || ||||| | | || || ||| | | ||| | ||| ||| | | |
|
||
|
| | ||| || || ||| || || || || || || | ||||| || | || || | || || || | | ||| || || | ||| || | | ||| ||| ||| |
|
||| || ||| || |
|
||| || | || ||| || ||| ||| | || | ||| ||| || ||| ||| || | | | || || | || || | | | ||| | | || || || | || | | ||
|
|| | || || || || ||| | || |||| || || || | | ||| | || | ||| | || || | ||
|
| |||
|
| || || || | |||| || ||| | || ||||
|
||| | || ||
|
| |||
|
| | || | ||||| ||| || || || | | | ||| | | || |||| || | ||||| ||| ||| | |||| | | || ||| || || || |||| || || | || ||| || |||| |||| | | | ||
|
|| ||| ||| || | || | || |||| |||| | || ||| ||| ||||||| || ||| | || | || ||| | | | || || |||| || || || | || | |
|
| || || || | || ||||
|
| || ||| | | || ||| || | ||| | | | |
|
||| | | |||| || || || || | || | ||| | || | ||| |
|
| || | || || ||| | || | | || | |||| || || ||| | || ||| ||| |
|
| || ||| || | ||| | || | || | ||| ||| || || |||| || | || ||| | || | ||| || || |||| ||| || |
|
||||
|
| ||||| ||| |
|
| | || ||| | |
|
|| | || ||||| | ||| || | |
|
| || || ||
|
||| || | | |||||| |
|
|||| | || ||
|
|| | |
|
|||| | |
|
| | || || | ||| || | ||
|
| | ||| || ||| || ||| || || | | || ||| | || ||| | || |||| ||||| || | ||||| | | || || ||| | ||| | || || |
|
|| || ||| || || ||| | || || || | || |||| || || | | |||| | | | ||
|
|| | | || ||| | | | | || ||| || || ||| ||| || | || || ||| ||| ||| ||| || || || | | | || | | || ||| | || || ||| ||| || || | | ||| ||| || |||| | | || | || | || || ||| | | || || | ||| || ||| | || |
|
||
|
| ||| || || |
|
|| || ||| ||| | || || |
|
|| || | ||| ||| || | |||| | || || ||| || ||||| || || | || ||
|
|| |||| | || || || || | || | ||| || | |
|
| |||| ||| |
|
| ||| || ||| | ||| || | | |
|
| |||||| |
|
| | || |||| || ||| || || || | || |||||
|
|
|
| | ||| ||| | | || | | ||| | || | | ||| |
|
| |||| ||| || || | ||| | | | ||
Estimating Coe�icients: Maximum Likelihood
I Likelihood: Probability that data is generated from a model
`(model) = P[data | model]
I Find the most likely model:
maxmodel
`(model) = maxmodel
P[data | model]
I Likelihood function is di�icult to maximizeI Transform it using log (strictly increasing)
maxmodel
log `(model)
I Strictly increasing transformation does not change maximum
Example: Maximum LikelihoodI Assume a coin with p as the probability of headsI Data: h heads, t tailsI The likelihood function is:
`(p) = ph (1− p)t .
0.0 0.2 0.4 0.6 0.8 1.0
0e+
002e
−07
4e−
076e
−07
8e−
07
p
Like
lihoo
d
Likelihood Function: 2 coin flips
heads h = 1 tails t = 1
0.0 0.2 0.4 0.6 0.8 1.0
0.00
0.05
0.10
0.15
0.20
0.25
p
Like
lihoo
d
Likelihood Function: 20 coin flips
heads h = 10 tails t = 10
0.0 0.2 0.4 0.6 0.8 1.0
0e+
002e
−07
4e−
076e
−07
8e−
07
p
Like
lihoo
d
Likelihood Function: 200 coin flips
heads h = 100 tails t = 100
0.0 0.2 0.4 0.6 0.8 1.0
0e+
002e
−61
4e−
616e
−61
p
Like
lihoo
d
Maximizing LikelihoodI Likelihood function is not concave: hard to maximize
`(p) = ph (1− p)t .I Maximize the log-likelihood instead
log `(p) = h log(p) + t log(1− p) .
0.0 0.2 0.4 0.6 0.8 1.0
−45
−40
−35
−30
−25
−20
−15
p
Logl
ikel
ihoo
d
Log-likelihood: Biased Coin
heads h = 20 tails t = 50
0.0 0.2 0.4 0.6 0.8 1.0
−80
−60
−40
−20
p
Logl
ikel
ihoo
d
Maximize Log-likelihood
I Log-likelihood:
log `(p) = h log(p) + t log(1− p) .
I Maximum where derivative = 0I Derivative:
d
dph log(p) + t log(1− p) = h
p− t
1− p
I Maximum likelihood solution:
p =h
h+ 1
Maximize Log-likelihood
I Log-likelihood:
log `(p) = h log(p) + t log(1− p) .
I Maximum where derivative = 0I Derivative:
d
dph log(p) + t log(1− p) = h
p− t
1− p
I Maximum likelihood solution:
p =h
h+ 1
Maximize Log-likelihood
I Log-likelihood:
log `(p) = h log(p) + t log(1− p) .
I Maximum where derivative = 0I Derivative:
d
dph log(p) + t log(1− p) = h
p− t
1− p
I Maximum likelihood solution:
p =h
h+ 1
Max-likelihood: Logistic Regression
I Features xi and labels yiI Likelihood:
`(β0, β1) =∏i:yi=1
p(xi)∏i:yi=0
(1− p(xi))
I Log-likelihood:
`(β0, β1) =∑i:yi=1
log p(xi) +∑i:yi=0
log(1− p(xi))
I Concave maximization problemI Can be solved using gradient descent
Multiple Logistic Regression
I Multiple features
p(X) =eβ0+β1X1+β2X2+...+βmXn
1 + eβ0+β1X1+β2X2+...+βmXn
I Equivalent to:
log
(p(X)
1− p(X)
)= β0 + β1X1 + β2X2 + . . .+ βmXn
Multinomial Logistic Regression
I Predicting multiple classes:I Medical diagnosis
Y =
1 if stroke2 if overdose3 if seizure
.
I Predicting which products customer purchases
I Straightforward generalization of simple logistic regression
ec1
1 + ec1⇒ ec1
ec1 + ec2 + . . .+ eck