id3$algorithm · 2020-01-23 · how$to$choose$the$bestaribute$ • informaon$gain$ –...

ID3  Algorithm    

EECS  349  Machine  Learning  Recita4on  

 Bongjun  Kim  

Training  examples  

How  to  choose  the  best  aCribute  

•  Informa4on  Gain  – The  expected  reduc4on  in  Entropy  – Entropy  (before  split)  −  Entropy  (aLer  split)  

Gain(S,A) = Entropy(S)−SvSv∈Values(A)

∑ Entropy(Sv )

Humidity  

high   Normal  

S:  [9+,  5-­‐],  E=0.94  

[3+,  4-­‐]  E=0.985  

[6+,  1-­‐]  E=0.592  

Gain(S,  Humidity)  =  0.94  –  ((7/14)*0.985+(7/14)*0.592  =  0.151  

How  to  choose  the  best  aCribute  

•  Informa4on  Gain  – The  expected  reduc4on  in  Entropy  – Entropy  (before  split)  −  Entropy  (aLer  split)  

Gain(S,A) = Entropy(S)−SvSv∈Values(A)

∑ Entropy(Sv )

outlook  

sunny   rain  

Temp.  

hot   cool  

wind  

strong   weak  

Humidity  

high   Normal  

Gain(S,  Humidity)  =  0.151  Gain(S,  outlook)  

=  Gain(S,  Temp)  =  

Gain(S,  wind)  =  

mild  overcast  

Entropy  

•  Entropy  – P1  =  probability  I  will  play  tennis  – P2  =  probability  I  will  NOT  play  tennis  Entropy(S) = −Pj

j∑ log2 Pj

= −P1 log2 P1 −P2 log2 P2

Humidity  

high   Normal  

S:  [9+,  5-­‐],  E=0.94  

[3+,  4-­‐]  E=0.985  

[6+,  1-­‐]  E=0.592  

Entropy([9+,  5-­‐])  =  −(9/14)log2(9/14)  −(5/14)log2(5/14)  =  0.94  

Let’s  build  DT  

outlook  

sunny   rain  

Gain(S,  outlook)  =  0.246  

overcast  

S:  [9+,  5-­‐],  E=0.94  

Temp.  

hot   cool  

Gain(S,  Temp)  =  0.029  

mild  

S:  [9+,  5-­‐],  E=0.94  

wind  

strong   weak  

Gain(S,  wind)  =  0.048  

S:  [9+,  5-­‐],  E=0.94  

Humidity  

high   Normal  

Gain(S,  Humidity)  =  0.151  

S:  [9+,  5-­‐],  E=0.94  

[3+,  4-­‐]  E=0.985  

[6+,  1-­‐]  E=0.592  

Gain(S,  outlook)  =  0.246    Gain(S,  Temperature)=0.029    Gain(S,  humidity)  =  0.151    Gain(S,  wind)  =  0.048  

outlook  

sunny   overcast   rain  

D1   S H H   W   N  

D2   S H H   S   N  

D8   S M H   W   N  

D9   S C N   W   Y  

D11   S M N   S   Y  

D3   O H H   W   Y  

D7   O C N   S   Y  

D12   O M H   S   Y  

D13   O H N   W   Y  

D4   R M H   W   Y  

D5   R C N   W   Y  

D6   R C N   S   N  

D10   R M N   W   Y  

D14   R M H   S   N  

outlook  

sunny   overcast   rain  

D1   S H H   W   N  

D2   S H H   S   N  

D8   S M H   W   N  

D9   S C N   W   Y  

D11   S M N   S   Y  

D3   O H H   W   Y  

D7   O C N   S   Y  

D12   O M H   S   Y  

D13   O H N   W   Y  

D4   R M H   W   Y  

D5   R C N   W   Y  

D6   R C N   S   N  

D10   R M N   W   Y  

D14   R M H   S   N  

outlook   temperature   humidity   wind  

Humidity  

high   Normal  

Gain  =  0.971  

[2+,  0-­‐]  [0+,  3-­‐]  

[2+,  3-­‐]  E=0.971  

wind  

strong   weak  

Gain  <  0.971  

[1+,  1-­‐]  E=0.5  

[1+,  2-­‐]  E=0.92  

[2+,  3-­‐]  E=0.971  

Temp.  

hot   cool  

Gain  =  0.971-­‐(2/5)*0.5    =    0.771  

mild  

[2+,  3-­‐]  E=0.971  

[0+,  2-­‐]   [1+,  1-­‐]  E=0.5  

[1+,  0-­‐]  

outlook  

sunny   overcast   rain  

D1   S H H   W   N  

D2   S H H   S   N  

D8   S M H   W   N  

D9   S C N   W   Y  

D11   S M N   S   Y  

D3   O H H   W   Y  

D7   O C N   S   Y  

D12   O M H   S   Y  

D13   O H N   W   Y  

D4   R M H   W   Y  

D5   R C N   W   Y  

D6   R C N   S   N  

D10   R M N   W   Y  

D14   R M H   S   N  

outlook   temperature   humidity   wind  

Humidity  

high   Normal  

D1   S H H   W   N  

D2   S H H   S   N  

D8   S M H   W   N  

D9   S C N   W   Y  

D11   S M N   S   Y  

No  Yes  

outlook  

sunny   overcast   rain  

D1   S H H   W   N  

D2   S H H   S   N  

D8   S M H   W   N  

D9   S C N   W   Y  

D11   S M N   S   Y  

D3   O H H   W   Y  

D7   O C N   S   Y  

D12   O M H   S   Y  

D13   O H N   W   Y  

D4   R M H   W   Y  

D5   R C N   W   Y  

D6   R C N   S   N  

D10   R M N   W   Y  

D14   R M H   S   N  

outlook   temperature   humidity   wind  

Humidity  

high   Normal  

No   Yes  

Yes  

outlook  

sunny   overcast   rain  

D4   R M H   W   Y  

D5   R C N   W   Y  

D6   R C N   S   N  

D10   R M N   W   Y  

D14   R M H   S   N  

outlook   temperature   humidity   wind  

Humidity  

high   Normal  

No   Yes  

Yes  

Temp.  

hot   cool  mild  

[3+,  2-­‐]  E=0.971  

[0+,  0-­‐]   [2+,  1-­‐]  E=0.92  

[1+,  1-­‐]  E=0.5  

Humidity  

high   Normal  

[2+,  1-­‐]  [1+,  1-­‐]  

[3+,  2-­‐]  E=0.971  

wind  

strong   weak  

[0+,  2-­‐]   [3+,  0-­‐]  

[3+,  2-­‐]  E=0.971  

outlook  

sunny   overcast   rain  

D1   S H H   W   N  

D2   S H H   S   N  

D8   S M H   W   N  

D9   S C N   W   Y  

D11   S M N   S   Y  

D3   O H H   W   Y  

D7   O C N   S   Y  

D12   O M H   S   Y  

D13   O H N   W   Y  

D4   R M H   W   Y  

D5   R C N   W   Y  

D6   R C N   S   N  

D10   R M N   W   Y  

D14   R M H   S   N  

outlook   temperature   humidity   wind  

Humidity  

high   Normal  

No   Yes  

Yes   wind  

strong   weak  

D6   R C N   S   N  

D14   R M H   S   N  

D4   R M H   W   Y  

D5   R C N   W   Y  

D10   R M N   W   Y  

outlook  

sunny   overcast   rain  

D1   S H H   W   N  

D2   S H H   S   N  

D8   S M H   W   N  

D9   S C N   W   Y  

D11   S M N   S   Y  

D3   O H H   W   Y  

D7   O C N   S   Y  

D12   O M H   S   Y  

D13   O H N   W   Y  

D4   R M H   W   Y  

D5   R C N   W   Y  

D6   R C N   S   N  

D10   R M N   W   Y  

D14   R M H   S   N  

outlook   temperature   humidity   wind  

Humidity  

high   Normal  

No   Yes  

Yes   wind  

strong   weak  

No   Yes  

outlook  

sunny   overcast   rain  

Humidity  

high   Normal  

No   Yes  

Yes   wind  

strong   weak  

No   Yes  

outlook   temperature   humidity   wind   play  

rainy   Mild   High   weak   ?