Metode Klasterisasi Hierarki

Single linkage (contoh)

Single linkage clustering (nearest-neighbor approach):

mencari jarak terkecil dgn nilai terkecil untuk penggabungan

Data awal:

Single linkage

Tahapan dari proses clustering (single-lingkage):

1. Cluster {33} & {33} digabung

2. Cluster{15} & {16} digabung

3. Cluster{15 ,16} dg {18} digabung

4. Cluster{2}&{5} digabung

5. Cluster {2,5} dg {9} digabung

6. Cluster {2,5,9} dg {15,16,18} digabung

7. Cluster {2,5,9,15,16,18} dg {25} digabung

8. Cluster{2,5,9,15,16,18,25} dg {33,33} digabung

9. Cluster{2,5,9,15,16.18,25,33,33} dg {45}

digabung

Complete linkage (contoh)

Complete linkage clustering :

cari jarak yang terjauh, tetapi untuk pengklusterannya

pergunakan jarak yang terkecil seperti pada single linkage

Data awal:

Complete linkage

Tahapan dari proses clustering:1. Cluster {33} dg {33} digabung

2. Cluster{15} dg {16} digabung

3. Cluster{2} dg {5} digabung (arbitrary}

4. Cluster {15,16} dg {18} digabung

5. Cluster {2,5} dg {9} digabung

6. Cluster {25} dg {33,33} digabung

7. Cluster{2,5,9} dg {15,16,18} digabung

8. Cluster{25,33,33} dg {45} digabung

9. Cluster{2,5,9,16,18} dg {25,33,33,45}

digabung

Average linkage

Tahapan dari proses clustering:1. Step 1 sama

2. Step 2 sama

3. Pada Average linkage, mana yang didahulukan

penggabungan antara cluster {2}dg{5} terlebih dahulu

ataukah kombinasi cluster {15,16} dg {18}. ?

untuk {2}dg{5} jaraknya = 3 sedang

jarak dari :{15,16} dg {18} adalah average dari |18-15|

dan |18-16| (3+2)/2=2.5, shg digabungkan dahulu

{15,16} dg {18}

4. Cluster {2} dg {5} digabung

Rumus Umum

Membentuk Matrik Jarak, misal dengan Manhattan Distance :

atau menggunakan Euclidian Distance :

Beberapa metode Pengelompokan Secara Hierarki Aglomeratif :

◦ Single Linkage (Jarak Terdekat)

◦ Complete Linkage (Jarak Terjauh)

◦ Average Linkage (Jarak Rata-Rata)

d

j

jjman yxyxD1

,

Dddd uvuvuv },min{

Dddd uvuvuv },max{

Dddaveraged uvuvuv },{

d

j

jj xxxxD1

2

1212 ,

Contoh Studi Kasus Perhatikan dataset berikut :

Data Fitur x Fitur y

1 1 1

2 4 1

3 1 2

4 3 4

5 5 4

Kelompokkan dataset tersebut dengan menggunakan metode AHC (Single

Linkage, Complete Linkage dan Average Linkage) menggunakan jarak

Manhattan !

Contoh Studi Kasus (Cont.) Menghitung Jarak Pada Semua Pasangan dua data :

Hasil Matrik Jarak :

12111,

31141,

01111,

31

21

2

1

11

DataDataD

DataDataD

yxDataDataD

man

man

j

jjman

Dman 1 2 3 4 5

1 0 3 1 5 7

2 3 0 4 4 4

3 1 4 0 4 6

4 5 4 4 0 2

5 7 4 6 2 0

Data Fitur x Fitur y

1 1 1

2 4 1

3 1 2

4 3 4

5 5 4

7344151,

5324131,

51

41

DataDataD

DataDataD

man

man

4314154,

4314134,

4132114,

52

42

32

DataDataD

DataDataD

DataDataD

man

man

man

6244251,

4224231,

53

43

DataDataD

DataDataD

man

man

2024453, 54 DataDataDman

Contoh Studi Kasus (Cont.) Menggunakan Metode Single Linkage :

Dengan memperlakukan data sebagai kelompok, selanjutnya kita pilih jarak

dua kelompok yang terkecil.

terpilih kelompok 1 dan 3, sehingga kedua kelompok ini

digabungkan. (Melanjutkan pengelompokan).

Dman 1 2 3 4 5

1 0 3 1 5 7

2 3 0 4 4 4

3 1 4 0 4 6

4 5 4 4 0 2

5 7 4 6 2 0

1)min()min( 13 dDman

Contoh Studi Kasus (Cont.) Menghitung jarak antar kelompok (1 dan 3) dengan kelompok lain yang tersisa,

yaitu 2, 4 dan 5.

Dengan menghapus baris-baris dan kolom-kolom matrik jarak yang bersesuaiandengan kelompok 1 dan 3, serta menambahkan baris dan kolom untuk kelompok(13).

Selanjutnya dipilih jarak dua kelompok yang terkecil.

Dman 1 2 3 4 5

1 0 3 1 5 7

2 3 0 4 4 4

3 1 4 0 4 6

4 5 4 4 0 2

5 7 4 6 2 0

6}6,7min{},min{

4}4,5min{},min{

3}4,3min{},min{

35155)13(

34144)13(

32122)13(

ddd

ddd

ddd

Dman (13) 2 4 5

(13) 0 3 4 6

2 3 0 4 4

4 4 4 0 2

5 6 4 2 0

2)min()min( 45 dDman

Contoh Studi Kasus (Cont.) Dengan menghapus baris-baris dan kolom-kolom matrik jarak yang bersesuaian

dengan kelompok 1 dan 3, serta menambahkan baris dan kolom untuk kelompok(13).

Selanjutnya dipilih jarak dua kelompok yang terkecil.

Menghitung jarak antar kelompok (4 dan 5) dengan kelompok lain yang tersisa,yaitu (13) dan 2.

Menghapus baris dan kolom matrik yang bersesuaian dengan kelompok 4 dan 5,serta menambahkan baris dan kolom untuk kelompok (45)

Dman 1 2 3 4 5

1 0 3 1 5 7

2 3 0 4 4 4

3 1 4 0 4 6

4 5 4 4 0 2

5 7 4 6 2 0

4}4,4min{},min{

4}6,7,4,5min{},,,min{

52422)45(

53514341)13)(45(

ddd

ddddd

Dman (13) 2 4 5

(13) 0 3 4 6

2 3 0 4 4

4 4 4 0 2

5 6 4 2 0

2)min()min( 45 dDman

Contoh Studi Kasus (Cont.) Selanjutnya dipilih jarak dua kelompok yang terkecil.

terpilih kelompok (13) dan 2, sehingga kedua kelompok ini

digabungkan. (Melanjutkan pengelompokan).

Menghitung jarak antar kelompok ((13) dan 2) dengan kelompok lain yang tersisa,

yaitu (45).

Dman (13) 2 4 5

(13) 0 3 4 6

2 3 0 4 4

4 4 4 0 2

5 6 4 2 0

Dman (45) (13) 2

(45) 0 4 4

(13) 4 0 3

2 4 3 0

3)min()min( 2)13( dDman

Contoh Studi Kasus (Cont.) Menghitung jarak antar kelompok ((13) dan 2) dengan kelompok lain yang tersisa, yaitu

(45).

Menghapus baris dan kolom matrik yang bersesuaian dengan kelompok (13) dan 2, serta

menambahkan baris dan kolom untuk kelompok (123)

Jadi kelompok (132) dan (45) digabung untuk menjadi kelompok tunggal dari lima data,

yaitu kelompok (13245) dengan jarak terdekat 4.

4}4,4,6,4,7,5min{},,,,,min{ 252435341514)45)(132( ddddddd

Dman (13) 2 4 5

(13) 0 3 4 6

2 3 0 4 4

4 4 4 0 2

5 6 4 2 0

Dman (45) (13) 2

(45) 0 4 4

(13) 4 0 3

2 4 3 0

Dman 1 2 3 4 5

1 0 3 1 5 7

2 3 0 4 4 4

3 1 4 0 4 6

4 5 4 4 0 2

5 7 4 6 2 0

Dman (132) (45)

(132) 0 4

(45) 4 0

Contoh Studi Kasus (Cont.) Menghapus baris dan kolom matrik yang bersesuaian dengan kelompok (13) dan 2, serta

menambahkan baris dan kolom untuk kelompok (132)

Jadi kelompok (132) dan (45) digabung untuk menjadi kelompok tunggal dari lima data,

yaitu kelompok (13245) dengan jarak terdekat 4. Berikut Dendogram Hasil Metode Single

Linkage :

Dman (13) 2 4 5

(13) 0 3 4 6

2 3 0 4 4

4 4 4 0 2

5 6 4 2 0

Dman (45) (13) 2

(45) 0 4 4

(13) 4 0 3

2 4 3 0

Dman 1 2 3 4 5

1 0 3 1 5 7

2 3 0 4 4 4

3 1 4 0 4 6

4 5 4 4 0 2

5 7 4 6 2 0

Dman (132) (45)

(132) 0 4

(45) 4 0

1 3 2 4 5 Data

J

a

r

a

k 1

2

3

4

Contoh Studi Kasus (Cont.) Menggunakan Metode Complete Linkage :

Dengan memperlakukan data sebagai kelompok, selanjutnya kita pilih jarak

dua kelompok yang terkecil.

terpilih kelompok 1 dan 3, sehingga kedua kelompok ini

digabungkan. (Melanjutkan pengelompokan).

Menghitung jarak antar kelompok (1 dan 3) dengan kelompok lain yang tersisa, yaitu 2, 4 dan

5.

Dman 1 2 3 4 5

1 0 3 1 5 7

2 3 0 4 4 4

3 1 4 0 4 6

4 5 4 4 0 2

5 7 4 6 2 0

1)min()min( 13 dDman

7}6,7max{},max{

5}4,5max{},max{

4}4,3max{},max{

35155)13(

34144)13(

32122)13(

ddd

ddd

ddd

Contoh Studi Kasus (Cont.) Menghitung jarak antar kelompok (1 dan 3) dengan kelompok lain yang tersisa, yaitu 2, 4

dan 5.

Dengan menghapus baris-baris dan kolom-kolom matrik jarak yang bersesuaian dengan

kelompok 1 dan 3, serta menambahkan baris dan kolom untuk kelompok (13).

Selanjutnya dipilih jarak dua kelompok yang terkecil.

Dman 1 2 3 4 5

1 0 3 1 5 7

2 3 0 4 4 4

3 1 4 0 4 6

4 5 4 4 0 2

5 7 4 6 2 0

7}6,7max{},max{

5}4,5max{},max{

4}4,3max{},max{

35155)13(

34144)13(

32122)13(

ddd

ddd

ddd

Dman (13) 2 4 5

(13) 0 4 5 7

2 4 0 4 4

4 5 4 0 2

5 7 4 2 0

2)min()min( 45 dDman

Contoh Studi Kasus (Cont.) Dengan menghapus baris-baris dan kolom-kolom matrik jarak yang bersesuaian dengan

kelompok 1 dan 3, serta menambahkan baris dan kolom untuk kelompok (13).

Selanjutnya dipilih jarak dua kelompok yang terkecil.

Menghitung jarak antar kelompok (4 dan 5) dengan kelompok lain yang tersisa, yaitu (13)

dan 2.

Menghapus baris dan kolom matrik yang bersesuaian dengan kelompok 4 dan 5, serta

menambahkan baris dan kolom untuk kelompok (45)

Dman 1 2 3 4 5

1 0 3 1 5 7

2 3 0 4 4 4

3 1 4 0 4 6

4 5 4 4 0 2

5 7 4 6 2 0

4}4,4max{},max{

7}6,7,4,5max{},,,max{

52422)45(

53514341)13)(45(

ddd

ddddd

Dman (13) 2 4 5

(13) 0 4 5 7

2 4 0 4 4

4 5 4 0 2

5 7 4 2 0

2)min()min( 45 dDman

Contoh Studi Kasus (Cont.) Menghitung jarak antar kelompok (4 dan 5) dengan kelompok lain yang tersisa, yaitu (13) dan 2.

Menghapus baris dan kolom matrik yang bersesuaian dengan kelompok 4 dan 5, serta

menambahkan baris dan kolom untuk kelompok (45)

Selanjutnya dipilih jarak dua kelompok yang terkecil.

terpilih kelompok (45) dan 2, sehingga kedua kelompok ini

digabungkan. (Melanjutkan pengelompokan).

Menghitung jarak antar kelompok ((45) dan 2) dengan kelompok lain yang tersisa, yaitu (13).

4}4,4max{},max{

7}6,7,4,5max{},,,max{

52422)45(

53514341)13)(45(

ddd

ddddd

Dman (13) 2 4 5

(13) 0 4 5 7

2 4 0 4 4

4 5 4 0 2

5 7 4 2 0

Dman (45) (13) 2

(45) 0 7 4

(13) 7 0 4

2 4 4 0

4)min()min( 2)45( dDman

Contoh Studi Kasus (Cont.) Menghitung jarak antar kelompok ((45) dan 2) dengan kelompok lain yang tersisa, yaitu

(13).

Menghapus baris dan kolom matrik yang bersesuaian dengan kelompok (45) dan 2, serta

menambahkan baris dan kolom untuk kelompok (452)

Jadi kelompok (452) dan (13) digabung untuk menjadi kelompok tunggal dari lima data,

yaitu kelompok (13452) dengan jarak terdekat 7.

7}4,3,6,7,4,5max{},,,,,max{ 232153514341)13)(452( ddddddd

Dman (13) 2 4 5

(13) 0 4 5 7

2 4 0 4 4

4 5 4 0 2

5 7 4 2 0

Dman (45) (13) 2

(45) 0 7 4

(13) 7 0 4

2 4 4 0

Dman 1 2 3 4 5

1 0 3 1 5 7

2 3 0 4 4 4

3 1 4 0 4 6

4 5 4 4 0 2

5 7 4 6 2 0

Dman (452) (13)

(452) 0 7

(13) 7 0

Contoh Studi Kasus (Cont.) Menghapus baris dan kolom matrik yang bersesuaian dengan kelompok (45) dan 2, serta

menambahkan baris dan kolom untuk kelompok (452)

Jadi kelompok (452) dan (13) digabung untuk menjadi kelompok tunggal dari lima data,

yaitu kelompok (13452) dengan jarak terdekat 7. Berikut Dendogram Hasil Metode

Complete Linkage :

Dman (13) 2 4 5

(13) 0 4 5 7

2 4 0 4 4

4 5 4 0 2

5 7 4 2 0

Dman (45) (13) 2

(45) 0 7 4

(13) 7 0 4

2 4 4 0

Dman 1 2 3 4 5

1 0 3 1 5 7

2 3 0 4 4 4

3 1 4 0 4 6

4 5 4 4 0 2

5 7 4 6 2 0

Dman (452) (13)

(452) 0 7

(13) 7 0

1 3 4 5 2 Data

J

a

r

a

k 1

2

4

7

Contoh Studi Kasus (Cont.) Menggunakan Metode Average Linkage :

Dengan memperlakukan data sebagai kelompok, selanjutnya kita pilih jarak

dua kelompok yang terkecil.

terpilih kelompok 1 dan 3, sehingga kedua kelompok ini

digabungkan. (Melanjutkan pengelompokan).

Menghitung jarak antar kelompok (1 dan 3) dengan kelompok lain yang tersisa, yaitu 2, 4 dan

5.

Dman 1 2 3 4 5

1 0 3 1 5 7

2 3 0 4 4 4

3 1 4 0 4 6

4 5 4 4 0 2

5 7 4 6 2 0

1)min()min( 13 dDman

5.62/)67(}6,7{},{

5.42/)45(}4,5{},{

5.32/)43(}4,3{},{

35155)13(

34144)13(

32122)13(

averageddaveraged

averageddaveraged

averageddaveraged

5.62/)67(}6,7{},{

5.42/)45(}4,5{},{

5.32/)43(}4,3{},{

35155)13(

34144)13(

32122)13(

averageddaveraged

averageddaveraged

averageddaveraged

Contoh Studi Kasus (Cont.) Menghitung jarak antar kelompok (1 dan 3) dengan kelompok lain yang tersisa, yaitu 2, 4

dan 5.

Dengan menghapus baris-baris dan kolom-kolom matrik jarak yang bersesuaian dengan

kelompok 1 dan 3, serta menambahkan baris dan kolom untuk kelompok (13).

Selanjutnya dipilih jarak dua kelompok yang terkecil.

Dman 1 2 3 4 5

1 0 3 1 5 7

2 3 0 4 4 4

3 1 4 0 4 6

4 5 4 4 0 2

5 7 4 6 2 0

Dman (13) 2 4 5

(13) 0 3.5 4.5 6.5

2 3.5 0 4 4

4 4.5 4 0 2

5 6.5 4 2 0

2)min()min( 45 dDman

Contoh Studi Kasus (Cont.) Dengan menghapus baris-baris dan kolom-kolom matrik jarak yang bersesuaian dengan

kelompok 1 dan 3, serta menambahkan baris dan kolom untuk kelompok (13).

Selanjutnya dipilih jarak dua kelompok yang terkecil.

Menghitung jarak antar kelompok (4 dan 5) dengan kelompok lain yang tersisa, yaitu (13)

dan 2.

Menghapus baris dan kolom matrik yang bersesuaian dengan kelompok 4 dan 5, serta

menambahkan baris dan kolom untuk kelompok (45)

Dman 1 2 3 4 5

1 0 3 1 5 7

2 3 0 4 4 4

3 1 4 0 4 6

4 5 4 4 0 2

5 7 4 6 2 0

42/)44(}4,4{},{

25.54/)6745(}6,7,4,5{},,,{

52422)45(

53514341)13)(45(

averageddaveraged

averageddddaveraged

Dman (13) 2 4 5

(13) 0 3.5 4.5 6.5

2 3.5 0 4 4

4 4.5 4 0 2

5 6.5 4 2 0

2)min()min( 45 dDman

42/)44(}4,4{},{

25.54/)6745(}6,7,4,5{},,,{

52422)45(

53514341)13)(45(

averageddaveraged

averageddddaveraged

Contoh Studi Kasus (Cont.) Menghitung jarak antar kelompok (4 dan 5) dengan kelompok lain yang tersisa, yaitu (13) dan 2.

Menghapus baris dan kolom matrik yang bersesuaian dengan kelompok 4 dan 5, sertamenambahkan baris dan kolom untuk kelompok (45)

Selanjutnya dipilih jarak dua kelompok yang terkecil.

terpilih kelompok (13) dan 2, sehingga kedua kelompok ini

digabungkan. (Melanjutkan pengelompokan).

Menghitung jarak antar kelompok ((13) dan 2) dengan kelompok lain yang tersisa, yaitu (45).

Dman (13) 2 4 5

(13) 0 3.5 4.5 6.5

2 3.5 0 4 4

4 4.5 4 0 2

5 6.5 4 2 0

Dman (45) (13) 2

(45) 0 5.25 4

(13) 5.25 0 3.5

2 4 3.5 0

5.3)min()min( 2)13( dDman

Contoh Studi Kasus (Cont.) Menghitung jarak antar kelompok ((13) dan 2) dengan kelompok lain yang tersisa, yaitu

(45).

Menghapus baris dan kolom matrik yang bersesuaian dengan kelompok (45) dan 2, sertamenambahkan baris dan kolom untuk kelompok (452)

Jadi kelompok (132) dan (45) digabung untuk menjadi kelompok tunggal dari lima data,yaitu kelompok (13245) dengan jarak terdekat 5.

56/)446475(}4,4,6,4,7,5{},,,,,{ 252435341514)45)(132( averageddddddaveraged

Dman (13) 2 4 5

(13) 0 3.5 4.5 6.5

2 3.5 0 4 4

4 4.5 4 0 2

5 6.5 4 2 0

Dman (45) (13) 2

(45) 0 5.25 4

(13) 5.25 0 3.5

2 4 3.5 0

Dman 1 2 3 4 5

1 0 3 1 5 7

2 3 0 4 4 4

3 1 4 0 4 6

4 5 4 4 0 2

5 7 4 6 2 0

Dman (132) (45)

(132) 0 5

(45) 5 0

Contoh Studi Kasus (Cont.) Menghapus baris dan kolom matrik yang bersesuaian dengan kelompok (45) dan 2, serta

menambahkan baris dan kolom untuk kelompok (452)

Jadi kelompok (132) dan (45) digabung untuk menjadi kelompok tunggal dari lima data,

yaitu kelompok (13245) dengan jarak terdekat 5. Berikut Dendogram Hasil Metode

Average Linkage :

Dman (13) 2 4 5

(13) 0 3.5 4.5 6.5

2 3.5 0 4 4

4 4.5 4 0 2

5 6.5 4 2 0

Dman (45) (13) 2

(45) 0 5.25 4

(13) 5.25 0 3.5

2 4 3.5 0

Dman 1 2 3 4 5

1 0 3 1 5 7

2 3 0 4 4 4

3 1 4 0 4 6

4 5 4 4 0 2

5 7 4 6 2 0

Dman (132) (45)

(132) 0 5

(45) 5 0

1 3 2 4 5 Data

J

a

r

a

k 1

2

3

4

5

Similarity

Dengan menggunakan Singgle Linkage cari anggota setiap cluster

dari

A= 1 0 1 1

B= 1 1 0 0

C= 1 1 0 1

D= 0 1 0 1

E= 1 1 1 1

Jadikan 3 cluster dengan menggunakan Similarity SMC

Contoh Similarity A dan B: a= 1, b= 2, c=1 d= 0

SMC AB = (a+d)/(a+b+c+d)= ¼=0.25

Selesai