daming 07_hirarki klastering

8/16/2019 DaMing 07_Hirarki Klastering

1/18

Hierarki ClusteringPertemuan 7 : Penggalian DataPengampu : Marlinda V. Overbeek, M.Kom


2/18

Learning Outcomes

Tujuan Pembelajaran Umum• Mahasiswa dapat memahami, dan menjelaskan tentang

metode hirarki clustering (AGNES dan DIANA)

Tu uan Pembela aran Khusus • Mahasiswa memahami tentang metode hirarki clustering

AGNES• Mahasiswa memahami tentang metode hirarki clustering

DIANA


3/18

Hierarchical Clustering• Produces a set of nested clusters

organized as a hierarchical tree

• Can be visualized as a dendrogram – A tree like diagram that records the

4/5/2016 3

sequences of merges or splits

1 3 2 5 4 60

0.05

0.1

0.15

0.2

1

2

3

4

5

6

1

23 4

5


4/18

Strengths of Hierarchical Clustering• Do not have to assume any particular number of clusters

– Any desired number of clusters can beobtained by ‘cutting’ the dendogram at theproper level

4/5/2016 4

• They may correspond to meaningfultaxonomies – Example in biological sciences (e.g.,

animal kingdom, phylogeny reconstruction,…)


5/18

Hierarchical Clustering• Two main types of hierarchical clustering

– Agglomerative:• Start with the points as individual clusters• At each step, merge the closest pair of clusters until only

one cluster (or k clusters) left

– Divisive:

4/5/2016 5

• Start with one, all-inclusive cluster • At each step, split a cluster until each cluster contains a

point (or there are k clusters)

• Traditional hierarchical algorithms use a similarityor distance matrix – Merge or split one cluster at a time


6/18

Hierarchical Clustering – Agglomerative Clustering(AGNES)

1. Hitung matriks jarak antar data2. Ulangi langkah 3 dan 4 hingga hanya satu kelompok yang tersisa3. Gabungkan dua kelompok terdekat berdasarkan parameter

kedekatan yang ditentukan4. Perbaharui jarak antar data untuk merepresentasikan kedekatan

diantara kelompok baru dan kelompok yang masih tersisa5. Selesai


7/18

Common Formula

• Pengukuran jarak untuk mengetahui kedekatan bisadengan pengukuran Jarak Euclidean, City Blok,Minkowski, Mahalonobis dan sebagainya

• Beberapa pengelompokan secara AGNES

–

– Complate Linkage (jarak terjauh)

– Average Linkage (jarak rata-rata) Dd d d uvuvuv },max{

Dd d d uvuvuv },min{

Dd d averaged uvuvuv },{


8/18

Contoh Soal• Perhatikan dataset berikut :

Data Fitur x Fitur y

1 1 1

2 4 1

3 1 2

4 3 4

Kelompokan dataset tersebut dengan AGNES(single,complete, dan average linkage). Jarak yangdigunakan adalah jarak Manhattan.


9/18

• Hitung jarak pada semua pasangan dua data :

2

1)1,1( 0|11||11|||

j j jdatadatam an y xd

3|11||41|)2,1( datadatam and 1|21||11|)3,1( datadatam and 5|41||31|)4,1( datadatam and

7|41||51|)5,1( datadatam and 4|21||14|)3,2( datadatam and

4|42||31|)4,3( datadatam and 6|42||51|)5,3( datadatam and 2|44||53|)5,4( datadatam and

• Hasil matriks jarak

)4,2( datadatam an

4|41||54|)5,2( datadatam and

Dman 1 2 3 4 5

1 0 3 1 5 7

2 3 0 4 4 43 1 4 0 4 6

4 5 4 4 0 2

5 7 4 6 2 0


10/18

SINGLE LINKAGE• Menggunakan metode single linkage :

dengan memperlakukan data sebagai kelompok, selanjutnya pilih jarak dua

kelompok yang terkecil.

Dman 1 2 3 4 5

1 0 3 1 5 7

2 3 0 4 4 4

3 1 4 0 4 6

4 5 4 4 0 2

Min(Dman) = min (d13) = 1Terpilih kelompok 1 dan 3 shg keduakelompok ini digabungkan

• Hitung jarak antar kelompok (1 dan 3) dengan kelompok lain yang tersisa,yaitu 2, 4 dan 5d(13)2 =min{d12,d32} = min{3,4} = 3d(13)4 = min{d14,d34} = min {5,4} =4

d(13)5 = min{d15,d35} = min {7,6} = 6

5 7 4 6 2 0


11/18

• Hitung jarak antar kelompok (1 dan 3) dengan kelompok lain yang tersisa,yaitu 2, 4, dan 5.d(13)2 =min{d12,d32} = min{3,4} = 3d(13)4 = min{d14,d34} = min {5,4} =4

d(13)5 = min{d15,d35} = min {7,6} = 6• Dengan menghapus baris dan kolom matriks jarak bersesuaian dengan

kelompok 1 dan 3 serta menambahkan kolom (13)

Dman 1 2 3 4 5

1 0 3 1 5 7

2 3 0 4 4 4

Dman (13) 2 4 5

(13) 0 3 4 6

• Selanjutnya dipilih jarak 2 kelompok terkecil.min(Dman) = min(d45) = 2

3 1 4 0 4 6

4 5 4 4 0 2

5 7 4 6 2 0

2 3 0 4 4

4 4 4 0 2

5 6 4 2 0


12/18

• Dari tabel penghapusan baris dan kolom (13), didapat yang paling dekatselanjutnya adalah d45 yaitu 2

Dman 1 2 3 4 5

1 0 3 1 5 72 3 0 4 4 4

3 1 4 0 4 6

4 5 4 4 0 2

5 7 4 6 2 0

Dman (13) 2 4 5

(13) 0 3 4 6

2 3 0 4 4

4 4 4 0 2

5 6 4 2 0

• Hitung jarak kelompok (4 dan 5) dengan kelompok lain yang tersisa yaitu(13) dan 2d(45)(13) = min{d41,d43,d51,d53} = min {5,4,7,6} = 4d(45)2 = min {d42,d52} = min{4,4} = 4

• Hapus baris dan kolom yang bersesuaian dengan kelompok 4 dan 5 sertatambahkan baris dan kolom untuk kelompok (45)


13/18

• Hapus baris dan kolom yang bersesuaian dengan kelompok 4 dan 5 sertatambah baris kelompok (45)

• Selanjutnya dipilih jarak dua kelompok terkecil

= =

Dman (13) 2 4 5

(13) 0 3 4 6

2 3 0 4 4

4 4 4 0 2

5 6 4 2 0

Dman (45) (13) 2

(45) 0 4 4(13) 4 0 3

4 4 3 0

terpilih kelompok (13) dan 2 sehingga kelompok ini digabung lanjutpengelompokan

• Hitung jarak antar kelompok ((13 dan 2) dengan kelompok lain yang tersisayaitu (45)


14/18

• Hitung jarak antar kelompok ((13) dan 2) dengan kelompok lain yang tersisayaitu (45)d(132)(450 = min {d14,d14,d34,d35,d24,d25} = min {5,7,4,6,4,4} = 4

• Hapus baris dan kolom yang bersesuaian dengan kelompok (13) dan 2serta tambahkan baris dan kolom untuk kelompok (123)

Dman 1 2 3 4 5

1 0 3 1 5 7

2 3 0 4 4 4

3 1 4 0 4 6

Dman (13) 2 4 5

(13) 0 3 4 6

2 3 0 4 4

Dman (45) (13) 2

(45) 0 4 4

(13) 4 0 3

• Jadi kelompok (132) dan (45) digabung untuk menjadi kelompok tunggaldari 5 data, yaitu kelompok (13245) dengan jarak terdekat 4

4 5 4 4 0 2

5 7 4 6 2 0

4 4 4 0 2

5 6 4 2 0

Dman (132) (45)

(45) 0 4

(13) 4 0


15/18

• Jadi kelompok (132) dan (45) digabung menjadi kelompok tunggal dari 5data, yaitu kelompok (13245) dengan jarak terdekat 4. Jika digambar dengan Dendogram maka hasil single linkage adalah :


16/18

• Untuk Complate Linkage dan AverageLinkage, coba Anda kerjakan sendiri.. ^^


17/18


18/18

daming 07_hirarki klastering

Documents