otomatisasi pemilihan kalimat utama dalam … · 3.5 contoh kasus ... gambar 4.26 menu panel...
TRANSCRIPT
1
OTOMATISASI PEMILIHAN KALIMAT UTAMA
DALAM DOKUMEN TUNGGAL BAHASA
INDONESIA DENGAN METODE MAXIMUM
MARGINAL RELEVANCE
TUGAS AKHIR
Diajukan Untuk Memenuhi
Persyaratan Guna Meraih Gelar Sarjana Strata 1
Teknik Informatika Universitas Muhammadiyah Malang
Disusun oleh :
MUHAMMAD YUDHA AMRIAL
201110370311406
PROGRAM STUDI TEKNIK INFORMATIKA
FAKULTAS TEKNIK
UNIVERSITAS MUHAMMADIYAH MALANG
2016
ii
LEMBAR PERSETUJUAN
iii
OTOMATISASI PEMILIHAN KALIMAT UTAMA
DALAM DOKUMEN TUNGGAL BAHASA
INDONESIA DENGAN METODE MAXIMUM
MARGINAL RELEVANCE
Muhammad Yudha Amrial
201110370311406
TUGAS AKHIR
Sebagai Persyaratan Guna Meraih Gelar Strata I
Teknik Informatika Universitas Muhammadiyah Malang
Menyetujui,
Pembimbing I Pembimbing II
Yufis Azhar, S.Kom., M.Kom.
NIP : 108.1410.0544
Yuda Munarko, S.Kom., M.Sc.
NIP : 108.0611.0443
MATISASI PEMILIHAN KALIMAT UTAMA DALAM
Malang, 20 Januari 2016
iv
DOKUMEN TUNGGAL BAHASA INDONESIA
DENGAN METODE MAXIMUM MARGINAL
RELEVANCE
TUGAS AKHIR
Sebagai Persyaratan Guna Meraih Gelar Strata I
Teknik Informatika Universitas Muhammadiyah Malang
Disusun Oleh :
Muhammad Yudha Amrial
201110370311406
Tugas Akhir ini telah diuji dan dinyatakan lulus melalui sidang majelis penguji
Pada : 20 Januari 2016
Menyetujui,
Penguji I
Mahar Faiqurahman, S.Kom., M.T.
NIP : 108.0811.0462
Penguji II
Setio Basuki, S.T., M.T.
NIP : 108.0907.0477
Mengetahui,
Ketua Jurusan Informatika
Yuda Munarko, S.Kom., M.Sc.
NIP : 108.0611.0443
vii
LEMBAR PERSEMBAHAN
Syukur Alhamdulillah atas kehadirat Allah SWT dengan limpahan
hidayah dan rahmad-Nya, shalawat serta salam senantiasa tercurahkan kepada
junjungan Nabi besar Rasullullah Muhammad SAW sang revolusioner. Tiada kata
selain puji syukur dan terima kasih karena penulis dapat menyelesaikan Tugas
Akhir ini. Oleh karena itu, dengan rendah hati penulis menyampaikan ucapan
terima kasih yang sebesar-besarnya kepada:
1. Kedua orang tua tercinta Bapak Said Mansur dan Ibu Yuswantini,
serta adek tercinta Agung Prasetyo SM dan Azza Nurina SM, yang
senantiasa tanpa lelah mendo’akan dan memberi dukungan, semoga
berkah dan rahmad-Nya selalu menyertai beliau setiap waktu;
2. Bapak Yufis Azhar, S.Kom., M.Kom. dan bapak Yuda Munarko,
S.Kom., M.Sc. selaku dosen pembimbing dalam tugas akhir. yang
selalu membimbing dengan kesabaran dan mengarahkan pemahaman;
3. Bapak Yuda Munarko, S. Kom, M.Sc selaku Ketua Jurusan Teknik
Informatika, Fakultas Teknik, Universitas Muhammadiyah Malang;
4. Bapak/Ibu Dosen Fakultas Teknik, Universitas Muhammadiyah
Malang yang senantiasa menjadi pendidik tanpa tanda jasa;
5. Teman-Teman Mahasiswa Teknik Informatika angkatan 2011;
6. Sahabat, teman dekat, kakak tingkat dan kerabat-kerabat yang selalu
mendoakan dan memberi semangat.
7. Dan seluruh pihak yang tidak bisa disebutkan satu persatu, yang telah
banyak membantu selama ini.
Semoga segala bantuan, motivasi, dan do’a yang diberikan kepada penulis
diridhoi dan mendapat imbalan yang berlipat ganda dari Allah SWT, Amiin ya
Rabbal’alamin.
viii
KATA PENGANTAR
Alhamdulillah, puji syukur kehadirat Allah SWT, yang telah melimpahkan
rahmat dan karunia-Nya, sehingga penulis dapat menyelesaikan tugas akhir yang
menjadi salah satu syarat untuk menyelesaikan program studi Teknik Informatika
jenjang Strata-1 Universitas Muhammadiyah Malang (UMM). Sholawat serta
salam semoga tetap tercurah kepada Nabi besar Muhammad saw, keluarga,
sahabat dan para pengikutnya hingga akhir jaman.
Penulis menyadari bahwa dalam menyelesaikan tugas akhir ini tidak lepas
dari peran berbagai pihak yang telah banyak memberi bantuan, nasehat,
bimbingan dan dukungan. Dalam kesempatan ini penulis ingin mengucapkan
terima kasih yang tak terhingga khususnya kepada :
1. Bapak Drs. H. Fauzan, M.Pd, selaku Ketua Rektor Universitas Muhammadiyah
Malang.
2. Bapak Ir. Sudarman, M.T., selaku Dekan Fakultas Teknik Universitas
Muhammadiyah Malang.
3. Bapak Yuda Munarko, S.Kom, M.Sc., selaku Ketua Jurusan Teknik Informatika
Universitas Muhammadiyah Malang.
4. Bapak Yufis Azhar, S.Kom., M.Kom., selaku Dosen Pembimbing I tugas akhir.
Terima kasih atas pengarahan yang telah di berikan sehingga dapat
menyelesaikan laporan tugas akhir ini dengan benar adanya.
5. Bapak Yuda Munarko, S.Kom, M.Sc., selaku Dosen Pembimbing II tugas akhir.
Terima kasih atas pengarahan yang telah di berikan sehingga dapat
menyelesaikan laporan tugas akhir ini dengan benar adanya.
6. Bapak Ali Sofyan Kholimi, S.Kom., M.Kom., selaku Dosen Wali.
7. Orang Tua dan Adik Penulis atas segala do’a restu dan dukungannya baik
material atau spiritual kepada penulis dalam penyelesaian tugas akhir ini.
8. Teman-teman yang membantu dalam proses penulisan tugas akhir ini, yang tidak
mungkin penulis sebutkan satu-persatu.
Penulis menyadari bahwa dalam penyusunan tugas akhir ini banyak
kekurangannya. Oleh karena itu, penulis mengharapkan kritik dan saran yang dapat
menyempurnakan penulisan ini sehingga dapat bermanfaat untuk pengembangan ilmu.
Malang, 16 januari 2016
Penulis
ix
DAFTAR ISI
HALAMAN JUDUL .............................................................................................. i
LEMBAR PERSETUJUAN ................................................................................. ii
LEMBAR PENGESAHAN ................................................................................. iii
LEMBAR PERNYATAAN ................................................................................. iv
ABSTRAKSI...........................................................................................................v
ABSTRACT .......................................................................................................... vi
LEMBAR PERSEMBAHAN ............................................................................. vii
KATA PENGANTAR ........................................................................................ viii
DAFTAR ISI ......................................................................................................... ix
DAFTAR GAMBAR ............................................................................................ xi
DAFTAR TABEL .............................................................................................. xiii
BAB I PENDAHULUAN .......................................................................................1
1.1 Latar Belakang ..........................................................................................1
1.2 Rumusan Masalah .....................................................................................2
1.3 Batasan Masalah ........................................................................................2
1.4 Tujuan .......................................................................................................2
1.5 Metodologi ................................................................................................3
a. Studi Pustaka ..................................................................................... 3
b. Pengumpulan Data ........................................................................... 3
c. Analisa dan Desain Sistem ................................................................ 4
d. Implementasi ..................................................................................... 3
e. Pengujian ........................................................................................... 3
1.6 Sistematika Penulisan ................................................................................4
BAB II LANDASAN TEORI ................................................................................6
2.1 Maximum Marginal Relevance .................................................................6
2.2 Pengertian Ide Pokok.................................................................................8
2.3 Pengertian Kata .........................................................................................9
2.4 Pengertian Kalimat ..................................................................................10
x
2.5 Paragraf Dalam Bahasa Indonesia ...........................................................14
2.6 Data Mining .............................................................................................18
2.7 Text Mining .............................................................................................19
2.8 Preprocessing...........................................................................................20
2.9 Pembobotan TFIDF .................................................................................23
BAB III ANALISA DAN PERANCANGAN SISTEM .....................................27
3.1 Teknologi yang digunakan ......................................................................27
3.2 Analisis dan Penyelesaian .......................................................................27
3.3 Perancangan Sistem .................................................................................28
3.4 Alur Rancangan Sistem ...........................................................................31
a. Alur kerja Sistem Aplikasi .............................................................. 31
b. Alur kerja Metode Hitung Bobot .................................................... 33
c. Alur Kerja Metode MMR ............................................................... 34
3.5 Contoh Kasus ..........................................................................................38
3.6 Desain Interface .......................................................................................48
BAB IV IMPLEMENTASI DAN PENGUJIAN ...............................................49
4.1 Implementasi Software ............................................................................50
a. Implementasi Preprocessing ........................................................... 50
b. Implementasi Hitung Bobot ............................................................ 54
c. Implementasi Maximum Marginal Relevance (MMR)................... 57
d. Implementasi Interface Sistem ........................................................ 62
4.2 Pengujian ................................................................................................67
BAB V PENUTUP ................................................................................................78
5.1 Kesimpulan ..............................................................................................79
5.2 Saran ........................................................................................................79
DAFTAR PUSTAKA .......................................................................................... 80
LAMPIRAN-LAMPIRAN ..................................................................................81
xi
DAFTAR GAMBAR
Gambar 2.1 Proses KDD Data Mining ......................................................... 17
Gambar 2.2 Tahapan Text Mining ............................................................... 19
Gambar 3.1. Use Case Diagram ................................................................... 30
Gambar 3.2. Alur kerja Sistem Aplikasi ..................................................... 33
Gambar 3.3. Alur kerja Metode Hitung Bobot ........................................... 33
Gambar 3.4. Alur Kerja MMR .................................................................... 34
Gambar 3.5. Alur Query Relevance ............................................................. 34
Gambar 3.6. Alur Similarity Kalimat .......................................................... 35
Gambar 3.7. Alur MMR ................................................................................ 36
Gambar 4.1 Pemecahan Kalimat .................................................................. 50
Gambar 4.2 Case Folding .............................................................................. 50
Gambar 4.3 Tokenizing ................................................................................. 50
Gambar 4.4 Filtering ..................................................................................... 51
Gambar 4.5 Stemming ................................................................................... 52
Gambar 4.6 Inisialisasi hitung bobot ........................................................... 53
Gambar 4.7 Set keyword ............................................................................... 53
Gambar 4.8 Implementasi W1 ...................................................................... 53
Gambar 4.9 Implementasi W2 ...................................................................... 54
Gambar 4.10 Implementasi W3 .................................................................... 54
Gambar 4.11 Implementasi W4 .................................................................... 54
Gambar 4.13 Implementasi IDF ................................................................... 55
Gambar 4.14 Implementasi ISF .................................................................... 55
Gambar 4.15 Implementasi AVG - ISF........................................................ 55
Gambar 4.16 Implementasi Wtot ................................................................. 56
Gambar 4.17 Implementasi Database .......................................................... 56
Gambar 4.18 Inisialisasi Algoritma MMR .................................................. 56
Gambar 4.19 Menghitung banyak Kalimat ................................................. 56
Gambar 4.20 Implementasi Query Relevance ............................................. 57
Gambar 4.21 Implementasi Similirity Kalimat ........................................... 58
Gambar 4.22 Implementasi MMR................................................................ 59
Gambar 4.23 Menu Utama ............................................................................ 61
xii
Gambar 4.24 Menu Browse ........................................................................... 62
Gambar 4.25 Menu Proses ............................................................................ 62
Gambar 4.26 Menu Panel Ekstrak Paragraf ............................................... 63
Gambar 4.27 Menu Panel Preprocessin ....................................................... 63
Gambar 4.28 Menu Panel Hitung Bobot ..................................................... 64
Gambar 4.29 Menu Panel MMR .................................................................. 64
Gambar 4.29 Menu Pengujian ...................................................................... 65
Gambar 4.30 Menu Hasil .............................................................................. 65
xiii
DAFTAR TABEL
Tabel 2.1. Kata Baku dan tidak Baku ................................................................8
Tabel 3.1. Activity Diagram Memilihan Kalimat Utama Dokumen .................31
Tabel 3.2. Activity Diagram Load Dokumen ....................................................31
Tabel 3.3. Activity Diagram Save Dokumen ....................................................32
Tabel 3.4. Tabel Perbandingan Query Dengan Kalimat 1,2 Dan 3 ...................43
Tabel.4.1. Hasil Kalimat Utama Berita Futsal Batang Kalahkan Kota
Pekalongan .........................................................................................................66
Tabel.4.2. Hasil Kalimat Utama Berita “Menuju Poros Maritim Dunia Rokhmin
Dahuri Guru Besar Manajemen Pembangunan Pesisir dan Lautan IPB” ...........66
Tabel.4.3. Hasil Kalimat Utama Berita “Mengatasi Diabetes Dengan Diet” .....67
Tabel.4.4. Hasil Kalimat Utama Berita “Masih Banyak Permainan di PPDB” .68
Tabel.4.5. Hasil Kalimat Utama Berita “Mahasiswa Singapura Gali Edukasi
Perbankan dari Indonesia” .................................................................................68
Tabel.4.6. Hasil Kalimat Utama Berita “KPPU Implementasi Perpres
Pengendalian Harga Barang Pokok Rumit” ........................................................70
Tabel.4.7. Hasil Kalimat Utama Berita
“Kandungan Antioksidan pada Kaktus” .............................................................70
Tabel.4.8. Hasil Kalimat Utama Berita “Hipertensi dan Bawang Putih” ...........71
Tabel.4.9. Hasil Kalimat Utama Berita “Dirut BCA Diperiksa tentang Bank
Persepsi dalam Kasus Payment Gateway” ..........................................................72
Tabel.4.10. Hasil Kalimat Utama Berita “Revisi UU KPK, Anggota DPR Anggap
Menkum HAM Permainkan Parlemen” ..............................................................73
Tabel.4.11. Pengujian Sistem .............................................................................74
Tabel.4.12. Rumus dari precision, recall f-measure dan accuracy . .................75
Tabel.4.13. Pengujian Precision, Recall, F-measure dan Accuracy Hitung Bobot
dengan Pemilihan Kalimat Utama Manual ........................................................76
Tabel.4.14. Pengujian Precision, Recall, F-measure dan Accuracy MMR dengan
Pemilihan Kalimat Utama Manual .....................................................................77
80
DAFTAR PUSTAKA
[1] Purwasih, Nurzaitun. “Sistem Peringkas Teks Otomatis untuk
Dokumen Tunggal Berita Berhasa Indonesia dengan
menggunakan Graph-based Summarization Algorithm dan
Similirity”.
[2] Firdayana, Mardhatillah. “Automated Text Summarization
Dokumen Tunggal Bahasa Indonesia dengan Metode Ekstraksi”.
[3] Mustaghiri, Muchammad, Zainal Abidin dan Ririen Kusumawati.
“Peringkas Teks Otomatis Berita Berbahasa Indonesia
Menggunakan Maximum Marginal Relevance”.
[4] Prasetyo, Eko. 2012. “Data Mining – Konsep dan Aplikasi
menggunakan Matlab”. Yogyakarta: Andi.
[5] Hilman Fauzi, Yana, Beny Pribadi, Dewan Teguh H, Makalah
Dokumen Mining Mata Kuliah : Kecerdasan Buatan.
[6] Ari Wibowo, Pengujian Kerelevanan Sistem Temu Kembali
Informasi.
[7] Hermawati Fajar A. 2013. Data Mining. Yogyakarta: Andi.
Dr. Taufik Fuadi Abidin, S.Si., M.Tech, Accuracy Measure
Precision Recall & F-Measure.
[8] Wayan Gede Suka Parwita, Edi Winarko, “Hybrid
Recommendation System Memanfaatkan Penggalian Frequent
Itemset dan Perbandingan Keyword”