neural algorithms and machine learning
TRANSCRIPT
“Inductive logic programming”
Heri Arum Nugroho232 133 46
Neural Algorithms and Machine Learning
• Pengenalan ILP
• FOIL
• Inverse Resolution
• Aplikasi
• Referensi
• Istilah Inductive Logic Programming pertama kali diperkenalkan oleh Stephen Muggleton pada tahun 1991.
• Inductive Logic Programming (ILP)Inductive machine learning + Logic programming
• Komponen E+ : Contoh positifE- : Contoh negativB : Latar belakang pengetahuan (Backgroud Knowledge)H : Hipothesis.
Skema: E + + E- + B => H
PENGENALAN
• Contoh Positif (E+): grandfather (henry, john) ←grandfather (henry, alice) ←
• Contoh negatif (E-)← grandfather (john, henry) ← grandfather (alice, john)
• Latar belakang pengetahuan (B):grandfather (X, Y) ← father (X, Z), parent(Z, Y) father (henry, jane) ←mother (jane. john) ←mother (jane, alice) ←
Contoh Hubungan keluarga
• Hipotesis yang mungkin H1 ∈ H parent (X, Y) ← mother (X, Y)
• H adalah himpunan hipothesis yang berisi jumlah spekulasi individu yang sesuai dengan latar belakang pengetahuan dan contoh
• Kondisi yang harus dipenuhi oleh hipotesis• Terkait antara konsistensi dan kelengkapan dengan contoh dan latar belakang pengetahuan
• Konsistensi:• Pertama kali, cek solusi dari permasalahan:
B ∪ E- □ ⊭ (prior satisfiability)• Jika terdapat salah satu contoh negatif yang terbukti benar dari latar belakang informasi, maka setiap
hipotesis yang ditemukan tidak akan dapat mengkompensasi hal ini.• B dan H konsisten dengan E-:
B ∪ H ∪ E- □ (⊭ posterior satisfiability) • Setelah menambah hipotesis seharusnya masih tidak mungkin untuk membuktikan contoh negatif.
• Kelengkapan:• H diperbolehkan untuk menjelaskan E+ relatif terhadap B:
B ∪ H E⊧ + (posterior sufficiency) • Artinya H harus sesuai dengan contoh positif yang diberikan.
First Order Inductive Learner (FOIL; Quinlan 1990).
Ide:
• Aturan dalam membangun mencakup
– beberapa contoh positif
– tetapi tidak ada contoh negatif.
Setelah aturan ditemukan, akan menghapus aturah positif dan melanjutkan proses.
• Membangun Aturan:
– menambahkan literal ke body sampai tidak ada contoh negative
- jika literal memperkenalkan variabel baru, memperpanjang contoh ke semua konstanta yang mungkin
FOIL
Algoritm FOIL
1. Inverse resolution2. Relative last general generalisations (rlggs)3. Inverse implication4. Inverse entailment
Teori
• Memberikan klausa C1, C2, disimpulkan menjadi C
Inverse resolution
• Melakukan pencarian, karena mungkin ada banyak pasang klausa yang menyebabkan C:
• Sistem ILP telah diterapkan untuk berbagai domain masalah. Banyak aplikasi manfaat membentuk deskripsi relasional yang dihasilkan oleh sistem ILP.
• Area aplikasi meliputi:
- aktivitas struktur batuk (obat untuk penyakit Alzheimer, untuk penghambatan E. Coli Dihydrofolate Reduktase, dalam analog suramin)
- pembelajaran prediksi mutagenesis;
- pembelajaran prediksi struktur sekunder protein;
- aturan dari database belajar catur;
- pembelajaran diagnostik untuk model kualitatif pasokan listrik satelit; dan
- pembelajaran model kualitatif dari sistem U-tube.
Aplikasi
• Memprediksi bentuk tiga dimensi protein dari urutan asam amino secara luas diyakini menjadi salah satu masalah tersulit dalam biologi molekuler.
• Menarik bagi perusahaan farmasi karena bentuk protein umumnya menentukan fungsinya sebagai enzim.
Aplikasi: Prediksi struktur sekunder protein
[Muggleton S., King R.D., and Sternberg M.J.E. (1992)].
• Asumsikan sepuluh kereta api: lima bepergian ke timur dan lima bepergian ke barat; setiap kereta api terdiri dari lokomotif yang menarik gerbong; kereta yang bepergian ke arah timur atau ke arah barat dengan ditentukan beberapa sifat dari kereta api.
Aplikasi: Michalski’s train problem
Tugas: Tentukan kereta mana yang mengarah ke timur dan ke barat?
Michalski’s train problem (2)
• Permasalahan kereta Michalski’s = Klasifikasi pekerjaan: tujuanya untuk menghasilkan classifier (teori) yang dapat mengklasifikasikan kereta sebagai Eastbound atau Westbound
• Latar belakang pengetahuan dari setiap kereta: bagian kereta, bentuknya, banyak roda, apakah itu terbuka (yaitu tidak memiliki atap) atau tertutup, apakah itu panjang atau pendek, menyerupai mobil.
• Selain itu, pasangan gerbong terhubung, pengetahuan yang satu di depan yang lain dapat diekstraksi.
Michalski’s train problem (3)
• Contoh kereta arah ke timur• Positive examples:
eastbound(east1).eastbound(east2).eastbound(east3).eastbound(east4).eastbound(east5).
• Negative examples:eastbound(west6).eastbound(west7).eastbound(west8).eastbound(west9).eastbound(west10).
Michalski’s train problem (4)• Latar belakang pengalaman kereta east1. Identifikasi : car_xy, dimana x nomor kereta dan y adalah
posisi. Contoh car_12 berarti kereta kedua dibelakang lokomotif kereta pertama
• short(car_12). short(car_14).• long(car_11). long(car_13).• closed(car_12).• open(car_11). open(car_13). open(car_14).• infront(east1,car_11). infront(car_11,car_12).• infront(car_12,car_13). infront(car_13,car_14).• shape(car_11,rectangle). shape(car_12,rectangle).• shape(car_13,rectangle). shape(car_14,rectangle).• load(car_11,rectangle,3). load(car_12,triangle,1).• load(car_13,hexagon,1). load(car_14,circle,1).• wheels(car_11,2). wheels(car_12,2).• wheels(car_13,3). wheels(car_14,2).• has_car(east1,car_11). has_car(east1,car_12).• has_car(east1,car_13). has_car(east1,car_14).
Michalski’s train problem (5)
• Hipotesis yang dihasilkan dari ILP systems yaitu:
eastbound(A) ← has_car(A,B), not(open(B)), not(long(B)).
• Duce = menggunakan enam aturan inferensi induktif, empat diantaranya didefinisikan sebagai klausul logika proposisional.
• CIGOL = membalikkan resolusi klausa dalam urutan pertama predikat logika.
• Golem = didasarkan pada Relative last general generalisations (rlggs).
• Progol = menerapkan kerangka inverting entailment
IMPLEMENTATIONS
• FOIL
• Inthelex (Incremental Theory Learner for Example)
• Lime
• MIO
• MIS (Model Inference System)
• RSD
• Warmr
• 1BC dan 1BC2: Klasifikasi Bayesian
• ACE (A Combined Enggine)
• Alep
• Atom
• Claudien
• DL-Learner
• Dmax
• S.H. Muggleton. Inductive Logic Programming. New Generation Computing, 8(4):295-318, 1991.
• S.H. Muggleton and L. De Raedt. Inductive logic programming: Theory and methods. Journal of Logic Programming, 19,20:629-679, 1994.
• Lavrac, N.; Dzeroski, S. (1994). Inductive Logic Programming: Techniques and Applications. New York. http://www-ai.ijs.si/SasoDzeroski/ILPBook
• http://www.doc.ic.ac.uk/~shm/ilp.html diakses tanngal 12 Nopember 2014
• Use the Progol input file for Michalski's train problem: http://www.comp.rgu.ac.uk/staff/chb/teaching/cmm510/michalski_train_data
Referensi