˚Št•ikc.01.15/06-10 th€nhphƒnkhaimätrithøc:mæh…nhtrücquan...

20
Gii thi»u Xây düng thành phƒn khai m tri thøc Mô hình trüc quan cây quy‚t đnh cho dü báo dch h/i K‚t lu“n và hưng phát tri”n Đ TÀI KC.01.15/06-10 Thành phƒn khai m tri thøc: mô hình trüc quan cây quy‚t đnh cho dü báo dch h/i ĐØ Thanh Ngh, Lê Quy‚t Th›ng Khoa Công ngh» thông tin, ĐHCT SL 1 Lý Tü Trng, Ninh Ki•u, Cƒn Thơ [email protected] Ngày 13 tháng 3 năm 2011 ĐØ Thanh Ngh, Lê Quy‚t Th›ng Cây quy‚t đnh cho dü báo 1/ 20

Upload: others

Post on 27-Jun-2020

0 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: ˚ŠT•IKC.01.15/06-10 Th€nhphƒnkhaimätrithøc:mæh…nhtrücquan …dtnghi/sem/slide-dm.pdf · 2012-04-25 · dtnghi@cit.ctu.edu.vn Ng€y13th¡ng3n«m2011 ˚ØThanhNghà,L¶Quy‚tTh›ng

Giới thiệuXây dựng thành phần khai mỏ tri thức

Mô hình trực quan cây quyết định cho dự báo dịch hạiKết luận và hướng phát triển

ĐỀ TÀI KC.01.15/06-10Thành phần khai mỏ tri thức: mô hình trực quan

cây quyết định cho dự báo dịch hại

Đỗ Thanh Nghị, Lê Quyết Thắng

Khoa Công nghệ thông tin, ĐHCT

Số 1 Lý Tự Trọng, Ninh Kiều, Cần Thơ[email protected]

Ngày 13 tháng 3 năm 2011

Đỗ Thanh Nghị, Lê Quyết Thắng Cây quyết định cho dự báo 1/ 20

Page 2: ˚ŠT•IKC.01.15/06-10 Th€nhphƒnkhaimätrithøc:mæh…nhtrücquan …dtnghi/sem/slide-dm.pdf · 2012-04-25 · dtnghi@cit.ctu.edu.vn Ng€y13th¡ng3n«m2011 ˚ØThanhNghà,L¶Quy‚tTh›ng

Giới thiệuXây dựng thành phần khai mỏ tri thức

Mô hình trực quan cây quyết định cho dự báo dịch hạiKết luận và hướng phát triển

Giới thiệu

Xây dựng thành phần khai mỏ tri thức

Mô hình trực quan cây quyết định cho dự báo dịch hại

Kết luận và hướng phát triển

Đỗ Thanh Nghị, Lê Quyết Thắng Cây quyết định cho dự báo 2/ 20

Page 3: ˚ŠT•IKC.01.15/06-10 Th€nhphƒnkhaimätrithøc:mæh…nhtrücquan …dtnghi/sem/slide-dm.pdf · 2012-04-25 · dtnghi@cit.ctu.edu.vn Ng€y13th¡ng3n«m2011 ˚ØThanhNghà,L¶Quy‚tTh›ng

Giới thiệuXây dựng thành phần khai mỏ tri thức

Mô hình trực quan cây quyết định cho dự báo dịch hạiKết luận và hướng phát triển

Nội dung công việc thực hiện

Thành phần khai mỏ tri thức

I xây dựng thư viện các hàm khai mỏ tri thức

I xây dựng dịch vụ web khai mỏ tri thức phòng chống dịch hại

I hướng dẫn cài đặt và sử dụng

I mô hình trực quan cây quyết định cho dự báo dịch hại

Đỗ Thanh Nghị, Lê Quyết Thắng Cây quyết định cho dự báo 3/ 20

Page 4: ˚ŠT•IKC.01.15/06-10 Th€nhphƒnkhaimätrithøc:mæh…nhtrücquan …dtnghi/sem/slide-dm.pdf · 2012-04-25 · dtnghi@cit.ctu.edu.vn Ng€y13th¡ng3n«m2011 ˚ØThanhNghà,L¶Quy‚tTh›ng

Giới thiệuXây dựng thành phần khai mỏ tri thức

Mô hình trực quan cây quyết định cho dự báo dịch hạiKết luận và hướng phát triển

Giải thuật quan trọng của khai mỏ dữ liệu (KDNuggets)Top 10 giải thuật khai mỏ dữ liệu (Wu & Kumar, 09)

Đỗ Thanh Nghị, Lê Quyết Thắng Cây quyết định cho dự báo 4/ 20

Page 5: ˚ŠT•IKC.01.15/06-10 Th€nhphƒnkhaimätrithøc:mæh…nhtrücquan …dtnghi/sem/slide-dm.pdf · 2012-04-25 · dtnghi@cit.ctu.edu.vn Ng€y13th¡ng3n«m2011 ˚ØThanhNghà,L¶Quy‚tTh›ng

Giới thiệuXây dựng thành phần khai mỏ tri thức

Mô hình trực quan cây quyết định cho dự báo dịch hạiKết luận và hướng phát triển

Xây dựng thư viện các hàm khai mỏ tri thức

Các giải thuật hiệu quả

I k láng giềng (Fix & Hodges, 52)

I Bayes thơ ngây (Good, 65)

I cây quyết định (Breiman et al., 84), (Quinlan, 93)

I phương pháp tập hợp mô hình như bagging (Breiman, 96),

I boosting (Freund & Schapire, 95)

I rừng ngẫu nhiên (Breiman, 01)

I máy học véctơ hỗ trợ SVM (Vapnik, 95)

I giải thuật gom cụm kMeans (MacQueen, 67)

Đỗ Thanh Nghị, Lê Quyết Thắng Cây quyết định cho dự báo 5/ 20

Page 6: ˚ŠT•IKC.01.15/06-10 Th€nhphƒnkhaimätrithøc:mæh…nhtrücquan …dtnghi/sem/slide-dm.pdf · 2012-04-25 · dtnghi@cit.ctu.edu.vn Ng€y13th¡ng3n«m2011 ˚ØThanhNghà,L¶Quy‚tTh›ng

Giới thiệuXây dựng thành phần khai mỏ tri thức

Mô hình trực quan cây quyết định cho dự báo dịch hạiKết luận và hướng phát triển

Xây dựng thư viện các hàm khai mỏ tri thức

Tính hiệu quả

I tốc độ xử lý: Bayes thơ ngây, cây quyết định, kMeans

I dễ dịch kết quả: Bayes thơ ngây, cây quyết định, kMeans

I độ chính xác cao: bagging, boosting, rừng ngẫu nhiên, SVM

I kết hợp nhiều phương pháp hỗ trợ lẫn nhau

I sử dụng phương pháp hiển thị, tương tác, trực quan để nângcao hiệu quả sử dụng của mô hình khai mỏ dữ liệu

Đỗ Thanh Nghị, Lê Quyết Thắng Cây quyết định cho dự báo 6/ 20

Page 7: ˚ŠT•IKC.01.15/06-10 Th€nhphƒnkhaimätrithøc:mæh…nhtrücquan …dtnghi/sem/slide-dm.pdf · 2012-04-25 · dtnghi@cit.ctu.edu.vn Ng€y13th¡ng3n«m2011 ˚ØThanhNghà,L¶Quy‚tTh›ng

Giới thiệuXây dựng thành phần khai mỏ tri thức

Mô hình trực quan cây quyết định cho dự báo dịch hạiKết luận và hướng phát triển

Xây dựng dịch vụ web khai mỏ tri thức

Kiến trúc hướng dịch vụ SOAP

I chuẩn cho nghi thức truy xuất đối tượng đơn giản

I nghi thức giao tiếp giữa các ứng dụng thông qua internet

I định dạng cho việc gửi thông điệp

I độc lập với nền

I độc lập với ngôn ngữ lập trình

I dựa trên ngôn ngữ XML

I đơn giản, dễ mở rộng

Đỗ Thanh Nghị, Lê Quyết Thắng Cây quyết định cho dự báo 7/ 20

Page 8: ˚ŠT•IKC.01.15/06-10 Th€nhphƒnkhaimätrithøc:mæh…nhtrücquan …dtnghi/sem/slide-dm.pdf · 2012-04-25 · dtnghi@cit.ctu.edu.vn Ng€y13th¡ng3n«m2011 ˚ØThanhNghà,L¶Quy‚tTh›ng

Giới thiệuXây dựng thành phần khai mỏ tri thức

Mô hình trực quan cây quyết định cho dự báo dịch hạiKết luận và hướng phát triển

Giải thuật cây quyết định

Tại sao cây quyết định?

I xây dựng cây nhanh, đơn giản

I cho độ chính xác cao so với giải thuật khác

I kết quả dễ hiểu cho người sử dụng: chuyên gia nông nghiệp

I rút trích luật dự báo: IF ... THEN ...

I điều kiện và: đường dẫn từ nút gốc

I dự báo lớp: nhãn của nút lá

Đỗ Thanh Nghị, Lê Quyết Thắng Cây quyết định cho dự báo 8/ 20

Page 9: ˚ŠT•IKC.01.15/06-10 Th€nhphƒnkhaimätrithøc:mæh…nhtrücquan …dtnghi/sem/slide-dm.pdf · 2012-04-25 · dtnghi@cit.ctu.edu.vn Ng€y13th¡ng3n«m2011 ˚ØThanhNghà,L¶Quy‚tTh›ng

Giới thiệuXây dựng thành phần khai mỏ tri thức

Mô hình trực quan cây quyết định cho dự báo dịch hạiKết luận và hướng phát triển

Giải thuật cây quyết định

Học có giám sát

I xây dựng cây: hàm phân hoạch (entropy, gini)

I gán nhãn cho nút lá: luật số đông

I cắt nhánh: tránh học vẹt

outlook temp. hum. windy Play?

sunny 85 85 false Nosunny 80 90 true No

overcast 83 78 false Yesrain 70 96 false Yesrain 68 80 false Yesrain 65 70 true No. . . . . . . . . . . . . . .. . . . . . . . . . . . . . .

Đỗ Thanh Nghị, Lê Quyết Thắng Cây quyết định cho dự báo 9/ 20

Page 10: ˚ŠT•IKC.01.15/06-10 Th€nhphƒnkhaimätrithøc:mæh…nhtrücquan …dtnghi/sem/slide-dm.pdf · 2012-04-25 · dtnghi@cit.ctu.edu.vn Ng€y13th¡ng3n«m2011 ˚ØThanhNghà,L¶Quy‚tTh›ng

Giới thiệuXây dựng thành phần khai mỏ tri thức

Mô hình trực quan cây quyết định cho dự báo dịch hạiKết luận và hướng phát triển

Mô hình cây quyết định cho dự báo chơi Golf

Một luật dự báo chơi Golf

Đỗ Thanh Nghị, Lê Quyết Thắng Cây quyết định cho dự báo 10/ 20

Page 11: ˚ŠT•IKC.01.15/06-10 Th€nhphƒnkhaimätrithøc:mæh…nhtrücquan …dtnghi/sem/slide-dm.pdf · 2012-04-25 · dtnghi@cit.ctu.edu.vn Ng€y13th¡ng3n«m2011 ˚ØThanhNghà,L¶Quy‚tTh›ng

Giới thiệuXây dựng thành phần khai mỏ tri thức

Mô hình trực quan cây quyết định cho dự báo dịch hạiKết luận và hướng phát triển

Cây quyết định dự báo dịch hại lúa

Xây dựng mô hình cây dựa trên các thuộc tính

I giống lúa

I mật độ sạ (kg/ha)

I gốc thuốc sâu

I thời điểm bón phân

I lượng phân đạm

I thiên địch

I độ tuổi rầy

I giai đoạn sinh trưởng lúa

I mật độ rầy, hướng gió

I dự báo nhiễm, cháy, lan truyền rầy

Đỗ Thanh Nghị, Lê Quyết Thắng Cây quyết định cho dự báo 11/ 20

Page 12: ˚ŠT•IKC.01.15/06-10 Th€nhphƒnkhaimätrithøc:mæh…nhtrücquan …dtnghi/sem/slide-dm.pdf · 2012-04-25 · dtnghi@cit.ctu.edu.vn Ng€y13th¡ng3n«m2011 ˚ØThanhNghà,L¶Quy‚tTh›ng

Giới thiệuXây dựng thành phần khai mỏ tri thức

Mô hình trực quan cây quyết định cho dự báo dịch hạiKết luận và hướng phát triển

Cây quyết định dự báo dịch hại lúa

Chuẩn bị dữ liệu

I 40000 mẫu tin

I 34 thuộc tính

I dự báo nhiễm rầy, cháy rầy

I dữ liệu có nhãn lan truyền theo hướng đông bắc và hướng tâynam => khó dự báo lan truyền: lấy mẫu tăng thêm

I dự báo lan truyền rầy

Đỗ Thanh Nghị, Lê Quyết Thắng Cây quyết định cho dự báo 12/ 20

Page 13: ˚ŠT•IKC.01.15/06-10 Th€nhphƒnkhaimätrithøc:mæh…nhtrücquan …dtnghi/sem/slide-dm.pdf · 2012-04-25 · dtnghi@cit.ctu.edu.vn Ng€y13th¡ng3n«m2011 ˚ØThanhNghà,L¶Quy‚tTh›ng

Giới thiệuXây dựng thành phần khai mỏ tri thức

Mô hình trực quan cây quyết định cho dự báo dịch hạiKết luận và hướng phát triển

Cây quyết định dự báo dịch hại lúa

Hiển thị trực quan, tương tác

I hiển thị cây theo cấu trúc phân cấp

I nhấp chuột vào nút lá: rút trích luật quyết định tương ứng

I nhấp chuột vào nút trong: rút trích tập luật quyết định tươngứng với các nút lá dẫn xuất từ nút trong

I dự báo trực tuyến

I chuyên gia dễ kiểm chứng kết quả

Đỗ Thanh Nghị, Lê Quyết Thắng Cây quyết định cho dự báo 13/ 20

Page 14: ˚ŠT•IKC.01.15/06-10 Th€nhphƒnkhaimätrithøc:mæh…nhtrücquan …dtnghi/sem/slide-dm.pdf · 2012-04-25 · dtnghi@cit.ctu.edu.vn Ng€y13th¡ng3n«m2011 ˚ØThanhNghà,L¶Quy‚tTh›ng

Giới thiệuXây dựng thành phần khai mỏ tri thức

Mô hình trực quan cây quyết định cho dự báo dịch hạiKết luận và hướng phát triển

Cây quyết định dự báo lan rầy theo hướng đông bắc

Đỗ Thanh Nghị, Lê Quyết Thắng Cây quyết định cho dự báo 14/ 20

Page 15: ˚ŠT•IKC.01.15/06-10 Th€nhphƒnkhaimätrithøc:mæh…nhtrücquan …dtnghi/sem/slide-dm.pdf · 2012-04-25 · dtnghi@cit.ctu.edu.vn Ng€y13th¡ng3n«m2011 ˚ØThanhNghà,L¶Quy‚tTh›ng

Giới thiệuXây dựng thành phần khai mỏ tri thức

Mô hình trực quan cây quyết định cho dự báo dịch hạiKết luận và hướng phát triển

Rút trích 1 luật dự báo (nút lá)

Đỗ Thanh Nghị, Lê Quyết Thắng Cây quyết định cho dự báo 15/ 20

Page 16: ˚ŠT•IKC.01.15/06-10 Th€nhphƒnkhaimätrithøc:mæh…nhtrücquan …dtnghi/sem/slide-dm.pdf · 2012-04-25 · dtnghi@cit.ctu.edu.vn Ng€y13th¡ng3n«m2011 ˚ØThanhNghà,L¶Quy‚tTh›ng

Giới thiệuXây dựng thành phần khai mỏ tri thức

Mô hình trực quan cây quyết định cho dự báo dịch hạiKết luận và hướng phát triển

Rút trích nhiều luật dẫn từ nút trong

Đỗ Thanh Nghị, Lê Quyết Thắng Cây quyết định cho dự báo 16/ 20

Page 17: ˚ŠT•IKC.01.15/06-10 Th€nhphƒnkhaimätrithøc:mæh…nhtrücquan …dtnghi/sem/slide-dm.pdf · 2012-04-25 · dtnghi@cit.ctu.edu.vn Ng€y13th¡ng3n«m2011 ˚ØThanhNghà,L¶Quy‚tTh›ng

Giới thiệuXây dựng thành phần khai mỏ tri thức

Mô hình trực quan cây quyết định cho dự báo dịch hạiKết luận và hướng phát triển

Dự báo trực tuyến

Đỗ Thanh Nghị, Lê Quyết Thắng Cây quyết định cho dự báo 17/ 20

Page 18: ˚ŠT•IKC.01.15/06-10 Th€nhphƒnkhaimätrithøc:mæh…nhtrücquan …dtnghi/sem/slide-dm.pdf · 2012-04-25 · dtnghi@cit.ctu.edu.vn Ng€y13th¡ng3n«m2011 ˚ØThanhNghà,L¶Quy‚tTh›ng

Giới thiệuXây dựng thành phần khai mỏ tri thức

Mô hình trực quan cây quyết định cho dự báo dịch hạiKết luận và hướng phát triển

Luật sử dụng để dự báo

Đỗ Thanh Nghị, Lê Quyết Thắng Cây quyết định cho dự báo 18/ 20

Page 19: ˚ŠT•IKC.01.15/06-10 Th€nhphƒnkhaimätrithøc:mæh…nhtrücquan …dtnghi/sem/slide-dm.pdf · 2012-04-25 · dtnghi@cit.ctu.edu.vn Ng€y13th¡ng3n«m2011 ˚ØThanhNghà,L¶Quy‚tTh›ng

Giới thiệuXây dựng thành phần khai mỏ tri thức

Mô hình trực quan cây quyết định cho dự báo dịch hạiKết luận và hướng phát triển

Kết luận

Thành phần khai mỏ tri thức

I xây dựng thư viện các hàm khai mỏ tri thức

I xây dựng dịch vụ web khai mỏ tri thức phòng chống dịch hại

I mô hình trực quan cây quyết định cho dự báo dịch hại

I hiển thị cây theo cấu trúc phân cấp

I rút trích luật quyết định tương ứng

I dự báo trực tuyến

I chuyên gia dễ kiểm chứng kết quả

I truy cập: http://www.phongchongdichhai.org.vn/kdd

Đỗ Thanh Nghị, Lê Quyết Thắng Cây quyết định cho dự báo 19/ 20

Page 20: ˚ŠT•IKC.01.15/06-10 Th€nhphƒnkhaimätrithøc:mæh…nhtrücquan …dtnghi/sem/slide-dm.pdf · 2012-04-25 · dtnghi@cit.ctu.edu.vn Ng€y13th¡ng3n«m2011 ˚ØThanhNghà,L¶Quy‚tTh›ng

Giới thiệuXây dựng thành phần khai mỏ tri thức

Mô hình trực quan cây quyết định cho dự báo dịch hạiKết luận và hướng phát triển

Hướng phát triển

Thành phần khai mỏ tri thức

I tích hợp thêm các phương pháp hiển thị

I giải thích mô hình

I chuyên gia dễ kiểm chứng kết quả

Đỗ Thanh Nghị, Lê Quyết Thắng Cây quyết định cho dự báo 20/ 20