mô hình đồ thị xác suất - khoa cÔng nghỆ...
TRANSCRIPT
![Page 1: Mô hình đồ thị xác suất - KHOA CÔNG NGHỆ ...fit.uet.vnu.edu.vn/dmss2016/files/lecture/TranQuocLong-Lecture.pdf · Mô hình hóa: tại sao ? Đơn giản hóa Trực](https://reader030.vdocuments.mx/reader030/viewer/2022041302/5e1280973ec32b01f3019647/html5/thumbnails/1.jpg)
Mô hình đồ thị xác suấtTrần Quốc Long
![Page 2: Mô hình đồ thị xác suất - KHOA CÔNG NGHỆ ...fit.uet.vnu.edu.vn/dmss2016/files/lecture/TranQuocLong-Lecture.pdf · Mô hình hóa: tại sao ? Đơn giản hóa Trực](https://reader030.vdocuments.mx/reader030/viewer/2022041302/5e1280973ec32b01f3019647/html5/thumbnails/2.jpg)
Nội dung1. Giới thiệu2. Các mô hình đồ thị3. Suy diễn4. Ứng dụng
2
![Page 3: Mô hình đồ thị xác suất - KHOA CÔNG NGHỆ ...fit.uet.vnu.edu.vn/dmss2016/files/lecture/TranQuocLong-Lecture.pdf · Mô hình hóa: tại sao ? Đơn giản hóa Trực](https://reader030.vdocuments.mx/reader030/viewer/2022041302/5e1280973ec32b01f3019647/html5/thumbnails/3.jpg)
Giới thiệu
3
● Mô hình hoá
● Các đặc trưng cần mô hình hoá
● Công cụ xác suất
![Page 4: Mô hình đồ thị xác suất - KHOA CÔNG NGHỆ ...fit.uet.vnu.edu.vn/dmss2016/files/lecture/TranQuocLong-Lecture.pdf · Mô hình hóa: tại sao ? Đơn giản hóa Trực](https://reader030.vdocuments.mx/reader030/viewer/2022041302/5e1280973ec32b01f3019647/html5/thumbnails/4.jpg)
Mô hình hóa: tại sao ?● Đơn giản hóa Ăn trộm Động đất
Khung ảnh rơi
4
![Page 5: Mô hình đồ thị xác suất - KHOA CÔNG NGHỆ ...fit.uet.vnu.edu.vn/dmss2016/files/lecture/TranQuocLong-Lecture.pdf · Mô hình hóa: tại sao ? Đơn giản hóa Trực](https://reader030.vdocuments.mx/reader030/viewer/2022041302/5e1280973ec32b01f3019647/html5/thumbnails/5.jpg)
Mô hình hóa: tại sao ?● Đơn giản hóa● Trực quan hóa
Ô rỗng: chưa biếtÔ đặc: đã biết
Ăn trộm Động đất
Khung ảnh rơi
A B
C
5
![Page 6: Mô hình đồ thị xác suất - KHOA CÔNG NGHỆ ...fit.uet.vnu.edu.vn/dmss2016/files/lecture/TranQuocLong-Lecture.pdf · Mô hình hóa: tại sao ? Đơn giản hóa Trực](https://reader030.vdocuments.mx/reader030/viewer/2022041302/5e1280973ec32b01f3019647/html5/thumbnails/6.jpg)
Mô hình hóa: tại sao ?● Đơn giản hóa● Trực quan hóa● Định lượng hóa
Ăn trộmP = 0.001
Động đấtP = 1e-7
Khung ảnh rơi
A B
C
6
A/B 0 1
0 1e-4 0.8
1 0.4 0.99
![Page 7: Mô hình đồ thị xác suất - KHOA CÔNG NGHỆ ...fit.uet.vnu.edu.vn/dmss2016/files/lecture/TranQuocLong-Lecture.pdf · Mô hình hóa: tại sao ? Đơn giản hóa Trực](https://reader030.vdocuments.mx/reader030/viewer/2022041302/5e1280973ec32b01f3019647/html5/thumbnails/7.jpg)
Mô hình hóa: tại sao ?● Đơn giản hóa● Trực quan hóa● Định lượng hóa● Mô phỏng
Ăn trộmP = 0.001
Động đấtP = 1e-7
Khung ảnh rơi
A B
C
7
A/B 0 1
0 1e-4 0.8
1 0.4 0.99
![Page 8: Mô hình đồ thị xác suất - KHOA CÔNG NGHỆ ...fit.uet.vnu.edu.vn/dmss2016/files/lecture/TranQuocLong-Lecture.pdf · Mô hình hóa: tại sao ? Đơn giản hóa Trực](https://reader030.vdocuments.mx/reader030/viewer/2022041302/5e1280973ec32b01f3019647/html5/thumbnails/8.jpg)
Mô hình hóa: tại sao ?● Đơn giản hóa● Trực quan hóa● Định lượng hóa● Mô phỏng● Truy vấn / Suy diễn
Ăn trộmP = 0.001
Động đấtP = 1e-7
Khung ảnh rơi
A B
C
Nếu khung ảnh rơi và động đất, khả năng ăn trộm = ?Nếu khung ảnh rơi, khả năng ăn trộm = ? 80%
0.1%8
A/B 0 1
0 1e-4 0.8
1 0.4 0.99
![Page 9: Mô hình đồ thị xác suất - KHOA CÔNG NGHỆ ...fit.uet.vnu.edu.vn/dmss2016/files/lecture/TranQuocLong-Lecture.pdf · Mô hình hóa: tại sao ? Đơn giản hóa Trực](https://reader030.vdocuments.mx/reader030/viewer/2022041302/5e1280973ec32b01f3019647/html5/thumbnails/9.jpg)
Các đặc trưng cần mô hình hóaTính không chắc chắn● Sự vật, hiện tượng có
thể xảy ra hoặc không xảy ra○ Tất nhiên / ngẫu nhiên
Ăn trộmP = 0.001
Động đấtP = 1e-7
Khung ảnh rơi
A B
C
9
A/B 0 1
0 1e-4 0.8
1 0.4 0.99
![Page 10: Mô hình đồ thị xác suất - KHOA CÔNG NGHỆ ...fit.uet.vnu.edu.vn/dmss2016/files/lecture/TranQuocLong-Lecture.pdf · Mô hình hóa: tại sao ? Đơn giản hóa Trực](https://reader030.vdocuments.mx/reader030/viewer/2022041302/5e1280973ec32b01f3019647/html5/thumbnails/10.jpg)
Các đặc trưng cần mô hình hóaTính cấu trúc● Sự vật, hiện tượng có
mối liên hệ với nhau○ Nguyên nhân / kết quả
Ăn trộmP = 0.001
Động đấtP = 1e-7
Khung ảnh rơi
A B
C
10
A/B 0 1
0 1e-4 0.8
1 0.4 0.99
![Page 11: Mô hình đồ thị xác suất - KHOA CÔNG NGHỆ ...fit.uet.vnu.edu.vn/dmss2016/files/lecture/TranQuocLong-Lecture.pdf · Mô hình hóa: tại sao ? Đơn giản hóa Trực](https://reader030.vdocuments.mx/reader030/viewer/2022041302/5e1280973ec32b01f3019647/html5/thumbnails/11.jpg)
Công cụ xác suất
Tính không chắc chắn ⇒ Phân bố xác suất
Tính cấu trúc ⇒ Độc lập xác suất
A C B
11
![Page 12: Mô hình đồ thị xác suất - KHOA CÔNG NGHỆ ...fit.uet.vnu.edu.vn/dmss2016/files/lecture/TranQuocLong-Lecture.pdf · Mô hình hóa: tại sao ? Đơn giản hóa Trực](https://reader030.vdocuments.mx/reader030/viewer/2022041302/5e1280973ec32b01f3019647/html5/thumbnails/12.jpg)
Độc lập xác suất● Biến cố độc lập
A,B
B
A
12
BA
![Page 13: Mô hình đồ thị xác suất - KHOA CÔNG NGHỆ ...fit.uet.vnu.edu.vn/dmss2016/files/lecture/TranQuocLong-Lecture.pdf · Mô hình hóa: tại sao ? Đơn giản hóa Trực](https://reader030.vdocuments.mx/reader030/viewer/2022041302/5e1280973ec32b01f3019647/html5/thumbnails/13.jpg)
Độc lập xác suất● Độc lập có điều kiện
A,B,C
B,C
A,C
C
CBA
13
![Page 14: Mô hình đồ thị xác suất - KHOA CÔNG NGHỆ ...fit.uet.vnu.edu.vn/dmss2016/files/lecture/TranQuocLong-Lecture.pdf · Mô hình hóa: tại sao ? Đơn giản hóa Trực](https://reader030.vdocuments.mx/reader030/viewer/2022041302/5e1280973ec32b01f3019647/html5/thumbnails/14.jpg)
Các mô hình đồ thị
14
● Quy ước trên mô hình đồ thị
● Mạng Bayes (đồ thị có hướng)
● Mạng Markov (đồ thị vô hướng)
![Page 15: Mô hình đồ thị xác suất - KHOA CÔNG NGHỆ ...fit.uet.vnu.edu.vn/dmss2016/files/lecture/TranQuocLong-Lecture.pdf · Mô hình hóa: tại sao ? Đơn giản hóa Trực](https://reader030.vdocuments.mx/reader030/viewer/2022041302/5e1280973ec32b01f3019647/html5/thumbnails/15.jpg)
Mô hình đồ thị● Biến ⇔ đỉnh của đồ thị
● Các mối quan hệ ⇔ cạnh○ Có hướng hoặc vô hướng
● Quy ước về mối quan hệ / độc
lập xác suất giữa các biến
● Dạng hàm của phân bố liên hợp
x1 x2
x3
x4 x5
x1 x2
x3
x4 x5
x1
x2
x3
x4
x5
15
![Page 16: Mô hình đồ thị xác suất - KHOA CÔNG NGHỆ ...fit.uet.vnu.edu.vn/dmss2016/files/lecture/TranQuocLong-Lecture.pdf · Mô hình hóa: tại sao ? Đơn giản hóa Trực](https://reader030.vdocuments.mx/reader030/viewer/2022041302/5e1280973ec32b01f3019647/html5/thumbnails/16.jpg)
Mạng Bayes● Đồ thị DAG:
○ Có hướng○ Không có chu trình
● Mỗi đỉnh chỉ phụ thuộc vào các đỉnh cha mẹ
x1 x2
x3
x4 x5
16
![Page 17: Mô hình đồ thị xác suất - KHOA CÔNG NGHỆ ...fit.uet.vnu.edu.vn/dmss2016/files/lecture/TranQuocLong-Lecture.pdf · Mô hình hóa: tại sao ? Đơn giản hóa Trực](https://reader030.vdocuments.mx/reader030/viewer/2022041302/5e1280973ec32b01f3019647/html5/thumbnails/17.jpg)
Mạng Bayes● Xác suất liên hợp
● Số lượng tham số (biến nhị phân)31 → 1 + 1 + 4 + 2 + 2 = 10
x1 x2
x3
x4 x5
17
![Page 18: Mô hình đồ thị xác suất - KHOA CÔNG NGHỆ ...fit.uet.vnu.edu.vn/dmss2016/files/lecture/TranQuocLong-Lecture.pdf · Mô hình hóa: tại sao ? Đơn giản hóa Trực](https://reader030.vdocuments.mx/reader030/viewer/2022041302/5e1280973ec32b01f3019647/html5/thumbnails/18.jpg)
Mạng Bayes● Xác suất liên hợp = tích các
xác suất có điều kiện (nút cha)
● Đồ thị nhân tửx1
x2
x3
x4
x5
x1 x2
x3
x4 x5
18
![Page 19: Mô hình đồ thị xác suất - KHOA CÔNG NGHỆ ...fit.uet.vnu.edu.vn/dmss2016/files/lecture/TranQuocLong-Lecture.pdf · Mô hình hóa: tại sao ? Đơn giản hóa Trực](https://reader030.vdocuments.mx/reader030/viewer/2022041302/5e1280973ec32b01f3019647/html5/thumbnails/19.jpg)
Mạng Markov● Đồ thị vô hướng
○ Cạnh vô hướng
○ Có thể có chu trình
x1 x2
x3
x4 x5
19
![Page 20: Mô hình đồ thị xác suất - KHOA CÔNG NGHỆ ...fit.uet.vnu.edu.vn/dmss2016/files/lecture/TranQuocLong-Lecture.pdf · Mô hình hóa: tại sao ? Đơn giản hóa Trực](https://reader030.vdocuments.mx/reader030/viewer/2022041302/5e1280973ec32b01f3019647/html5/thumbnails/20.jpg)
Mạng Markov● Tính Markov cục bộ: Mỗi đỉnh
chỉ phụ thuộc vào các đỉnh kề
x1 x2
x3
x4 x5
20
![Page 21: Mô hình đồ thị xác suất - KHOA CÔNG NGHỆ ...fit.uet.vnu.edu.vn/dmss2016/files/lecture/TranQuocLong-Lecture.pdf · Mô hình hóa: tại sao ? Đơn giản hóa Trực](https://reader030.vdocuments.mx/reader030/viewer/2022041302/5e1280973ec32b01f3019647/html5/thumbnails/21.jpg)
Mạng Markov● Tính Markov toàn cục: Hai
tập đỉnh độc lập nếu bị chia cắt
bởi các đỉnh đã biết
x1 x2
x3
x4 x5
21
![Page 22: Mô hình đồ thị xác suất - KHOA CÔNG NGHỆ ...fit.uet.vnu.edu.vn/dmss2016/files/lecture/TranQuocLong-Lecture.pdf · Mô hình hóa: tại sao ? Đơn giản hóa Trực](https://reader030.vdocuments.mx/reader030/viewer/2022041302/5e1280973ec32b01f3019647/html5/thumbnails/22.jpg)
Mạng MarkovĐịnh lý Hammersley–Clifford:
= tích các hàm trên các đồ thị
con đầy đủ (clique) x1
x2
x3
x4
x5
x1 x2
x3
x4 x5
22
![Page 23: Mô hình đồ thị xác suất - KHOA CÔNG NGHỆ ...fit.uet.vnu.edu.vn/dmss2016/files/lecture/TranQuocLong-Lecture.pdf · Mô hình hóa: tại sao ? Đơn giản hóa Trực](https://reader030.vdocuments.mx/reader030/viewer/2022041302/5e1280973ec32b01f3019647/html5/thumbnails/23.jpg)
Suy diễn
23
● Truy vấn mô hình đồ thị
● Suy diễn chính xác
● Suy diễn xấp xỉ
![Page 24: Mô hình đồ thị xác suất - KHOA CÔNG NGHỆ ...fit.uet.vnu.edu.vn/dmss2016/files/lecture/TranQuocLong-Lecture.pdf · Mô hình hóa: tại sao ? Đơn giản hóa Trực](https://reader030.vdocuments.mx/reader030/viewer/2022041302/5e1280973ec32b01f3019647/html5/thumbnails/24.jpg)
Truy vấn mô hình đồ thịCâu hỏi:Nếu khung ảnh rơi, khả năng ăn trộm
Nếu khung ảnh rơi và động đất, khả năng ăn trộm
Ăn trộmP = 0.001
Động đấtP = 1e-7
Khung ảnh rơi
A B
C
24
A/B 0 1
0 1e-4 0.8
1 0.4 0.99
![Page 25: Mô hình đồ thị xác suất - KHOA CÔNG NGHỆ ...fit.uet.vnu.edu.vn/dmss2016/files/lecture/TranQuocLong-Lecture.pdf · Mô hình hóa: tại sao ? Đơn giản hóa Trực](https://reader030.vdocuments.mx/reader030/viewer/2022041302/5e1280973ec32b01f3019647/html5/thumbnails/25.jpg)
Truy vấn mô hình đồ thị
Nhanh hơn, áp dụng tính phân phối của phép nhân
![Page 26: Mô hình đồ thị xác suất - KHOA CÔNG NGHỆ ...fit.uet.vnu.edu.vn/dmss2016/files/lecture/TranQuocLong-Lecture.pdf · Mô hình hóa: tại sao ? Đơn giản hóa Trực](https://reader030.vdocuments.mx/reader030/viewer/2022041302/5e1280973ec32b01f3019647/html5/thumbnails/26.jpg)
Truy vấn mô hình đồ thị
x1
x2
x3
x4
x5
x1 x2
x3
x4 x5
26
Cho mô hình đồ thị
Tính● xA: tập các nút cần truy vấn● xB: tập các nút đã biết giá trị
![Page 27: Mô hình đồ thị xác suất - KHOA CÔNG NGHỆ ...fit.uet.vnu.edu.vn/dmss2016/files/lecture/TranQuocLong-Lecture.pdf · Mô hình hóa: tại sao ? Đơn giản hóa Trực](https://reader030.vdocuments.mx/reader030/viewer/2022041302/5e1280973ec32b01f3019647/html5/thumbnails/27.jpg)
Đồ thị nhân tửx1
x2
x3
x4
x5
27
Nếu biết x3 = 1
x1
x2
x4
x5→ Đồ thị nhân tử mới
![Page 28: Mô hình đồ thị xác suất - KHOA CÔNG NGHỆ ...fit.uet.vnu.edu.vn/dmss2016/files/lecture/TranQuocLong-Lecture.pdf · Mô hình hóa: tại sao ? Đơn giản hóa Trực](https://reader030.vdocuments.mx/reader030/viewer/2022041302/5e1280973ec32b01f3019647/html5/thumbnails/28.jpg)
Đồ thị nhân tửx1
x2
x3
x4
x5
28
Tính ở đồ thị cũ
⇔ Tính ở đồ thị mới x1
x2
x4
x5
![Page 29: Mô hình đồ thị xác suất - KHOA CÔNG NGHỆ ...fit.uet.vnu.edu.vn/dmss2016/files/lecture/TranQuocLong-Lecture.pdf · Mô hình hóa: tại sao ? Đơn giản hóa Trực](https://reader030.vdocuments.mx/reader030/viewer/2022041302/5e1280973ec32b01f3019647/html5/thumbnails/29.jpg)
Thuật toán Tổng - tíchx1
x2
x3
x4
x5
29
Trên đồ thị nhân tử dạng câyTính● Chính xác● Hiệu quả● Ý tưởng: tính phân phối → gom các nhân
tử thành tin nhắn phát trên các cạnh đồ thị
![Page 30: Mô hình đồ thị xác suất - KHOA CÔNG NGHỆ ...fit.uet.vnu.edu.vn/dmss2016/files/lecture/TranQuocLong-Lecture.pdf · Mô hình hóa: tại sao ? Đơn giản hóa Trực](https://reader030.vdocuments.mx/reader030/viewer/2022041302/5e1280973ec32b01f3019647/html5/thumbnails/30.jpg)
Thuật toán Max - tổngx1
x2
x3
x4
x5
30
Trên đồ thị nhân tử dạng câyTính● Lấy logarit: Tích các nhân tử → Tổng● Tính phân phối của phép cộng:
![Page 31: Mô hình đồ thị xác suất - KHOA CÔNG NGHỆ ...fit.uet.vnu.edu.vn/dmss2016/files/lecture/TranQuocLong-Lecture.pdf · Mô hình hóa: tại sao ? Đơn giản hóa Trực](https://reader030.vdocuments.mx/reader030/viewer/2022041302/5e1280973ec32b01f3019647/html5/thumbnails/31.jpg)
Trên đồ thị tổng quát● Tổng - tích, max - tổng
có thể lặp vô hạn● Suy diễn biến phân: EM, mean-field, …● Suy diễn Monte-Carlo: Gibbs, Metropolis● Heuristic: lan truyền tin nhắn như thường
Suy diễn xấp xỉx1
x2
x3
x4
x5
31
![Page 32: Mô hình đồ thị xác suất - KHOA CÔNG NGHỆ ...fit.uet.vnu.edu.vn/dmss2016/files/lecture/TranQuocLong-Lecture.pdf · Mô hình hóa: tại sao ? Đơn giản hóa Trực](https://reader030.vdocuments.mx/reader030/viewer/2022041302/5e1280973ec32b01f3019647/html5/thumbnails/32.jpg)
Ứng dụng
32
● Tin sinh học
● Truyền tin (mã hoá, giải mã)
● Xử lý ảnh / âm thanh / video, xử lý ngôn ngữ tự nhiên
![Page 33: Mô hình đồ thị xác suất - KHOA CÔNG NGHỆ ...fit.uet.vnu.edu.vn/dmss2016/files/lecture/TranQuocLong-Lecture.pdf · Mô hình hóa: tại sao ? Đơn giản hóa Trực](https://reader030.vdocuments.mx/reader030/viewer/2022041302/5e1280973ec32b01f3019647/html5/thumbnails/33.jpg)
Đoán chức năng protein
33
Mạng tương tác protein (PPI)● Biết P1, … Pn có F
hay không.● Hỏi Q1, … Qm có F
không ?
P1
P2
Q2
P4
Q1
P3
![Page 34: Mô hình đồ thị xác suất - KHOA CÔNG NGHỆ ...fit.uet.vnu.edu.vn/dmss2016/files/lecture/TranQuocLong-Lecture.pdf · Mô hình hóa: tại sao ? Đơn giản hóa Trực](https://reader030.vdocuments.mx/reader030/viewer/2022041302/5e1280973ec32b01f3019647/html5/thumbnails/34.jpg)
Đoán chức năng protein
34
Deng (2003)
P1
P2
Q2
P4
Q1
P3
![Page 35: Mô hình đồ thị xác suất - KHOA CÔNG NGHỆ ...fit.uet.vnu.edu.vn/dmss2016/files/lecture/TranQuocLong-Lecture.pdf · Mô hình hóa: tại sao ? Đơn giản hóa Trực](https://reader030.vdocuments.mx/reader030/viewer/2022041302/5e1280973ec32b01f3019647/html5/thumbnails/35.jpg)
Đoán chức năng protein
35
N1: số nút có FN10: số cạnh nối nút có F và nút không có FN11: số cạnh nối nút có FN00: số cạnh nối nút không có F
P1
P2
Q2
P4
Q1
P3
![Page 36: Mô hình đồ thị xác suất - KHOA CÔNG NGHỆ ...fit.uet.vnu.edu.vn/dmss2016/files/lecture/TranQuocLong-Lecture.pdf · Mô hình hóa: tại sao ? Đơn giản hóa Trực](https://reader030.vdocuments.mx/reader030/viewer/2022041302/5e1280973ec32b01f3019647/html5/thumbnails/36.jpg)
Mã LDPC (Gallager)
36
H: ma trận kiểm tra chẵn lẻG: ma trận sinh mãx: dữ liệu cần truyềnxG: dữ liệu + bit kiểm tra
![Page 37: Mô hình đồ thị xác suất - KHOA CÔNG NGHỆ ...fit.uet.vnu.edu.vn/dmss2016/files/lecture/TranQuocLong-Lecture.pdf · Mô hình hóa: tại sao ? Đơn giản hóa Trực](https://reader030.vdocuments.mx/reader030/viewer/2022041302/5e1280973ec32b01f3019647/html5/thumbnails/37.jpg)
Mã LDPC
37y x
?
0
1
?
1
1
![Page 38: Mô hình đồ thị xác suất - KHOA CÔNG NGHỆ ...fit.uet.vnu.edu.vn/dmss2016/files/lecture/TranQuocLong-Lecture.pdf · Mô hình hóa: tại sao ? Đơn giản hóa Trực](https://reader030.vdocuments.mx/reader030/viewer/2022041302/5e1280973ec32b01f3019647/html5/thumbnails/38.jpg)
Mã LDPC
38
● Truyền video: DVB-S2 / DVB-T2 / DVB-C2
● Chuẩn WiMAX: IEEE 802.16e
● Mạng không dây: IEEE 802.11n
Ngoài ra: mã Turbo - liên lạc liên hành tinh
(cũng dùng thuật toán tổng - tích)