chuong 1 - tong quan ve thi giac may tinh
TRANSCRIPT
-
8/18/2019 Chuong 1 - Tong Quan Ve Thi Giac May Tinh
1/52
TỔNG QUAN VỀ XỬ LÝ ẢNHVÀ THỊ GIÁC MÁY TÍNH
Chương 1
Giảng viên: TS. Trương Quốc Bảo
Lớp: Cao học Kỹ Thuật Điều Khiển & Tự Động Hóa
THỊ GIÁC MÁY TÍNH
(CN612)
1
-
8/18/2019 Chuong 1 - Tong Quan Ve Thi Giac May Tinh
2/52
NỘI DUNG
2
TỔNG QUAN VỀ XỬ LÝ ẢNH SỐ1
HỆ THỐNG XỬ LÝ ẢNH SỐ2
CÁC KHÁI NIỆM CƠ BẢN3
ỨNG DỤNG CỦA XỬ LÝ ẢNH4
CÂU HỎI ÔN TẬP VÀ THẢO LUẬN5
-
8/18/2019 Chuong 1 - Tong Quan Ve Thi Giac May Tinh
3/52
• “One picture is worth more than ten thousandwords” (Anonymous)
• Ảnh số là gì? – Ảnh (image) là đại diện của một đối tượng quan sát
hoặc cảnh trong không gian 3 chiều kết hợp với tầmnhìn của con người.
– Ảnh số (digital image) được biểu diễn bởi một hình ảnhhai chiều như là một tập hữu hạn các giá trị số, được gọilà các phần tử /yếu tố hình ảnh ( picture elements) hoặclà các điểm ảnh ( pixels).
3
Tổng quan về xử lý ảnh số - Ảnh số
-
8/18/2019 Chuong 1 - Tong Quan Ve Thi Giac May Tinh
4/52
4
Tổng quan về xử lý ảnh số - Ảnh số
-
8/18/2019 Chuong 1 - Tong Quan Ve Thi Giac May Tinh
5/52
– Các giá trị điểm ảnh (Pixel) thường đại diện chocác mức độ xám (gray levels), màu sắc (colors)…
– Lưu ý rằng số hóa (digitization) ngụ ý rằng một hình ảnh số ( digital image) là xấp xỉ một cảnh thực.
5
Tổng quan về xử lý ảnh số - Ảnh số
-
8/18/2019 Chuong 1 - Tong Quan Ve Thi Giac May Tinh
6/52
– Các định dạng chung của ảnh bao gồm
• 1 mẫu cho mỗi điểm (B&W or Grayscale)
• 3 mẫu cho mỗi điểm (Red, Green, và Blue)
• 4 mẫu cho mỗi điểm (Red, Green, Blue, và “Alpha”, haycòn gọi là độ mờ đục - Opacity)
– Ta thường xử lý ảnh dựa trên mức xám (Grayscale).
6
Tổng quan về xử lý ảnh số - Ảnh số
-
8/18/2019 Chuong 1 - Tong Quan Ve Thi Giac May Tinh
7/52
– Xử lý hình ảnh là tất cả các kỹ thuật và các thuật toánđể tính toán, từ một hình ảnh đầu vào, đầu ra là một hìnhảnh mới nơi thông tin được đánh dấu. Nó cho phépchúng ta hiểu được ảnh.
– Xử lý ảnh là một khoa học nhằm trang bị ý tưởng,phương pháp luận và các kỹ thuật để máy tính có khảnăng xử lý ảnh, và hiểu được ảnh như con người.
– Xử lý ảnh là một quá trình phức tạp và đa dạng liên
quan đến nhiều lĩnh vực khác nhau:• Xử lý ảnh (Image Processing): ảnh đầu vào ảnh đầu ra
• Phân tích ảnh (Image Analysis): Đo lường ảnh đầu ra.
• Hiểu ảnh (Image Understanding): Mô tả mức cao đầu ra 7
Tổng quan về xử lý ảnh số - Xử lý ảnh
-
8/18/2019 Chuong 1 - Tong Quan Ve Thi Giac May Tinh
8/52
• Xử lý ảnh số tập trung vào hai nhiệm vụ chính: – Cải thiện thông tin bằng hình ảnh để giải thích, giúp cho
con người hiểu rõ hơn về hình ảnh.
– Xử lý dữ liệu hình ảnh để truyền, lưu trữ và biểu diễncho nhận thức máy tự động.
• Một số tranh luận về đâu là điểm bắt đầu và kết thúccủa xử lý ảnh và các lĩnh vực như phân tích ảnh và thị
giác máy tính.• Từ xử lý ảnh đến thị giác máy tính có thể được chia
thành các quá trình từ xử lý mức độ thấp, mức độtrung bình đến mức độ cao.
8
Tổng quan về xử lý ảnh số - Xử lý ảnh
-
8/18/2019 Chuong 1 - Tong Quan Ve Thi Giac May Tinh
9/52
9
Tổng quan về xử lý ảnh số - Xử lý ảnh
Các cấp độ trong xử lý ảnh và thị giác máy tính
-
8/18/2019 Chuong 1 - Tong Quan Ve Thi Giac May Tinh
10/52
• Giữa đến cuối những năm 1920s: cải tiến hệ thống“Bartlane” dẫn đến chất lượng hình ảnh cao hơn.
• Quá trình sao chép mới dựa kỹ thuật trên nhiếp ảnh.
• Tăng số lượng tông màu trong quá trình sao chép ảnh.
10
Tổng quan về xử lý ảnh số - Lịch sử
-
8/18/2019 Chuong 1 - Tong Quan Ve Thi Giac May Tinh
11/52
• Năm 1960: Cải tiến công nghệ điện toán và sự bắt đầucủa cuộc chạy đua không gian đã dẫn đến một sự đột
biến của công việc xử lý hình ảnh kỹ thuật số.
11
Tổng quan về xử lý ảnh số - Lịch sử
• Năm 1964 Máy tính được sửdụng để cải thiện chất lượnghình ảnh của mặt trăng thựchiện thăm dò bởi Ranger 7 .
• Các kỹ thuật như vậy đã đượcsử dụng trong các sứ mệnhkhông gian bao gồm cuộc đổ
bộ của phi thuyền Aplollo.
-
8/18/2019 Chuong 1 - Tong Quan Ve Thi Giac May Tinh
12/52
• Năm 1970 Xử lý ảnh số được bắt đầu sử dụng trongcác ứng dụng y tế.
12
Tổng quan về xử lý ảnh số - Lịch sử
Năm 1979 Ngài Godfrey N.Hounsfield & G.S. Allan M.Cormack chia giải thưởng Nobelvề y học cho sự phát minh ra
phương pháp chụp cắt lớp, côngnghệ đằng sau chụp cắt lớp vitính trục (CAT) quét.
-
8/18/2019 Chuong 1 - Tong Quan Ve Thi Giac May Tinh
13/52
• Năm 1980 - Ngày nay: Việc sử dụng các kỹ thuật xửlý ảnh số đã bùng nổ và chúng đang được sử dụngtrong tất cả các ứng dụng của tất cả các lĩnh vực.
– Tăng cường ảnh /phục hồi ảnh (Image enhancement /restoration),
– Nghệ thuật tạo hiệu ứng (Artistic effects),
– Y tế trực quan (Medical visualisation),
– Công nghiệp kiểm tra (Industrial inspection), – Thực thi pháp luật (Law enforcement),
– Giao diện máy tính con người (Humans computer Interface).
13
Tổng quan về xử lý ảnh số - Lịch sử
-
8/18/2019 Chuong 1 - Tong Quan Ve Thi Giac May Tinh
14/52
• Tăng cường ảnh (Image enhancement): Một trongnhững ứng dụng phổ biến nhất của các kỹ thuật xử lýảnh số: nâng cao chất lượng, loại bỏ nhiễu,…
14
Tổng quan về xử lý ảnh số - Ví dụ
-
8/18/2019 Chuong 1 - Tong Quan Ve Thi Giac May Tinh
15/52
• Kính thiên văn Hubble:Kính viễn vọng Hubble ramắt vào năm 1990, kính
thiên văn có thể chụp cáchình ảnh của các đối tượngtừ khoản cách rất xa.
• Tuy nhiên, một gương khôngchính xác làm cho nhiễuhình ảnh và Hubble trở nênvô dụng.
15
Tổng quan về xử lý ảnh số - Ví dụ
• Các kỹ thuật xử lý ảnh đượcsử dụng để sửa lỗi này.
-
8/18/2019 Chuong 1 - Tong Quan Ve Thi Giac May Tinh
16/52
• Các hiệu ứng nghệ thuật:Hiệu ứng nghệ thuật đượcsử dụng để làm cho hình
ảnh trực quan hấp dẫn hơn,thêm vào những hiệu ứngđặc biệt và tạo hình ảnhtổng hợp.
16
Tổng quan về xử lý ảnh số - Ví dụ
-
8/18/2019 Chuong 1 - Tong Quan Ve Thi Giac May Tinh
17/52
• Xử lý ảnh trong y học: Lát cắt từ quét MRI của tráitim chó và tìm thấy ranh giới giữa các loại mô. – Ảnh với các mức xám đại diện cho mật độ mô.
– Sử dụng một bộ lọc phù hợp để làm nổi bật các đường biên.
17
Tổng quan về xử lý ảnh số - Ví dụ
-
8/18/2019 Chuong 1 - Tong Quan Ve Thi Giac May Tinh
18/52
• Hệ thống thông tin địa lý -GIS: Các kỹ thuật xử lý ảnhsố được sử dụng rộng rãi để
thao tác hình ảnh vệ tinh. – Phân loại địa hình (Terrain
classification)
– Thống kê/Xác định nơi
định cư của con người. – Khí tượng (Meteorology)
18
Tổng quan về xử lý ảnh số - Ví dụ
-
8/18/2019 Chuong 1 - Tong Quan Ve Thi Giac May Tinh
19/52
• Hệ thống kiểm tra trong côngnghiệp – Các thao tác của con người là
đắt tiền, chậm và không đángtin cậy/không ổn định.
– Các hệ thống máy móc đượcthiết kế để thay thế con người.
– Các hệ thống thị giác côngnghiệp được sử dụng trong tấtcả các loại ngành công nghiệp.
19
Tổng quan về xử lý ảnh số - Ví dụ
-
8/18/2019 Chuong 1 - Tong Quan Ve Thi Giac May Tinh
20/52
• Kiểm tra tấm mạch in: Printed Circuit Board (PCB)inspection) – Kiểm tra máy được sử dụng để xác định rằng tất cả các
thành phần và các mối hàn có thể chấp nhận được. – Cả hai dạng hình ảnh thông thường và ảnh X-quang
được sử dụng.
20
Tổng quan về xử lý ảnh số - Ví dụ
-
8/18/2019 Chuong 1 - Tong Quan Ve Thi Giac May Tinh
21/52
• Hệ thống thực thi pháp luật: – Nhận dạng biển số xe vượt quá
tốc độ/ các hệ thống thu phí tựđộng/ hệ giao thông thông minh.
– Nhận dạng vân tay (Fingerprintrecognition)
– Tăng cường các hình ảnhcamera quan sát.
21
Tổng quan về xử lý ảnh số - Ví dụ
-
8/18/2019 Chuong 1 - Tong Quan Ve Thi Giac May Tinh
22/52
• Hệ thống tương tác người-máycố gắng làm cho giao diện người
– máy tự nhiên hơn:
– Nhận dạng khuôn mặt (Facerecognition)
– Nhận dạng cử chỉ (Gesturerecognition)
– Kinect Box Games
22
Tổng quan về xử lý ảnh số - Ví dụ
-
8/18/2019 Chuong 1 - Tong Quan Ve Thi Giac May Tinh
23/52
• Ghép ảnh (Image compositting) – Kết hợp các phần từ các ảnh riêng thành một dạng ảnh
mới nào đó
– Điều này khó để thực hiện được như ý vì:• Yêu cầu về các quan hệ các vị trí, các hướng, và các tỉ lệ
chính xác.
• Ánh sáng của các đối tượng phải phù hợp trong các hìnhảnh riêng.
• Độ sáng (Brightness), độ tương phản (contrast), cân bằngmàu (color balance), độ bão hòa (saturation) phải phù hợp,
• Nhiễu màu sắc (Noise color), biên độ (amplitude), và cácmẫu phải liền mạch,… 23
Tổng quan về xử lý ảnh số - Ví dụ
-
8/18/2019 Chuong 1 - Tong Quan Ve Thi Giac May Tinh
24/52
• Ghép ảnh (Image compositting)
24
Tổng quan về xử lý ảnh số - Ví dụ
Giáo sư Peters đang ở trongvăn phòng nhà riêng. Cần
một cái áo tốt hơn.
Cái áo này đòi hỏi chữviết lồng lên.
-
8/18/2019 Chuong 1 - Tong Quan Ve Thi Giac May Tinh
25/52
• Ghép ảnh (Image compositting)
25
Tổng quan về xử lý ảnh số - Ví dụ
Ông cần một số chi tiết màusắc phụ thêm
Bây giờ cần một máy tóccho đẹp trai, trẻ trung hơn
-
8/18/2019 Chuong 1 - Tong Quan Ve Thi Giac May Tinh
26/52
• Ghép ảnh (Image compositting)
26
Tổng quan về xử lý ảnh số - Ví dụ
Ông ta không muốn ở văn phòng nữa mà muốn đến một
nơi khác
Bây giờ đang ở trong phòng thu âm
-
8/18/2019 Chuong 1 - Tong Quan Ve Thi Giac May Tinh
27/52
• Tạo ảnh toàn cảnh (Panorama) – Kỹ thuật thường được sử dụng là ghép (Compositting)
và che ảnh (Overlay)
27
Tổng quan về xử lý ảnh số - Ví dụ
Các ảnh gốc
Ảnh kết hợp
-
8/18/2019 Chuong 1 - Tong Quan Ve Thi Giac May Tinh
28/52
• Hệ thống xử lý ảnh cho phép tiếp cận khung cảnh ảnhhoặc ảnh số ở đầu vào, thực hiện một dãy các phép xửlý đa dạng để tạo ra một ảnh ở đầu ra mang thông tin
cần thiết, phân tích rút ra được các đặc trưng để cho phép hiểu được khung cảnh và ảnh.
• Các phương pháp và kỹ thuật xử lý ảnh số nhằm tạora các máy tính có khả năng nhìn và hiểu được ảnh như
con người, giúp cho con người có thể “nhìn” ở nhữngnơi mà con người không thể đến được.
• Một hệ thống xử lý hình ảnh được sinh ra từ ý tưởngthay thế nhìn của con người bằng máy.
28
Hệ thống xử lý ảnh số - Định nghĩa
-
8/18/2019 Chuong 1 - Tong Quan Ve Thi Giac May Tinh
29/52
• Các vấn đề chính trong hệ xử lý ảnh – Thu nhận và số hóa hình ảnh
– Cải thiện, phục hồi, chỉnh sửa hình ảnh
– Phân tích hình ảnh – thị giác máy: phát hiện biên, phân vùng ảnh…
– Nén, mã hóa và truyền ảnh.
– Một chuỗi các xử lý ảnh:• Thu thập dữ liệu của hình ảnh,• Các phương pháp xử lý hình ảnh,
• Nén, lưu trữ, hiển thị và truyền tải hình ảnh.29
Hệ thống xử lý ảnh số - Các vấn đề chính
-
8/18/2019 Chuong 1 - Tong Quan Ve Thi Giac May Tinh
30/52
• Các giai đoạn chính trong quá trình xử lý ảnh
30
Hệ thống xử lý ảnh số - Các giai đoạn chính
-
8/18/2019 Chuong 1 - Tong Quan Ve Thi Giac May Tinh
31/52
• Thu nhận ảnh (Image Acquistion)
31
Hệ thống xử lý ảnh số - Các giai đoạn chính
-
8/18/2019 Chuong 1 - Tong Quan Ve Thi Giac May Tinh
32/52
• Tăng cường ảnh (Image Enhancement)
32
Hệ thống xử lý ảnh số - Các giai đoạn chính
-
8/18/2019 Chuong 1 - Tong Quan Ve Thi Giac May Tinh
33/52
• Khôi phục ảnh (Image Restoration)
33
Hệ thống xử lý ảnh số - Các giai đoạn chính
-
8/18/2019 Chuong 1 - Tong Quan Ve Thi Giac May Tinh
34/52
• Xử lý hình thái ảnh (Morphological Processing)
34
Hệ thống xử lý ảnh số - Các giai đoạn chính
-
8/18/2019 Chuong 1 - Tong Quan Ve Thi Giac May Tinh
35/52
• Phân đoạn ảnh (Image Segmentation)
35
Hệ thống xử lý ảnh số - Các giai đoạn chính
-
8/18/2019 Chuong 1 - Tong Quan Ve Thi Giac May Tinh
36/52
• Nhận dạng đối tượng (Object Recognition)
36
Hệ thống xử lý ảnh số - Các giai đoạn chính
-
8/18/2019 Chuong 1 - Tong Quan Ve Thi Giac May Tinh
37/52
• Biểu diễn & mô tả (Representation & Description)
37
Hệ thống xử lý ảnh số - Các giai đoạn chính
-
8/18/2019 Chuong 1 - Tong Quan Ve Thi Giac May Tinh
38/52
38
Hệ thống xử lý ảnh số - Các giai đoạn chính
• Nén ảnh (Image Compression)
-
8/18/2019 Chuong 1 - Tong Quan Ve Thi Giac May Tinh
39/52
39
Hệ thống xử lý ảnh số - Các giai đoạn chính
• Xử lý ảnh màu (Color Image Processing)
-
8/18/2019 Chuong 1 - Tong Quan Ve Thi Giac May Tinh
40/52
40
Hệ thống xử lý ảnh số - Các bước chính
Khung cảnhquang học
Thu nhận ảnh
(camera, sensor,…)
Số hóa ảnh
Dữ liệu ảnh
Tăng cường ảnh (lọcnhiễu, làm rõ ảnh,…)
Trích đặc
trưng ảnh
Đặc trưng ảnh
Biểu diễn ảnh, miêu tảđặc trưng kết cấu, màu
sắc, hình dáng,…
Trích chọn đặc trưngđể phân lớp, nhận
dạng đối tượng
Ra quyết định nhận dạng
Kết quả
Đối sánh, suy diễn,…
-
8/18/2019 Chuong 1 - Tong Quan Ve Thi Giac May Tinh
41/52
Các khái niệm cơ bản
• Pixel (PictureElement): điểm ảnh,mang một giá trị số
f(x,y) – x,y: số nguyên,chỉ vị
trí pixel.
– f là hàm: độ sáng (độ
xám)
-
8/18/2019 Chuong 1 - Tong Quan Ve Thi Giac May Tinh
42/52
Các khái niệm cơ bản
-
8/18/2019 Chuong 1 - Tong Quan Ve Thi Giac May Tinh
43/52
Các khái niệm cơ bản
• Bit và hệ nhị phân: Độ sáng của mỗi pixel được biểudiễn bởi một số bit. Nếu dùng k bit cho mỗi pixel, có tấtcả 2k cấp độ sáng từ 0 đến 2k – 1.
-
8/18/2019 Chuong 1 - Tong Quan Ve Thi Giac May Tinh
44/52
Các khái niệm cơ bản
• Mức xám (Gray levels): – Mức xám là kết quả của việc mã hoá ứng với một cường
độ sáng của mỗi điểm ảnh với một giá trị số.
– Thông thường ảnh được mã hoá dưới dạng 16, 32, 64hay 256 mức.
-
8/18/2019 Chuong 1 - Tong Quan Ve Thi Giac May Tinh
45/52
Các khái niệm cơ bản
• Biểu diễn ảnh (Image Representation): – Ảnh được biểu diễn như một hàm hai chiều, hay một ma
trận số liệu ảnh.
• Tăng cường ảnh (Image Enhancement): – Làm nổi bật các đặc trưng đã chọn.
– Các kỹ thuật được chọn: lọc độ tương phản, khử nhiễu,nổi màu, nổi biên, giãn độ tương phản.
• Khôi phục ảnh (Image Restoration): – Loại bỏ hay tối thiểu hóa các ảnh hưởng của môi trường
bên ngoài hay hệ thống thu nhận ảnh gây ra.
– Kết quả được là ảnh gần giống với ảnh gốc
-
8/18/2019 Chuong 1 - Tong Quan Ve Thi Giac May Tinh
46/52
Các khái niệm cơ bản
• Biến đổi ảnh (Image Transform):
– Phép biến đổi ảnh là phép biến đổi không gian biểu diễnsố liệu ảnh từ miền không gian quan sát sang miền khônggian khác để nghiên cứu các thuộc tính của ảnh.
– Sử dụng lớp các phép biến đổi tuyến tính , đơn vị: phép biến đổi Fourier, Sin, Cosin, Haar-Wavelet, Hadamad,Karhumen Loeve, ...
• Phân tích ảnh (Image Analysis):
– Xác định độ đo định lượng để đưa ra mô tả đầy đủ về ảnh.
– Các kỹ thuật thường sử dụng: kỹ thuật lọc, tách, kỹ thuậthợp dựa trên các tiêu chuẩn đánh giá về màu sắc, cườngđộ, kết cấu, và phân lớp dựa trên cấu trúc khác
-
8/18/2019 Chuong 1 - Tong Quan Ve Thi Giac May Tinh
47/52
Các khái niệm cơ bản
• Nén ảnh (Image Compression): – Mục tiêu của nén hình ảnh là giảm không thích hợp và dự
phòng dữ liệu hình ảnh để có thể lưu trữ hoặc truyền tải
dữ liệu trong một hình thức hiệu quả.• Trích xuất ảnh (Image Retrieval):
– “Browsing”, “searching” và “retrieving images” từ cơ sởdữ liệu lớn của ảnh số.
– Phương pháp truyền thống và phổ biến nhất của truy xuấthình ảnh sử dụng một số phương pháp thêm siêu dữ liệunhư phụ đề, từ khóa, hoặc mô tả những hình ảnh để thuhồi có thể được thực hiện qua các từ chú thích.
-
8/18/2019 Chuong 1 - Tong Quan Ve Thi Giac May Tinh
48/52
Các khái niệm cơ bản
• Một số mối quan hệ cơ các bản giữa điểm ảnh
– Lân cận điểm ảnh (Neighborhood)
– Tính liền kề (Adjacency)
– Tính liên thông (Connectivity)
– Đường đi (Paths)
– Vùng và đường biên (Regions & boundaries)
-
8/18/2019 Chuong 1 - Tong Quan Ve Thi Giac May Tinh
49/52
Các khái niệm cơ bản
• Quan hệ lân cận và tính liênthông của các điểm ảnh
– Quan hệ lân cận (Nearest Neighborhood)
– Tính liên thông (conectivity)của các điểm ảnh
-
8/18/2019 Chuong 1 - Tong Quan Ve Thi Giac May Tinh
50/52
Các khái niệm cơ bản
• Các lân cận tại điểm ảnh P(x,y) – 4 - lân cận của p(x,y), ký hiệu bởi N4(P):
(x-1, y), (x+1, y), (x,y-1), và (x, y+1). – 4 - lân cận chéo của P(x,y), ký hiệu bởi N
D(P):
(x-1, y-1), (x+1, y+1), (x+1,y-1), và (x-1, y+1).
• 8 - lân cận của P(x,y), ký hiệu bởi N8(P)
N4(P) ND(P)
-
8/18/2019 Chuong 1 - Tong Quan Ve Thi Giac May Tinh
51/52
Lĩnh vực ứng dụng của xử lý ảnh
• Ảnh hàng không và vũ trụ: Tài nguyên thiên nhiên vàgiám sát con người, khí tượng,…
• Khoa học: Thiên văn học, robot di động, sinh học, kính
hiển vi điện tử, vật lý,...• Truyền thông: giao tiếp hình ảnh và video trên internet,
truyền hình, nhiếp ảnh, xuất bản, giao thông vận tảithông tin hình ảnh, lưu trữ...
• Công nghiệp: tự động đo lường, máy tầm nhìn, điềukhiển, tự động kiểm tra chất lượng sản phẩm,…
• Quân sự: giám sát, cảnh báo, theo dõi, điều tra địa hình.
-
8/18/2019 Chuong 1 - Tong Quan Ve Thi Giac May Tinh
52/52
52