digital image processing and computer...
TRANSCRIPT
Digital Image Processingand Computer Vision
1
Opas Wongtaweesap (Aj’OaT)Intelligent Information SystemsDevelopment and Research Laboratory CentreWebsite : http://web.sc.su.ac.th/OaTCoM
http://oatcom.hi5.comhttp://twitter.com/OaTCoM
E-mail : [email protected], [email protected]
Topics
What is Digital Image Processing. Why we need Digital Image Processing. Computer Vision and Concepts. Applications and Examples Overview.
2
Applications and Examples Overview. Image Retrieval Systems. Conclusion. References.
What is Digital Image Processing
is any form of Information Processing for which the input is an image.
such as photographs or frames of video. output is not necessarily an image, but can be
for instance a set of features of the image.
3
for instance a set of features of the image. Most image-processing techniques involve
treating the image as a two-dimensionalsignal and applying standard Signal Processing techniques to it.
Digital Image Processing (Con’t)
Input – Image, Photograph or frame of video Input Device – Digital Camera, Video,
Scanner, Image Construction Programs. Process – in This Class.
4
Output – Image or Image Feature vector
Digital Image Processing (Con’t)
Processing of a multidimensional pictures by a digital computer.
การประมวลผลสัญญาณรูปภาพโดยใชดิจิตอลคอมพิวเตอร.
5
Why we need Digital Image Processing?
เพื่อการบันทึก และการจัดเก็บภาพ เพื่อปรับปรุงคุณภาพของภาพใหดียิ่งขึ้น โดยการใชกระบวนการทาง
คณิตศาสตร และสถิติเขามาชวย เพื่อชวยในการวิเคราะหอะไรบางอยางที่ซอนอยูในภาพรูปภาพ
6
เพื่อชวยในการวิเคราะหอะไรบางอยางที่ซอนอยูในภาพรูปภาพ เพื่อสังเคราะห หรือสรางภาพขึ้นมาเอง เพื่อสรางระบบการมองเห็นใหกับคอมพิวเตอร หรือ ที่รูจักกันในนามของ
Computer Vision
Computer Vision
Computer vision is the science and technology of machines that see.
As a scientific discipline, computer vision is concerned with the theory and technology for building artificial systems that obtain
7
building artificial systems that obtain information from images.
The image data can take many forms, such as a video sequence, views from multiple cameras, or multi-dimensional data from a medical scanner.
Computer Vision (Con’t)
Controlling Processes. Industrial Robot. Autonomous Vehicle.
Detecting Events.
8
Detecting Events. Visual Surveillance.
Organizing Information. for indexing databases of images and image
sequences.
Computer Vision (Con’t)
Modeling objects or environments industrial inspection. medical image analysis. topographical modeling.
9
Interaction as the input to a device for computer-human
interaction. Tangible User Interface. Surface Computing.
Picture File Formats
Bitmap Image (*.BMP) Standard Image File Format of Microsoft. Support on MS-Windows and MS-Application. No used on Mac.
10
Picture Image (*.PICT) Standard Image File Format of Apple. Support on Mac OS and Mac Application. No used on PC.
Picture File Formats (Con’t)
Tagged Image File Format (*.TIFF) Bitmap Image File Format on 1986. Support both Microsoft and Apple. Popular in PC and Mac.
11
Joint Photographic Expert Group (*.JPEG) Bitmap Format for Web Browser and Monitor
Shown. Compression Image and Camera Image. Shorted name is JPG.
Picture File Formats (Con’t)
Graphic Interchange Format (*.GIF) Developed by CompuServe Used in Computer Image Animation and Picture
Frame.
Portable Network Graphic (*.PNG)
12
Portable Network Graphic (*.PNG) Vector Image File Format. New Alternative from GIF Image. PNG Size Image is lowest than JPEG. Flexible for Image Resizable, Zoom in and Zoom
out in High Level Percentages.
Image Terminology
Pixel – Picture Cell, Picture Element. Intensity – Color Value in each pixel of
Image. Resolution – Image Resolution, Display
Screen Resolution.
13
Screen Resolution. RGB – Red Green Blue. Background. Foreground.
Color Models
RGB – CMYK - HSV
14
Color Models (Con’t)
Red Green Blue
15
Red Green Blue
Cyan Magenta Yellow
RGB Color Planes
One picture composed by 3-Planes Color Vector and 3-Planes Color Vector RGB.
R is Red Color, G is Green Color and B is Blue Color.
16
RGB Color Planes (Con’t)
17
RGB Color Values
One pixel kept Color Values in RGB Term. In each color has 256 color values. 256 Color Values can be written in 2 Mode. 0 – 255 in Decimal based number.
18
0 – 255 in Decimal based number. 00 – FF in Hex based number.
Maximum Colors of RGB Model. 256 x 256 x 256 color values. 16.7 million color values.
RGB Color Values (Con’t)
19
RGB Color Values (Con’t)
Black Color 10-Based (R,G,B) (0,0,0) 16-Based RGB 000000
White Color
20
White Color 10-Based (R,G,B) (255,255,255) 16-Based RGB FFFFFF
RGB Color Values (Con’t)
21
Color Image Processing
Image Normalization. RGB Image Gray Scaled Image
Image Binarization. Gray Scaled Image Black/White Image
22
Gray Scaled Image Black/White Image
Image Representation
RGB Image or True Color Image. Gray Scale Image. Black and White Image (B/W). Indexed Color Image
23
Indexed Color Image
Color Image or RGB Image
Color image or RGB imageeach pixel contains a vectorrepresenting red, green andblue components.
24
39871532
22132515
372669
28161010
39656554
42475421
67965432
43567065
99876532
92438585
67969060
78567099
RGB components
Gray Scale Image
Intensity image or monochrome imageeach pixel corresponds to light intensitynormally represented in gray scale (gray level).
25
39871532
22132515
372669
28161010
Gray scale values
Black and White Image
Binary image orblack and white imageEach pixel contains one bit :
1 represent white0 represents black
26
0 represents black
1111
1111
0000
0000
Binary data
Indexed Color ImageIndex imageEach pixel contains index numberpointing to a color in a color table
Index No.
Redcomponen
Greencomponent
Bluecompone
27
256
746
941
Index value
x No. component
component component
1 0.1 0.5 0.3
2 1.0 0.0 0.0
3 0.0 1.0 0.0
4 0.5 0.5 0.5
5 0.2 0.8 0.9
… … … …
Color Table
Histogram Processing
28
Pixel Relationships
Image Labeling (Blob Coloring). 8nb, 4nb, 4nb orthogonal.
29
8nb
30
4nb
31
4nb orthogonal
32
Image Enhancement
Image Editing was known as photo retouching.
33
Image Enhancement (Con’t)
Cropping an Image.
34
Image Enhancement (Con’t)
Histogram.
35
Image Enhancement (Con’t)
Removal of unwanted elements.
36
Image Enhancement (Con’t)
Selective colour change.
37
Image Enhancement (Con’t)
Image orientation, Merging of images.
38
Image Enhancement (Con’t)
Special effects, Change colour depth.
39
Image Enhancement (Con’t)
Image Restoration.
40
Image Enhancement (Con’t)
Image Restoration.
41
Image Enhancement (Con’t)
Image Restoration.
42
Image Equalization
Contrast change and brightening.
43
Image Equalization (Con’t)
44
Image Equalization (Con’t)
45
Resized Image/Zoom Image
46
Linear Transform Function
Inverted Image.
47
Linear Transform Function (Con’t)
Image Rotation.
48
Mathematical Operators
Image Add Image (Pixel + Pixel).
49
Mathematical Operators (Con’t)
Subtract, Multiply and Divide.
50
Logical Operators (Con’t)
AND, OR, NOT, XOR.
51
Image Convolution
52
Smoothing and Sharpening
53
Smoothing and Sharpening
การแกไขภาพที่เบลอ + มีสัญญาณรบกวน
54
Smoothing and Sharpening
การแกไขภาพที่เบลอ หรือการสรางภาพเบลอ
55
Smoothing and Sharpening
56
Dilation and Erosion
57
Dilation and Erosion (Con’t)
Dilation คือ การขยายภาพโดยมีสัดสวนเทากันทั่วทั้งภาพ (Uniform)
Erosion คือ การยอภาพ สวนการทํา Skeleton เปนการหาโครงสรางหลักของวัตถุ
58
โครงสรางหลักของวัตถุ
Dilation Application
59
Erosion Application
60
Image Segmentation
เปนกระบวนการตัดแยกภาพออกเปนชิ้นสวนยอย โดยการตดัแยกวัตถุ นั้นสามารถแบงออกไดเปน 2 ชนิดดังนี้ การตัดแบงวัตถุตามเสนขอบของวัตถุ (by identifying edges
or lines) ไดแกวิธีการของ Edge Detection, Line
61
or lines) ไดแกวิธีการของ Edge Detection, Line Detection
การตัดแบงวัตถุตามพื้นที่ของวัตถุ (by identifying regions or areas) ไดแกวิธีการของ Hough Transform
Edge Detection
62
Edge Detection (Con’t)
63
Edge Detection (Con’t)
64
Line Detection
65
Line Detection (Con’t)
66
Line Detection (Con’t)
67
Line Detection (Con’t)
68
Hough Transform
69
Hough Transform (Con’t)
70
Hough Transform (Con’t)
71
Image Compression
เปนกระบวนการที่ไดรับความสําคัญเพิ่มมากขึ้น อันเนื่องจากเปนสวนหนึ่งที่ชวยในการสงผานขอมูลผานระบบเครือขาย มีหลายเทคนิคที่ถูกนํามาใชในการบีบอัดขอมูลภาพ เชน Wavelet
การบีบอัดสัญญาณ เปนเทคนิคที่ใชในการลดพื้นที่ในการจัดเก็บ
72
การบีบอัดสัญญาณ เปนเทคนิคที่ใชในการลดพื้นที่ในการจัดเก็บขอมูลภาพ หรือลด Bandwidth ที่ใชในการสงผานเครือขาย
การบีบอัดขอมูลภาพ มี 2 ชนิดคือ การบีบอัดแบบไมสูญเสียขอมูล (Lossless compression) การบีบอัดแบบสูญเสียขอมูล (Lossy compression)
Image Compression (Con’t)
เทคนิคที่ใชในการบีบอัดสัญญาณ มี 4 กลุมดวยกัน Statistical compression technique
(Huffman coding) Spatial compression technique (run
73
Spatial compression technique (run length technique)
Quantizing compression technique (Quantize levels reducing)
Fractal compression technique (Most compress ratio)
Image Compression (Con’t)
74
Image Compression (Con’t)
75
Object Recognition
76
Object Recognition (Con’t)
77
Optical Character Recognition
OCR, Scanned Text Image Text or Word.
78
Lisp Reading Recognition
Lisp Image Text or Speech.
79
Musical Chord Recognition
MCR, Note Image Note Sequence or Song or MIDI File.
80
2D Barcode Recognition
81
Braille Recognition
82
Braille Recognition (Con’t)
83
Physical Biometrics
Example Iris Detection, Fingerprint Hand Geometry, Face Detection Palm print Detection, Body Geometry
84
Palm print Detection, Body Geometry Measurement Biometric Dependent on environment Dependent on interaction
Finger Print Recognition
85
Online-Face Detection
86
Face Recognition
87
Face Recognition (Con’t)
88
Behavior Biometrics
Example Handwriting, Signature, Gait Performance/Temporal biometric Dependent on state of mind
89
Dependent on state of mind
Handwriting Recognition
90
Image Retrieval System
Introduction to Image Retrieval Systems.
http://amazon.ece.utexasedu ~qasim
91
:// . .exas.edu/~qasim
Image Retrieval System (Con’t)
92
Image Retrieval System
Image Storage Assigned Image Primary Key and kept them in
database of system. Input shortcut description or more than. Calculate Vector Value of each image.
93
Calculate Vector Value of each image.
Image Retrieval System Model Text Based Image Retrieval (TBIR). Content Based Image Retrieval (CBIR). Combined Image Retrieval System.
Text Based Image Retrieval
TBIR retrieval from picture name, text
surrounding, image description, attribute alt of image tag.
94
alt of image tag. Dog.gif, cat001.jpg This is the dog. <img src=“pic.jpg”/> <img src=“pic.jpg” alt=“dog” />
retrieval from Indexed Image or Keywords.
Text Based Image Retrieval
95
Content Based Image Retrieval
CBIR Calculate Vector Value of each image. Color Vector. Shape Vector.
96
Shape Vector. Texture Vector.
Color Vector
97
Shape Vector
98
Image Similarity
http://www.myheritage.com/
99
Crime-Face Retrieval
100
Conclusions
DIP is process methodology for Original Image transfer from one form to another form.
After processing Output is Changed Image or feature vectors and sometime
101
Image or feature vectors and sometime image size is reduced.
DIP is tools for Image Enhancement or Image retouching.
DIP is pre-processing for Object Recognition and Pattern Recognition.
Textbooks and Other Medias
In Course Outline. Google Search Engine. Wikipedia.
102