digital image processing and computer...

Digital Image Processingand Computer Vision

1

Opas Wongtaweesap (Aj’OaT)Intelligent Information SystemsDevelopment and Research Laboratory CentreWebsite : http://web.sc.su.ac.th/OaTCoM

http://oatcom.hi5.comhttp://twitter.com/OaTCoM

E-mail : oatcom@hotmail.com, oatcomster@gmail.com

Topics

What is Digital Image Processing. Why we need Digital Image Processing. Computer Vision and Concepts. Applications and Examples Overview.

2

Applications and Examples Overview. Image Retrieval Systems. Conclusion. References.

What is Digital Image Processing

is any form of Information Processing for which the input is an image.

such as photographs or frames of video. output is not necessarily an image, but can be

for instance a set of features of the image.

3

for instance a set of features of the image. Most image-processing techniques involve

treating the image as a two-dimensionalsignal and applying standard Signal Processing techniques to it.

Digital Image Processing (Con’t)

Input – Image, Photograph or frame of video Input Device – Digital Camera, Video,

Scanner, Image Construction Programs. Process – in This Class.

4

Output – Image or Image Feature vector

Digital Image Processing (Con’t)

Processing of a multidimensional pictures by a digital computer.

การประมวลผลสัญญาณรูปภาพโดยใชดิจิตอลคอมพิวเตอร.

5

Why we need Digital Image Processing?

เพื่อการบันทึก และการจัดเก็บภาพ เพื่อปรับปรุงคุณภาพของภาพใหดียิ่งขึ้น โดยการใชกระบวนการทาง

คณิตศาสตร และสถิติเขามาชวย เพื่อชวยในการวิเคราะหอะไรบางอยางที่ซอนอยูในภาพรูปภาพ

6

เพื่อชวยในการวิเคราะหอะไรบางอยางที่ซอนอยูในภาพรูปภาพ เพื่อสังเคราะห หรือสรางภาพขึ้นมาเอง เพื่อสรางระบบการมองเห็นใหกับคอมพิวเตอร หรือ ที่รูจักกันในนามของ

Computer Vision

Computer Vision

Computer vision is the science and technology of machines that see.

As a scientific discipline, computer vision is concerned with the theory and technology for building artificial systems that obtain

7

building artificial systems that obtain information from images.

The image data can take many forms, such as a video sequence, views from multiple cameras, or multi-dimensional data from a medical scanner.

Computer Vision (Con’t)

Controlling Processes. Industrial Robot. Autonomous Vehicle.

Detecting Events.

8

Detecting Events. Visual Surveillance.

Organizing Information. for indexing databases of images and image

sequences.

Computer Vision (Con’t)

Modeling objects or environments industrial inspection. medical image analysis. topographical modeling.

9

Interaction as the input to a device for computer-human

interaction. Tangible User Interface. Surface Computing.

Picture File Formats

Bitmap Image (*.BMP) Standard Image File Format of Microsoft. Support on MS-Windows and MS-Application. No used on Mac.

10

Picture Image (*.PICT) Standard Image File Format of Apple. Support on Mac OS and Mac Application. No used on PC.

Picture File Formats (Con’t)

Tagged Image File Format (*.TIFF) Bitmap Image File Format on 1986. Support both Microsoft and Apple. Popular in PC and Mac.

11

Joint Photographic Expert Group (*.JPEG) Bitmap Format for Web Browser and Monitor

Shown. Compression Image and Camera Image. Shorted name is JPG.

Picture File Formats (Con’t)

Graphic Interchange Format (*.GIF) Developed by CompuServe Used in Computer Image Animation and Picture

Frame.

Portable Network Graphic (*.PNG)

12

Portable Network Graphic (*.PNG) Vector Image File Format. New Alternative from GIF Image. PNG Size Image is lowest than JPEG. Flexible for Image Resizable, Zoom in and Zoom

out in High Level Percentages.

Image Terminology

Pixel – Picture Cell, Picture Element. Intensity – Color Value in each pixel of

Image. Resolution – Image Resolution, Display

Screen Resolution.

13

Screen Resolution. RGB – Red Green Blue. Background. Foreground.

Color Models

RGB – CMYK - HSV

14

Color Models (Con’t)

Red Green Blue

15

Red Green Blue

Cyan Magenta Yellow

RGB Color Planes

One picture composed by 3-Planes Color Vector and 3-Planes Color Vector RGB.

R is Red Color, G is Green Color and B is Blue Color.

16

RGB Color Planes (Con’t)

17

RGB Color Values

One pixel kept Color Values in RGB Term. In each color has 256 color values. 256 Color Values can be written in 2 Mode. 0 – 255 in Decimal based number.

18

0 – 255 in Decimal based number. 00 – FF in Hex based number.

Maximum Colors of RGB Model. 256 x 256 x 256 color values. 16.7 million color values.

RGB Color Values (Con’t)

19

RGB Color Values (Con’t)

Black Color 10-Based (R,G,B) (0,0,0) 16-Based RGB 000000

White Color

20

White Color 10-Based (R,G,B) (255,255,255) 16-Based RGB FFFFFF

RGB Color Values (Con’t)

21

Color Image Processing

Image Normalization. RGB Image Gray Scaled Image

Image Binarization. Gray Scaled Image Black/White Image

22

Gray Scaled Image Black/White Image

Image Representation

RGB Image or True Color Image. Gray Scale Image. Black and White Image (B/W). Indexed Color Image

23

Indexed Color Image

Color Image or RGB Image

Color image or RGB imageeach pixel contains a vectorrepresenting red, green andblue components.

24

39871532

22132515

372669

28161010

39656554

42475421

67965432

43567065

99876532

92438585

67969060

78567099

RGB components

Gray Scale Image

Intensity image or monochrome imageeach pixel corresponds to light intensitynormally represented in gray scale (gray level).

25

39871532

22132515

372669

28161010

Gray scale values

Black and White Image

Binary image orblack and white imageEach pixel contains one bit :

1 represent white0 represents black

26

0 represents black

1111

1111

0000

0000

Binary data

Indexed Color ImageIndex imageEach pixel contains index numberpointing to a color in a color table

Index No.

Redcomponen

Greencomponent

Bluecompone

27

256

746

941

Index value

x No. component

component component

1 0.1 0.5 0.3

2 1.0 0.0 0.0

3 0.0 1.0 0.0

4 0.5 0.5 0.5

5 0.2 0.8 0.9

… … … …

Color Table

Histogram Processing

28

Pixel Relationships

Image Labeling (Blob Coloring). 8nb, 4nb, 4nb orthogonal.

29

8nb

30

4nb

31

4nb orthogonal

32

Image Enhancement

Image Editing was known as photo retouching.

33

Image Enhancement (Con’t)

Cropping an Image.

34

Image Enhancement (Con’t)

Histogram.

35

Image Enhancement (Con’t)

Removal of unwanted elements.

36

Image Enhancement (Con’t)

Selective colour change.

37

Image Enhancement (Con’t)

Image orientation, Merging of images.

38

Image Enhancement (Con’t)

Special effects, Change colour depth.

39

Image Enhancement (Con’t)

Image Restoration.

40

Image Enhancement (Con’t)

Image Restoration.

41

Image Enhancement (Con’t)

Image Restoration.

42

Image Equalization

Contrast change and brightening.

43

Image Equalization (Con’t)

44

Image Equalization (Con’t)

45

Resized Image/Zoom Image

46

Linear Transform Function

Inverted Image.

47

Linear Transform Function (Con’t)

Image Rotation.

48

Mathematical Operators

Image Add Image (Pixel + Pixel).

49

Mathematical Operators (Con’t)

Subtract, Multiply and Divide.

50

Logical Operators (Con’t)

AND, OR, NOT, XOR.

51

Image Convolution

52

Smoothing and Sharpening

53

Smoothing and Sharpening

การแกไขภาพที่เบลอ + มีสัญญาณรบกวน

54

Smoothing and Sharpening

การแกไขภาพที่เบลอ หรือการสรางภาพเบลอ

55

Smoothing and Sharpening

56

Dilation and Erosion

57

Dilation and Erosion (Con’t)

Dilation คือ การขยายภาพโดยมีสัดสวนเทากันทั่วทั้งภาพ (Uniform)

Erosion คือ การยอภาพ สวนการทํา Skeleton เปนการหาโครงสรางหลักของวัตถุ

58

โครงสรางหลักของวัตถุ

Dilation Application

59

Erosion Application

60

Image Segmentation

เปนกระบวนการตัดแยกภาพออกเปนชิ้นสวนยอย โดยการตดัแยกวัตถุ นั้นสามารถแบงออกไดเปน 2 ชนิดดังนี้ การตัดแบงวัตถุตามเสนขอบของวัตถุ (by identifying edges

or lines) ไดแกวิธีการของ Edge Detection, Line

61

or lines) ไดแกวิธีการของ Edge Detection, Line Detection

การตัดแบงวัตถุตามพื้นที่ของวัตถุ (by identifying regions or areas) ไดแกวิธีการของ Hough Transform

Edge Detection

62

Edge Detection (Con’t)

63

Edge Detection (Con’t)

64

Line Detection

65

Line Detection (Con’t)

66

Line Detection (Con’t)

67

Line Detection (Con’t)

68

Hough Transform

69

Hough Transform (Con’t)

70

Hough Transform (Con’t)

71

Image Compression

เปนกระบวนการที่ไดรับความสําคัญเพิ่มมากขึ้น อันเนื่องจากเปนสวนหนึ่งที่ชวยในการสงผานขอมูลผานระบบเครือขาย มีหลายเทคนิคที่ถูกนํามาใชในการบีบอัดขอมูลภาพ เชน Wavelet

การบีบอัดสัญญาณ เปนเทคนิคที่ใชในการลดพื้นที่ในการจัดเก็บ

72

การบีบอัดสัญญาณ เปนเทคนิคที่ใชในการลดพื้นที่ในการจัดเก็บขอมูลภาพ หรือลด Bandwidth ที่ใชในการสงผานเครือขาย

การบีบอัดขอมูลภาพ มี 2 ชนิดคือ การบีบอัดแบบไมสูญเสียขอมูล (Lossless compression) การบีบอัดแบบสูญเสียขอมูล (Lossy compression)

Image Compression (Con’t)

เทคนิคที่ใชในการบีบอัดสัญญาณ มี 4 กลุมดวยกัน Statistical compression technique

(Huffman coding) Spatial compression technique (run

73

Spatial compression technique (run length technique)

Quantizing compression technique (Quantize levels reducing)

Fractal compression technique (Most compress ratio)

Image Compression (Con’t)

74

Image Compression (Con’t)

75

Object Recognition

76

Object Recognition (Con’t)

77

Optical Character Recognition

OCR, Scanned Text Image Text or Word.

78

Lisp Reading Recognition

Lisp Image Text or Speech.

79

Musical Chord Recognition

MCR, Note Image Note Sequence or Song or MIDI File.

80

2D Barcode Recognition

81

Braille Recognition

82

Braille Recognition (Con’t)

83

Physical Biometrics

Example Iris Detection, Fingerprint Hand Geometry, Face Detection Palm print Detection, Body Geometry

84

Palm print Detection, Body Geometry Measurement Biometric Dependent on environment Dependent on interaction

Finger Print Recognition

85

Online-Face Detection

86

Face Recognition

87

Face Recognition (Con’t)

88

Behavior Biometrics

Example Handwriting, Signature, Gait Performance/Temporal biometric Dependent on state of mind

89

Dependent on state of mind

Handwriting Recognition

90

Image Retrieval System

Introduction to Image Retrieval Systems.

http://amazon.ece.utexasedu ~qasim

91

:// . .exas.edu/~qasim

Image Retrieval System (Con’t)

92

Image Retrieval System

Image Storage Assigned Image Primary Key and kept them in

database of system. Input shortcut description or more than. Calculate Vector Value of each image.

93

Calculate Vector Value of each image.

Image Retrieval System Model Text Based Image Retrieval (TBIR). Content Based Image Retrieval (CBIR). Combined Image Retrieval System.

Text Based Image Retrieval

TBIR retrieval from picture name, text

surrounding, image description, attribute alt of image tag.

94

alt of image tag. Dog.gif, cat001.jpg This is the dog. <img src=“pic.jpg”/> <img src=“pic.jpg” alt=“dog” />

retrieval from Indexed Image or Keywords.

Text Based Image Retrieval

95

Content Based Image Retrieval

CBIR Calculate Vector Value of each image. Color Vector. Shape Vector.

96

Shape Vector. Texture Vector.

Color Vector

97

Shape Vector

98

Image Similarity

http://www.myheritage.com/

99

Crime-Face Retrieval

100

Conclusions

DIP is process methodology for Original Image transfer from one form to another form.

After processing Output is Changed Image or feature vectors and sometime

101

Image or feature vectors and sometime image size is reduced.

DIP is tools for Image Enhancement or Image retouching.

DIP is pre-processing for Object Recognition and Pattern Recognition.

Textbooks and Other Medias

In Course Outline. Google Search Engine. Wikipedia.

102