%jhjubm *nbhf 1spdfttjoh · microsoft powerpoint - 2017term2-image ch03-part3 author: panomkhawn...

47
305434 Digital Image Processing Chapter3 Intensity Transformation and Spatial Filtering Part 3 ผศ.ดร.พนมขวัญ ริยะมงคล

Upload: others

Post on 03-Oct-2020

0 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: %JHJUBM *NBHF 1SPDFTTJOH · Microsoft PowerPoint - 2017term2-image ch03-part3 Author: Panomkhawn Created Date: 2/4/2018 8:32:30 PM

305434

Digital Image Processing

Chapter3

Intensity Transformation

and Spatial Filtering

Part 3

ผศ.ดร.พนมขวัญ ริยะมงคล

Page 2: %JHJUBM *NBHF 1SPDFTTJOH · Microsoft PowerPoint - 2017term2-image ch03-part3 Author: Panomkhawn Created Date: 2/4/2018 8:32:30 PM

Spatial Filter

Filter คือ image ยอย (subimage) ที่มีคาของแตละ pixel เปนคา coefficient

อาจเรียกไดเปนชื่ออ่ืน เชน

Mask

Template

Window

Kernel

• สวนใหญจะมีขนาดเปนเลขค่ี เชน 3x3, 5x5, …

Page 3: %JHJUBM *NBHF 1SPDFTTJOH · Microsoft PowerPoint - 2017term2-image ch03-part3 Author: Panomkhawn Created Date: 2/4/2018 8:32:30 PM

กลไกของ spatial filtering

(Figure from Rafael C. Gonzalez and Richard E.

Wood, Digital Image Processing, 3rd Edition.

Page 4: %JHJUBM *NBHF 1SPDFTTJOH · Microsoft PowerPoint - 2017term2-image ch03-part3 Author: Panomkhawn Created Date: 2/4/2018 8:32:30 PM

Linear spatial filtering

คือ ผลรวมของผลคูณของคาของ filter กับคาของ

pixel ในตําแหนงท่ีสอดคลองกัน

• ให g(x, y) คือผลลัพธที่ตาํแหนง (x, y) และ linear spatial

filter มีขนาด 3x3 จากรูปท่ี 3.28

ขอสังเกต w(0, 0) อยูตรงกับ (x, y)

g(x, y) = w(-1, -1) *f( x-1, y-1) + w(-1, 0)*f(x-1 , y) + …

+ w( 0, 0)*f(x, y) + … + w(1, 1)*f(x+1, y+1)

Page 5: %JHJUBM *NBHF 1SPDFTTJOH · Microsoft PowerPoint - 2017term2-image ch03-part3 Author: Panomkhawn Created Date: 2/4/2018 8:32:30 PM

• เขียนรูปแบบท่ัวไป ของวิธีการ linear spatial filtering ของ

image f ขนาด MxN โดยใช linear spatial filter ขนาด mxn

ไดเปน

a

at

b

bt

tysxftswyxg ),(),(),(

ซ่ึง a = (m-1)/2 and b = (n-1)/2

เพ่ือใหได image g อยางสมบรูณจะตองหาคาใหครอบคลุม

x = 0,… M-1 และ y = 0, … , N-1

Page 6: %JHJUBM *NBHF 1SPDFTTJOH · Microsoft PowerPoint - 2017term2-image ch03-part3 Author: Panomkhawn Created Date: 2/4/2018 8:32:30 PM

• ในกรณีที่ filter อยูเกินขอบของ image เชนที่ (0, 0) ก็

อาจจะมีหลายวิธีในการหาผลลัพธ เชน

กําหนดใหสวนที่เกินจาก image ใหมีคาเทากับ 0 ซ่ึง

เรียกวา “zero padding”

ตัดสวนท่ีไมเก่ียวของทิ้งไป

Page 7: %JHJUBM *NBHF 1SPDFTTJOH · Microsoft PowerPoint - 2017term2-image ch03-part3 Author: Panomkhawn Created Date: 2/4/2018 8:32:30 PM

Nonlinear spatial filtering

• มีการใช filter เชนเดียวกับ linear spatial filtering

แตผลลพัธท่ีไดเกิดจากเงื่อนไขการพิจารณาที่กาํหนด

Page 8: %JHJUBM *NBHF 1SPDFTTJOH · Microsoft PowerPoint - 2017term2-image ch03-part3 Author: Panomkhawn Created Date: 2/4/2018 8:32:30 PM

Generating Spatial Filter Masks

• ในการสราง m×n linear spatial filter จะตองกําหนดคา

coefficient ซ่ึงขึ้นอยูกับวาตองการให filter ทํางานอยางไร

โดยยังคงใชหลักการหาคําตอบดวยผลรวมของผลคูณ

• ในการสราง nonlinear spatial filter จะตองกําหนดขนาด

ของขอบเขตและกระบวนการท่ีจะกระทํากับ pixels ใน

image

Page 9: %JHJUBM *NBHF 1SPDFTTJOH · Microsoft PowerPoint - 2017term2-image ch03-part3 Author: Panomkhawn Created Date: 2/4/2018 8:32:30 PM

Smoothing Spatial Filters

• ใชสําหรับ

การทําใหภาพเบลอ (blurring) (อาจจะใชในกระบวนการ

preprocessing เชนลดรายละเอียด เล็ก ๆ นอย ๆ หรือ

เช่ือมตอชองวางเล็ก ๆ ในเสนตรงหรือเสนโคง)

ลดสัญญาณรบกวน (noise)

Page 10: %JHJUBM *NBHF 1SPDFTTJOH · Microsoft PowerPoint - 2017term2-image ch03-part3 Author: Panomkhawn Created Date: 2/4/2018 8:32:30 PM

Smoothing Linear Filters

คาที่ไดคือ คาเฉลี่ยของ pixels ที่อยูในขอบเขตของ mask ซ่ึงจะเรียกวา

“averaging filter”

วิธีการ : จะคํานวณหาคาของ pixel ที่อยูใน image ดวยคาเฉลี่ยของ

intensity levels ในขอบเขตที่กําหนด

ผลลัพธ : จะลดสวนที่มีการเปลีย่นแปลงกะทนัหัน (sharp transition )

เชน สัญญาณรบกวนซ่ึงจะม ีsharp transition มาก อยางไรก็ตาม

ลดความคมชัดของขอบ (Edge) ลง

Page 11: %JHJUBM *NBHF 1SPDFTTJOH · Microsoft PowerPoint - 2017term2-image ch03-part3 Author: Panomkhawn Created Date: 2/4/2018 8:32:30 PM

• ถาตองการหาคาเฉลี่ยของ pixel ท่ีอยูในขอบเขตของ filter

ขนาด 3x3 ควรกําหนดคาของ coefficient ใน mask อยางไร

เพ่ือใหไดผลลัพธตามสมการ

9

19

1

iizR

Page 12: %JHJUBM *NBHF 1SPDFTTJOH · Microsoft PowerPoint - 2017term2-image ch03-part3 Author: Panomkhawn Created Date: 2/4/2018 8:32:30 PM

3x3 smoothing linear filter

ขอสังเกต : ผลรวมของคาสัมประสิทธิ์ของ mask = 1

(Figure from Rafael C. Gonzalez and Richard E.

Wood, Digital Image Processing, 3rd Edition.

Page 13: %JHJUBM *NBHF 1SPDFTTJOH · Microsoft PowerPoint - 2017term2-image ch03-part3 Author: Panomkhawn Created Date: 2/4/2018 8:32:30 PM

• ถาตองการเพ่ิมความสําคัญของ pixel ที่ตองการ ก็อาจจะใช

weighted average filter โดยมีสมการดังตอไปนี้

a

at

b

bt

a

at

b

bt

tsw

tysxftswyxg

),(

),(),(),(

Page 14: %JHJUBM *NBHF 1SPDFTTJOH · Microsoft PowerPoint - 2017term2-image ch03-part3 Author: Panomkhawn Created Date: 2/4/2018 8:32:30 PM

ตวัอยาง

Image Mask จากรูป 3.32a

ให e อยูที่ตําแหนง (x, y) จะไดคาท่ีตําแหนง (x, y)

หลังการใช mask

R(x, y) = (1/9)*a + (1/9)*b + (1/9)*c +

(1/9)*d +(1/9)*e + (1/9)*f +

(1/9)*g + (1/9)*h + (1/9)*i

Page 15: %JHJUBM *NBHF 1SPDFTTJOH · Microsoft PowerPoint - 2017term2-image ch03-part3 Author: Panomkhawn Created Date: 2/4/2018 8:32:30 PM

ตวัอยาง การใช smoothing linear filter

Image

500x500 pixels

(Figure from Rafael C. Gonzalez and Richard E.

Wood, Digital Image Processing, 3rd Edition.

Page 16: %JHJUBM *NBHF 1SPDFTTJOH · Microsoft PowerPoint - 2017term2-image ch03-part3 Author: Panomkhawn Created Date: 2/4/2018 8:32:30 PM

a)Original image

b)-f) ผลลัพธของการใช

averaging filter ขนาด n =

3, 5, 9, 15 และ 35 ตามลําดบั

(Figure from Rafael C. Gonzalez and Richard E.

Wood, Digital Image Processing, 3rd Edition.

Page 17: %JHJUBM *NBHF 1SPDFTTJOH · Microsoft PowerPoint - 2017term2-image ch03-part3 Author: Panomkhawn Created Date: 2/4/2018 8:32:30 PM

http://slideplayer.com/slide/8521074/

Page 18: %JHJUBM *NBHF 1SPDFTTJOH · Microsoft PowerPoint - 2017term2-image ch03-part3 Author: Panomkhawn Created Date: 2/4/2018 8:32:30 PM

ตวัอยาง การใช smoothing linear filter

(Figure from Rafael C. Gonzalez and Richard E.

Wood, Digital Image Processing, 3rd Edition.

Page 19: %JHJUBM *NBHF 1SPDFTTJOH · Microsoft PowerPoint - 2017term2-image ch03-part3 Author: Panomkhawn Created Date: 2/4/2018 8:32:30 PM

Order-Statistics filters

• nonlinear spatial filter โดยมีผลลัพธข้ึนอยูกับการจัดลําดับ

ของ pixel ที่อยูในพ้ืนท่ีของ pixel ตรงกลาง

• มีประสิทธิภาพดี เม่ือใชกับ “salt and pepper noise” (จุด

ขาวดําใน image)

Page 20: %JHJUBM *NBHF 1SPDFTTJOH · Microsoft PowerPoint - 2017term2-image ch03-part3 Author: Panomkhawn Created Date: 2/4/2018 8:32:30 PM

ตัวอยาง การใช median filter

Image ตัวอยาง

ใหตําแหนง (x, y) อยูตรงเลข 8 จะไดคาที่ตาํแหนง (x, y)

หลังการใช median filter ขนาด 3x3 โดย

เรียงลําดับคาของ pixel ที่อยูใน image จะได

1 2 3 4 5 6 7 8 9 ซ่ึงคากลางคือ 5

ผลลัพธคือ คาที่ตาํแหนง (x, y) เทากับ 5

Page 21: %JHJUBM *NBHF 1SPDFTTJOH · Microsoft PowerPoint - 2017term2-image ch03-part3 Author: Panomkhawn Created Date: 2/4/2018 8:32:30 PM

ตัวอยาง

(Figure from Rafael C. Gonzalez and Richard E.

Wood, Digital Image Processing, 3rd Edition.

Page 22: %JHJUBM *NBHF 1SPDFTTJOH · Microsoft PowerPoint - 2017term2-image ch03-part3 Author: Panomkhawn Created Date: 2/4/2018 8:32:30 PM

Sharpening Spatial Filters

• จะทําใหภาพคมชัดข้ึน

• จะพิจารณา sharpening filter ที่เปนแบบ

–First-order derivative

–Second-order derivative

Page 23: %JHJUBM *NBHF 1SPDFTTJOH · Microsoft PowerPoint - 2017term2-image ch03-part3 Author: Panomkhawn Created Date: 2/4/2018 8:32:30 PM

First-order derivative

• สมการสําหรับฟงกชันหน่ึงมิติ f(x)

Page 24: %JHJUBM *NBHF 1SPDFTTJOH · Microsoft PowerPoint - 2017term2-image ch03-part3 Author: Panomkhawn Created Date: 2/4/2018 8:32:30 PM

Second-order derivative

• สมการสําหรับฟงกชันหน่ึงมิติ f(x)

Page 25: %JHJUBM *NBHF 1SPDFTTJOH · Microsoft PowerPoint - 2017term2-image ch03-part3 Author: Panomkhawn Created Date: 2/4/2018 8:32:30 PM

พื้นที่ที่จะพิจารณา

• Flat segment (สวนราบ)

• Step (ขั้นบันได)

• Ramp (ลาดเอียง)

Page 26: %JHJUBM *NBHF 1SPDFTTJOH · Microsoft PowerPoint - 2017term2-image ch03-part3 Author: Panomkhawn Created Date: 2/4/2018 8:32:30 PM

(Figure from Rafael C. Gonzalez and Richard E. Wood, Digital Image Processing, 3rd Edition.

Page 27: %JHJUBM *NBHF 1SPDFTTJOH · Microsoft PowerPoint - 2017term2-image ch03-part3 Author: Panomkhawn Created Date: 2/4/2018 8:32:30 PM

การใช second-order derivatives

• สําหรับฟงกชันสองมิติ เขียนสมการ second-order

derivatives หรือ Laplacian ไดเปน

Page 28: %JHJUBM *NBHF 1SPDFTTJOH · Microsoft PowerPoint - 2017term2-image ch03-part3 Author: Panomkhawn Created Date: 2/4/2018 8:32:30 PM

Discrete form of Laplacian

เขยีนใน x-direction และ y-direction

จะได

Page 29: %JHJUBM *NBHF 1SPDFTTJOH · Microsoft PowerPoint - 2017term2-image ch03-part3 Author: Panomkhawn Created Date: 2/4/2018 8:32:30 PM

เขียนเปน Laplacian mask

Page 30: %JHJUBM *NBHF 1SPDFTTJOH · Microsoft PowerPoint - 2017term2-image ch03-part3 Author: Panomkhawn Created Date: 2/4/2018 8:32:30 PM

Laplacian mask แบบตาง ๆ

(Figure from Rafael C. Gonzalez and Richard E.

Wood, Digital Image Processing, 3rd Edition.

Page 31: %JHJUBM *NBHF 1SPDFTTJOH · Microsoft PowerPoint - 2017term2-image ch03-part3 Author: Panomkhawn Created Date: 2/4/2018 8:32:30 PM

การทําใหภาพมคีวามคมชดัขึ้น

• ใช ลบ เม่ือคาสัมประสิทธิ์ที่ตําแหนงศูนยกลางของ

Laplacian mask เปน ลบ

• ใช บวก เมื่อคาสัมประสิทธิ์ที่ตําแหนงศนูยกลางของ

Laplacian mask เปน บวก

Page 32: %JHJUBM *NBHF 1SPDFTTJOH · Microsoft PowerPoint - 2017term2-image ch03-part3 Author: Panomkhawn Created Date: 2/4/2018 8:32:30 PM

Example of applying Laplacian with images

https://mipav.cit.nih.gov/pubwiki/index.php/Filters_(Spatial)_Laplacian

http://aishack.in/tutorials/sobel-laplacian-edge-detectors/

Page 33: %JHJUBM *NBHF 1SPDFTTJOH · Microsoft PowerPoint - 2017term2-image ch03-part3 Author: Panomkhawn Created Date: 2/4/2018 8:32:30 PM

(Figure from Rafael C. Gonzalez and Richard E. Wood, Digital Image Processing, 3rd Edition.

Page 34: %JHJUBM *NBHF 1SPDFTTJOH · Microsoft PowerPoint - 2017term2-image ch03-part3 Author: Panomkhawn Created Date: 2/4/2018 8:32:30 PM

Unsharp Masking

and Highboost Filtering

Unsharp Masking คือกระบวนการสราง mask จากการนํา

unsharped (smoothed) version ของ image มาลบกับ original

image

ในการใชงานประกอบดวยข้ันตอนดังตอไปนี้

ทําให original image เบลอ

ลบ blurred image กับ original image (เรียกวา mask)

บวก mask กับ original image

Page 35: %JHJUBM *NBHF 1SPDFTTJOH · Microsoft PowerPoint - 2017term2-image ch03-part3 Author: Panomkhawn Created Date: 2/4/2018 8:32:30 PM

กําหนดให คอื blurred image

กระบวนการ unsharp masking แสดงไดดวยสมการ

บวก mask ที่ถูกเพ่ิมคาน้ําหนกั (k โดยที่ k มีคามากกวาหรือ

เทากับ 0) แลวกับ original image

จะได

unsharp masking จะกําหนดใหคา k = 1

),(),(),( yxfyxfyxgmask

),( yxf

),(*),(),( yxgkyxfyxg mask

Page 36: %JHJUBM *NBHF 1SPDFTTJOH · Microsoft PowerPoint - 2017term2-image ch03-part3 Author: Panomkhawn Created Date: 2/4/2018 8:32:30 PM

เม่ือคา k มากกวา 1 จะเรียกวา “highboost filtering”

(Figure from Rafael C. Gonzalez and Richard E.

Wood, Digital Image Processing, 3rd Edition.

Page 37: %JHJUBM *NBHF 1SPDFTTJOH · Microsoft PowerPoint - 2017term2-image ch03-part3 Author: Panomkhawn Created Date: 2/4/2018 8:32:30 PM

(Figure from Rafael C. Gonzalez and Richard E.

Wood, Digital Image Processing, 3rd Edition.

(e) ใช k=4.5

ซ่ึงเปนคาสูงสุดท่ี

เปนไปไดท่ีทําให

ทุกคายังคงเปนบวก

Page 38: %JHJUBM *NBHF 1SPDFTTJOH · Microsoft PowerPoint - 2017term2-image ch03-part3 Author: Panomkhawn Created Date: 2/4/2018 8:32:30 PM

Unprocessed, slight unsharpmasking,

then strong

unsharpmasking.

https://en.wikipedia.org/wiki/Acutance

Page 39: %JHJUBM *NBHF 1SPDFTTJOH · Microsoft PowerPoint - 2017term2-image ch03-part3 Author: Panomkhawn Created Date: 2/4/2018 8:32:30 PM

Source image (top), sharpened

image (middle),

highly sharpened

image (bottom)

https://en.wikipedia.org/wiki/Unsharp_masking

Page 40: %JHJUBM *NBHF 1SPDFTTJOH · Microsoft PowerPoint - 2017term2-image ch03-part3 Author: Panomkhawn Created Date: 2/4/2018 8:32:30 PM

การใช first-order derivatives

(The Gradient)• สําหรับฟงกชันสองมิติ เขียนสมการ gradient อยูในรูปแบบของ

vector ไดเปน

เขียนสมการ first-order derivatives หรือ ขนาดของ gradient ไดเปน

y

fx

f

g

gfgradf

y

x)(

22)(),( yx ggfmagyxM

Page 41: %JHJUBM *NBHF 1SPDFTTJOH · Microsoft PowerPoint - 2017term2-image ch03-part3 Author: Panomkhawn Created Date: 2/4/2018 8:32:30 PM

• เพ่ือใหงายตอการคํานวณ จะใช absolute แทน

สมมติให image มีพ้ืนที่ขนาด 3x3 ม ีgray level เปนคา Z1-9

||||,( yx ggyxM

(Figure from Rafael C. Gonzalez and Richard E.

Wood, Digital Image Processing, 3rd Edition.

Page 42: %JHJUBM *NBHF 1SPDFTTJOH · Microsoft PowerPoint - 2017term2-image ch03-part3 Author: Panomkhawn Created Date: 2/4/2018 8:32:30 PM

• ให Z5 เปน center แทนดวย f(x,y)

• เรียกวา “Robert cross-gradient operators”

)()( 6859 zzgandzzg yx

||||),( 6859 zzzzyxM

Page 43: %JHJUBM *NBHF 1SPDFTTJOH · Microsoft PowerPoint - 2017term2-image ch03-part3 Author: Panomkhawn Created Date: 2/4/2018 8:32:30 PM

• อาจจะกําหนดเปน

เรียกวา “Sobel operators”

)2()2(

)2()2(

741963

321987

zzzzzzg

and

zzzzzzg

y

x

|)2()2(|

|)2()2(|),(

741963

321987

zzzzzz

zzzzzzyxM

Page 44: %JHJUBM *NBHF 1SPDFTTJOH · Microsoft PowerPoint - 2017term2-image ch03-part3 Author: Panomkhawn Created Date: 2/4/2018 8:32:30 PM

“Robert cross-gradient

operators”

“Sobel operators”

(Figure from Rafael C. Gonzalez and Richard E.

Wood, Digital Image Processing, 3rd Edition.

Page 45: %JHJUBM *NBHF 1SPDFTTJOH · Microsoft PowerPoint - 2017term2-image ch03-part3 Author: Panomkhawn Created Date: 2/4/2018 8:32:30 PM

ตัวอยาง การใช sobel operators

(Figure from Rafael C. Gonzalez and Richard E.

Wood, Digital Image Processing, 3rd Edition.

Page 46: %JHJUBM *NBHF 1SPDFTTJOH · Microsoft PowerPoint - 2017term2-image ch03-part3 Author: Panomkhawn Created Date: 2/4/2018 8:32:30 PM

Example

http://www.code2learn.com/2011/02/edge-detection-of-image-

using-matlab.html

Page 47: %JHJUBM *NBHF 1SPDFTTJOH · Microsoft PowerPoint - 2017term2-image ch03-part3 Author: Panomkhawn Created Date: 2/4/2018 8:32:30 PM

https://www.researchgate.net/publication/236125496_Image_processing_and_recognition_for_biological_images/figures?lo=1