آموزش تناظر یابی در تصاویر دیجیتال با استفاده از...

:مدرسقصابیدکتر زینب

هوش مصنوعی-کامپیوترمهندسی دکترای فارغ التحصیل و تحقیقات تهراندانشگاه علوم

تناظر یابی در تصاویر دیجیتال با استفاده از ویژگی های محلی

1

لتناظریابی در تصاویر دیجیتا

faradars.org/fvimg9402

فرادرس

FaraDars.org

http://cipcv.ir 2

فرادرس

FaraDars.org

http://cipcv.ir/

• Book:

• Courses:

– CS395T: Visual Recognition, Fall 2012

– CS 376: Computer Vision, Spring 2011

• Keywords:

– detection and description of local

invariant features; matching local features,

– dealing with outliers in

correspondences, RANSAC and the Generalized Hough transform; Hough

voting; Generalized distance transform;

3

فرادرس

FaraDars.org

فهرست مطالب

چرا ویژگی های محلی•

Harrisو Moravecگوشه یاب •

Harris-Laplasمنطقه یاب •

SIFTویژگی محلی •

منطقه یاب ها•

حذف تطابق های اشتباه•

4



فرادرس

FaraDars.org

اعوجاجات روشنایی و هندسی

Projective

5

Scale IlluminationRotationAffine



فرادرس

FaraDars.org

بینایی کامپیوتر

• Object Recognition

• Image Retrieval

• Image Categorization

• Image Registration

• ……

؟(Local Features)چرا ویژگی های محلی

6



فرادرس

FaraDars.org

بینایی کامپیوترImage Categorization

Training Labels

Training Images

Classifier

Training

Training

Image Features

Image Features

Testing

Test Image

Trained

Classifier

Trained

Classifier Outdoor

Prediction

7



فرادرس

FaraDars.org

آیا عکس ورودی آشپزخانه است؟•


8



فرادرس

FaraDars.org


Training Labels

Training Images

Classifier Training

Image Features

Trained Classifie

r

9



فرادرس

FaraDars.org

Classifiers

• SVM

• Neural networks

• Naïve Bayes

• Bayesian network

• Logistic regression

• Randomized Forests

• Boosted Decision Trees

• K-nearest neighbor

• RBMs

• Etc.

x x

xx

x

x

x

x

oo

o

o

o

x2

x1

کدام یک بهتر است؟

10



فرادرس

FaraDars.org


نمود؟representتوان تصویر یا اشیاء و یا مدل را چگونه می

Training Labels

Training Images

Classifier

Training

Training

Image FeaturesTrained

Classifier

11



فرادرس

FaraDars.org

(pattern recognition)باز نمایش الگو

12



فرادرس

FaraDars.org

(object Representation)نمایش اشیاء باز

Signatures

13



فرادرس

FaraDars.org

(object Representation)نمایش اشیاء باز Signatures

14



فرادرس

FaraDars.org

(Representation)باز نمایش

(Global)جهانی •

.همگی هیستوگرام یکسانی دارند

ی جهانی نسبت به اعوجاجات هندسی، روشنایویژگی های .نیستند( Robust)و موانع پایدار

15



فرادرس

FaraDars.org

• Examples of descriptors


16



فرادرس

FaraDars.org


17



فرادرس

FaraDars.org

مشکالت

18



فرادرس

FaraDars.org

مشکالت

Scale View

Lighting Occlusion19



فرادرس

FaraDars.org

(local invariant features)ویژگی های محلی

20



فرادرس

FaraDars.org


(Local)محلی •

.

: های محلیویژگی ( Feature Detection)استخراج •(Feature Description)توصیف •(Feature Matching)تطابق•

21



فرادرس

FaraDars.org

انطباق ویژگیهدف از (feature matching)

درمثال . ، یک مسئله بنیادی استکاربرد های بینایی کامپیوتر انطباق ویژگی در بسیاری از •

–Image Registration and Mosiacking

–Object Recognition

–image retrieval

–object tracking

.برد داردکار دیگری و موارد

Invariant Local Features 22



فرادرس

FaraDars.org

بازشناسی اشیاء

23



فرادرس

FaraDars.org

بازیابی تصویر

24



فرادرس

FaraDars.org

Image Registration

25



فرادرس

FaraDars.org

Mosaicsim

age fro

m S. Se

itz

26



فرادرس

FaraDars.org

ساختن تصاویر پانورما

27



فرادرس

FaraDars.org

Compositeساختن تصاویر

28



فرادرس

FaraDars.org

مشکالت

(Invariance)استخراج مستقل نقاط•

(Distictiveness)استخراج نقاط متمایز •

!شانسی برای تطابق وجود ندارد

تحت اعوجاجات نقاط باید مختلف روشنایی و هندسی

.باشندتکرار پذیر

?نقاط باید توسط توصیفگر های متمایز

.توصیف شوند

29



فرادرس

FaraDars.org








30



فرادرس

FaraDars.org

انواع گوشه یا بها

morphologyروش های مبتنی بر عملیات •

روش های یادگیری ماشین•

(derivative-based approaches)روش های مبتنی بر مشتق•

•......

31



فرادرس

FaraDars.org

گوشه یاب ها

. پیکسلی گوشه است که تغییرات شدید روشنایی در هر جهتی که از پیکسل حرکت کنیم، داشته باشیم: ایده32



فرادرس

FaraDars.org


Moravec(1980)گوشه یاب •

flat33



فرادرس

FaraDars.org



flat34



فرادرس

FaraDars.org



flat edge35



فرادرس

FaraDars.org



flat edge corner36



فرادرس

FaraDars.org



W

2

,

( , ) ( , ) ( , ) ( , )x y

E u v w x y I x u y v I x y

IntensityShifted intensity

Window function

Four Shifts: (u,v) = (1,0), (1,1), (0,1), (-1, 1)

E

uv

37



فرادرس

FaraDars.org


Moravec(1980)مشکالت گوشه یاب •نویزی بودن پاسخ بدلیل استفاده از پنجره دودویی، –درجه از هم45 های محدود با فاصله شیفت های در نظر گرفتن تعداد –

Eدر نظر گرفتن مینیمم مقدار –

.نباشد1.5تر از صورتیکه نسبت تفاوت مقیاس بین تصاویر بیشیاب ها در تکرارپذیری و تمایز در بین گوشه دارای باالترین •

Harrisگوشه یاب

38



فرادرس

FaraDars.org




.نباشد1.5تر از صورتیکه نسبت تفاوت مقیاس بین تصاویر بیشیاب ها در تکرارپذیری و تمایز در بین گوشه دارای باالترین •


39



فرادرس

FaraDars.org




در نظر گرفتن شیفت در هر جهت با بسط سری تیلور–Harrisگوشه یاب

،

( , ) ,u

E u v u v Mv

2

2,

( , )x x y

x y x y y

I I IM w x y

I I I

40



فرادرس

FaraDars.org





( , ) ,u

E u v u v Mv

2

2,

( , )x x y

x y x y y

I I IM w x y

I I I

41



فرادرس

FaraDars.org





( , ) ,u

E u v u v Mv

Mبررسی مقادیر ماتریس : Wتغییرات روشنایی در پنجره

1, 2 – eigenvalues of M

direction of the

slowest change

direction of the fastest change

(max)-1/2

(min)-1/2

Ellipse E(u,v) = const



فرادرس

FaraDars.org

1, 2 – eigenvalues of M

T

yyyx

yxxxXX

IIII

IIIIyxwM

2

1

0

0),(

x

II x

y

II y

y

I

x

III yx

Notation:

iii xMx

43



فرادرس

FaraDars.org

Visualize quadratic functions

10

01M

44



فرادرس

FaraDars.org

Visualize quadratic functions

10

04M

45



فرادرس

FaraDars.org

Selecting Good Features

1, 2 are large46



فرادرس

FaraDars.org


large 1, small 247



فرادرس

FaraDars.org


small 1, small 2 48



فرادرس

FaraDars.org

1

2

Corner1 and 2 are large,1 ~ 2;

E increases in all directions

1 and 2 are small;E is almost constant in all directions

edge 1 >> 2

edge 2 >> 1

flat

با تقسیم بندی نقاط تصویراستفا ده از مقادیر ویژه

Mماتریس



فرادرس

FaraDars.org




معیار گوشه یاب جدید–Harrisگوشه یاب

2

det traceR M k M 1 2

1 2

det

trace

M

M

(k – empirical constant, k = 0.04-0.06)

50



فرادرس

FaraDars.org

1

2

“Corner”

“Edge”

“Edge”

“Flat”

• R depends only on eigenvalues of M

• R is large for a corner

• R is negative with large magnitude for an edge

• |R| is small for a flat regionR > 0

R < 0

R < 0|R| small

51



فرادرس

FaraDars.org


52



فرادرس

FaraDars.org

Pseudo code

53



فرادرس

FaraDars.org

54

فرادرس

FaraDars.org

MATLAB Implementation

55

فرادرس

FaraDars.org


56

فرادرس

FaraDars.org


57

فرادرس

FaraDars.org

Harris corner detector (input)

58



فرادرس

FaraDars.org

Corner response R

59



فرادرس

FaraDars.org

Threshold on R

60



فرادرس

FaraDars.org

Local maximum of R

61



فرادرس

FaraDars.org

Harris corner detector

62



فرادرس

FaraDars.org

The Hessian Detector

.جا هایی از تصویر که مقدار مشتق در دو جهت زیاد است•.بر اساس ماتریس مشتقات دوم است که هسیان نامیده می شود•

. چون مشتق ها نسبت به نویز حساس هستند، مشتق ها با گوسین نرم تر می شوند•

[Beaudet, 1978]

63



فرادرس

FaraDars.org

sigma=2; thresh=0.1; sze=11; disp=0;

% Derivative masks

dy = [-1 0 1; -1 0 1; -1 0 1]; dx = dy'; %dx is the transpose matrix of dy

% Ix and Iy are the horizontal and vertical edges of image

Ix = conv2(bw, dx, 'same'); Iy = conv2(bw, dy, 'same');

% Calculating the gradient of the image Ix and Iy

g = fspecial('gaussian',max(1,fix(6*sigma)), sigma);

Ix2 = conv2(Ix.^2, g, 'same'); % Smoothed squared image derivatives

Iy2 = conv2(Iy.^2, g, 'same'); Ixy = conv2(Ix.*Iy, g, 'same');

% My preferred measure

cornerness = (Ix2.*Iy2 - Ixy.^2)./(Ix2 + Iy2 + eps);

% We should perform nonmaximal suppression and threshold

mx = ordfilt2(cornerness,sze^2,ones(sze)); % Grey-scale dilate

cornerness = (cornerness==mx)&(cornerness>thresh); % Find maxima

[rws,cols] = find(cornerness); % Find row,col coords.

clf ; imshow(bw); hold on;

p=[cols rws]; plot(p(:,1),p(:,2),'or'); title('\bf Harris Corners')

MATLAB:کد

64

فرادرس

FaraDars.org

Another view

65



فرادرس

FaraDars.org

Another view

66



فرادرس

FaraDars.org

Another view

67



فرادرس

FaraDars.org

مقایسه گوشه یاب ها

Hessian detector Harris detector

[Tuytelaars and Mikolajczyk, 2007]

68



فرادرس

FaraDars.org


میزان پایداری دقت یک روش در برابر مشکالت فرآیند تناظر یابی : robustnessمعیار استحکام یا •

: Harrisو یژگی های گوشه یاب•.استنسبت به تغییرات روشنایی پایدار –

.پایدار است( Rotation)چرخش نسبت به –.پایدار نیست( Scale)نسبت به تغییرات مقیاس –

69



فرادرس

FaraDars.org



• Partial invariance to affine intensity change

Only derivatives are used => invariance to intensity shift I I + b

Intensity scale: I a I

R

x (image coordinate)

threshold

R

x (image coordinate)70



فرادرس

FaraDars.org



Image matching of satellite data based on quadrilateral control networks, A Sedaghat, H

Ebadi, M Mokhtarzade, The Photogrammetric Record 27 (140), 423-442

71



فرادرس

FaraDars.org

http://scholar.google.com/citations?view_op=view_citation&hl=en&user=mE0B3FMAAAAJ&citation_for_view=mE0B3FMAAAAJ:u-x6o8ySG0sC


: Harrisو یژگی های گوشه یاب•.استنسبت به تغییرات روشنایی پایدار –.پایدار است( Rotation)چرخش نسبت به –

Rotation invariance?

Ellipse rotates but its shape (i.e. eigenvalues) remains the same

Corner response R is invariant to image rotation72



فرادرس

FaraDars.org


73



فرادرس

FaraDars.org

Harrisیابگوشه

Repeatability rate:

# correspondences

# possible correspondences

74



فرادرس

FaraDars.org



.پایدار است( Rotation)چرخش نسبت به –.پایدار نیست( Scale)نسبت به تغییرات مقیاس –

All points will be classified as edges Corner !

But: non-invariant to image scale!

75



فرادرس

FaraDars.org

Repeatability rate:

# correspondences# possible correspondences

C.Schmid et.al. “Evaluation of Interest Point Detectors”. IJCV 2000

Harrisیابگوشه

76



فرادرس

FaraDars.org

ارزیابی گوشه یاب ها

Two Criterions

Repeatability rate:

# correspondences

# possible correspondences

Information content:

Measure of the distinctiveness of

an interest point by using entropy.

Five Detectors

Harris

(or impHarris)Cottier

Horaud

HeitgerForstner

77



فرادرس

FaraDars.org

تکرارپذیری

Rotation change Scale change

Rotation: ImpHarrisScaling: ImpHarris and Cottier

78



فرادرس

FaraDars.org

تکرارپذیری

Illumination change Viewing angle change

Illumination: ImpHarris and HeitgerViewing angle: ImpHarris

79



فرادرس

FaraDars.org

محتوای اطالعاتی

80



فرادرس

FaraDars.org

استخراج نقاط مستقل از مقیاسScale Invariant Detection

81



فرادرس

FaraDars.org


82



فرادرس

FaraDars.org

هیای ه حتیی بیا انیداز)برای مناطق متناظر یعنی شکل آن . که در منطقه مورد نظر مستقل از مقیاس باشدfطراحی تابع : راه حل•.باشدیکسان ( متفاوت

مقدار متوسط روشنایی: مثال–

•fرا برای هر نقطه تابعی از اندازه منطقه در نظر می گیریم .


f

region size

Image 1 f

region size

Image 2scale = ?

83



فرادرس

FaraDars.org

•fرا برای هر نقطه تابعی از اندازه منطقه در نظر می گیریم.

.، مقیاس مورد نظر برای نقطه مورد نظر هستfماکزیمم محلی تابع •

•scale factor :نسبت مقیاسها در نقاط محلی


scale = 1/2

f

region size/scale

Image 1 f

region size/scale

Image 2

s1 s2

Max. is called characteristic scale

84



فرادرس

FaraDars.org

Automatic Scale Selection

)),(( )),((11

xIfxIfmm iiii

های متناظر را پیدا کرد؟patchچگونه می توان

85



فرادرس

FaraDars.org

)),((1

xIfmii

)),((1

xIfmii


86



فرادرس

FaraDars.org

)),((1

xIfmii

)),((1

xIfmii


87



فرادرس

FaraDars.org

)),((1

xIfmii

)),((1

xIfmii


88



فرادرس

FaraDars.org

)),((1

xIfmii

)),((1

xIfmii


89



فرادرس

FaraDars.org

)),((1

xIfmii

)),((1

xIfmii


90



فرادرس

FaraDars.org

)),((1

xIfmii

)),((1

xIfmii


91



فرادرس

FaraDars.org

.یک تابع خوب برای انتخاب مقیاس دارای یک قله تیز است•

.پاسخ داشته باشد( تغییرات محلی روشنایی)مثال یک تابع خوب تابعی است که نسبت به کنتراست •

• Laplacian-of-Gaussian (LoG)

• Difference of Gaussian (DOG)


f

region size

bad

f

region size

bad

f

region size

Good !

92



فرادرس

FaraDars.org

Edge detection

gdx

df

f

gdx

d

Edge

Derivative

of Gaussian

Edge = maximum

of derivative

93



فرادرس

FaraDars.org

gdx

df

2

2

f

gdx

d2

2

Edge

Second derivativeof Gaussian (Laplacian)

Edge = zero crossingof second derivative

Edge detection

94



فرادرس

FaraDars.org

blobاز لبه تا

maximum

.شده استmatchدر اینجا blobدرواقع مقیاس الپالسین با مقیاس . ماکزیمم می شودblobمقدار الپالسین، در مرکز

• Edge = ripple• Blob = superposition of two ripples

95



فرادرس

FaraDars.org

Blob detection in 2D

2

2

2

22

y

g

x

gg

r

image

Scale Selection

Laplacian

96



فرادرس

FaraDars.org

Laplacian-of-Gaussian = “blob” detector

2

2

2

22

y

g

x

gg

filter

scale

s

img2 img3img1 97



فرادرس

FaraDars.org


characteristic scale98



فرادرس

FaraDars.org


99



فرادرس

FaraDars.org

Example

Original image at ¾ the size

100



فرادرس

FaraDars.org

101



فرادرس

FaraDars.org

102



فرادرس

FaraDars.org

103



فرادرس

FaraDars.org

104



فرادرس

FaraDars.org

105



فرادرس

FaraDars.org

106



فرادرس

FaraDars.org

)()( yyxx LL

1

2

3

4

5

List of

(x, y, σ)

scale

Squared filter

response maps

نقاط هم در مکان و هم در مقیاس .دارای ماکزیمم مقدار هستند

استخراج نقاط مستقل از مقیاسScale-invariant interest points

107

فرادرس

FaraDars.org

108

فرادرس

FaraDars.org

109

فرادرس

FaraDars.org

“Blob” detector

* =

maximum

minima

• Find maxima and minima of LoG operator in space and scale110



فرادرس

FaraDars.org

Scale-space blob detector

111



فرادرس

FaraDars.org

DoGتقریبی از الپالسین هست.

2 ( , , ) ( , , )xx yyL G x y G x y

2 2

21 2

2( , , )

x y

G x y e

( , , ) ( , , )DoG G x y k G x y

(Laplacian)

(Difference of Gaussians)

112

فرادرس

FaraDars.org


• Harris-LaplacianFind local maximum of:

– Harris corner detector in space (image coordinates)

– Laplacian in scale

scale

x

y

Harris

La

pla

cian

• SIFT (Lowe)Find local maximum of:

– Difference of Gaussians in space and scale

scale

x

y

DoG

D

oG



فرادرس

FaraDars.org








114



فرادرس

FaraDars.org

)()( yyxx LL

2

3

4

5

List of(x, y, s)

Computing Harris function

Detecting

local maxima

• Local maxima in scale space

of Laplacian-of-Gaussian

Laplacian-of-Gaussian (LoG)for Harris-Laplace

Two Parts:

• Multiscale-Harris detector

• Characteristic scale

identification[Lindeberg, 1998]115



فرادرس

FaraDars.org

Harris-Laplace

Multiscale: بخش اول Harris-detector

انتخاب مقیاس با استفاده از الپالسین: بخش دوم

116

Harris points

Harris-Laplace points



فرادرس

FaraDars.org

Harris-Laplace

Multiscale: بخش اول Harris-detector

117

The sets of scales:



فرادرس

FaraDars.org

Harris-Laplace

الپالسینانتخاب مقیاس با استفاده از : بخش دوم

• Choose the scale that maximizes the Laplacian-of-Gaussians (LoG) over a predefined range of neighboring scales.

118



فرادرس

FaraDars.org

Matlab Code

• test.m

• kp_harris.m

• kp_harrislaplace.m

.برای عکس های مختلف اجرا کنید و نتایج بدست آمده را تحلیل کنید•

119



فرادرس

FaraDars.org

Harris-Laplace detector

120



فرادرس

FaraDars.org

Hessian-Laplace detector

121



فرادرس

FaraDars.org


• Harris-LaplacianFind local maximum of:

– Harris corner detector in space (image coordinates)

– Laplacian in scale

scale

x

y

Harris

La

pla

cian

• SIFT (Lowe)Find local maximum of:

– Difference of Gaussians in space and scale

scale

x

y

DoG

D

oG

فرادرس

FaraDars.org

Difference-of-Gaussian (DoG)

Convolution with the DoG filter:

- =

• Difference of Gaussians as approximation of the Laplacian-of-Gaussian

123



فرادرس

FaraDars.org








124



فرادرس

FaraDars.org

SIFTمعرفی الگوریتم

استخراج ویژگیها•استخراج اکسترممهای مستقل از مقیاس–بهبود دقت مکان اکسترممها و حذف اکسترممهای ناپایدار–تخصیص جهت به اکسترممها–

توصیف ویژگیها•

تطبیق ویژگیها•

e.g. scale,

translation, rotation



فرادرس

FaraDars.org


استخراج ویژگیها•استخراج اکسترمم های مستقل از مقیاس–بهبود دقت مکان اکسترممها و حذف اکسترمم های ناپایدار–تخصیص جهت به اکسترممها–



126



فرادرس

FaraDars.org

فرایند استخراج ویژگیها

مستقل از استخراج اکسترمم های •مقیاس

تصاوير گوسي و از ایجاد مجموعه ای -1 DoG(Difference ofتصاوير

Gaussian )اليه هاي منظمي تحت عنوان ر د(Octave)اکتاو

G x, y, 𝜎1

2𝜋𝜎2 𝑒−𝑥2+𝑦2

2𝜎2

L x, y, kσ = G x, y, kσ ∗ I x, y ,

D x, y, σ = L x,y, kσ − L x,y, σ .

)Lowe, 2003(

مستقل از مقیاساستخراج اکسترمم های ( الف ناپایداراکسترمم های دقت مکان اکسترممها و حذف بهبود ( بجهت به اکسترممهاتخصیص ( ج

127



فرادرس

FaraDars.org





)Lowe, 2003(

ه بعد از ایجاد هر اکتاو تصویر گوسی کدو برابر مقیاس اولیه مقیاس آن

می باشد انتخاب شده و ابعاد آن با ان نمونه برداری مجدد، نصف شده و به عنو

رفته تصویر ابتدایی اکتاو بعدی در نظر گ.می شود و فرآیند تکرار می شود

اکسترمم های تابع (Lindeberg, 1988)برابر تحقیقات است، برای DoGتصاویر الپالسین تصویر که تقریبی از

.ویژگی های مستقل از مقیاس مناسب استتعیین


128



فرادرس

FaraDars.org





پیکسل در سطوح میانیهر مقایسه -2پیکسل همسایگی خود و8با DoGتصاویر

باالیی و DoGپیکسل همسایگی تصویر 9پایینی DoGپیکسل همسایگی تصویر 9ذخیره کردن آن در و ( تایی26همسایگی )

ودنب( ماکزیمم یا مینیمم)اکسترمم صورت

)Lowe, 2003(


129



فرادرس

FaraDars.org



)Lowe, 2003(


استخراج شده در این مرحله دارای دو های اکسترمم . مؤلفه مختصات و یک مؤلفه مقیاس هستند

(x,y,S)

130



فرادرس

FaraDars.org

ویژگیهافرایند استخراج

SIFTپارامتر های انتخاب

...تصویر شامل تصاویر صورت، محیط های خارجی و تصاویر هوایی و 32انتخاب •

.تصاویر دارای طیف وسیعی از تبدیالت همانند چرخش و تفاوت مقیاس و تغییرات روشنایی و نویز هستند•

.نقاط کلیدی در هر تصویر انتخاب می شود•

.انتخاب می شوندmatching accuracy، و repeatability ،localizationپارامترها بر اساس سه معیار •

131



فرادرس

FaraDars.org

SIFTانتخاب پارامتر های 3 scales

# of keypoints increases but they are not stable!

132



فرادرس

FaraDars.org

SIFTانتخاب پارامتر های σ =1.6

133



فرادرس

FaraDars.org


اکسترمم های ناپایداردقت مکان اکسترممها و حذف بهبود •

𝑋تایی هر نقطه 26در همسایگی 3D quadraticبرازش یک تابع ( 1 = [𝑥,𝑦,𝛿]𝑇 با بسط سری تیلور تابع𝐷 = (𝑥,𝑦,𝛿)

.، مشتق آن برابر صفر قرار داده می شودتابع فوق که برای تعیین اکسترمم

پس اندازه تابع در موقعیت جدید

و نقاط روی لبه( non-stableنا پایدار یا )پایین حذف نقاط با کنتراست ( 2


2

2

2

1)(

DDDD T

T

02

2

DDT

DD

x 1

2

2

)(

TDXDD )()( 0

|𝐷( 𝑋)| < 𝑇𝑐 , Tc = 0.03

H =Dxx Dxy

Dxy Dyy, Tr = 10 Tr(H)2

Det(H)≥

Tr + 1 2

Tr 134



فرادرس

FaraDars.org

(a) 233x189 image

(b) 832 DoG extrema

(c) 729 left after low contrast threshold

(d) 536 left after

testing ratio

based on Hessian

135

فرادرس

FaraDars.org

ها بر اساس تغییرات مقیاسdetectorارزیابی

Repeatability rate:

# correspondences# possible correspondences

136



فرادرس

FaraDars.org





𝐹𝑒𝑎𝑡𝑢𝑟𝑒𝑖 = 𝑥𝑖 , 𝑦𝑖 , 𝜃𝑖, 𝛿𝑖

137



فرادرس

FaraDars.org


دورانتخصیص جهت به نقاط اکسترمم به منظور استخراج توصیفگرهای مستقل از دوران برای انجام تطبیق مستقل از•

شده استدر نظر گرفتن پنجره دایره ای شکل در اطراف هر نقطه اکسترمم در تصویر گوسینی که نقطه در آن مقیاس استخراج( 1

بدست آوردن مقادیر و جهت گرادیان برای پیکسلهای آن دایره( 2وزن دهی مقادیر گرادیانها( 3

در هیستوگرام بعنوان جهت اصلیbinهیستوگرام جهت و بهبود آن و انتخاب بیشترین ( 4

اکسترممهای مستقل از مقیاساستخراج ( الف دقت مکان اکسترممها و حذف اکسترممهای ناپایداربهبود ( بجهت به اکسترممهاتخصیص ( ج



فرادرس

FaraDars.org


دورانتخصیص جهت به نقاط اکسترمم به منظور استخراج توصیفگر های مستقل از دوران برای انجام تطبیق مستقل از•



139



فرادرس

FaraDars.org




آن دایرهپیکسل های بدست آوردن مقادیر و جهت گرادیان برای ( 2


نمونه تصویر گوسی

مقدار گرادیان

جهت گرادیان

𝑚 𝑥,𝑦 = 𝐿 𝑥 + 1 , 𝑦 − 𝐿(𝑥 − 1, 𝑦))2 + (𝐿 𝑥,𝑦 + 1 − 𝐿 𝑥, 𝑦 − 1 )2

𝜃 𝑥,𝑦 = tan−1(𝐿 𝑥,𝑦 + 1 − 𝐿 𝑥, 𝑦 − 1

𝐿 𝑥 + 1,𝑦 − 𝐿 𝑥 − 1, 𝑦)

140



فرادرس

FaraDars.org




بدست آوردن مقادیر و جهت گرادیان برای پیکسل های آن دایره( 2وزن دهی مقادیر گرادیانها( 3


نمونه تصویر گوسی

مقدار گرادیان

جهت گرادیانوزن دهی با گوسینی

که یک و نیم برابر .مقیاس نقطه است

مقادیر گرادیان وزن دهی شده

141



فرادرس

FaraDars.org


تخصیص جهت به نقاط اکسترمم به منظور استخراج توصیفگر های مستقل از دوران برای انجام تطبیق مستقل از دوران


بدست آوردن مقادیر و جهت گرادیان برای پیکسل های آن دایره( 2وزن دهی مقادیر گرادیانها( 3

در هیستوگرام بعنوان جهت اصلیbinجهت و بهبود آن و انتخاب بیشترین هیستوگرام ( 4


هیستوگرام جهت

آن% 80جهت ماکزیمم و

142



فرادرس

FaraDars.org






143



فرادرس

FaraDars.org

توصیف ویژگیها

چگونه نقاط متناظر را بیابیم؟•

?

144



فرادرس

FaraDars.org

( )local descriptor


145



فرادرس

FaraDars.org


N pix

els

N pixels

Similarity measureAf

e.g. color

Bf

e.g. color

A1

A2 A3

Tffd BA ),(

146



فرادرس

FaraDars.org


147



فرادرس

FaraDars.org


:توصیفگر باید دارای دو ویژگی باشدمستقل از چرخش و مقیاس( 1پایدار نسبت به تغییرات روشنایی( 2

:SIFTتوصیفگر

در اطراف هر نقطه در تصویر گوسین مربوطه4در4ایجاد یک مربع ( الف

چرخاندن مربع نسبت به جهت اصلی( ب

محاسبه مقادیر و جهت گرادیان برای پیکسلها و وزن دهی مربع( جمحاسبه هیستوگرام جهت در هر سلول مربع و بهبود آن( د

148



فرادرس

FaraDars.org



149



فرادرس

FaraDars.org



چرخاندن مربع نسبت به جهت اصلی( ب

150



فرادرس

FaraDars.org



اصلیچرخاندن مربع نسبت به جهت ( بمحاسبه مقادیر و جهت گرادیان برای پیکسلها و وزن دهی مربع( ج

151



فرادرس

FaraDars.org



اصلیچرخاندن مربع نسبت به جهت ( بمربعمحاسبه مقادیر و جهت گرادیان برای پیکسلها و وزن دهی ( ج

مربع و بهبود آنمحاسبه هیستوگرام جهت در هر سلول ( دبا جهت اصلي معادل گراديان ها جهت دوران

درونیابي سه خطي براي اجتناب از اثرات مرز هاي بین سلولها

152



فرادرس

FaraDars.org



اصلیچرخاندن مربع نسبت به جهت ( بمربعمحاسبه مقادیر و جهت گرادیان برای پیکسلها و وزن دهی ( ج

مربع و بهبود آنمحاسبه هیستوگرام جهت در هر سلول ( د

4*4*16= 128

:پایداری در برابر روشنایی و زاویه دیدنرماالیز سازی اندازه و( 1.در نظر گرفته میشوند و مجددا فرایند نرمال سازی انجام میشود0.2هستند برابر با 0.2مولفه های هیستوگرام که بیشتر از ( 2

153



فرادرس

FaraDars.org


؟8*4*4چرا بستگی توصیفگر به دو پارامتر•

تعداد جهتها–

تعداددآرایه –rn2تعداد ویژگیها

128 features

SIFT: r=8, n=4

154



فرادرس

FaraDars.org


Sensitivity to affine change

Correctely

matched

155



فرادرس

FaraDars.org

توصیف ویژگیهاDistinctiveness

156



فرادرس

FaraDars.org






157



فرادرس

FaraDars.org

تطبیق ویژگیها

فاصله اقلیدسی بین توصیفگرهانها کمتر از این بین همه توصیفگرهای تصویر اول و دوم محاسبه میشود و نقاطی متناظر هستند که فاصله اقلیدسی بین توصیفگرهای آ–

.یعنی نزدیکترین همسایه باشند. فاصله با بقیه توصیفگرها باشد

از (D22)فاصلهدومین کمترین و (D21)پیشنهاد کرد که نسبت میان اولین کمترین فاصله Loweبرای اطمینان بیشتر در تناظر یابی، –کمتر باشد0.8

D21

D22

D23

D11

ratio distance = SSD(D11, D21) / SSD(D11, D22)



فرادرس

FaraDars.org

ویژگیهاتطبیق

؟t=0.8چرا •

159



فرادرس

FaraDars.org


ارزیابی روش تناظر یابی؟•

.انتخاب آستانه در تعداد تطابق های درست و غلط تاثیر می گذارد•

false match

true match

160



فرادرس

FaraDars.org


ارزیابی روش تناظر یابی؟•

false match

true match

True positives (TP):False Positives (FP):

.تعداد تطابق هایی که درست هستند.تعداد تطابق هایی که غلط هستند

انتخاب آستانه ؟TP را بیشینه وFPرا کمینه کند.

161



فرادرس

FaraDars.org

• ROC Curve

- Generated by computing (FP, TP) for

different thresholds.

- Need to maximize area under the

curve (AUC)

0.7

0 1

1

false positive rate

truepositive

rate

# true positives

# matching features (positives)

0.1

# false positives

# unmatched features (negatives)

ROC curve (“Receiver Operator Characteristic”)

162

فرادرس

FaraDars.org

SIFT descriptorمزایای

163

فرادرس

FaraDars.org

NASA Mars Rover images

فرادرس

FaraDars.org

NASA Mars Rover images with SIFT feature matches

Figure by Noah Snavely

فرادرس

FaraDars.org


MATLABhttp://www.robots.ox.ac.uk/~vedaldi/code/sift.htmlبررسی کد •

http://www.vlfeat.org/overview/sift.html

166



فرادرس

FaraDars.org


MATLABبررسی کد •

Functions:

• sift_compile: produce mex files for all functions in C language

• Main programs:– Sift_demo, sift_demo2, sifte_demo3, sift_demo4, sift_demo5, sift_demo6, Sift_overview

167



فرادرس

FaraDars.org


Sift_demo

fprintf('Computing frames and descriptors.\n') ;

[frames1,descr1,gss1,dogss1] = sift( I1, 'Verbosity', 1 ) ;

[frames2,descr2,gss2,dogss2] = sift( I2, 'Verbosity', 1 ) ;

MATLABبررسی کد •

SIFT

gaussianss, diffss, siftlocalmax, siftrefinemx, siftormx, siftdescriptor

168



فرادرس

FaraDars.org

169

فرادرس

FaraDars.org

170

نقاط اکسترمم نقاط با کنتراست پایین

نقاط روی لبه تخصیص جهت



فرادرس

FaraDars.org








171



فرادرس

FaraDars.org

Invariance to Transformations

• Geometric transformations– translation

– rotation

– similarity (rotation + scale change + translation)

– affine (2x2 transformation matrix + translation)

• Photometric transformations– Affine intensity changes (I =a I + b)

172

فرادرس

FaraDars.org

Affine Invariant Regions

173



فرادرس

FaraDars.org

Affine Invariant Regions

174



فرادرس

FaraDars.org

منطقه یاب ها

Hessian & Harris [Beaudet ‘78], [Harris ‘88]Laplacian, DoG [Lindeberg ‘98], [Lowe 1999]Harris-/Hessian-Laplace [Mikolajczyk & Schmid ‘01]Harris-/Hessian-Affine [Mikolajczyk & Schmid ‘04]EBR and IBR [Tuytelaars & Van Gool ‘04] MSER [Matas ‘02]Salient Regions [Kadir & Brady ‘01] Others…

175



فرادرس

FaraDars.org

Harris-Affine detector

176



فرادرس

FaraDars.org

Hessian-Affine detector

177



فرادرس

FaraDars.org

MSER

178



فرادرس

FaraDars.org

EBR Detector

179



فرادرس

FaraDars.org

IBR Detector

180



فرادرس

FaraDars.org

Salient Regions

181



فرادرس

FaraDars.org

و منطقه یاب هامقایسه نقطه یاب ها

Tuytelaars Mikolajczyk 2008182



فرادرس

FaraDars.org

183

فرادرس

FaraDars.org








184



فرادرس

FaraDars.org

Reference image

Second Image

Feature matching

Parameter estimation

Feature detection

Feature descriptor

Feature matching

Initial feature matching

Result of RANSAC removing the exterior points

Retinal image Registration

185

فرادرس

FaraDars.org

روش های حذف تطابق های اشتباه

•Ransac

•Root mean Square error

•Graph transformation matching

http://www.csse.uwa.edu.au/~pk/Research/MatlabFns/

186



فرادرس

FaraDars.org

http://www.csse.uwa.edu.au/~pk/Research/MatlabFns/

Reference image

Second Image

Feature matching

Parameter estimation

Feature detection

Feature descriptor

Feature matching


187

فرادرس

FaraDars.org

• http://cipcv.ir/en/content/medical-image-processing


188



فرادرس

FaraDars.org

SIFTمشکالت

• An efficient approach for robust multimodal retinal image registration based on UR-

SIFT features and PIIFD descriptors, Z Ghassabi, J Shanbehzadeh, A Sedaghat, E Fatemizadeh, EURASIP Journal on Image and Video Processing 2013 (1), 25

• retinal fundus image registration by selecting stable extremum points in the SIFT detector, Z Ghassabi, J Shanbehzadeh, A Mohammadzadeh, SS Ostadzadeh, IET

image processing, 2015

• A struture-based region detector for retinal fundus registration, Z Ghassabi, J Shanbehzadeh, A Mohammadzadeh, IEEE ICIP 2015

189



فرادرس

FaraDars.org

http://scholar.google.com/citations?view_op=view_citation&hl=en&user=dX8rEGIAAAAJ&citation_for_view=dX8rEGIAAAAJ:Tyk-4Ss8FVUC

http://scholar.google.com/citations?view_op=view_citation&hl=en&user=dX8rEGIAAAAJ&citation_for_view=dX8rEGIAAAAJ:_FxGoFyzp5QC

http://scholar.google.com/citations?view_op=view_citation&hl=en&user=dX8rEGIAAAAJ&citation_for_view=dX8rEGIAAAAJ:LkGwnXOMwfcC

منابع

• Chris Harris, Mike Stephens, A Combined Corner and Edge Detector, 4th Alvey Vision Conference, 1988, pp147-151.

• David G. Lowe, Distinctive Image Features from Scale-Invariant Keypoints, International Journal of Computer Vision, 60(2), 2004, pp91-110.

• Yan Ke, Rahul Sukthankar, PCA-SIFT: A More Distinctive Representation for Local Image Descriptors, CVPR 2004.

• Krystian Mikolajczyk, Cordelia Schmid, A performance evaluation of local descriptors, Submitted to PAMI, 2004.

• SIFT Keypoint Detector, David Lowe.

• Matlab SIFT Tutorial, University of Toronto.

• “Local Invariant Feature Detectors: A Survey”, Tinne Tuytelaars and Krystian Mikolajczyk, Computer Graphics and Vision, Vol. 3, No. 3 (2007) 177–280

• http://en.wikipedia.org/wiki/Scale-invariant_feature_transform

• http://www.mathworks.com/help/vision/ref/detectharrisfeatures.html

190



فرادرس

FaraDars.org

http://www.csie.ntu.edu.tw/~cyy/courses/vfx/papers/Harris1988ACC.pdf

http://www.csie.ntu.edu.tw/~cyy/courses/vfx/papers/Lowe2004DIF.pdf

http://www.csie.ntu.edu.tw/~cyy/courses/vfx/papers/Ke2004PSM.pdf

http://www.csie.ntu.edu.tw/~cyy/courses/vfx/papers/Mikolajczyk2004APE.pdf

http://www.cs.ubc.ca/~lowe/keypoints/

ftp://ftp.cs.utoronto.ca/pub/jepson/teaching/vision/2503/SIFTtutorial.tar.gz

http://en.wikipedia.org/wiki/Scale-invariant_feature_transform

http://www.mathworks.com/help/vision/ref/detectharrisfeatures.html

• http://www.morganclaypool.com/doi/abs/10.2200/S00332ED1V01Y201103AIM011

• http://www.cs.utexas.edu/~grauman/

• http://www.cs.utexas.edu/~cv-fall2012/schedule.html

• http://www.cs.utexas.edu/~grauman/courses/spring2011/index.html

منابع

191



فرادرس

FaraDars.org

http://www.morganclaypool.com/doi/abs/10.2200/S00332ED1V01Y201103AIM011

http://www.cs.utexas.edu/~grauman/

http://www.cs.utexas.edu/~cv-fall2012/schedule.html

http://www.cs.utexas.edu/~grauman/courses/spring2011/index.html

این اسالید ها بر مبنای نکات مطرح شده در فرادرس« در تصاویر دیجیتال با استفاده از ویژگیهای محلیتناظریابی آموزش »

.تهیه شده است

.برای کسب اطالعات بیشتر در مورد این آموزش به لینک زیر مراجعه نمایید


192



فرادرس

FaraDars.org

http://faradars.org/fvimg9402

آموزش تناظر یابی در تصاویر دیجیتال با استفاده از...

Education