specific object recognition using sift
DESCRIPTION
Machine Vision and Image Processing Group (Student Group) Electronic Research Center of Iran University of Science and Technology http://mvip.iust.ac.ir. Specific Object Recognition using SIFT. Presentation by: Amir Azizi. گروه بینایی ماشین و پردازش تصویر. آبان 1389 November 2010. - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: Specific Object Recognition using SIFT](https://reader033.vdocuments.mx/reader033/viewer/2022061604/568161ab550346895dd1686c/html5/thumbnails/1.jpg)
Specific Object Recognition using SIFT
گروه بینایی ماشین و پردازش
تصویرMachine Vision and Image Processing Group (Student Group)Electronic Research Center of Iran University of Science and Technology
http://mvip.iust.ac.ir
Presentation by:
Amir Azizi
1389آبان November 2010
![Page 2: Specific Object Recognition using SIFT](https://reader033.vdocuments.mx/reader033/viewer/2022061604/568161ab550346895dd1686c/html5/thumbnails/2.jpg)
Introduction
Example for specific object recognition:Search photos on web for the particular places
j. sivic
![Page 10: Specific Object Recognition using SIFT](https://reader033.vdocuments.mx/reader033/viewer/2022061604/568161ab550346895dd1686c/html5/thumbnails/10.jpg)
Local FeaturesNew
Dataset
☺Corners☺Blobs
Local Features (Interest points or key points):
Some of applications:- Specific object recognition- Tracking- Image registration- Camera calibration- ….
![Page 11: Specific Object Recognition using SIFT](https://reader033.vdocuments.mx/reader033/viewer/2022061604/568161ab550346895dd1686c/html5/thumbnails/11.jpg)
Local Features
Desired Properties of local features:* Repeatability
- The same feature can be found in several images despite geometric and photometric transformation
* Distinctiveness- Each feature has a distinctive description
* Locality- A feature occupies a relatively small area of the image; robust to clutter and occlusion
* Quantity- Number of features
* Efficiency- Applications that need to speed
![Page 12: Specific Object Recognition using SIFT](https://reader033.vdocuments.mx/reader033/viewer/2022061604/568161ab550346895dd1686c/html5/thumbnails/12.jpg)
Local feature-based object recognition
(:Detector- آشکارساز )1استخراج نقاط کلیدی
- توصیف کننده 2(Descriptor:)
ساخت بردار ویژگی برای هر (Matching- انطباق )3نقطه کلیدی
انطباق بردارهای ویژگی با دیتاست
نیرومندی نسبت به موارد زیر:
تغییر نقطه دید-تغییر روشنایی-تغییر شکل و کجی-تغییر اندازه-انسداد-شلوغی و درهم -
برهمی
سرعت نیز اهمیت دارد
مراحل:
![Page 13: Specific Object Recognition using SIFT](https://reader033.vdocuments.mx/reader033/viewer/2022061604/568161ab550346895dd1686c/html5/thumbnails/13.jpg)
توصیف کننده هاآشکارسازها- Harris- Harris-Laplace- Harris-Affine- MSER- Salient Regions- SIFT Detector (DoG)- SURF Detector
- Hessian-Laplace- Hessian-Affine- Shape Context- Geometric Blur- SIFT Descriptor- SURF Descriptor
Local feature-based object recognition
![Page 15: Specific Object Recognition using SIFT](https://reader033.vdocuments.mx/reader033/viewer/2022061604/568161ab550346895dd1686c/html5/thumbnails/15.jpg)
Hessian Matrix
𝐻=[ 𝐿𝑥𝑥(𝑥 , 𝑦 ,𝜎) 𝐿𝑥 𝑦 (𝑥 , 𝑦 ,𝜎 )𝐿𝑥 𝑦(𝑥 , 𝑦 ,𝜎 ) 𝐿𝑦𝑦 (𝑥 , 𝑦 ,𝜎) ] 𝐿𝑥𝑥 (𝑥 , 𝑦 ,𝜎 )= 𝜕2
𝜕 𝑥2 𝑃
In mathematics, the Hessian matrix (or simply the Hessian) is the square matrix of second-order partial derivatives of a function; that is, it describes the local curvature of a function of many variables.
We want to find Blobs, soSIFT uses extrema of Hessian matrix trace:
Laplacian=𝑇𝑟𝑎𝑐𝑒=𝐿𝑥𝑥 (𝑥 , 𝑦 ,𝜎 )+𝐿𝑦𝑦 (𝑥 , 𝑦 ,𝜎 )
![Page 16: Specific Object Recognition using SIFT](https://reader033.vdocuments.mx/reader033/viewer/2022061604/568161ab550346895dd1686c/html5/thumbnails/16.jpg)
1- SIFT Detector
هدف: آشکارسازی مکان هایی که با تغییر اندازه تصویر ثابت بمانند.
1- Lindeberg 1994,19982- Koendernik 1984
SCALE-SPACE𝐿 (𝑥 , 𝑦 ,𝜎 )=𝐺 (𝑥 , 𝑦 ,𝜎 )∗ 𝑓 (𝑥 , 𝑦 )
Scale = σ
![Page 17: Specific Object Recognition using SIFT](https://reader033.vdocuments.mx/reader033/viewer/2022061604/568161ab550346895dd1686c/html5/thumbnails/17.jpg)
1- SIFT Detector SCALE-SPACE
𝐿 (𝑥 , 𝑦 ,𝜎 )=𝐺 (𝑥 , 𝑦 ,𝜎 )∗ 𝑓 (𝑥 , 𝑦 )
Laplacian=𝑇𝑟𝑎𝑐𝑒=𝐿𝑥𝑥 (𝑥 , 𝑦 ,𝜎 )+𝐿𝑦𝑦 (𝑥 , 𝑦 ,𝜎 )Laplacian=𝑇𝑟𝑎𝑐𝑒=(𝐺¿¿ 𝑥𝑥 (𝑥 , 𝑦 ,𝜎 )+𝐺𝑦𝑦(𝑥 , 𝑦 ,𝜎 ))∗ 𝑓 (𝑥 , 𝑦 )¿
𝐺 (𝑥 , 𝑦 ,𝑘𝜎 )−𝐺 (𝑥 , 𝑦 ,𝜎 )≈(𝑘−1)𝜎2𝛻2𝐺
𝐿𝑜𝐺=𝛻2𝐺
DoG
Mikolajczyk 2002: normalized Laplacian gives more robust features
𝐻=[ 𝐿𝑥𝑥(𝑥 , 𝑦 ,𝜎) 𝐿𝑥 𝑦(𝑥 , 𝑦 ,𝜎 )𝐿𝑥 𝑦(𝑥 , 𝑦 ,𝜎 ) 𝐿𝑦𝑦 (𝑥 , 𝑦 ,𝜎) ]
![Page 21: Specific Object Recognition using SIFT](https://reader033.vdocuments.mx/reader033/viewer/2022061604/568161ab550346895dd1686c/html5/thumbnails/21.jpg)
1- SIFT Detector
حذف نقاط کلیدی نقاط دارای کنتراست پایین*ناپایدار:
نقاطی که بطور ضعیفی روی لبه ها قرار گرفته اند*
![Page 25: Specific Object Recognition using SIFT](https://reader033.vdocuments.mx/reader033/viewer/2022061604/568161ab550346895dd1686c/html5/thumbnails/25.jpg)
3- Matching
دارای k-dساخت درخت * kمحاسبه تقریبی نزدیکترین همسایه اول و دوم به هر نقطه کلیدی در دیتا ست * بعد
نسبت نردیکترین همسایه اول به نزدیکترین همسایه دوم محاسبه * BBFبه کمک روش می شود
برای David Loweروش انطباق
در انتها برای *افزایش دقت
شناسایی نسبت به تغییر شکل و استتار از تبدیل
هاف نیز استفاده می شود.