Gerçek Zamanlı Ataletsel Hareket Bulanıklıgı ÖlçegiA Real-Time Inertial Motion Blur Metric

Mehmet Mutlu, Afsar SaranlıElektrik ve Elektronik Mühendisligi Bölümü

Orta Dogu Teknik Üniversitesi{memutlu,afsars}@metu.edu.tr

Uluç SaranlıBilgisayar Mühendisligi BölümüOrta Dogu Teknik Üniversitesi

saranli@ceng.metu.edu.tr

Özetçe —Mobil robotlar, gövde salınımları ve bozucular-dan kaynaklanan algılayıcı verilerindeki bozulmadan olumsuzetkilenirler. Özellikle robot üzerinde bulunan kameralar ilekaydedilen resimlerdeki bilgi kaybı çok fazla olabilir ve bu bilgikaybı geri alınamayabilir yada resmi bulanıklıgını az da olsagiderebilmek islemsel olarak masraflı olabilir. Bu çalısmada, mo-bil kameralar ile yakalanan resimlerde olusan ortalama hareketbulanıklıgını azaltacak özgün bir yöntem önerilmistir. Sadeceataletsel algılayıcılar kullanılarak gerçek zamanlı hesaplanabilirhareket bulanıklıgı ölçegi (HBÖ) türetildi. HBÖ’nün tutarlılıgıoptik akıs sonuçları ile karsılastırılarak onaylandı. HBÖ’nünkullanıslılıgını ifade edebilmek için RHex özerinde hareket bu-lanıklıgını aza indirgeyecek bir sistem yapıldı. Bu sistemde, düzbir zeminde ileri dogru giden robot üzerindeki bir kamera gerçekzamanlı hesaplanan HBÖ’nün degerine göre tetiklendi. Önerilensistemle alınan resimlerdeki hareket bulanıklıgı sabit aralıklarlaalınan resimlerdeki hareket bulanıklıgı ile görsel degerlendirerekkarsılastırıldı.

Anahtar Kelimeler—Hareket Bulanıklıgı Ölçegi, Kamera Tetik-leme

Abstract—Mobile robots suffer from sensor data corruptiondue to body oscillations and disturbances. Especially, informationloss on images captured with onboard cameras can be extremelyhigh and such loss may become irreversible or deblurring can becomputationally costly. In this paper, a novel method is proposedto minimize average motion blur captured by mobile cameras.A real-time computable motion blur metric (MMBM) is derivedby using only inertial sensor measurements. MMBM is validatedby comparing it to optic flow results. To express the applicabilityof MMBM, a motion blur minimizing system is built on theRHex. To this end, an onboard camera is externally triggereddepending on the real-time-calculated MMBM while the robotis walking straight on a flat surface. The resulting motion bluris compared to motion blur levels of a regular, fixed frame-rateimage acquisition schedule by qualitative inspection on capturedimages.

Keywords—Motion Blur Metric, Camera Triggering

I. GIRIS

Mobil robotlar, özellikle de bacaklı robotlar, arazi robotlarıve uçan robotlar kendi yapılarından yada bulundukları çevre-den dolayı gövde salınımları sergilerler. RHex [1] gibi çevikbacaklı robotlarda bu tarz salınımlar kaçınılmazdır. Bu salınım-lar robotun üzerine yarlestirilmis algılayıcıların performansınıolumsuz etkiler. Özellikle döngüsel hareketler, uzaklara bakan

kameralarda asıl bozucu etken olarak gösterilebilir. Bahsigeçen robotların üzerine yerseltirilmis kameralardaki en etkinbozucu kameranın pozlama sırasındaki kendi hareketindenkaynaklanan görüntü bulanıklıgıdır. Hareket bulanıklıgı, hıztahmin etmek [2] yada bir resmin üzerinde oynamalar yapılıpyapılmadıgını anlamakta kullanıldıgında [3] faydalı gözüke-bilir. Fakat çogunlukla resimlerden özellik çıkartmaya çalısanalgoritmaların performansını olumsuz etkiler [4].

Hareket bulanıklıgını engellemek için donanımsal yöntem-ler mevcuttur. Kullanılan basit el kameralarının bile çogundalensi yada algılayıcıyı hareket ettirerek hareket bulanıklıgınınönüne geçilmeye çalısılır. Ayrıca daha büyük bozucularıgiderebilmek için gimballi sistemler veya Stewart platformbenzeri stabilizasyon platformları [5], [6] kullanılır. Fakat buplatformlar hacimsel olarak büyük, kontrolü zor ve pahalıolabilirler.

Yazılım tabanlı yöntemler ise resim bozulduktan sonra gerifiltreleme yöntemleri kullanarak hareket bulanıklıgının etki-lerini geri alıp keskin hatları olan resimler elde etmeyi amaçlar[7]. Fakat bu yöntemlerin çogu, bir resim için bile gerçekzamanlı uygulanamayacak kadar hesaplama gücü gerektirir [8].Ayrıca bazı etkilerin sebep oldugu bilgi kaybı geri alınamazolabilir. Yazılımsal yöntemlerin ön adımı, bozulmalara nedenolan hareketi tahmin etmektir. Bu amaçla ataletsel algılayıcılar[9] yada farklı çözünürlük ve hızda çalısan yardımcı kameralar[10] nokta dagılım fonksiyonlarını tahmin etmekte kullanıla-bilir.

Bu çalısmanın amacı, öncelikli olarak ataletsel verilerkullanılarak kameranın belirli bir anda resim yakalamasıhalinde, resimde olusacak olan ve kameranın kendi döngüselhareketinden kaynaklacak olan bulanıklıgın miktarını kestire-cek bir ölçek gelistirmektir. Daha sonra bu ölçek kullanılarak,dinamik ve çevik bir bacaklı robot üzerindeki kameradanalınan görüntünün kalitesini arttırmak amaçlanmıstır.

II. KAMERA HAREKETINDEN KAYNAKLANANHAREKET BULANIKLIGI ÖLÇEGININ (HBÖ)

ÇIKARIMI

Kameranın döngüsel hareketi bilindiginde, bu harekettenkaynaklanacak hareket bulanıklıgı matematiksel olarak hesa-planabilir. Sekil 1 arka arkaya yakalanan iki resmin zaman-lamasını göstermektedir. Pozlama süreleri te1 ve te2 olarakgörülmektedir. HBÖ’nün amacı yüksek frekansta gelen atalet-sel ölçümlerden te1 pozlaması boyunca kameranın hareketininen az hareket bulanıklıgına yol açacagı ti1 anını bulabilmektir.978-1-4673-5563-6/13/$31.00 c©2013 IEEE

2225

2014 IEEE 22nd Signal Processing and Communications Applications Conference (SIU 2014)

Görüntüye yakalamadan pozlama boyunca olusacak hareketbulanıklıgını bilmek imkansızdır. Ancak robot dinamiklerigöz önüne alındıgında, HBÖ’nün hesaplanma süresi td1 vepozlama süresi te1 oldukça kısa zamanlar sayılabilir ve robotdöngüsel hızlarının bu sürede fazla degismeyecegi varsayımıgeçerli kabul edilebilir. HBÖ, jiroskop ile robotun üç boyutludöngüsel hızlarını alır ve ti1 anındaki optik akısı kestirir.

ti1 tt1 ti2 tt2

te1 te2

td1 td2

tf1 tf2

to1,2

tf0... ...

Sekil 1: HBÖ tabanlı kamera tetiklemenin zamanlama seması.

A. Notasyon

Sekil 2 dünya (X,Y,Z) ve resim (U,V) koordinat sistem-lerini; dünyadaki bir nokta (x,y,z) ve onun resim düzlemiüzerindeki izdüsümünü (u,v); kameranın döngüsel hızlarınıwx, wy and wz göstermektedir.

Y

X

Z

U

V

wz

wx

wy

(x,y,z)

(u,v)

f

Sekil 2: HBÖ’nün çıkarımında kullanılan parametrelerin gös-terimi.

B. Kamera Modeli

Kamera modeli olarak basitliginden dolayı igne deliklikamera modeli kullanılmıstır. Kamera modeli vektör for-matında su sekilde yazılır:[

uv

]= f

[xzyz

]. (1)

Modelin tersi ise su sekildedir:[xyz

]=

z uf

z vf

z

. (2)

C. Dünya ve Resim Koordinatları Arasındaki Vektörel HızIliskisi

Döngüsel (R) ve öteleme (T) hareketlerinden sonra,dünyadaki bir noktanın kamera algılayıcısı üzerindeki hareketi[11] tarafından detaylı bir sekilde verilmistir. Ayrıca, zamanabaglı degisen R ve T kullanarak düzlemsel degisiklikleri debarındıran hareket bulanıklıgı modeli [10] tarafından sunul-mustur. Fakat HBÖ R’yi kullanmak yerine dünya koordinatları

ve resim düzlemi üzerindeki hız iliskisini kullanır. Dolayısı ilekamera modelinin türevine ihtiyacımız vardır;

d

dt

[uv

]= f

[xz−xz

z2

yz−yzz2

]=

[fz 0 − fx

z2

0 fz − fy

z2

] [xyz

]. (3)

Sabit bir dünya noktasını döngüsel hareket ederek yakalayanbir kamere ile sabit bir kameranın aynı noktayı orijine görehareket ederken yakalaması birbirine analojik olarak çokyakındır. Dolayısı ile herhangi bir orijinden geçen w vektörünegöre dönüs yapan noktanın hızı su sekilde gösterilir:

P = W × P (4)[xyz

]=

[0 −wz wy

wz 0 −wx

−wy wx 0

][xyz

]. (5)

D. HBÖ Tanımı

HBÖ’nün tanımı kameranın ti1 anındaki dönüs hızındankaynaklanan algılayıcı düzlemindeki tüm optik akıs vektör-lerinin büyüklüklerinin ortalamasıdır.

µ :=1

∆u∆v

∫ umax,vmax

umin,vmin

√u2 + v2 du, v (6)

∆u ve ∆v, (umax −umin) ve (vmax − vmin) seklinde tanım-lanmaktadır. Denklem (3), (5) ve (2)’yi sırası ile kullanarakasagıdaki iliskiyi elde edebiliriz,[

uv

]=

[fz 0 −u

z

0 fz −v

z

][ 0 −wz wy

wz 0 −wx

−wy wx 0

]z uf

z vf

z

. (7)

III. HBÖ’NÜN DOGRULANMASI

Klasik optik akıs algoritmaları iki resim arasındaki op-tik akıs vektörlerini hesaplamaktadır. Fakat HBÖ, sadece ti1anındaki jiroskop ölçümleri kullanılarak kameranın döngüselhareketinden kaynaklanan optik akıs vektörlerinin ortalamasınıverir. Dolayısı ile diger optik akıs algoritmalarından eldeedilen sonuçlar ile tutarlılık göstermesi gerekmektedir. Bununiçin kamera ve jiroskoptan olusan bir ekipman ile veri top-landı. HBÖ’nün verdigi bilgi ile [12] çalısmasındaki optikakıs algoritmasının sonuçları karsılastırıldı. Optik akıs algorit-masına girdi olarak verilen iki ardısık resim örnegi Sekil 3’degörülmektedir. Örnegin, Sekil 3’deki resimlerin arasındakioptik akıs alanı Sekil 4 (a)’da görülen renk haritasına görekodlandıgında çıkan optik akısın yön ve yogunluk bilgisiSekil 4 (b)’de görülmektedir. Ilk olarak ortalama optik akıs(OOA) hesaplandı ve HBÖ ile karsılastırıldı. Bu karsılastır-mada esas dikkat edilmesi gereken sonuçların degeri degil,nasıl bir trend izledigidir. Çünkü HBÖ ve OOA tam olarakaynı sey degildir fakat ikisi de hareket bulanıklıgı hakkındabilgi vermektedir. Optik akıs pozlama zamanlarını (te1&te2)sonsuz küçük kabul eder ve algılayıcı düzlemi üzerinde birnoktanın to1,2 süresi boyunca nereden nereye gittigini gösterir.HBÖ ise ti1&ti2 anlarındaki hız ile alakalıdır. Dolayısı ile ikiresimden alınan OOA bilgisi ile to1,2’in tam orta anında alın-mıs jiroskop verisinden hesaplanan HBÖ’nün ölçeklendirilerekkarsılastırılması sonucunda Sekil 5 elde edilmistir. Bu verisetinde kamera agırlıklı olarak yalpa açısında döndürülerekhareket ettirilmistir. Bir miktar öteleme ve diger eksenlerde

2226

2014 IEEE 22nd Signal Processing and Communications Applications Conference (SIU 2014)

(a) (b)

Sekil 3: HBÖ’nün tutarlılıgını göstermek için kaydedilmis verisetinden iki ardısık resim.

(a) (b)

Sekil 4: Sekil 3’deki resimler arasında hesaplanan optik akısalanı: (a) Optik akıs alanı, (b) optik akıs yön ve yogunlukgösteren renk haritası.

döngü de söz konusudur fakat ihmal edilebilir düzeylerdetutulmustur. Ölçeklenmis HBÖ ve OOA’nın birbirini yakınbir sekilde takip ettigi görülmektedir. HBÖ 600Hz ile alınanjiroskop datasından hesaplanırken, OOA 12fps sıklıkla alınmısresimlerden hesaplanmıstır. Görülen büyük kırmızı noktalarto1,2 süresinin tam orta noktasına karsılık gelmektedir.

0 1 2 3 4 5 6 7 80

50

100

150

HB

Ö &

OO

A

Zaman(s)

HBÖOOA

Sekil 5: Ölçeklenmis HBÖ ve OOA karsılastırması.

IV. HBÖ’NÜN GERÇEK ZAMANLIHESAPLANMASI

Bölüm III’te HBÖ analitik olarak çözülemeyip nümerikyöntemlerle hesaplanmıstı. Ancak HBÖ’yü gerçek zamanlıhesaplayabilmek için nümerik çözümden kurtulmak gerek-mektedir. Dolayısıyla HBÖ’nün degeri Riemann toplamı yön-temiyle yakınsanmıstır. HBÖ’yü tüm kamera algılayıcı düz-leminde sürekli integralini alarak degerini bulmak yerine,Sekil 6’de gösterilen noktalardaki degerini hesaplayıp, gös-terilen kare alanlarda HBÖ’nün degeri sabit kalacakmıs gibi

düsündügümüzde HBÖ’nün olması gereken degerine oldukçayakın sonuç elde edilebilmektedir. Sonuç olarak HBÖ hesapla-ması asagıdaki ifadeye dönüsmektedir:

µ∗ =1

n

n∑i=1

√ui

2 + vi2dA. (8)

U

V

(-240,-160) (-80,-160) (80,-160) (240,-160)

(-240,0) (-80,0) (80,0) (240,0)

(-240,160) (-80,160) (80,160) (240,160)

Sekil 6: Riemann toplamı yaklasımında kullanılan fonksiyondegeri hesaplama noktaları ile degerin sabit kabul edildigialanlar.

V. HBÖ UYGULAMASI: KAMERA DIYAFRAMININHAREKET BULANIKLIGINI AZA INDIRGEYECEK

ANLARDA TETIKLENMESI

6 Bacaklı robotumuz SensoRHex üzerinde hareket bu-lanıklıgı kestirme ve aza indirgeme sistemi kurulmustur. Kul-lanılan donanım bir adet Fizoptika optik jiroskop, bir adetPointGrey kamera, bir PIC mikro kontrolcülü kart ve biradet PC-104 RTD CME137686Lx500HR’den olusmaktadır.Donanım parçaları arasındaki baglantı iliskisi Sekil 7’de gös-terilmistir. Jiroskop 600Hz’te döngüsel hız verisi vermektedir.

PC-104

Mikro -

KontrolcüRS232

Kamera

Dijital-Giriş-Çıkış

IEEE13943D-Jiroskop

RS232

Sekil 7: Hareket bulanıklıgı azaltma sisteminin SensoRHexüzerindeki uygulanmıs donanım yapısı.

HBÖ her jiroskop verisi için gerçek zamanlı olarak hesap-lanabilmektedir. SensoRHex’in düz beton zeminde yürüyüsüsırasında hesaplanmıs HBÖ verisi Sekil 8’de görülmektedir.Yüksek HBÖ verileri, görüntünün o sırada alınması halindefazla miktarda hareket bulanıklıgının olacagını göstermektedir.Sekil 8’in iki adımdan biraz daha uzun bir süreci kapsadıgıve 3 kez bacakların yere degdigi an görünmektedir. Ba-cak yere degme anlarında gövde impulsif kuvvetlere maruzkaldıgından HBÖ’nün en yüksek, bacak yere degme anlarıetrafında çıkması beklendik bir durumdur. HBÖ’nün bellidegerlerin etrafında salının yapması kamera’yı hangi anlardatetiklemenin uygun olacagı bilgisini vermektedir. Bu çalısmadakamera pozlama süresi 70ms olarak sabitlenmistir. Tetiklemesinyali, HBÖ belirli bir degerin altına düstügünde, bilgisayartarafından mikro kontrolcü aracılıgı ile kameraya verilir. Sonolarak yakalanan görüntü IEEE1394 iletisim hattı üzerindenbilgisayara iletilir.

2227

2014 IEEE 22nd Signal Processing and Communications Applications Conference (SIU 2014)

21.5 22 22.5 23 23.5 24 24.50

10

20

30

40

Zaman(s)

HBÖ

Sekil 8: SensoRHex’in düz beton zeminde yürümesi sırasındahesaplanan HBÖ degerleri.

VI. DENEYSEL SONUÇLAR

Önerilen hareket bulanıklıgını geçistirme sisteminin etki-sini gösterebilmek için SensoRHex düz yürürken iki farklı veriseti toplandı. Sekil 9’de görüldügü üzere yürüyüs sırasındarobotun dama tahtası örüntüsüne bakması saglandı. Ilk verisetinde robot yürürken 5fps sıklıgında görüntü toplandı. Ikinciveri seti toplanırken bir önceki resim alındıktan sonra sis-temin en az 200ms beklemesi saglandı. 200ms sonundaHBÖ hareket bulanıklıgının az oldugunu öngörüyorsa görüntühemen tetiklendi. Fakat HBÖ hareket bulanıklıgının çok ola-cagını öngörüyorsa görüntü tetiklemesi ilk uygun an gelin-ceye kadar beklendi. Her iki veri setinde de pozlama süresi70ms olarak belirlendi. Önerilen sistem ile alınan resimlerde

(a) (b)

Sekil 9: SensoRHex üzerinde denenen hareket bulanıklıgınıaza indiren sistem (a) Deney alanı, (b) robotun görüs açısı.

ortalama olarak daha az hareket bulanıklıgı oldugu görselolarak dogrulandı. Ayrıca Sekil 10’da görüldügü üzere ikiveri setindeki en fazla hareket bulanıklıgına ugramıs resimlerarasında gözle görülür bir fark olustu.

(a) (b)

Sekil 10: Görsel denetleme ile seçilen en fazla hareket bulanık-lıgına ugramıs resimler: (a) Sabit frekansla yakalanan resimseti, (b) harici tetikleme ile toplanan resim seti.

VII. SONUÇLAR

Bu çalısmada, özgün bir hareket ölçegi önerildi. HBÖjiroskop datasını kullanarak gerçek zamanlı olarak hesaplana-bilmektedir. SensoRHex üzerindeki kamera ile yakalanan re-simlerdeki hareket bulanıklıgını azaltmak için tetikleme tabanlıbir sistem önerildi ve sistemin ortalama hareket bulanıklıgınıazalttıgı görüldü. Daha da önemlisi asırı bozulmaya ugrayanresimler hiç gözlenmedi. Görsel verinin daha gerçege yakın ol-ması pek çok bilgisayarla görme algoritmasının performansınıarttıracaktır.

Önerilen sistem özellikle bacaklı robotlar gibi gövdehareketinin periyodik benzeri davranıs gösterdigi sistemler içinuygundur. Dogal yürüyüs sırasında görüntü alımının nere-lerde yapılması gerektigi belirlenerek görüntü daha alınırkenbozulmaların az miktarda tutulması saglanmıstır. Önerilensistemde çok basit bir tetikleme yapısı kullanılmıstır. Ancaksinyalin gelecek degerlerini basarılı bir sekilde öngörebilecekbir yöntem yardımıyla önerilen sistemin performansı daha daarttırılabilir.

TESEKKÜR

Bu bildirideki çalısmalar TÜBITAK tarafından 110E120numaralı proje kapsamında desteklenmistir.

KAYNAKÇA

[1] U. Saranli, M. Buehler, and D. E. Koditschek, “Rhex: A simple andhighly mobile hexapod robot,” The International Journal of RoboticsResearch, vol. 20, no. 7, pp. 616–631, 2001.

[2] H.-Y. Lin, “Vehicle speed detection and identification from a singlemotion blurred image,” in Application of Computer Vision, 2005.WACV/MOTIONS ’05 Volume 1. Seventh IEEE Workshops on, vol. 1,2005, pp. 461–467.

[3] J. Hu, Y. Li, S. Niu, and X. Meng, “Exposing digital image forgeriesby detecting inconsistencies in principal point,” in Computer Scienceand Service System (CSSS), 2011 International Conference on, 2011,pp. 404–407.

[4] A. Pretto, E. Menegatti, M. Bennewitz, W. Burgard, and E. Pagello,“A visual odometry framework robust to motion blur,” in Robotics andAutomation, 2009. ICRA ’09. IEEE International Conference on, 2009,pp. 2250–2257.

[5] J. M. Hilkert, “Inertially stabilized platform technology concepts andprinciples,” Control Systems, IEEE, vol. 28, no. 1, pp. 26–46, 2008.

[6] E. Akgul, M. Mutlu, A. Saranli, and Y. Yazicioglu, “A comparativeevaluation of adaptive and non-adaptive sliding mode, lqr amp; pidcontrol for platform stabilization,” in Control Applications (CCA), 2012IEEE International Conference on, 2012, pp. 1547–1552.

[7] M. Poulose, “Literature survey on image deblurring techniques,” Inter-national Journal of Computer Applications Technology and Research,vol. 2, no. 3, pp. 286 – 288, 2013.

[8] S. Schuon and K. Diepold, “Comparison of motion de-blur algorithmsand real world deployment,” Acta Astronautica, vol. 64, no. 11–12, pp.1050 – 1065, 2009.

[9] N. Joshi, S. B. Kang, C. L. Zitnick, and R. Szeliski, “Image deblurringusing inertial measurement sensors,” ACM Trans. Graph., vol. 29, no. 4,pp. 30:1–30:9, Jul. 2010.

[10] S. Nayar and M. Ben-Ezra, “Motion-based motion deblurring,” PatternAnalysis and Machine Intelligence, IEEE Transactions on, vol. 26, no. 6,pp. 689–698, 2004.

[11] A. Basu and K. Ravi, “Active camera calibration using pan, tilt and roll,”Systems, Man, and Cybernetics, Part B: Cybernetics, IEEE Transactionson, vol. 27, no. 3, pp. 559–566, 1997.

[12] D. Sun, S. Roth, and M. Black, “Secrets of optical flow estimation andtheir principles,” in Computer Vision and Pattern Recognition (CVPR),2010 IEEE Conference on, 2010, pp. 2432–2439.

2228

2014 IEEE 22nd Signal Processing and Communications Applications Conference (SIU 2014)