optical tracking: structured light approach · 2015. 10. 20. · pre zaujímavos´, toto...
TRANSCRIPT
Katedra aplikovanej informatiky
Fakulta Matematiky, Fyziky a Informatiky
Univerzita Komenského v Bratislava
Autoreferát dizerta£nej práce
Optical Tracking:
Structured Light Approach
Mgr. Ján �iºka
na získanie akademického titulu philosophiae doctor
v odbore doktorandského ²túdia: 9.2.1 Informatika
Bratislava 2012
Dizerta£ná práca bola vypracovaná v dennej forme doktorandského ²túdia na Katedre
aplikovanej informatiky Fakulty matematiky, fyziky a informatiky Univerzity Komenského
v Bratislave.
Predkladate©: Mgr. Ján �iºka
Katedra aplikovanej informatiky
Fakulta matematiky, fyziky a informatiky
Univerzita Komenského
Mlynská dolina
842 48 Bratislava
�kolite©: doc. RNDr. �udovít Niepel, CSc.
Department of Mathematics and Computer Science
Kuwait University
Predseda odborovej komisie: Prof. RNDr. Branislav Rovan, PhD.
Fakulta matematiky, fyziky a informatiky
Univerzita Komenského
Mlynská dolina
842 48 Bratislava
Oponenti: ..................................................................
..................................................................
..................................................................
..................................................................
Obhajoba dizerta£nej práce sa koná ............................... o .................... pred komisiou
pre obhajobu dizerta£nej práce v odbore doktorandského ²túdia vymenovanou predsedom
odborovej komisie 9.2.1 Informatika na ..........................................................................
1 Úvod a motivácia
S rozvojom informatiky, elektroniky a samotnej spolo£nosti, ktorá akceptuje a víta
výpo£ty v kaºdom aspekte ºivota, sa pribliºujeme z vízii v²adeprítomného po£íta-
nia ([8]), kde nevidite©ná integrácia mnoºstva výpo£tových, snímacích a zobrazova-
cích jednotiek vytvára infra²truktúru inteligentného prostredia. Analýza 3D scény,
snímanie pozície a pohybu majú fundamentálny význam pre interakciu £loveka s
po£íta£om, pre robotiku a automatizáciu.
Meranie a analýza scény Rozpoznávanie a pochopenie 3D scény, ako základné,
ale extréme náro£né machine vision problémy, v budúcnosti umoºnia v²adeprítom-
nej automatizácii a robotike podrobne analyzova´ okolité prostredie a v mnohých
oh©adoch prekonajú schopnosti £loveka.
Interakcia £loveka s po£íta£om Koncept virtuálnych a roz²írených prostredí
([1]) vyºaduje presné a rýchle snímanie polohy na zabezpe£enie korektného a priro-
dzeného vnemu a interakcie pouºívate©a s virtuálnym obsahom. Neexistencia doko-
nalého sníma£a polohy brzdí ohromný potenciál týchto konceptov.
Výkonové parametre a fundamentálne limity Výkon zariadenia sledujúceho
polohu zna£ky v priestore popisuje presnos´ a opakovate©nos´ merania, ve©kos´ pra-
covného priestoru, po£et meraní za sekundu, latencia a mnoºstvo menej významných
parametrov. Nás samozrejme zaujímajú extrémne hodnoty.
Fyzikálne zákony a princípy, na ktorých stavajú rôzne meracie systémy, zárove¬
ur£ujú principiálne teoretické a praktické limity týchto zariadení. Preto je dosiahnu-
tie extrémneho výpo£tového a snímacieho výkonu podmienené efektívnym vyuºíva-
ním dostupných zdrojov - fotónov, fotodetektorov, tranzistorov a £asu.
3
2 Ciele práce
• Hlavným cie©om práce je preukáza´ vhodnos´ techniky ²truktúrovaného svetla
pre náro£né aplikácie sledovania pohybu.
• Preskúma´ inovatívne prístupy rie²iace limitácie tradi£ných techník.
• H©ada´ moºné a nádejné aplikácie vyvinutých rie²ení.
3 Výsledky práce
3.1 Optický tracking pomocou ²trukturovaného svetla
Pod pojmom tracking rozumieme sledovanie polohy, orientácie a pohybu prirodzenej
alebo umelo vytvorenej zna£ky v priestore. Podrobný rozbor témy nájdeme napr.
v [9]. �truktúrované svetlo vzniká ako projekcia intenzitou modulovaného svetla v
priestore (pripadne aj £ase).
Obr. 1: V©avo: Zdroj svetla (£ervený) projektuje binárnu masku do priestoru ateda moduláciou intenzity ozna£uje (kóduje) jeho £asti. Poloha kamery (modrá) bezoptiky zodpovedá nameraným hodnotám - unikátnej podpostuposti ²peciálnej sek-vencie De Bruin [3]. Vpravo: Unikátna sekvencia, ozna£ená zelenou v obraze kamery,ur£uje orientáciu zna£ky okolo zelenej osi [5].
Motiváciou tejto kapitoly nebolo napísa´ jeden z ¤al²ích preh©adov tejto ob-
lasti, ale poskytnú´ nový, netradi£ný a zjednocujúci poh©ad na mnoºstvo súvisiacich
4
prác. Vytvorenie tejto abstrakcie a pouºitie jednotného metra na rôzne metódy nám
umoºní analyzova´ a porovnáva´ ich výkon a spotrebované zdroje.
Zavádzame v²eobecnú de�níciu projektora ²trukturovaného svetla a tieº,
ako vôbec prvý, kamery ²trukturovaného svetla, de�nujeme £asové a priestorové
zloºitosti týchto zariadení vyplývajúce z pouºitej techniky kódovania masky, ktorá
generuje ²trukturované svetlo.
Spojením projektora a kamery ²trukturovaného svetla (kamera sleduje projektor)
sme schopný mera´ uhlovú polohu (bearing angle) a orientáciu projektora sú£asne.
Pre zaujímavos´, toto neposkytuje ºiadny komer£ný systém sledovania polohy, pre
zistenie orientácie sa pouºíva viacero vzdialených zna£iek.
Tento prístup pokrýva v²etky nám známe konkrétne rie²enia postavené na prin-
cípe ²trukturovaného svetla, dokonca ukazujeme, ze hrani£né prípady zodpovedajú
napríklad beºnej kamere ([6, 10]) alebo laserovému projektoru ([2]). Konzistentne
zapadajú aj zloºité rie²enia, napr. rýchly £asovo modulovaný tracking systém [7]
alebo malý projektor sledovaný rozostrenou kamerou [5].
Plytvanie pixelmi Ako v práci ukazujeme, problém sledovania polohy jednej
zna£ky je rie²ite©ný efektívne, dokonca optimálne, nieko©kými spôsobmi. Na druhej
strane, v sú£asnosti najbeºnej²ia technika pouºíva tradi£nú 2D kameru a svetelný
zdroj, kedy nasnímame n2 pixelov, aj ked ºelaný výstup má zjavne 2 log n bitov.
Toto sa negatívne prejaví na výkone zariadenia, napríklad zv䣲a dosiahneme iba
∼ 30 obrázkov za sekundu a ve©kú spotrebu energie.
V práci navrhujeme aj ¤al²ie efektívne rie²enie - SpeckleSense, ktoré opä´ pouºíva
²trukturovaného svetlo a je postavené na my²lienke integrácie meranej rýchlosti cez
£as. Rýchle diferenciálne meranie vyºaduje minimum meraní (rozumej pixelov) a
jeho presnos´ nezávisí na ve©kosti pracovného priestoru.
3.2 SpeckleSense
Vyvinuli sme inovatívnu metódu snímania pohybu, ktorá vyuºíva ²peciálny typ pro-
jekcie, koherentného ²truktúrovaného svetla, ktorej rozlí²enie prekonáva limity do-
5
siahnute©né beºným postupom.
Speckle: vyuºitie koherentného svetla pre rýchly a presný tracking Ke¤
osvetlíme difúzny objekt koherentným svetlom, výsledná interferencia v¨n odraze-
ných od rôznych £astí povrchu sformuje speckle vzor [4] (obraz, vi¤ Obr. 2). Pohyb
obrazového senzora v takomto poli záchytných bodov môºeme aproximova´ ako sumu
£iastkových vektorov posunu vypo£ítaných z dvoch po sebe nasledujúcich obrazov.
Na pomerne presný odhad vektora posunu nám posta£uje aj obrazový senzor s ve©mi
malým rozlí²ením, £o umoº¬uje sníma´ rádovo tisíce obrázkov za sekundu. �al²ou
ve©kou výhodou je extrémna jednoduchos´ kon²trukcie na strane projektora.
Obr. 2: Laser s difúzorom vytvoria hustý 3D speckle vzor. Ke¤ do¬ vloºíme sen-zor bez optiky kon²truktívna a de²truktívna interferencia vytvoria speckle obraz(vpravo). Posun/rotácia Speckle projektora alebo posun senzora v tomto poli spô-sobia posun snímaného obrazu.
To, ºe je SpeckleSense skuto£ne unikátna technika sledovania pohybu, dokazujú na-
sledovné vlastnosti:
• Vzorkovacia frekvencia. V¤aka malému po£tu pixelov senzor dosahuje 10, 000 Hz
a ve©mi malú latenciu.
• Citlivos´. Princíp metódy a hustý speckle obraz umoº¬ujú rozlí²i´ pohyb ve©kosti
jedného pixela (∼ 50µm).
• Kompaktnos´ a spotreba. Speckle projektor a senzor môºeme po©ahky uplatni´ v
mobilných zariadeniach. Efektivita snímania zabezpe£uje nízku spotrebu.
• Flexibilita projek£ného a snímacieho uhla. Pouºitím rôznych difúznych materiá-
lov dosiahneme rôzne projek£né uhly. Ke¤ºe senzor nepouºíva ºiadnu optiku,
disponuje aº 180◦ snímacím uhlom.
6
Kon�gurácie Navrhli sme ²tyri principiálne rôzne kon�gurácie Speckle projek-
tor/sensor, £o dokazuje v²estrannos´ navrhnutej techniky snímania. Kaºdá z kon�-
gurácii je unikátna svojim pomerom výkon:komplexita, pretoºe dosiahnutie podob-
ných parametrov iným prístupom, napríklad 2D kamerou, by vyºadovalo zna£né
mnoºstvo zdrojov (priestoru, pixelov, výpo£tového £asu).
Speckle Projektor (A) - Digitálne ukazovadlo
Speckle projektor, teda integrovaný laser a difúzer, sa pohybuje alebo rotuje v
priestore. V¤aka emitovanému ²trukturovanému svetlu vzdialený senzor rozpoznáva
zmeny orientácie projektora £iste optickým kanálom. Zariadenie je extrémne citlivé
na rotáciu, £o je vhodné napr. aj na meranie vibrácii.
Speckle Senzor v ruke (B) - Pohyb vo vzduchu
Zariadenie meria transláciu senzora v priestore nezávisle na jeho rotácii, na po-
uºívate©a pôsobí ve©mi stabilne a predikovatelne.
Samostatné zariadenie (C) - Pohyb nad povrchom
V tomto prípade slúºi povrch okolia ako generátor speckle projekcie. Ve©kou
výhodou je úplná nezávislos´ zariadenia, posta£uje ©ubovo©ný nepriesvitný povrch.
V práci rozoberáme aj moºnos´ snímania vzdialenosti a vyvinuli sme tieº zariadenie
snímajúce 3D pohyb.
Speckle sledovanie rúk (D) - Odraz od ruky
Spekle projekciu generujeme odrazom lasera od ruky pouºívate©a, £ím umoº¬u-
jeme interakciu bez prídavného zariadenia pomocou prirodzených giest, £o je vítaný
spôsob interakcie na verejných miestach (napr. automaty).
7
Implementované prototypy Aby sme preukázali praktické schopnosti a funk£-
nos´ navrhnutých metód implementovali sme mnoºstvo prototypov hlavne v oblasti
uºívate©ského rozhrania. Otestovali sme aj nieko©ko prototypov ur£ených na bezdo-
tykové meranie rýchlosti, napríklad dopravníkového pásu. Reálne nasadenie techno-
lógie bolo diskutované so Samsung Dallas R&D Center, USA; Logitech, Lausanne,
Switzerland a tieº Micro Epsilon Optronic, Dresden, Germany. Stru£ný popis kon-
krétnych prototypov nájdeme v popisoch príslu²ných obrázkov. Celkovo sme posta-
vili 13 funk£ných prototypov a naprogramovali vy²e 20 testovacích a demon²tra£ných
aplikácii.
Obr. 3: Prototyp Kamera Pixelink (Kon�gurácia B). Vôbec prvé zariadenie pou-ºité na výskum metód a správania sa speckle obrazu. Rýchla kamera bez optiky jepripojená k PC cez Firewire rozhranie, beºí v rozlí²ení 160 a vracia 300 snímkovza sekundu. Implementovali sme jednoduchý algoritmus odhadu vektora pohybu.Aplikácia integruje namerané dáta a vystre©uje aproximáciu polohy.
Obr. 4: Prototyp 3D prehliada£ (Kon�gurácia B). Predstavuje spojenie 2D snímaniapohybu s multidotykovým povrchom my²i. Tieto osi vo©nosti sa ve©mi prirodzenemapujú na pohyb 3D objektu v prehliada£i. Multidotykové gestá zodpovedajú rotáciia ²kálovaniu objektu. Ke¤ºe sme do my²i integrovali aj vlastný laser, je moºné s ¬oupracova´ aj priamo na povrchu, ako beºnú my², pouºitím toho istého senzora.
8
Obr. 5: Prototyp Mobilný prehliada£ (Kon�gurácia C). Na mobilný telefón s opera£-ným systémom Android sme pripevnili laser a 2 senzory, £ím sme dokázali sledova´3D pohyb nad ©ubovo©ným povrchom. Tento pohyb zodpovedá pohybu vo volumet-rickom CT snímku.
Obr. 6: Prototyp Sledovanie ruky - Fotogaléria (Kon�gurácia D). Prototyp pozostávaz LCD monitora umiestneného za sklom, Speckle projektora a senzora. Pouºívate©pohybom ruky pred senzorom riadi prezeranie sady fotogra�i.
3.3 SpeckleBoard
Vyvinuli sme praktický dizajn a implementáciu výkonnej SpeckleSense technológie,
ktorá vyºaduje len minimálne hardvérové nároky. Poskytujeme open source hardvé-
rový dizajn dosky plo²ných spojov, návod na úpravu senzora my²i a tieº softvérový
balík spolu s kniºnicami na sledovanie 2D pohybu a rozpoznávanie giest. Algoritmy
su schopné beºa´ na jednoduchých, av²ak populárnych, procesoroch platformy Ar-
duino. Cie©om je podpori´ roz²írenie vyvinutej technológie aj do jednoú£elových
zariadení a tým odbúra´ priepas´, ktorú tvoria zloºité kamerové systémy.
9
Obr. 7: SpeckleBoard. Speckle obraz vytvorený laserom sleduje upravený senzormy²i, ktorý komunikuje cez MouseShield s jednoduchým 8 bitovym procesorom.Týmto umoºníme interakciu pomocou giest integrova´ aj do jednoú£elových zaria-dení.
Literatúra
[1] O. Bimber and R. Raskar. Spatial augmented reality: merging real and virtual
worlds. Ak Peters Series. A K Peters, 2005.
[2] Álvaro Cassinelli, Stéphane Perrin, and Masatoshi Ishikawa. Smart laser-
scanner for 3d human-machine interface. In CHI '05 extended abstracts on
Human factors in computing systems, CHI EA '05, pages 1138�1139, New York,
NY, USA, 2005. ACM.
[3] N.G. de Bruijn. A combinatorial problem. Koninklijke Nederlandse Akademie
Wetenschappen. page 758�764, 1946.
[4] J. W. Goodman. Speckle phenomena in optics: theory and applications. Roberts
and Company, Englewood, 2007.
[5] Ankit Mohan, Grace Woo, Shinsaku Hiura, Quinn Smithwick, and Ramesh
Raskar. Bokode: imperceptible visual tags for camera based interaction from a
distance. In ACM SIGGRAPH 2009 papers, SIGGRAPH '09, pages 98:1�98:8,
New York, NY, USA, 2009. ACM.
10
[6] Sony PlayStation Move. us.playstation.com/ps3/playstation-move/. [On-
line; accessed March 2011].
[7] Ramesh Raskar, Hideaki Nii, Bert deDecker, Yuki Hashimoto, Jay Summet,
Dylan Moore, Yong Zhao, Jonathan Westhues, Paul Dietz, John Barnwell, Sh-
ree Nayar, Masahiko Inami, Philippe Bekaert, Michael Noland, Vlad Branzoi,
and Erich Bruns. Prakash: lighting aware motion capture using photosensing
markers and multiplexed illuminators. ACM Trans. Graph., 26(3), July 2007.
[8] Mark Weiser. The computer for the 21st century. SIGMOBILE Mob. Comput.
Commun. Rev., 3(3):3�11, July 1999.
[9] Greg Welch and Eric Foxlin. Motion tracking: No silver bullet, but a respectable
arsenal. IEEE Comput. Graph. Appl., 22(6):24�38, November 2002.
[10] Nintendo Wii. www.nintendo.com/wii. [Online; accessed March 2011].
11
Príloha £.1: Súhrn v cudzom jazyku
Summary
Position and motion sensing is of fundamental importance for Human-Computer
Interaction, robotics and automation. In applications, where optical sensing is pre-
ferred, traditional camera-based approaches can be prohibitive due to limited reso-
lution, low frame rates and the required computational power for image processing.
We provide a new perspective and a unifying paradigm for a broad spectrum of
work related to structured light approach.
We introduce a novel set of motion-sensing con�gurations based on laser speckle
sensing that are particularly suitable for human-computer interaction. The underly-
ing principles allow these con�gurations to be fast, precise, extremely compact and
low cost.
We provide an overview and design guidelines for laser speckle sensing for user
interaction and introduce four general speckle projector/sensor con�gurations. We
describe a set of prototypes and applications that demonstrate the versatility and
performance of our laser speckle sensing techniques.
Keywords: Optical Tracking, Motion Tracking, Motion Sensing, Structured Light,
Laser Speckle, Human-Computer Interaction, Input Devices, Embedded Systems
12
Príloha £.2: Zoznam publikácii autora
CATRA: interactive measuring and modeling of cataracts.
Vitor F. Pamplona, Erick B. Passos, Jan Zizka, Manuel M. Oliveira, Everett
Lawson, Esteban Clua, and Ramesh Raskar. 2011. ACM Trans. Graph. 30, 4,
Article 47 (August 2011), 8 pages.
Vitor F. Pamplona, Erick B. Passos, Jan Zizka, Manuel M. Oliveira, Everett
Lawson, Esteban Clua, and Ramesh Raskar. 2011. In ACM SIGGRAPH 2011
papers (SIGGRAPH '11), Hugues Hoppe (Ed.). ACM, New York, NY, USA, ,
Article 47 , 8 pages.
Second skin: motion capture with actuated feedback for motor learning.
Kenichiro Fukushi, Jan Zizka, and Ramesh Raskar. 2011. In ACM SIGGRAPH
2011 Posters (SIGGRAPH '11). ACM, New York, NY, USA, , Article 51 , 1
pages.
SpeckleSense: fast, precise, low-cost and compact motion sensing using
laser speckle.
Jan Zizka, Alex Olwal, and Ramesh Raskar. 2011. In Proceedings of the 24th
annual ACM symposium on User interface software and technology (UIST '11).
ACM, New York, NY, USA, 489-498.
Construction of 3D Map.
Ján �iºka. 2007. In Posters of the 23nd Spring conference on Computer graphics.
Comenius University, Bratislava.
Poh©adovo závislé stereovidenie.
Ján �iºka, Peter Borovský, Tomá² Kova£ovský. 2012. In Virtuálny svet 2012:
My²lienky, kontext, tvorivé dielne a postery pre vedeckú výstavu (DVD). Kniº-
ni£né a edi£né centrum, Bratislava, S. 69.
13
Spoznajte svoje virtuálne Ja: skuto£né 3D zobrazenie modelu nasníma-
ného systémom SMISS.
Ján �iºka, Tomá² Kova£ovský. 2012. In Virtuálny svet 2012: My²lienky, kontext,
tvorivé dielne a postery pre vedeckú výstavu (DVD). Kniºni£né a edi£né centrum,
Bratislava, S. 68.
SpeckleBoard: A Platform for Enabling Gestural Interaction with Em-
bedded Devices
Alex Olwal, Andy Bardagjy, Jan Zizka and Ramesh Raskar. 2012. To appear in
Proceedings of the 2012 annual conference extended abstracts on Human factors
in computing systems (CHI EA '12). ACM, New York, NY, USA
14
Vedenie závere£ných prác:
Bakalárske práce (3D scanning):
• Scalable Multifunctional Indoor Scanning System, Tomá² Kova£ovský (2010)
Ví´az £esko-slovenského kola �VO� v kategórii Aplikovaná informatika
• Metódy 3D rekon²trukcie, Martin Mi²kov (2009)
Diplomové práce (3D scanning, Tracking, User Interface, Computer Vision):
• Problém sledovania pouºívate©a pre ú£ely poh©adovo závislého zobrazovania,
Andrea Kostrová (2013)
• Scalable Multifunctional Indoor Scanning System, Tomá² Kova£ovský (2012)
2nd Best paper award, Best presentation na konferencii CESCG 2012
• Nízkonákladové metódy snímania ulice, Barbora Jan£eková (2012)
• Prirodzená interakcia s 3D prostredím pomocou pohybu a dotyku, Peter Pech
(2010)
• Extrakcia textových a gra�ckých údajov z dokladov, Peter Gal£ík (2010)
Ú£as´ na konferenciách: CESCG 2006, SCCG 2006, CESCG 2007, SCCG 2007,
Vision 2010 (Stuttgart DE), ICCP 2011 (Pittsburgh USA), Siggraph 2011 (Vancou-
ver CA), UIST 2011 (Santa Barbra USA)
Projekty a granty:
• Virtualizer: 3D Scanner for Complete Reconstruction, E-Talent - Nadácia
Tatra banky, 2012
• Snímanie Pohybu, Interakcia a Kooperácia �udí a Avatarov v 3D Roz²írenej
a virtuálnej realite (SPINKLAR-3D), Project VEGA, 2011 � 2013
• Hybridný triangula£no-optický systém prevádzkovej kontroly kvality pneuma-
tík, APVV, 2011
• �tudenti do sveta, Nadácia Tatra banky, 2011
• Eliminácia vplyvu okolitého svetla na snímanie a rozpoznávanie scény, Grant
UK, 2010
15