olaf christ ais-sommersemester 2000 betreuer: prof. c....
TRANSCRIPT
Motion Tracking
• Ziele des Vortrags• Einsatzgebiete• Bewegungsanalyse• Methoden• Weitere Probleme des Motion Tracking• Abschließendes / Ausblick
Ziele des Vortrags
Vermittlung:• von Einsatzgebieten• elementarer Probleme des Motion Trackings.• einiger Lösungsansätze und Bewertung• weitere Probleme des Motion Trackings• was ist nun Motion Tracking ?
Einsatzgebiete
• Robotvision• Fahrzeugtechnik (Crashtests)• Leitsysteme (Autopilot)• Medizintechnik (Operationshilfe)• Sportmedizin (Bewegungsanalyse)• Unterhaltungsindustrie (Motion Capturing)• Microsoft Explorer Maus (Optischer Sensor)• Militär (Lenksysteme)
Bewegungsanalyse
• Was ist Bewegung ?• Bildsequenzanalyse• Blendenproblem• Korrespondenzproblem• Bildsequenzanalyse• Optischer Fluss• Methoden / Lösungsansätze
Was ist Bewegung
Behauptungen:• Bewegung stellt sich durch eine Veränderung zwischen
Einzelbildern dar.
• Bewegung stellt sich durch Grauwertänderungen dar.
Bewegungsanalyse
• Bewegung kann in Grauwertänderungen resultieren• Der Umkehrschluss trifft leider nicht zu• Bewegungsanalyse hängt eng mit räumlichen und
zeitlichen Grauwertänderungen zusammen,die sich mit Hilfe von lokalen Operatoren ermitteln lassen
• Operatoren zur Bestimmung des Verschiebungsvektorssehen aber immer nur einen kleinen Ausschnitt
Das Blendenproblem? Der Verschiebungsvektor (VV)
kann nicht eindeutig bestimmt werden. Punkte können nicht eindeutig wiedergefunden werden.
? ?
Lokale Operatoren liefern wenig Information über Bewegung !
Das Korrespondenzproblem
vorhernachher
mittlerer Teilchenabstand ist größer als der VV mittlerer Teilchenabstand ist kleiner als der VV
Das Korrespondenzproblem
• Wir können keine korrelierenden Punkte in zwei aufeinanderfolgenden Bildern finden
• Das Blendenproblem ist ein Spezialfall des allg. Korrespondenzproblems
• Aufnahmefrequenz muss so groß sein, daß der mittlere VV signifikant kleiner als der mittlere Partikelabstand ist.
• Physikalische stimmt nicht immer mit der sichtbaren K. überein oder es lässt sich nur eine Größe bestimmen.
Bildsequenzanalyse
tan φxtan φyu = -u = - tan φ
Geschwindigkeit ist direkt mit der Orientierung verknüpft !
BildsequenzanalyseVorteile:• Lösung des Schnappschußproblems• Geschwindigkeit kann direkt als Orientierung gemessen
werden• Größere Robustheit gegenüber zeitweiliger Verdeckung
von Objekten• Möglichkeit der Bewegungsabschätzung und analytischen
Betrachtung der Algorithmen im kontinuierlichen xt-Raum
Das Blendenproblem bleibt uns aber leider erhalten.
Bewegung im Fourierraum
• Betrachtet die Bewegung im xt-Raum im korrespondierenden kώ-Raum
• Geschwindigkeit und Orientierung lassen sich relativ leicht bestimmen
• Möglichkeit eines zeitlichen Tiefpassfilters• Das Blendenproblem wird mittransformiert• Objektidentität geht verloren
Optischer Fluß• Bewegung und Grauwertänderung sind nicht äquivalentBegriffserklärung:Bewegungsfeld: Projektion der Bewegungen in der 3D-Szeneauf die Bildebene.Optischer Fluß:• Grauwertfluß in der Ebene bzw. die sichtbare Bewegung in der Ebene• Nur gleich bei konstanter Beleuchtung in der BildebeneIm kontinuierlichen Raum gilt:• Wird der Optische Fluß aus zwei aufeinanderfolgenden Bildern
bestimmt, dann erscheint er als Verschiebungsvektor von den Merkmalen des ersten zu denen des zweiten Bildes.
Im diskreten Raum entsprechend:• Liegt an jedem Bildpunkt solch einen Vektor vor, dann hat man ein
Verschiebungsvektorfeld.
Optischer Fluß
• Näherung des optischen Flusses: Wir teilen das VVF durch das Zeitintervall zwischen den beiden Bildern
• Die Bestimmung des optischen Flusses aus nur zwei aufeinanderfolgenden Bildern ist nicht sehr robust
• Orts/Zeit -Bilder erlauben eine wesentlich robustere Aussage
Methoden• Differentielle Methoden
MehrkanalbilderOrts/Zeit-Energie ModelleMethoden der kleinsten QuadrateDifferentialgeometrische Methoden
• Alternativen zur Differentiellen Methode: TensormethodeKorrelationsmethodePhasenmethode
• Robustheit
Differentielle Methoden
• Klassischer Ansatz der Bewegungsanalyse zwischen zwei aufeinanderfolgenden Bildern
• Es ist nicht möglich den kompletten VV an jedem einzelnen Punkt im Orts/Zeit-Bild zu bestimmen
Mehrkanalbilder
• Nutzt weitere Kanäle, um beide Komponenten des optischen Flusses zu bestimmen
• Stellt eine Erweiterung der Differentialgeometrischen Modellierung dar und erlaubt die beliebige Vorverarbeitung von Bildern.
• Ist nur sinnvoll, wenn ein zusätzliches Merkmal auch wirklich neue Information bringt
Tensormethode
• Erlaubt die Berechnung der lokalen Orientierung jedes Objektes unter Zuhilfenahme der Tensor-Rechnung und Eigenwertanalyse.
• Objektidentität wird beibehalten
Korrelationsmethode• Analyse der Verschiebung zweier aufeinanderfolgender
Bilder• Sucht in einem bestimmten Bereich nach der Position der
optimalen Ähnlichkeit• Zwei Merkmale sind gleich, wenn sie sich nur um einen
Faktor α unterscheiden, der die Beleuchtungsunterschiede angibt
• relativ unempfindlich gegenüber Beleuchtungsänderungen und die Standardmethode bei Stereobildern
• Hohe (Subpixel)-Genauigkeit• sehr rechenintensiv und im allgemeinen auf zwei Bilder
beschränkt
Phasenmethode
• die wesentliche Bildinformation ist in der Phase des Bildsignals enthalten
• Die Methode ist unempfindlich gegenüber Beleuchtungsänderungen
• Eigentlich ein 1D -Konzept• Bei Erweiterung auf 2D erlaubt sie aber sogar die
Verarbeitung komplexer Fälle wie sich überlagernder transparenter Objekte
Allgemeine Probleme
• Ungleichmäßige Bewegung führt zu einem Fehler in der Schätzung des Optischen Flusses, der mit dem Quadrat der Beschleunigung wächst.
• Ein zunehmender Rauschpegel vermindert die Kohärenz zwischen Nachbarschaften
Robustheit
• Differentielle Methoden sind nicht robust gegenüber Beleuchtungsänderungen
• Die Korrelationsmethode ist robust gegenüber geringen Beleuchtungsänderungen,die Phasenmethode praktisch gar nicht.
• Phasen- und Tensormethode sind relativ unempfindlich gegenüber Bewegungsdiskontinuitäten
Überdeckung
• Ein weiteres Problem des Motion Trackings• Wichtige Teile eines Objekte sind in irgendeiner Art
verdeckt• Shape-Segmentation• Lösungsansatz mittels neuronaler Netze
Template / Pattern Matchingzur Findung der Region of Interest (ROI)
• Am besten lösbar mit Kenntnis des zu verfolgenden Objekts
Abschließendes /Ausblick• Es konnte nur ein winziger Einblick gegeben werden• Motion Tracking ist immer noch ein schwieriges
komplexes Thema• Das Korrespondenzproblem und das Problem der
Überdeckung bleiben schwierig und sind noch nicht vollständig gelöst
• Beleuchtungsänderungen sind ein großes Problem• Es gibt allerdings mittlerweile sehr stabile Algorithmen• Flexiblere Verfahren wie zB. Template /Pattern Matching
die Methode lösen die Methode mit Markern allmählich ab• Durch die Veröffentlichung einer Open Source Bibliothek
von Intel und die rasante Performancesteigerung der Prozessoren ist M. T. für jedermann anwendbar.
LiteraturhinweiseJähne 1997 Jähne, Bernd: Digitale Bildverarbeitung: Springer – ISBN 3-540-61379-XFoley 1997 Foley, James D. :Computer Graphics: Principles and Practice: Addison-Wesley – ISBN 0-201-84840-6 INTEL 2000 Computer Vision Library: http://developer.intel.com/software/opensource/index.htmErreichbar am 25.6.2000MIT Media Laboratory Computers Watching Football:http://www-white.media.mit.edu/vismod/demos/football/tracking.htmErreichbar am 25.6.2000Horst Haussecker 1997 Bildfolgenanalyse: http://klimt.iwr.uni-Heidelberg.de/Projects/BAW/diplhhaus/node1.htmlErreichbar am 25.6.2000Die Fensterfunktion: http://129.206.107.84/PublicFG/ProjectB/CFT/dipluschimpf/node16.htmlErreichbar am 25.6.2000Torsten Rupp Axiales Motion Stereo: http://www.fzi.de/mmr/german/projects/ams/Ams2.htmlErreichbar am 25.6.2000Frank Hering Optimierung der Teilchenzuordnung: Fuzzy Logic: http://klimt.iwr.uni-heidelberg.de/Projects/paper/doktor/node65.htmlErreichbar am 25.6.2000Dmitry Chetverikov Tracking in computer vision: http://visual.ipan.sztaki.hu/pivweb/node2.htmlErreichbar am 25.6.20001997 Image and Video Computing Group - Boston University Active Blobs:Approach: http://irc.bu.edu/faculty/sclaroff/ivc/ActiveBlobs/approach.htmlErreichbar am 25.6.2000Philip McLauchlan Visual Tracking: http://http.cs.berkeley.edu/~pm/Papers/bmvc97/node2.htmlErreichbar am 25.6.2000Sang-Hwa Lee, Seoul National University (Korea) Jong-Il Park, MIC3, ATR (Japan) Choong-Woong Lee, Seoul National University (Korea)Motion Analysis II, A New Stereo Matching Algorithm Based on Bayesian Model: http://www.causalproductions.com/TEMP/INDEX/IC98S507.HTMErreichbar am 25.6.2000Bewegungsschätzung im Spektralraum: http://est340.e-technik.tu-ilmenau.de/pvk/bericht/4-08.htm#BewegungsschätzunErreichbar am 25.6.2000Hydra: Multiple People Detection and Tracking Using Silhouettes: http://www.umiacs.umd.edu/~hismail/Hydra_Outline.htmNeil Johnson University of Leeds / Vision Group: http://www.scs.leeds.ac.uk/neilj/research.htmlErreichbar am 25.6.2000