Head-Worn Displays – Mehr sehen durch die Datenbrille
Ingrid Jaquemotte
05.11.14
Technik und Anwendung
2
• Einführung
• Technik
• Beispiele
• Trackingmethoden
• Projekte der Jade-Hochschule
• Ausblick
Head-Worn Displays –
Mehr sehen durch die Datenbrille ?
Inhalt
Einführung 3
Head Mounted Display – vor 50 Jahren
Erstes funktionsfähiges HMD wird
1968 entwickelt von Ivan Sutherland
an der Harvard University
/Sutherland, 1968/
Head Mounted Display = auf dem Kopf montierte Anzeige
Einführung 4
Head Worn Display - heute
die digitale Brille
als neue Generation
mobiler Endgeräte
mit
• immer kleineren und
leistungsfähigeren
Sensoren
• vielen Funktionen aus dem
Bereich der Smartphones
/Google Glass 1/
Einführung 5
Augmented
Reality
Virtual Reality Bilder und
Videos
Head Worn Displays (HWD) - Begriffsklärung
Einführung 6
Virtual Reality (Virtuelle Realität)
• Virtuelle Realität (VR) ist die Wiedergabe einer interaktiven, in Echtzeit
generierten virtuellen Umgebung
• Immersion ist das Eintauchen in eine virtuelle Welt, der Betrachter
nimmt weniger die reale Welt wahr, sondern fühlt sich als Teil einer
virtuellen Welt
• Verwendete Hardware, z.B.
– HWD
– Cave
• Darstellungsmethode
– häufig stereoskopisch
• Interaktion
– 3D-Maus, Datenhandschuh
– Gesten
Einführung 7
Augmented Reality - Definitionen
Ein AR-System hat die folgenden charakteristischen Merkmale:
• es kombiniert die reale Welt mit einer virtuellen Welt
• es ist interaktiv und reagiert in Echtzeit
• es ist 3-dimensional
/Azuma, 1997/
Reale Welt Virtuelle Welt
Gemischte Realität Mixed Reality (MR)
Erweiterte Realität Erweiterte Virtualität
Real Environment Augmented Reality (AR) Augmented Virtuality (AV) Virtual
Environment
(VR)
/RV Continuum nach Milgram, 1994/
Technik 8
HWD-Techniken
Closed
• Die reale Welt ist nicht sichtbar
• Virtuelle Szenen werden ohne optischen Bezug zur Realität erzeugt
• Bewegungen des Betrachters können berücksichtigt werden
Head
Tracker Video Szenen-
generator
Bild
Technik 9
HWD-Techniken
Video See Through
• Die reale Umgebung wird über eine oder zwei Kameras aufgenommen
• Position und Blickrichtung des Betrachters werden erfasst
• Eine Ansicht eines virtuellen Objektes wird in Abhängigkeit davon generiert
• Diese Ansicht wird mit dem Video kombiniert
nach /Azuma 1997/
Video der
realen Welt
Kombination von
Video und
virtueller Szene
Head
Tracker Position und Blickrichtung
Videokameras
Reale Welt
Ergänztes Video
Bild Anzeige
Szenen-
generator
Technik 10
HWD-Techniken
Optical See Through
• Die reale Umgebung wird durch eine transparente Anzeige betrachtet
• Position und Blickrichtung des Betrachters werden erfasst
• Eine Ansicht eines virtuellen Objektes wird in Abhängigkeit davon generiert
• Diese Ansicht wird auf die halbtransparente Anzeigefläche projiziert
Szenen-
generator Head
Tracker
Position und Blickrichtung Bild
Reale Welt
Optische Erweiterung der Realität
nach /Azuma 1997/
Beispiele 11
Smart Glasses – Beispiel
Google Glass
= Smartphone in neuer Form
Funktionen
• Fotos und Videos aufnehmen
• Navigation
• Nachrichten schreiben/sprechen
Interaktion
• Touch Interface
• Spracheingabe
• Gesten
Voraussetzung: Verbindung mit einem Smartphone
Vorteil: Die Hände sind frei
/Google Glass 1/
Beispiele 12
/Google Glass, MovGP0/
Video
Smart Glasses – Beispiel
Google Glass
/Google Glass Video/
Beispiele 13
VR-Brille – Beispiel
Oculus Rift
/Wikipedia, Oculus Rift/
/Wikipedia, Oculus Rift, Front/
/Wikipedia, Oculus Rift, Back/
Beispiele 14
VR-Brille – Beispiel
Oculus Rift
Funktionen
• Nahezu verzögerungsfreies Tracking des Kopfes durch eine
intertiale Messeinheit
• Stereoskopische Wiedergabe und großer Blickwinkel (ca. 100°)
sehr guter 3D-Eindruck
• Leicht und bequem tragbar
Anwendungen
• 3D-Spiele
• VR-Anwendungen mit hoher Immersion
Die Umgebung nicht visuell wahrnehmbar
Beispiele 15
Video See Through – Beispiel
VUZIX Wrap 1200DXAR
Ausstattung
• Stereo-Kamera zur Aufnahme der
Realität
• Tracking des Kopfes über eine
intertiale Messeinheit
• Stereo-Anzeige
Allgemeine Eigenschaften eines VST:
• Videobild und Ansicht des virtuellen Modells aus dem Szenengenerator müssen
synchronisiert werden
• sowohl Videobild als auch VR-Bild sind in ihrer Auflösung begrenzt
• Der Offset zwischen Kamera und Augenposition wirkt sich auf die Anzeige aus
/Photo: Peter Meyer, Jade Hochschule Oldenburg/
Beispiele 16
Optical See Through – Beispiel
Entwicklung des Fraunhofer COMEDD (2012)
Allgemeine Eigenschaften eines OST:
• nur das virtuelle Modell muss angezeigt werden, die Realität wird direkt und ohne
Einschränkung der Auflösung gesehen
• die absolute Position eines virtuellen Objektes im Realraum kann nicht nachjustiert
werden
/Fraunhofer: Forschung kompakt 11/2012 /
Prinzip
• OLED-Display
zur Bildanzeige (stereo)
• integrierte Photodioden als
„Kamera“
Augenbewegungen werden
erfasst und zur Interaktion
verwendet
Beispiele 17
Einordnung der vorgestellten Beispiele
Video See
Through
(VST)
Optical See
Through
(OST)
monokular
binokular
Closed
Beispiele 18
Head-Up Display
Informationen werden in die Frontscheibe projiziert,
z.B. Infos zur
• eigenen Position
• Navigation
• aktuellen
Geschwindigkeit
• erlaubten
Geschwindigkeit
• …
Bild aus: http://www.media-schmid.de/downloads/projektionstechniken.pdf/
Tracking 19
Trackingmethoden
nach /Bostanci et al., 2010/
im Freien
in Gebäuden
SLAM
Vision-based
markerbasiert
modellbasiert
Beschleunigungssensoren Neigungssensoren
Inertiale Messeinheit
GNSS
Fusion
Tracking 20
• Der Marker wird im Kamerabild erkannt
• Aus der perspektivischen Verzerrung wird die Position der Kamera im
Marker-Koordinatensystem
ermittelt
AR mit Vision-basiertem Tracking
/Foto: Tobias Theuerkauff, Jade Hochschule Oldenburg/
markerbasiert
• Virtuelle Objekte werden
an den Markern
ausgerichtet
• auch 3D-Marker können
eingesetzt werden
Tracking 21
• Das Videobild wird mit einem Referenzmodell abgeglichen
• Die Kameraposition wird in Bezug auf das Modell ermittelt
Vision-basiertes Tracking
Modellbasiert
SLAM
• Aus mehreren Bildern aus unterschiedlichen Perspektiven werden 3D-Punkte
ermittelt
• Aus den 3D-Punkte werden Oberflächen gebildet
In einer unbekannten Umgebung können Oberflächen erkannt und bei der
Bearbeitung virtueller Objekte berücksichtigt werden.
Studentische Projekte 22
Studentische Projekte:
AR mit markerbasiertem Tracking
Mobile Anwendung von AR im Building Information Modelling
/Masterprojekt Glenewinkel, Brühl, WS 12/13/
• bisher: Tablet-Anwendung
• künftig: AR-Brille?
Anzeige von
nicht sichtbaren Installationen wie Strom-
und Wasserleitungen, Konstruktion, …
Studentische Projekte 23
AR-Brille und Gestensteuerung
• Markerbasiertes Tracking
• Interaktion über Gestensteuerung
• AR-Brille VST
/Masterarbeit Radischat 2013/
Betreuung: M.Weisensee
Studentische Projekte 24
Augmented Reality mit HMD
Ziel:
Präzises Positionierung
virtueller Objekte
im Realraum
Studentische Projekte 25
Head Mounted Display und optisches Tracking
• Position und Blickrichtung des Betrachters werden in Echtzeit getrackt
• Die Anzeige der virtuellen Szene wird an die Bewegung des Betrachters
angepasst
/Fotos: Peter Meyer, Jade Hochschule Oldenburg/
/Masterprojekt Benke, Riegel, WS 13/14/
• präzises optisches Trackingsystem (Stereokamera)
• HMD mit 3D-Lokator
Technik
Betreuung:
Th. Luhmann,
I. Jaquemotte
Funktionen des Systems
Prototyp
Studentische Projekte 26
Head Mounted Display und optisches Tracking
Folgeprojekt
/Photo: Peter Meyer, Jade Hochschule Oldenburg/
/Masterprojekt Herbord, Szeliga, Tolzin WS 14/15/
Aufgaben
• Genauigkeitsuntersuchung
• Kalibrierung
Fazit 27
Fazit
Getrieben durch die Entwicklung mobiler Endgeräte:
• Anzeigegeräte, Sensoren und Recheneinheiten werden immer kleiner
und technisch ausgereifter
• Methoden des Tracking und der Echtzeit-Objektrekonstruktion werden
immer leistungsfähiger und zunehmend echtzeitfähig
• Durch neue Interaktionsmethoden wird die Gebrauchstauglichkeit
laufend verbessert
Noch ist die Gebrauchstauglichkeit
von Google Glass und Co. eingeschränkt
Professionelle Anwendungen
mit Head-Worn Displays werden kommen!
Ausblick
28
Künftig: Visualisierung von Planungsvarianten
mit HWD?
Beispiel: Planung von Windenergieanlagen
29
Head-Worn Displays –
Mehr sehen durch die Datenbrille ?
Quellen
30
Quellenangaben
/Google Glass, MovGP0/ „Google Glass“ von — MovGP0 - selbst erstellt mit Inkscape. Über Wikipedia -
http://de.wikipedia.org/wiki/Datei:Google_Glass.svg#mediaviewer/File:Google_Glass.svg
/Azuma, 1997/ Azuma, Ronald T. (1997): A Survey of Augmented Reality. In: Presence: Teleoperators and Virtual Environments 6
(4), S. 355–385. Online verfügbar unter http://www.cs.unc.edu/~azuma/ARpresence.pdf, zuletzt geprüft am 31.10.14.
/Bostanci et al., 2010/ Bostanci, Erkan; Kanwal, Nadia; Ehsan, Shoaib; Clark, Adrian F. (2013): User Tracking Methods for
Augmented Reality. In: International Journal of Computer Theory and Engineering 5 (1), S. 93–98, zuletzt geprüft am 31.10.14.
/Google Glass 1/ "Google Glass detail" by Antonio Zugaldia - http://www.flickr.com/photos/azugaldia/7457645618. Licensed under
Creative Commons Attribution 3.0 via Wikimedia Commons -
http://commons.wikimedia.org/wiki/File:Google_Glass_detail.jpg#mediaviewer/File:Google_Glass_detail.jpg
/Google Glass Video/ http://www.youtube.com/watch?v=F_DsUl_vqvo&feature=player_detailpage
/RV Continuum nach Milgram, 1994/ Milgram, Paul; Takemura, Haruo; Utsumi, Akira; Kishino, Fumio (1994): Augmented Reality: A
Class Of Displays on The Reality-Virtuality-Continuum. In: SPIE Vol. 2351, Telemanipulator and Telepresence Technologies,
1994, Bd. 2351. Online verfügbar unter http://etclab.mie.utoronto.ca/people/paul_dir/SPIE94/SPIE94.full.html, zuletzt geprüft am
31.10.14.
/Sutherland, 1968/ Sutherland, I.E : A Head -Mounted Three-Dimensional Display, AFIPS Conference Proceedings, Vol. 33, Part I,
1968, pp./757-764
/Wikipedia, Oculus Rift/ "Orlovsky and Oculus Rift" by Sergey Galyonkin from Kyiv, Ukraine - Orlovsky and Oculus RiftUploaded by
Yakiv Gluck. Licensed under Creative Commons Attribution-Share Alike 2.0 via Wikimedia Commons -
http://commons.wikimedia.org/wiki/File:Orlovsky_and_Oculus_Rift.jpg#mediaviewer/File:Orlovsky_and_Oculus_Rift.jpg
/Wikipedia, Oculus Rift, Back/ Oculus Rift - Developer Version - Back" by Sebastian Stabinger - Own work. Licensed under
Creative Commons Attribution 3.0 via Wikimedia Commons - http://commons.wikimedia.org/wiki/File:Oculus_Rift_-
_Developer_Version_-_Back.jpg#mediaviewer/File:Oculus_Rift_-_Developer_Version_-_Back.jpg
/Wikipedia, Oculus Rift, Front/ "Oculus Rift - Developer Version - Front" by Sebastian Stabinger - Own work. Licensed under
Creative Commons Attribution 3.0 via Wikimedia Commons - http://commons.wikimedia.org/wiki/File:Oculus_Rift_-
_Developer_Version_-_Front.jpg#mediaviewer/File:Oculus_Rift_-_Developer_Version_-_Front.jpg