zmiešaná realita · 2016. 3. 2. · •rozšírená (obohatená) realita (augmented reality, ar)...
TRANSCRIPT
![Page 1: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/1.jpg)
ZMIEŠANÁ REALITA
doc. Ing. Branislav Sobota, PhD.
Katedra počítačov a informatiky
FEI TU Košice
© 2016
Systémy Virtuálnej Reality
![Page 2: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/2.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 2
Zmiešaná realita (MR) (Azuma)
STAR 1200XL (Vuzix)
Zmiešaná realita (mixed reality, MR) je oblasť
počítačového výskumu zaoberajúca sa
kombináciou reálneho sveta a počítačom
generovaných dát (virtuálnej reality), kde
počítačom generované syntetické objekty sú
vmiešavané do reálneho prostredia a naopak,
v reálnom čase
MS Hololens
![Page 3: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/3.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 3
Zmiešaná realita ako koncept
používateľského rozhrania
Používateľské rozhranie má mnoho foriem. Jedná sa v princípe o
systém styku medzi dvomi oblasťami/subjektami a môže sa
vyskytovať nie len v počítačoch, ale na akomkoľvek
prístroji/systéme. Napríklad ovládač k televízoru má
používateľské rozhranie.
Oblasť/
subjekt
A
Oblasť/
subjekt
B
Rozh
ra
nie
![Page 4: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/4.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 4
Human-computer interface (Card et. al)
Identifikácia hranice HCI je pomerne obtiažna. Kľúčovým
aspektom je možno to, že používateľ a počítač musia byť
zapojení do komunikatívneho dialógu, ktorého účelom je
dosiahnutie vykonania nejakej úlohy. Dialóg môže byť časovo
obmedzený, pretože počítač aj používateľ majú prístup k
prúdu symbolov ktoré putujú tam a späť za účelom
uskutočňovania komunikácie; každý z nich môže prerušiť,
dopytovať a opravovať komunikáciu na rôznych miestach v
tomto procese. Všetky mechanizmy, ktoré sa pri tom
používajú, tvoria rozhranie: fyzické zariadenia, napr.
klávesnice a displeje, ako aj počítačové programy určené
pre kontrolu interakcie.
![Page 5: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/5.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 5
Základné charakteristiky MR
• kombinuje reálne a virtuálne
• je interaktívna
• prebieha v reálnom čase
• je registrovaná v troch dimenziách
Systém zmiešanej reality je považovaný
za definitívne imersívny systém aj v rámci konceptu HCI
Ronald T.Azuma
![Page 6: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/6.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 6
Zmiešaná realita – Milgramovo continuum
• Rozšírená (obohatená) realita (augmented reality, AR) – vkladanie syntetizovaných objektov do reálneho sveta
• Rozšírená virtualita (augmented virtuality, AV) – vkladanie reálnych objektov do syntetizovaného sveta
Milgramov prechod (Milgramovo continuum) medzi reálnym a virtuálnym prostredím
![Page 7: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/7.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 7
Zmiešaná realita – Mannova klasifikácia
Realita Virtualita
Rozšírená realita (augmented reality, AR)
Rozšírená virtualita (augmented virtuality, AV)
Medialita
(sprostredkovanie)
Striktne sprostredkovaná virtualita
Sprostredkovaná realita (mediated reality, MR)
Sprostredkovaná virtualita (mediated virtuality, MV)
![Page 8: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/8.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 8
Medialita
Medialita vo forme sprostredkovania
Sprostredkovanie z hľadiska tejto technológie je rozšírený pojem zahrňujúci aj
isté prvky prenosu zviditeľnenia (vizualizácie) do iného formátu t.j. transformáciu
objektov do „mediálnej“ podoby.
Mediácia - proces prevádzania (transformácie) údajov v rámci vytvárania resp.
presunu objektov zahrňujúci aj množinu transformácií umožňujúcich transport
údajov na zviditeľnenie (vizualizáciu)
Medialita je potom chápaná ako interaktívne rozhranie t.j. prostredie styku
rozdielnych svetov. Jedná sa teda o mieru možného prepojenia medzi
heterogénnymi svetmi, v ktorých sú využívané rozdielne formy sprostredkovania
(zviditeľnenia, vizualizácie).
![Page 9: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/9.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 9
Typy MR systémov (podľa toho ako pozorovateľ vidí MR)
MR s priamym pohľadom
(optical see-through)
(s polopriepustným displejom)
MR s nepriamym pohľadom
(video see-through)
(s HMD)
![Page 10: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/10.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 10
Typy MR systémov (podľa toho ako dochádza k zlaďovaniu virtuálnych objektov s reálnym svetom )
• systémy so značkami (marker systems) – do reálnej scény sa umiestnia špeciálne značky, ktoré sú počas behu rozpoznané a nahradené virtuálnymi objektmi
• systémy bez značiek (semi-markless, markerless systems) - vyhodnocovanie a vkladanie je bez značiek, avšak sú potrebné iné doplnkové informácie napr. rozpoznanie obrazu, tváre príp. GPS
![Page 11: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/11.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 11
Obohatená a rozšírená realita (podľa toho v akom priestore dochádza k zlaďovaniu virtuálnych objektov s reálnym
svetom )
• Obohatená realita – bez priamej geometrickej väzby s reálnym svetom
• Rozšírená realita – s geometrickou väzbou s reálnym svetom
Google Glass
![Page 12: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/12.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 12
Toky dát v systémoch VR/MR
Vstupné
rozhrania
Vstupno-
výstupné
rozhrania
Vstupné dáta
Jadro VR
systému
Vstupné
dáta
jadra
Výstupné dáta
jadra
Dáta generované
jadrom VR systému
VSTUPY VÝSTUPY
Výstupné
rozhrania
Výstupné dáta
Vstupno-
výstupné
rozhrania
![Page 13: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/13.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 13
Previazanie zobrazovaných obrazov v systémoch
MR
reálna scéna videná používateľom
súradnicový systém reálnej
scény
Virtuálny (syntetizovaný) objekt
súradnicový systém virtuálnej
scény
Zosúladenie reálnej a virtuálnej scény
(prepočet súradnicových systémov)
súradnice pozície kamery
Renderovanie grafiky (výpočet výslednej
virtuálnej grafickej scény)
súradnice pozície kamery
súradnicový systém sveta
(výstupná súradnicová sústava)
Obraz scény (reálny pohľad)
Virtuálny obraz (virtuálny pohľad)
súradnice obrazu reálnej scény
súradnice virtuálneho obrazu
Výstupné zobrazovacie zariadenie
Výstupný obraz zmiešanej reality
R
používateľ
![Page 14: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/14.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 14
Oblasti nasadenia MR systémov
• Výskumné a akademické aktivity
• Komerčné systémy
• Počítačové hry, exteriérová MR
• MR v mobilných zariadeniach
• Armádne nasadenie
• Medicína
• Priemyselné riešenia, architektúra
• Výuka a tréning
![Page 15: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/15.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 15
MR vo výskumných aktivitách
• MARS (Mobile Augmented Reality System created at GC and UI lad of Columbia University): http://graphics.cs.columbia.edu/projects/ mars/mars.html
• ARMAR (Augmented Reality for Maintenance And Repair): http://graphics.cs.columbia.edu/projects/armar/index.htm
• Sixth Sense (Wearable gestural interface developed at MIT media lab): http://www.pranavmistry.com/projects/sixthsense/index.htm
• ARToolKit (Software library for building AR applications created by Human Interface Technology laboratory): http://www.hitl.washington.edu/ artoolkit/
• DART (Designer’s Augmented Reality Toolkit created by Augmented Environments Laboratory of Georgia Institute of Technology): http://www.cc.gatech.edu/dart/
![Page 16: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/16.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 16
Komerčné MR systémy • Mirage - kompletný AR system vyvinutý Arcane Technologies: http://www.arcane-technologies.com/en/
• Virtual Box Simulator - aplikácia pre optimalizáciu zásielky pred poslaním: https://www.prioritymail.com/simulator.asp?id=18015211&ssno=26968
• Layar - štandardizácia AR zobrazovača: (http://blog.machinecontrolonline.com/?p=279)
• InterSense - riadenia strojov a zariadení a tréning obsluhy a servisu: (http://www.intersense.com)
• Boeing repair assistant (http://www.boeing.com)
• Procter & Gamble - reklamná kampaň na produkty Always (http://www.always.com/infinity/always_infinity.jsp#/experience-the-magic)
• D’Fusion (software na návrh a prezentáciu pomocou MR (AR): http://www.t-immersion.com/en,solution-presentation,559.html
![Page 17: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/17.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 17
Exteriérová MR a hry
Komponenty systému ARQuake a pohľad používateľa
http://wearables.unisa.edu.au/arquake
![Page 18: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/18.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 18
MR v mobilných zariadeniach
Vzhľad projektu MARA - systém AR pre mobilné telefóny
(http://research.nokia.com /research/projects/mara/index.html),
![Page 19: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/19.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 19
MR v mobilných zariadeniach
Fanta Virtual Tennis (http://fanta.eu/)
![Page 20: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/20.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 20
MR a medicína
![Page 21: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/21.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 21
MR a armáda
SIMNET, MILES2000 (http://www.tesslcs.com) (aj ASR)
![Page 22: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/22.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 22
MR a priemysel a architektúra
Ukážka servisnej BMW AR technológie
![Page 23: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/23.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 23
MR a automobilový priemysel
navigačné prvky v spojení so systémom GPS priamo do výhľadu vodiča
(napr. systém firmy Alvis Technologies Inc., http://www.alvis.com.tw/products.php?pkid=2)
![Page 24: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/24.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 24
MR a priemysel a architektúra
Model budovy a jej „zobrazenie“ v reálnom prostredí
![Page 25: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/25.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 25
MR a výuka a tréning
Zariadenie Spinnstube – skutočnosť (hore) a študentov vnem (dole)
![Page 26: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/26.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 26
HOLODESK, HOLOLENS (AR, Microsoft)
http://www.youtube.com/watch?feature=player_embedded&v=JHL5tJ9ja_w#!
![Page 27: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/27.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 27
Niektoré MR (AR) systémy
• D'Fusion Studio (http://www.t-immersion.com/)
• Metaio (http://www.metaio.com)
• ARTag (http://www.artag.net/)
• BuildAR (http://www.hitlabnz.org/wiki/Introduction_to_BuildAR)
• AR-media Plugin pre SketchUp
(http://www.inglobetechnologies.com/ /en/products/arplugin_su/info.php)
• ARToolkit (http://www.hitl.washington.edu/artoolkit/)
![Page 28: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/28.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 28
AR-media
Ukážka funkcie pluginu AR-media pre SketchUp
![Page 29: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/29.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 29
ARToolkit
jednoduché prostredie pre vytvorenie AR aplikácií, OpenSource s GPL licenciou pre nie
komerčné využitie
multiplatformové knižnice (Windows,Linux,MAC OS,SGI)
prekrýva 3D virtuálny objekt na reálnej značke
podpora rôznych vstupov (USB,Firewire,karty) a formátov (RGB/YUV420P,YUV)
podpora sledovania viacerých kamier
GUI inicializujúce rozhranie
rýchle a nenáročné sledovanie značiek (planárna detekcia v reálnom čase)
jednoduchá grafická knižnica (založená na GLUT) a vykresľovanie založené na OpenGL
podpora 3D VRML
jednoduché a modulovateľné API (v jazyku C) a podpora iných jazykov (JAVA,Matlab)
kompletná sada príkladov a utilít
softwérová knižnica na vytváranie zmiešanej reality. Rieši kľúčový
problém pri vývoji aplikácií zmiešanej reality, ktorým je určenie pozície
zorného poľa užívateľa.
![Page 30: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/30.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 30
Proces práce s ARToolkit
![Page 31: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/31.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 31
Proces vytvárania MR scény
Zhromažďovanie
údajov
collection
Model vytváranie/editácia
Model export
Model kontrolné vykreslenie
Model
OK ? Model
výstup
Marker definícia
Marker vytváranie/editácia
Marker
OK ?
Spájanie
modelu a
markera
Spojenie
OK ?
Príprava dát
finálnej scény
Vykreslenie
finálnej scény
rendering
Marker kontrola rozpoznania
Vstup
reálnej scény
+
+
+
-
-
-
![Page 32: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/32.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 32
Štandardný proces práce AR aplikácie bez
exaktných značiek
Inicializácia kamery
Štart
Inicializácia predlôh
Inicializácia 3D modelu Inicializácia
Načítanie video snímky
Detekcia predlohy/objektu
Výpočet pozície a orientácie
Vykreslenie 3D modelu
Vypnutie kamery
Koniec
Hlavný
cyklus
Ukončenie
Inicializácia kamery
Štart
Inicializácia predlôh
Inicializácia 3D modelu Inicializácia
Načítanie video snímky
a rozdelenie do subregiónov
Vykreslenie 3D modelu
Vypnutie kamery
Koniec
Hla
vný c
yklu
s
Ukončenie
Detekcia
predlohy1/
objektu1
Detekcia
predlohy2/
objektu2
Detekcia
predlohyN/
objektuN
. . .
Výpočet
pozície
a orientácie
objektu1
Výpočet
pozície
a orientácie
objektu2
Výpočet
pozície
a orientácie
objektuN
. . .
Par
alel
izác
ia
GPGPU
Paralelizácia
procesu
![Page 33: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/33.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 33
Štandardný proces práce AR aplikácie bez
exaktných značiek
1. kamera neustále sníma reálnu scénu a posiela video do
výpočtového systému na spracovanie
2. Programové vybavenie spracúva snímku po snímke
a pomocou zvolenej metódy na detekciu hľadá v snímke
danú(é) predlohu(y)/objekt(y).
3. po rozpoznaní objektu (predlohy) sa vypočíta jeho
pozícia a orientácia
4. ak je známa pozícia a orientácia, umiestni sa virtuálny
model na danú pozíciu
5. používateľ vidí na displeji reálnu scénu snímanú kamerou
rozšírenú o virtuálny 3D model.
![Page 34: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/34.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 34
Metódy detekcie používané v systémoch
MR (AR)
•SIFT - Scale Invariant Feature Transform
•SURF - Speeded-Up Robust Features
![Page 35: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/35.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 35
Metódy detekcie používané v systémoch
MR (AR) - SIFT
1. Vyhľadanie lokálnych extrémov v rozpoznávanom priestore – V prvej fáze sa
zostrojí scale-space (SS) t.j. mierkovo nezávislá reprezentácia obrázku pri
Gaussovom rozmazaní. V ňom sa vyhľadajú všetky lokálne extrémy. Pre
efektívny výpočet SS sa používa rozdiel Gaussových funkcií – Difference-of-
Gaussians (DoG)
2. Presnejšie určenie významných bodov – V tomto kroku sa získané body
z prvej fázy podrobnejšie skúmajú. Tie, ktoré majú nedostatočnú stabilitu sú
vylúčené a u zvyšných, ktoré sú stabilné sa spresni poloha v priestore.
3. Priradenie orientácií – V tejto častí je významným bodom priradená
dominantná orientácia na základe orientácie gradientu v okolí bodu.
Priradením orientácie docielime nezávislosť bodov od rotácie.
4. Vytvorenie deskriptorov pre významné body – Pre každý významný bod je
vypočítaný deskriptor na základe gradientu v okolí bodu. Pomocou
deskriptorov je možné hľadať zhody v porovnávaných obrazoch.
![Page 36: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/36.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 36
Metódy detekcie používané v systémoch
MR (AR) - SURF
SURF je metóda, ktorá dokáže popísať obrázok pomocou
deskriptorov. Metóda SURF je novšou obdobou metódy
SIFT. Popis pomocou deskriptorov vygenerovaných touto
metódou je invariantný voči rotácii a vzdialenosti kamery
od popisovaného objektu. Algoritmus SURF sa využíva
v mnohých aplikáciách počítačového videnia, ako napr. pri
rekonštrukcii 2D a 3D scén, klasifikáciu obrázkov a hlavne
pre rýchly popis obsahu obrázku.
![Page 37: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/37.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 37
Metódy detekcie používané v systémoch
MR (AR) - SURF Algoritmus je možno rozdeliť na niekoľko funkčných časti:
1. Prvý funkčný blok algoritmu je tzv. „integrálny obraz“. Integrálny
obraz v každom svojom obrazovom bode obsahuje hodnotu súčtu
hodnôt obrazových bodov (pixelov) od počiatku obrazu až do
daného bodu.
2. Ak je k dispozícii integrálny obraz, potom na výpočet ľubovoľnej
veľkej sumy hodnoty pôvodného obrazu potrebujeme iba 4 okolité
významové body (napr. na výpočet hodnoty sumy hodnôt pixelov vo
vnútri celého definovaného obdĺžnika nám stačí poznať hodnoty
rohových pixelov odpovedajúceho integrálneho obrazu).
3. Ďalej metóda SURF používa determinant Hessianovej matice.
Hessianová matica je štvorcovou maticou druhých parciálnych
derivácií spojitej funkcie 4. V ďalšom kroku nastáva budovanie mierkovo nezávislej reprezentácie
obrázu
5. Algoritmus končí priradením orientácie a vytvorením deskriptorov
![Page 38: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/38.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 38
Metódy detekcie používané v systémoch
MR (AR) - SURF
Významné body spoločné pre značku a aktuálnu snímku
![Page 39: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/39.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 39
Výpočet pozície, orientácie, projekcie
![Page 40: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/40.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 40
Výpočet pozície, orientácie, projekcie
![Page 41: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/41.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 41
Ukážka celkového procesu MR bez
exaktných značiek
Zobrazenie MR pre HMD
(datovú prilbu)
![Page 42: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/42.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 42
Celkový diagram
procesu MR bez
exaktných značiek
![Page 43: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/43.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 43
Schéma vysokoúrovňového systému MR
Kamera
Senzorová časť
GPS Inerciálny snímač
Procesná časť
Definícia modelu Údaje o pozícii Databáza objektov
Vykresľovanie
Dis
ple
j
Obraz z kamery
AR údaje
Procesná časť
Globálna
definícia
modelu/sveta
Globálne údaje
o pozícii vrátane
relačných
Globálna databáza
objektov
Kom
unik
ačná
sieť
![Page 44: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/44.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 44
Využitie MR Možnosť pozrieť si výslednú realizáciu ešte pred samotnou realizáciou za pomoci MR
projekcie, možnosť „prechádzať sa“ v prípadných existujúcich priestoroch.
Ľahké odhalenie chýb pri projekcii - chybného umiestnenia prípadne chýbajúceho
konštrukčného prvku
Pre investora ľahké posúdenie a úprava pôvodného návrhu o optimálnom usporiadaní
technológie ešte pred začiatkom samotnej realizácie. K projektu sa môžu pri takomto type
vizualizácie vyjadrovať aj netechnici resp. môžu byť potlačené jazykové bariéry
Pohľady na projekt, ktoré v reáli nie sú možné
V kombinácii s GPS a prípadnými mobilnými zariadeniami orientácia vo výrobnom podniku
alebo ako prvok rozhrania informačného systému podniku, kde môžu byť zobrazované
doplnkové informácie o objektoch (napr. evidenčné číslo, dostupnosť na sklade či
zodpovednú osobu).
Možnosť pripraviť si a natrénovať postup dopravy a montáže s ohľadom na rozmer
zariadenia a dostupného priestoru
Tréning obsluhy technológie bez potreby pobytu priamo v prevádzke
Tréning požiarnej ochrany, zváračský simulátor, tréning na vysokozdvižnom vozíku, tréning
bezpečnostých jednotiek
Možnosť prípravy efektných prezentácií a podkladov pre budúcu reklamnú resp. investičnú
kampaň
![Page 45: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/45.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 45
Príklad použitia MR (AR, KPI FEI TU Košice)
![Page 46: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/46.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 46
Príklad použitia MR (AR, KPI FEI TU Košice)
KPI FEI TU Košice SVR - Zmiešaná realita 46
![Page 47: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/47.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 47
Príklad použitia MR (AR, KPI FEI TU Košice) Skladanie PC
1 2
3 4
![Page 48: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/48.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 48
Príklad použitia MR (AR, KPI FEI TU Košice) Skladanie výrobnej linky
1 2
3 4
![Page 49: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/49.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 49
Príklad použitia MR (AR, KPI FEI TU Košice) Virtuálny klavírny trenažér
![Page 50: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/50.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 50
Príklad použitia MR (AR, KPI FEI TU Košice)
Rozšírená virtualita
reálny pohľad zobrazenie v systéme AV
![Page 51: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/51.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 51
Experimentálne pracovisko MR (AR, KPI FEI)
![Page 52: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/52.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 52
Experimentálne pracovisko MR (AR, KPI FEI)
reálny stav vnem (pohľad) pozorovateľa
![Page 53: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/53.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 53
Experimentálne pracovisko MR (AR, KPI FEI)
Znázornenie tréningového procesu pomocou
dátovej prilby a snímača v parciálnej úlohe
uchopenie telesa (hore) a pri posúvaní vozíka
s motorom (dolu)
vnem (pohľad) pozorovateľa
Virtuálne pracovisko v modelovacom prostredí Tecnomatix JACK 7.1 (SIEMENS, vizual KPI FEI TU Košice)
![Page 54: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/54.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 54
Experimentálne pracovisko MR (AR, KPI FEI)
Schéma základnej koncepcie distribuovaného systému zmiešanej reality
Plný distribuovaný systém zmiešanej reality (LIRKIS KPI FEI TU Košice)
![Page 55: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/55.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 55
Experimentálne pracovisko MR (AR, KPI FEI)
Základné moduly distribuovaného systému zmiešanej reality
Plný distribuovaný systém zmiešanej reality (LIRKIS KPI FEI TU Košice)
• komunikačný modul,
• úložisko údajov,
• synchronizačný modul,
• vizualizácia,
• údaje z polohových senzorov,
• gestá dátovej rukavice,
• realizácia skriptovaných animácií,
• detekcia kolízií medzi objektmi,
• manipuláciu s virtuálnymi objektmi pomocou dátovej rukavice,
• zachytenie zvuku,
• prehrávač zvuku.
![Page 56: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/56.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 56
Experimentálne pracovisko MR (AR, KPI FEI)
Implementácia distribuovaného systému zmiešanej reality
Plný distribuovaný systém zmiešanej reality (LIRKIS KPI FEI TU Košice)
![Page 57: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/57.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 57
Experimentálne pracovisko MR (AR, KPI FEI)
Interakcie medzi modulmi distribuovaného systému zmiešanej reality
Plný distribuovaný systém zmiešanej reality (LIRKIS KPI FEI TU Košice)
![Page 58: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/58.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 58
Experimentálne pracovisko MR (AR, KPI FEI)
Výhody distribuovaného systému zmiešanej reality
Plný distribuovaný systém zmiešanej reality (LIRKIS KPI FEI TU Košice)
• využitie výpočtovej schopnosti viacerých počítačov,
• nezávislosť modulov,
• asynchrónne vykonávania nezávislých činností VR,
• možnosť zámeny len niektorých modulov,
• škálovateľnosť.
![Page 59: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/59.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 59
Experimentálne pracovisko MR (AR, KPI FEI)
Ukážka práce a pohľad pozorovateľa v distribuovanom systéme zmiešanej
reality
Plný distribuovaný systém zmiešanej reality (LIRKIS KPI FEI TU Košice)
![Page 60: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/60.jpg)
KPI FEI TU Košice SVR - Zmiešaná realita 60
Experimentálne pracovisko MR (AR, KPI FEI)
Ukážka práce dvoch účastníkov v distribuovanom systéme zmiešanej reality
Plný distribuovaný systém zmiešanej reality (LIRKIS KPI FEI TU Košice)
![Page 61: Zmiešaná realita · 2016. 3. 2. · •Rozšírená (obohatená) realita (augmented reality, AR) – ... presunu objektov zahrňujúci aj množinu transformácií umožňujúcich](https://reader033.vdocuments.mx/reader033/viewer/2022051804/5ff14e9df600e53f0a3eb68a/html5/thumbnails/61.jpg)
KPI FEI TU KošiceKPI FEI TU Košice SVR - Zmiešaná realitaSVR - Virtuálna realita 61
OTÁZKY ?
© 2016 KPI FEI TU Košice