natural user interfaces mitdownload.microsoft.com/download/2/1/b/21b9ec98-3f97-47f8... ·...
TRANSCRIPT
![Page 1: Natural User Interfaces mitdownload.microsoft.com/download/2/1/B/21B9EC98-3F97-47F8... · 2018-10-13 · NUI mit Kinect, Cortana und HoloLens. Natural User Interfaces. Natural User](https://reader034.vdocuments.mx/reader034/viewer/2022042917/5f5a0cddbdbc9d57de477e9f/html5/thumbnails/1.jpg)
![Page 2: Natural User Interfaces mitdownload.microsoft.com/download/2/1/B/21B9EC98-3F97-47F8... · 2018-10-13 · NUI mit Kinect, Cortana und HoloLens. Natural User Interfaces. Natural User](https://reader034.vdocuments.mx/reader034/viewer/2022042917/5f5a0cddbdbc9d57de477e9f/html5/thumbnails/2.jpg)
Natural User Interfaces mit Kinect, Cortana und HoloLensNicoleta Mihali
[email protected] @nikk_mihalihttp://blogs.msdn.com/b/the_language_of_technology/
![Page 3: Natural User Interfaces mitdownload.microsoft.com/download/2/1/B/21B9EC98-3F97-47F8... · 2018-10-13 · NUI mit Kinect, Cortana und HoloLens. Natural User Interfaces. Natural User](https://reader034.vdocuments.mx/reader034/viewer/2022042917/5f5a0cddbdbc9d57de477e9f/html5/thumbnails/3.jpg)
AgendaNUI mit Kinect, Cortana und HoloLens
![Page 4: Natural User Interfaces mitdownload.microsoft.com/download/2/1/B/21B9EC98-3F97-47F8... · 2018-10-13 · NUI mit Kinect, Cortana und HoloLens. Natural User Interfaces. Natural User](https://reader034.vdocuments.mx/reader034/viewer/2022042917/5f5a0cddbdbc9d57de477e9f/html5/thumbnails/4.jpg)
Natural User Interfaces
![Page 5: Natural User Interfaces mitdownload.microsoft.com/download/2/1/B/21B9EC98-3F97-47F8... · 2018-10-13 · NUI mit Kinect, Cortana und HoloLens. Natural User Interfaces. Natural User](https://reader034.vdocuments.mx/reader034/viewer/2022042917/5f5a0cddbdbc9d57de477e9f/html5/thumbnails/5.jpg)
Natural User InterfacesWas ist NUI?
Natural User Interfaces (NUI) ermöglichen uns eine natürlichere Kommunikation mit Technologie
![Page 6: Natural User Interfaces mitdownload.microsoft.com/download/2/1/B/21B9EC98-3F97-47F8... · 2018-10-13 · NUI mit Kinect, Cortana und HoloLens. Natural User Interfaces. Natural User](https://reader034.vdocuments.mx/reader034/viewer/2022042917/5f5a0cddbdbc9d57de477e9f/html5/thumbnails/6.jpg)
Natural User InterfacesMultimodalität
• Multimodalität macht NUI mächtiger und natürlicher.
![Page 7: Natural User Interfaces mitdownload.microsoft.com/download/2/1/B/21B9EC98-3F97-47F8... · 2018-10-13 · NUI mit Kinect, Cortana und HoloLens. Natural User Interfaces. Natural User](https://reader034.vdocuments.mx/reader034/viewer/2022042917/5f5a0cddbdbc9d57de477e9f/html5/thumbnails/7.jpg)
NUI-TechnologienWie kann ich NUI entwickeln?
• Gesten-, Sprach- und Sicht-gesteuerte Apps mit Kinect
• Sprachaktivierung mit Cortana
• NUI für Augmented Reality mit HoloLens
![Page 8: Natural User Interfaces mitdownload.microsoft.com/download/2/1/B/21B9EC98-3F97-47F8... · 2018-10-13 · NUI mit Kinect, Cortana und HoloLens. Natural User Interfaces. Natural User](https://reader034.vdocuments.mx/reader034/viewer/2022042917/5f5a0cddbdbc9d57de477e9f/html5/thumbnails/8.jpg)
Kinect for Windows
![Page 9: Natural User Interfaces mitdownload.microsoft.com/download/2/1/B/21B9EC98-3F97-47F8... · 2018-10-13 · NUI mit Kinect, Cortana und HoloLens. Natural User Interfaces. Natural User](https://reader034.vdocuments.mx/reader034/viewer/2022042917/5f5a0cddbdbc9d57de477e9f/html5/thumbnails/9.jpg)
Kinect for WindowsSensorkomponenten
RGB Camera
IR EmittersDepth Sensor
Microphone Array
![Page 10: Natural User Interfaces mitdownload.microsoft.com/download/2/1/B/21B9EC98-3F97-47F8... · 2018-10-13 · NUI mit Kinect, Cortana und HoloLens. Natural User Interfaces. Natural User](https://reader034.vdocuments.mx/reader034/viewer/2022042917/5f5a0cddbdbc9d57de477e9f/html5/thumbnails/10.jpg)
Kinect for Windows
![Page 11: Natural User Interfaces mitdownload.microsoft.com/download/2/1/B/21B9EC98-3F97-47F8... · 2018-10-13 · NUI mit Kinect, Cortana und HoloLens. Natural User Interfaces. Natural User](https://reader034.vdocuments.mx/reader034/viewer/2022042917/5f5a0cddbdbc9d57de477e9f/html5/thumbnails/11.jpg)
New Era, New way to interact with Devices
Demo Interaktion model
![Page 12: Natural User Interfaces mitdownload.microsoft.com/download/2/1/B/21B9EC98-3F97-47F8... · 2018-10-13 · NUI mit Kinect, Cortana und HoloLens. Natural User Interfaces. Natural User](https://reader034.vdocuments.mx/reader034/viewer/2022042917/5f5a0cddbdbc9d57de477e9f/html5/thumbnails/12.jpg)
Kinect for WindowsAnwendungsfälle
14pt copy
![Page 13: Natural User Interfaces mitdownload.microsoft.com/download/2/1/B/21B9EC98-3F97-47F8... · 2018-10-13 · NUI mit Kinect, Cortana und HoloLens. Natural User Interfaces. Natural User](https://reader034.vdocuments.mx/reader034/viewer/2022042917/5f5a0cddbdbc9d57de477e9f/html5/thumbnails/13.jpg)
Kinect for WindowsEigene Gesten erstellen
Kinect Studio
• Aufnahme u. Wiedergabe von Sensordaten
Gestenerkennung
• Heuristisch (im Code programmieren)
• Basierend auf Machine Learning Algorithmen (mit Visual Gesture Builder)
![Page 14: Natural User Interfaces mitdownload.microsoft.com/download/2/1/B/21B9EC98-3F97-47F8... · 2018-10-13 · NUI mit Kinect, Cortana und HoloLens. Natural User Interfaces. Natural User](https://reader034.vdocuments.mx/reader034/viewer/2022042917/5f5a0cddbdbc9d57de477e9f/html5/thumbnails/14.jpg)
![Page 15: Natural User Interfaces mitdownload.microsoft.com/download/2/1/B/21B9EC98-3F97-47F8... · 2018-10-13 · NUI mit Kinect, Cortana und HoloLens. Natural User Interfaces. Natural User](https://reader034.vdocuments.mx/reader034/viewer/2022042917/5f5a0cddbdbc9d57de477e9f/html5/thumbnails/15.jpg)
Cortana
![Page 16: Natural User Interfaces mitdownload.microsoft.com/download/2/1/B/21B9EC98-3F97-47F8... · 2018-10-13 · NUI mit Kinect, Cortana und HoloLens. Natural User Interfaces. Natural User](https://reader034.vdocuments.mx/reader034/viewer/2022042917/5f5a0cddbdbc9d57de477e9f/html5/thumbnails/16.jpg)
CortanaDie persönliche digitale Assistentin
![Page 17: Natural User Interfaces mitdownload.microsoft.com/download/2/1/B/21B9EC98-3F97-47F8... · 2018-10-13 · NUI mit Kinect, Cortana und HoloLens. Natural User Interfaces. Natural User](https://reader034.vdocuments.mx/reader034/viewer/2022042917/5f5a0cddbdbc9d57de477e9f/html5/thumbnails/17.jpg)
CortanaVerfügbare Features
Notebookfunktionalitäten
Kommunikation und Telefonie
Routenplanung und Geodienste
Smalltalk und Entertainment
Infodienste
![Page 18: Natural User Interfaces mitdownload.microsoft.com/download/2/1/B/21B9EC98-3F97-47F8... · 2018-10-13 · NUI mit Kinect, Cortana und HoloLens. Natural User Interfaces. Natural User](https://reader034.vdocuments.mx/reader034/viewer/2022042917/5f5a0cddbdbc9d57de477e9f/html5/thumbnails/18.jpg)
Cortana
![Page 19: Natural User Interfaces mitdownload.microsoft.com/download/2/1/B/21B9EC98-3F97-47F8... · 2018-10-13 · NUI mit Kinect, Cortana und HoloLens. Natural User Interfaces. Natural User](https://reader034.vdocuments.mx/reader034/viewer/2022042917/5f5a0cddbdbc9d57de477e9f/html5/thumbnails/19.jpg)
Cortana
![Page 20: Natural User Interfaces mitdownload.microsoft.com/download/2/1/B/21B9EC98-3F97-47F8... · 2018-10-13 · NUI mit Kinect, Cortana und HoloLens. Natural User Interfaces. Natural User](https://reader034.vdocuments.mx/reader034/viewer/2022042917/5f5a0cddbdbc9d57de477e9f/html5/thumbnails/20.jpg)
Cortana
![Page 21: Natural User Interfaces mitdownload.microsoft.com/download/2/1/B/21B9EC98-3F97-47F8... · 2018-10-13 · NUI mit Kinect, Cortana und HoloLens. Natural User Interfaces. Natural User](https://reader034.vdocuments.mx/reader034/viewer/2022042917/5f5a0cddbdbc9d57de477e9f/html5/thumbnails/21.jpg)
Cortana
![Page 22: Natural User Interfaces mitdownload.microsoft.com/download/2/1/B/21B9EC98-3F97-47F8... · 2018-10-13 · NUI mit Kinect, Cortana und HoloLens. Natural User Interfaces. Natural User](https://reader034.vdocuments.mx/reader034/viewer/2022042917/5f5a0cddbdbc9d57de477e9f/html5/thumbnails/22.jpg)
CortanaIntegration in eigene Apps
• Erstelle Voice Command Definition(s)
• Registriere die Voice Command Definition(s) XML Datei
• Verarbeite die Voice Command Definition(s)
![Page 23: Natural User Interfaces mitdownload.microsoft.com/download/2/1/B/21B9EC98-3F97-47F8... · 2018-10-13 · NUI mit Kinect, Cortana und HoloLens. Natural User Interfaces. Natural User](https://reader034.vdocuments.mx/reader034/viewer/2022042917/5f5a0cddbdbc9d57de477e9f/html5/thumbnails/23.jpg)
![Page 24: Natural User Interfaces mitdownload.microsoft.com/download/2/1/B/21B9EC98-3F97-47F8... · 2018-10-13 · NUI mit Kinect, Cortana und HoloLens. Natural User Interfaces. Natural User](https://reader034.vdocuments.mx/reader034/viewer/2022042917/5f5a0cddbdbc9d57de477e9f/html5/thumbnails/24.jpg)
HoloLens
![Page 25: Natural User Interfaces mitdownload.microsoft.com/download/2/1/B/21B9EC98-3F97-47F8... · 2018-10-13 · NUI mit Kinect, Cortana und HoloLens. Natural User Interfaces. Natural User](https://reader034.vdocuments.mx/reader034/viewer/2022042917/5f5a0cddbdbc9d57de477e9f/html5/thumbnails/25.jpg)
![Page 26: Natural User Interfaces mitdownload.microsoft.com/download/2/1/B/21B9EC98-3F97-47F8... · 2018-10-13 · NUI mit Kinect, Cortana und HoloLens. Natural User Interfaces. Natural User](https://reader034.vdocuments.mx/reader034/viewer/2022042917/5f5a0cddbdbc9d57de477e9f/html5/thumbnails/26.jpg)
HoloLensDie Welt mit anderen Augen sehen
• Holografischer Computer
• Windows 10
• Mehr Informationen auf der //build (29.04 – 01.05)
![Page 27: Natural User Interfaces mitdownload.microsoft.com/download/2/1/B/21B9EC98-3F97-47F8... · 2018-10-13 · NUI mit Kinect, Cortana und HoloLens. Natural User Interfaces. Natural User](https://reader034.vdocuments.mx/reader034/viewer/2022042917/5f5a0cddbdbc9d57de477e9f/html5/thumbnails/27.jpg)
HoloLens
![Page 28: Natural User Interfaces mitdownload.microsoft.com/download/2/1/B/21B9EC98-3F97-47F8... · 2018-10-13 · NUI mit Kinect, Cortana und HoloLens. Natural User Interfaces. Natural User](https://reader034.vdocuments.mx/reader034/viewer/2022042917/5f5a0cddbdbc9d57de477e9f/html5/thumbnails/28.jpg)
Weitere InformationenDie Welt mit anderen Augen sehen
@nikk_mihali
http://aka.ms/languageoftech
Kinect Kurshttp://aka.ms/kinect-mva
Microsoft Kinect SDKhttp://aka.ms/k4wv2PreviewSDK
Voice Commands Quickstarthttp://aka.ms/voicecommands-quickstart
![Page 29: Natural User Interfaces mitdownload.microsoft.com/download/2/1/B/21B9EC98-3F97-47F8... · 2018-10-13 · NUI mit Kinect, Cortana und HoloLens. Natural User Interfaces. Natural User](https://reader034.vdocuments.mx/reader034/viewer/2022042917/5f5a0cddbdbc9d57de477e9f/html5/thumbnails/29.jpg)
![Page 30: Natural User Interfaces mitdownload.microsoft.com/download/2/1/B/21B9EC98-3F97-47F8... · 2018-10-13 · NUI mit Kinect, Cortana und HoloLens. Natural User Interfaces. Natural User](https://reader034.vdocuments.mx/reader034/viewer/2022042917/5f5a0cddbdbc9d57de477e9f/html5/thumbnails/30.jpg)
![Page 31: Natural User Interfaces mitdownload.microsoft.com/download/2/1/B/21B9EC98-3F97-47F8... · 2018-10-13 · NUI mit Kinect, Cortana und HoloLens. Natural User Interfaces. Natural User](https://reader034.vdocuments.mx/reader034/viewer/2022042917/5f5a0cddbdbc9d57de477e9f/html5/thumbnails/31.jpg)
Kinect for WindowsFeatures
• Größeres Sichtfeld
• 3x bessere Tiefensicht
• 1080p, HD Farbkamera (30fps)
• Lichtsituationunabhängiges IR (30 fps)
• Bessere Mikrofone
• 25 Gelenkpunkte für 6 Personen
• Handzustand
• Größeres Bereich-> .5M nah, 8M fern
![Page 32: Natural User Interfaces mitdownload.microsoft.com/download/2/1/B/21B9EC98-3F97-47F8... · 2018-10-13 · NUI mit Kinect, Cortana und HoloLens. Natural User Interfaces. Natural User](https://reader034.vdocuments.mx/reader034/viewer/2022042917/5f5a0cddbdbc9d57de477e9f/html5/thumbnails/32.jpg)
Kinect for WindowsData Sources
![Page 33: Natural User Interfaces mitdownload.microsoft.com/download/2/1/B/21B9EC98-3F97-47F8... · 2018-10-13 · NUI mit Kinect, Cortana und HoloLens. Natural User Interfaces. Natural User](https://reader034.vdocuments.mx/reader034/viewer/2022042917/5f5a0cddbdbc9d57de477e9f/html5/thumbnails/33.jpg)
Kinect for WindowsHigh-level Architecture
![Page 34: Natural User Interfaces mitdownload.microsoft.com/download/2/1/B/21B9EC98-3F97-47F8... · 2018-10-13 · NUI mit Kinect, Cortana und HoloLens. Natural User Interfaces. Natural User](https://reader034.vdocuments.mx/reader034/viewer/2022042917/5f5a0cddbdbc9d57de477e9f/html5/thumbnails/34.jpg)
CortanaDie persönliche digitale Assistentin
- Berät und fragt nach
- Schlägt vor (Predicted Search)
- Lernt dazu
- Erkennt natürliche Sprache
- Ist interaktiv und einfach zu nutzen
- Gibt jedem Nutzer die volle Kontrolle, über das was Cortana
über ihn weiß.
Jeder App-Anbieter kann Cortana zum Teil seiner App machen!
Hallo, ich bin Cortana.