voice assistants: neuigkeiten von alexa und google home

Voice Assistants

What’s new in Amazon’s Alexa / Google’s Assistant

Dominik Helleberg / Sebastian Messingfeld

CC 3.0 https://de.wikipedia.org/wiki/2001:_Odyssee_im_Weltraum#/media/File:HAL9000_Better_Reflection.svgCC 3.0 https://en.wikipedia.org/wiki/KITT#/media/File:KITT_Interior_at_Toronto_Auto_Show_2011.jpgCC 2.0 https://commons.wikimedia.org/wiki/Category:Star_Trek:_The_Next_Generation#/media/File:MasterSituationMonitor.jpg

Voice User InterfacesThe Hollywood Version

https://www.youtube.com/watch?v=N3i6NoUZsSwhttps://en.wikipedia.org/wiki/Dragon_NaturallySpeaking#/media/File:Dragon_Naturally_Speaking_Logo.pnghttps://en.wikipedia.org/wiki/Nao_(robot)https://en.wikipedia.org/wiki/Interactive_voice_response#History

Voice User InterfacesThe History

https://en.wikipedia.org/wiki/Sirihttps://en.wikipedia.org/wiki/Cortana_(software)https://en.wikipedia.org/wiki/Google_Voice_Searchhttps://pixabay.com/p-627876/?no_redirect

Voice User InterfacesThe new(er) ones

https://en.wikipedia.org/wiki/Google_Assistanthttps://en.wikipedia.org/wiki/Amazon_Alexahttps://en.wikipedia.org/wiki/Amazon_Echohttps://madeby.google.com/home/

Voice User InterfacesThe hot ones

https://en.wikipedia.org/wiki/Amazon_Echohttps://madeby.google.com/home/

Voice User InterfacesThe hot ones - Features

Nachrichten / News abfragen

Smarthome steuern

Musik abspielen

Wettervorhersage

Chromecast steuern

Wecker / Timer stellenTaxi rufen

Sportergebnisse

TV Programm abfragen

Kochrezepte

Übersetzungen

Kalender vorlesen

ToDo Liste

Fluginformationen

Verkehrslage

Shopping

Voice User InterfacesThe hot ones - APIs

Skills

Custom Skills

Smart Home Skills

Flash Briefing SkillsActions

on Google

Conversations

Transactions (Developer Preview)

Smart Homehttps://en.wikipedia.org/wiki/Amazon_Echohttps://madeby.google.com/home/

Voice User InterfacesActions on Google

GoogleHome

Speech Recognition

Action Selection

IntentSelection

EntityExtraction

Fulfillment

Natural Language Understanding

Voice User InterfacesActions on Google

Voice User InterfacesActions on Google

GoogleHome

Speech Recognition

Voice User InterfacesActions on Google

GoogleHome

Speech Recognition

Action Selection

Voice User InterfacesActions on Google

GoogleHome

Speech Recognition

Action Selection

IntentSelection

EntityExtraction

Voice User InterfacesActions on Google

GoogleHome

Speech Recognition

Action Selection

IntentSelection

EntityExtraction

Fulfillment

Voice User InterfacesActions on Google

GoogleHome

Speech Recognition

Action Selection

IntentSelection

EntityExtraction

Fulfillment

Voice User InterfacesActions on Google – Smart Transport

GoogleHome

Speech Recognition

Action Selection

Voice User InterfacesActions on Google – Smart Transport

GoogleHome

Speech Recognition

Action Selection

IntentSelection

EntityExtraction

Voice User InterfacesActions on Google – Smart Transport

GoogleHome

Speech Recognition

Action Selection

IntentSelection

EntityExtraction

Fulfillment

https://

Voice User InterfacesActions on Google – Smart Transport

Welcome Message

WELCOME_INTENT

Complete Entities?

Suchanfrage

Query Entities

Nein Ja

Antwort (1. Verbindung)

„Nächste“

Antwort (2. Verbindung)

Query Fulfillment

Voice User InterfacesActions on Google – Smart Transport

Voice User InterfacesActions on Google – Smart Transport

Entities

Name Type ReqFrom * +To * +Depature_Date Date (sys)Depature_Time Time (sys)Transport_Type „Bus“,

„Tram“, ..

Voice User InterfacesActions on Google – Smart Transport

Welcome Message

WELCOME_INTENT

Voice User InterfacesActions on Google – Smart Transport

Complete Entities?

Suchanfrage

Voice User InterfacesActions on Google – Smart Transport

Complete Entities?

Suchanfrage

Voice User InterfacesActions on Google – Smart Transport

Complete Entities?

Suchanfrage

Voice User InterfacesActions on Google – Smart Transport

Complete Entities?

Suchanfrage

Voice User InterfacesActions on Google – Smart Transport

Voice User InterfacesActions on Google – Smart Transport - Testing

GoogleHome

Speech Recognition

Action Selection

IntentSelection

EntityExtraction

Fulfillment

ChatBot

Voice User InterfacesActions on Google – Smart Transport

Voice User InterfacesActions on Google – Smart Transport

Voice User InterfacesActions on Google – Smart Transport

Voice User InterfacesActions on Google – Smart Transport

Voice User InterfacesActions on Google – Smart Transport

Voice User InterfacesActions on Google – Smart Transport

Voice User InterfacesActions on Google – Smart Transport

Voice User InterfacesActions on Google – Smart Transport

Voice User InterfacesActions on Google – Smart Transport

Voice User InterfacesActions on Google – Smart Transport

• Beta Tests sind sinnvoll

• User finden unsere Features nicht

• Dafür möchten sie andere Features

• Entities sind immer zu überprüfen

• Deutsch / Englisch zu mischen ist keine good idea...

Voice User InterfacesLessons Learned

• VUI‘s vs. ChatBots

• User fragen sehr spezifische Dinge

• VUI‘s sind gut für kurze, präzise Informationen / Abläufe

• Reaktionszeiten sind wichtig

• Benutzerführung ist wichtig

• Automatisierung / Deployment noch nicht vorhanden

• Neue „Gatekeeper“

Voice User InterfacesSummary / Outlook

• Speech Recognition ist deutlich besser

• NLU braucht noch Verbesserungen

• Abläufe sind immer noch geskripted

• Multi-Account

• Privacy / Security

• Rückkopplung an andere UIs

• Discovery

• Testing

Voice User InterfacesWhat’s new

What’s new?

Voice User InterfacesWhat’s new

Voice User InterfacesWhat’s new

Voice User InterfacesWhat’s new

Voice User InterfacesWhat’s new

What’s new?

Voice User InterfacesWhat’s new on alexa?

Skill Builder (Beta)

• Grafische Oberfläche um bisheriges Interaktionsmodel zu erstellen• Trennung zwischen Intent, Slots und Utterances wird „aufgehoben“

• Dialoge gestalten (neu)• multi-turn conversation• Kein Wechsel zwischen Intents mehr nötig• Intent-Slots (Parameter) müssen nicht mehr initial übergeben werden• fehlende Slots werden automatisiert abgefragt• Hinterlegung von vordefinierten Fragen möglich• Roundtrip zum Skill-Service bei jedem Slot

Voice User InterfacesWhat’s new on alexa?

Skill Builder: Dialog-Ansicht

Voice User InterfacesWhat’s new on alexa?

Skill Builder: Slot-Ansicht

Voice User InterfacesWhat’s new on alexa?

Ablauf Multi-Turn Conversation

• notwendige Slot-Werte fehlen im Intent

• Parameter für Dialogstatus: dialogState & confirmationStatus

• Skill-Service• nächste Abfrage eines Slots • gezielte Abfrage eines Slots• Confirmation für Slots und Intents (YES / NO) • Veränderung eines Slot-Wertes

fehlenderSlot Wert

AufrufSkill Service

Ausgabe anUser

ÜberprüfungIntent

Voice User InterfacesSummary / Outlook

• VUIs sind schon ziemlich cool, aber

Alexa, Du musst echt noch viel lernen...

Danke!