architettura hardware/software coordinata da smartphone e destinata alla domotica per utenti con...
TRANSCRIPT
UNIVERSITÀ DEGLI STUDI DI NAPOLI “FEDERICO II”
Architettura hardware/software coordinata da smartphone e destinata alla domotica
per utenti con disabilità
RelatoreCh.mo Prof. Luigi Sauro
CorrelatoreDott.ssa Grazia Fattoruso
CandidatoStefano Emanuele Viscomi
Matr. N86000796
Corso di Laurea in Informatica
Anno Accademico 2016/2017
Stefano Emanuele Viscomi 2/14
MOTIVAZIONI E FINALITÀ:
SOGGETTI COINVOLTI:
• ENEA (Agenzia nazionale per le nuove tecnologie, l’energia e lo sviluppo eco-sostenibile);
• ISF (Informatici senza frontiere).
INTRODUZIONE- Motivazioni- Spoken House
• Estendere e rinnovare lo sviluppo del progetto «Spoken House» di ISF che mira ad
agevolare l’interazione con l’ambiente domestico da parte di utenti con disabilità;
• Realizzare un caso d’uso concreto.
IMPLEMENTAZIONE- Riconoscimento vocale- Google Speech API- Sintesi vocale- MaryTTS- Spoken House GUI- Schema Hardware
CASO D’USO- Panoramica- Prima fase- Seconda fase
CONCLUSIONI- Considerazioni- Fine
Stefano Emanuele Viscomi 3/14
INTRODUZIONE- Motivazioni- Spoken House
CASO D’USO- Panoramica- Prima fase- Seconda fase
IMPLEMENTAZIONE- Riconoscimento vocale- Google Speech API- Sintesi vocale- MaryTTS- Spoken House GUI- Schema Hardware
SPOKEN HOUSE:
• Applicazione cross-platform che fornisce un’interfaccia facilitata per il controllo (virtuale)
dei dispositivi elettronici all’interno di un’ambiente antropizzato.
SISTEMA:
• Spoken House;
• Freedomotic, middleware che agisce da collante tra l’utente (GUI) e l’ambiente
circostante;
• Edificio antropizzato.CONCLUSIONI- Considerazioni - Fine
Stefano Emanuele Viscomi 4/14
INTRODUZIONE- Motivazioni- Spoken House
CASO D’USO- Panoramica- Prima fase- Seconda fase
IMPLEMENTAZIONE- Riconoscimento vocale- Google Speech API- Sintesi vocale- MaryTTS- Spoken House GUI- Schema Hardware
CASO D’USO:
MODULI PRODOTTI:
• Utente con disabilità uditiva (parziale o totale) e/o motoria a cui può risultare
problematico interagire con interlocutori esterni attraverso il citofono dell’abitazione.
• Oggetto «Citofono»;
• Plugin Freedomotic
▪ WebSocket;
▪ Conversazione citofonica;
• Integrazioni su Spoken H.;
• Hardware prototipale.
CONCLUSIONI- Considerazioni - Fine
Stefano Emanuele Viscomi 5/14
INTRODUZIONE- Motivazioni- Spoken House
CASO D’USO- Panoramica- Prima fase- Seconda fase
IMPLEMENTAZIONE- Riconoscimento vocale- Google Speech API- Sintesi vocale- MaryTTS- Spoken House GUI- Schema Hardware
OGGETTO «CITOFONO»:
WEBSOCKET:
• File XML;
• Classi Java.
• Modulo per l’inizializzazione e la gestione del funzionamento del WebSocket;
• Handler che si occupa dello scambio di messaggi tra Freedomotic e Spoken House.
CONCLUSIONI- Considerazioni - Fine
Stefano Emanuele Viscomi 6/14
INTRODUZIONE- Motivazioni- Spoken House
CASO D’USO- Panoramica- Prima fase- Seconda fase
IMPLEMENTAZIONE- Riconoscimento vocale- Google Speech API- Sintesi vocale- MaryTTS- Spoken House GUI- Schema Hardware
CONVERSAZIONE:
• Modulo per il riconoscimento vocale del parlato proveniente dall’esterno;
• Modulo che effettua la sintesi vocale di quanto digitato dall’utente audioleso;
• Estensione del WebSocket.
INTEGRAZIONI GUI (SPOKEN HOUSE):
• HTML;
• CSS;
• JavaScript.
CONCLUSIONI- Considerazioni- Fine
Stefano Emanuele Viscomi 7/14
INTRODUZIONE- Motivazioni- Spoken House
CASO D’USO- Panoramica- Prima fase- Seconda fase
IMPLEMENTAZIONE- Riconoscimento vocale- Google Speech API- Sintesi vocale- MaryTTS- Spoken House GUI- Schema Hardware
RICONOSCIMENTO VOCALE:
• Procedura mediante la quale il linguaggio orale umano viene riconosciuto ed elaborato
attraverso un computer o più specificatamente mediante un apposito sistema.
CONCLUSIONI- Considerazioni- Fine
Stefano Emanuele Viscomi 8/14
INTRODUZIONE- Motivazioni- Spoken House
CASO D’USO- Panoramica- Prima fase- Seconda fase
IMPLEMENTAZIONE- Riconoscimento vocale- Google Speech API- Sintesi vocale- MaryTTS- Spoken House GUI- Schema Hardware
SPEECH-TO-TEXT:
• Per implementare il processo di conversione dal parlato al testo si è ricorso alle Google
Cloud Speech API.
CONCLUSIONI- Considerazioni- Fine
Stefano Emanuele Viscomi 9/14
INTRODUZIONE- Motivazioni- Spoken House
CASO D’USO- Panoramica- Prima fase- Seconda fase
IMPLEMENTAZIONE- Riconoscimento vocale- Google Speech API- Sintesi vocale- MaryTTS- Spoken House GUI- Schema Hardware
SINTESI VOCALE:
• Tecnica adoperata per riprodurre artificialmente la voce umana.
CONCLUSIONI- Considerazioni - Fine
Stefano Emanuele Viscomi 10/14
INTRODUZIONE- Motivazioni- Spoken House
CASO D’USO- Panoramica- Prima fase- Seconda fase
IMPLEMENTAZIONE- Riconoscimento vocale- Google Speech API- Sintesi vocale- MaryTTS- Spoken House GUI- Schema Hardware
TEXT-TO-SPEECH:
• Per la conversione da testo a voce artificiale, invece, è stato adottato e configurato un
componente di Freedomotic: MaryTTS.
CONCLUSIONI- Considerazioni - Fine
Stefano Emanuele Viscomi 11/14
INTRODUZIONE- Motivazioni- Spoken House
CASO D’USO- Panoramica- Prima fase- Seconda fase
IMPLEMENTAZIONE- Riconoscimento vocale- Google Speech API- Sintesi vocale- MaryTTS- Spoken House GUI- Schema Hardware
SPOKEN HOUSE GUI:
• div element;
• css properties;
• DOM.
▪ Per l’utente audioleso la conversazione
si risolve in una chat testuale;
▪ Per l’interlocutore esterno, invece, le
modalità di comunicazione rimangono
invariate.
CONCLUSIONI- Considerazioni - Fine
Stefano Emanuele Viscomi 12/14
INTRODUZIONE- Motivazioni- Spoken House
CASO D’USO- Panoramica- Prima fase- Seconda fase
IMPLEMENTAZIONE- Riconoscimento vocale- Google Speech API- Sintesi vocale- MaryTTS- Spoken House GUI- Schema Hardware
CONCLUSIONI- Considerazioni- Fine
SCHEMA HARDWARE:
Stefano Emanuele Viscomi 13/14
INTRODUZIONE- Motivazioni- Spoken House
CASO D’USO- Panoramica- Prima fase- Seconda fase
IMPLEMENTAZIONE- Riconoscimento vocale- Google Speech API- Sintesi vocale- MaryTTS- Spoken House GUI- Schema Hardware
CONCLUSIONI- Considerazioni- Fine
CONSIDERAZIONI FINALI:
SVILUPPI FUTURI:
• Sistema
▪ Passaggio da uno stato prototipale ad una messa in opera definitiva;
▪ Rendere (semi)automatico il processo di rilevamento dei dispositivi domestici da
parte di Spoken House (ZigBee/Z-Wave).
• Conversazione citofonica
▪ Estensione del caso d’uso anche ad utenti non vedenti;
▪ Perfezionamento del caso d’uso per i non udenti (pre-linguistici).
• Maggior livello di concretezza raggiunto per il progetto «Spoken House» con
realizzazione di uno scenario reale di utilizzo;
• Presentazione al festival di Informatici senza Frontiere (Rovereto 13-15 ottobre).
GRAZIE PER L’ATTENZIONE!
Stefano Emanuele Viscomi 14/14
INTRODUZIONE- Motivazioni- Spoken House
CASO D’USO- Panoramica- Prima fase- Seconda fase
IMPLEMENTAZIONE- Riconoscimento vocale- Google Speech API- Sintesi vocale- MaryTTS- Spoken House GUI- Schema Hardware
CONCLUSIONI- Considerazioni - Fine