projet technique un pda multimodal au service des situation de handicap… dess handi université...
TRANSCRIPT
![Page 1: Projet Technique Un PDA multimodal au service des situation de handicap… DESS HANDI Université Paris XIII](https://reader034.vdocuments.mx/reader034/viewer/2022051819/551d9d94497959293b8ca3ae/html5/thumbnails/1.jpg)
Projet Technique Projet Technique
Un PDA multimodal au service des Un PDA multimodal au service des situation de handicap…situation de handicap…
DESS HANDIDESS HANDIUniversité Paris XIIIUniversité Paris XIII
![Page 2: Projet Technique Un PDA multimodal au service des situation de handicap… DESS HANDI Université Paris XIII](https://reader034.vdocuments.mx/reader034/viewer/2022051819/551d9d94497959293b8ca3ae/html5/thumbnails/2.jpg)
Projet Technique Projet Technique
Equipe :Equipe :
Elisabeth KrautElisabeth KrautCharlène OrangeCharlène OrangePhilippe LonginPhilippe LonginThierry BeyleThierry BeyleSerge CesaranoSerge CesaranoDaniel MorenoDaniel Moreno
![Page 3: Projet Technique Un PDA multimodal au service des situation de handicap… DESS HANDI Université Paris XIII](https://reader034.vdocuments.mx/reader034/viewer/2022051819/551d9d94497959293b8ca3ae/html5/thumbnails/3.jpg)
Projet Technique Projet Technique
PlanPlan1-Présentation du Projet1-Présentation du Projet2-Lanceur d’applications2-Lanceur d’applications3-Un bloc Note vocal 3-Un bloc Note vocal 4-La commande vocale 4-La commande vocale 5-Conclusion5-Conclusion
![Page 4: Projet Technique Un PDA multimodal au service des situation de handicap… DESS HANDI Université Paris XIII](https://reader034.vdocuments.mx/reader034/viewer/2022051819/551d9d94497959293b8ca3ae/html5/thumbnails/4.jpg)
Un PDA Multimodal… Un PDA Multimodal…
![Page 5: Projet Technique Un PDA multimodal au service des situation de handicap… DESS HANDI Université Paris XIII](https://reader034.vdocuments.mx/reader034/viewer/2022051819/551d9d94497959293b8ca3ae/html5/thumbnails/5.jpg)
Un PDA Multimodal… Un PDA Multimodal…
Interrogation au préalable des futurs utilisateurs du PDA
Public concerné :Public concerné : Déficients visuels (fédération nationale des Aveugles),
Trisomiques (Association FAIT 21)
Analyse des besoinsAnalyse des besoins
![Page 6: Projet Technique Un PDA multimodal au service des situation de handicap… DESS HANDI Université Paris XIII](https://reader034.vdocuments.mx/reader034/viewer/2022051819/551d9d94497959293b8ca3ae/html5/thumbnails/6.jpg)
Un PDA Multimodal… Un PDA Multimodal…
Le Lanceur d’applicationsLe Lanceur d’applications
DESS HANDIDESS HANDIUniversité Paris XIIIUniversité Paris XIII
![Page 7: Projet Technique Un PDA multimodal au service des situation de handicap… DESS HANDI Université Paris XIII](https://reader034.vdocuments.mx/reader034/viewer/2022051819/551d9d94497959293b8ca3ae/html5/thumbnails/7.jpg)
P1 P2
P3 P4
ZONE DE TEXTE
B1
B2
3B
B4
Par
Ok
INF
ENTRÉE
•Ecran tactile, zones P1 à P4•Boutons de l’appareil, B1 à B4•Flèches de direction du Pad•Molette redondante avec les flèches hautes et basses•Module de reconnaissance d’empreintes vocales
Le Lanceur d’applicationsLe Lanceur d’applications
![Page 8: Projet Technique Un PDA multimodal au service des situation de handicap… DESS HANDI Université Paris XIII](https://reader034.vdocuments.mx/reader034/viewer/2022051819/551d9d94497959293b8ca3ae/html5/thumbnails/8.jpg)
P1 P2
P3 P4
ZONE DE TEXTE
B1
B2
3B
B4
Par
Ok
INF
SORTIE
Utilisation de messages vocaux préenregistrésPositionnement d’un « focus » visuel sur la zone sélectionnée : encadrement, clignotement, inversion vidéoAffichage de la définition de la zone pointée dans la zone de texte gros caractères
Le Lanceur d’applicationsLe Lanceur d’applications
![Page 9: Projet Technique Un PDA multimodal au service des situation de handicap… DESS HANDI Université Paris XIII](https://reader034.vdocuments.mx/reader034/viewer/2022051819/551d9d94497959293b8ca3ae/html5/thumbnails/9.jpg)
Demarrage du PDA
Appui touche B4
INITIALISATION DU LANCEUR
* désactivation des barres hautes et basses* chargement du fichier paramètres par défaut* énoncé vocal du début LANCEUR* énoncé vocal du Focus de zone P1* affichage du texte P1 dans la zone texte
Attente : bouton /zone écran tactile/commande vocale
Flèches ou moletteappuis successifs
Accès direct BoutonsB1 / B2 / B3 / B4
Zones tactiles écranP1 / P2 / P3 / P4
Commande vocale* lecture des appli.* lancer l'appli
SORTIE LANCEURZone OK écran tactile
PARAMETRAGEZone PA écran tactile
SELECTION* changer FOCUS* afficher TEXTE* énoncé vocal du Focus
SELECTION* changer FOCUS* afficher TEXTE* énoncé vocal du Focus
SELECTION* changer FOCUS* afficher TEXTE* énoncé vocal du Focus
VALIDATIONappui long
FLECHES OU MOLETTE
VALIDATIONappui longBOUTON
VALIDATIONappui long
ZONE ECRAN
Inhiber les entrées* bouton* écran tactile
Lance l'applicationpointée par le focus
VALIDATIONcommande vocale
SORTIEAPPLICATION
ENONCE VOCAL SORTIE* effet visuel: inversion vidéo* afficher TEXTE SORTIE
VALIDATIONappui long
ZONE ECRANOK
SORTIE LANCEURrestitution des paramètres
RETOUR PDA
ENONCE VOCAL PARAMETRES* effet visuel: inversion vidéo* afficher TEXTE PARAMETRES
VALIDATIONappui long
ZONE ECRANPA
MODULEPARAMETRES
SORTIEMODULE
AIDEZone INF écran tactile
ENONCE VOCAL* du module LANCEUR* du FOCUS
![Page 10: Projet Technique Un PDA multimodal au service des situation de handicap… DESS HANDI Université Paris XIII](https://reader034.vdocuments.mx/reader034/viewer/2022051819/551d9d94497959293b8ca3ae/html5/thumbnails/10.jpg)
Un PDA Multimodal… Un PDA Multimodal…
Le bloc notes VocalLe bloc notes Vocal
DESS HANDIDESS HANDIUniversité Paris XIIIUniversité Paris XIII
![Page 11: Projet Technique Un PDA multimodal au service des situation de handicap… DESS HANDI Université Paris XIII](https://reader034.vdocuments.mx/reader034/viewer/2022051819/551d9d94497959293b8ca3ae/html5/thumbnails/11.jpg)
Le Bloc Notes VocalLe Bloc Notes Vocal
ObjetObjetDéfinition du bloc notesDéfinition du bloc notes
L’existantL’existant
Windows CEWindows CE
VoiceVoice MateMateBloc Notes de Windows CEBloc Notes de Windows CE
![Page 12: Projet Technique Un PDA multimodal au service des situation de handicap… DESS HANDI Université Paris XIII](https://reader034.vdocuments.mx/reader034/viewer/2022051819/551d9d94497959293b8ca3ae/html5/thumbnails/12.jpg)
Le Bloc Notes VocalLe Bloc Notes Vocal
Interfaces UtiliséesInterfaces Utilisées Interfaces d’entréesInterfaces d’entrées
BoutonsBoutons
Commande vocaleCommande vocale
Ecran tactileEcran tactilePocket PC
B1
B2
FG
B3
B4
FH FB
FD
B5
MH MB
![Page 13: Projet Technique Un PDA multimodal au service des situation de handicap… DESS HANDI Université Paris XIII](https://reader034.vdocuments.mx/reader034/viewer/2022051819/551d9d94497959293b8ca3ae/html5/thumbnails/13.jpg)
Le Bloc Notes VocalLe Bloc Notes Vocal
Interfaces UtiliséesInterfaces UtiliséesInterfaces de sortiesInterfaces de sorties
Haut ParleurHaut Parleur
EcranEcran
![Page 14: Projet Technique Un PDA multimodal au service des situation de handicap… DESS HANDI Université Paris XIII](https://reader034.vdocuments.mx/reader034/viewer/2022051819/551d9d94497959293b8ca3ae/html5/thumbnails/14.jpg)
Le Bloc Notes VocalLe Bloc Notes Vocal
Principes ErgonomiquesPrincipes ErgonomiquesLa VocalisationLa Vocalisation
FeedBackFeedBackVocalisation des menus
Vocalisation de déplacementFeedBack Ouverture de fenêtre
Répétition vocaleRépétition vocale
Situation en coursSituation en cours
![Page 15: Projet Technique Un PDA multimodal au service des situation de handicap… DESS HANDI Université Paris XIII](https://reader034.vdocuments.mx/reader034/viewer/2022051819/551d9d94497959293b8ca3ae/html5/thumbnails/15.jpg)
Le Bloc Notes VocalLe Bloc Notes Vocal
Principes ErgonomiquesPrincipes ErgonomiquesInterface clavier / Emulation de toucheInterface clavier / Emulation de touche
Tabulation / Maj TabulationTabulation / Maj Tabulation
FlèchesFlèches
Valider / EntrerValider / Entrer
Principe de fonctionnement Principe de fonctionnement WindowsWindows
![Page 16: Projet Technique Un PDA multimodal au service des situation de handicap… DESS HANDI Université Paris XIII](https://reader034.vdocuments.mx/reader034/viewer/2022051819/551d9d94497959293b8ca3ae/html5/thumbnails/16.jpg)
Le Bloc Notes VocalLe Bloc Notes Vocal
Principes ErgonomiquesPrincipes ErgonomiquesParamétrageParamétrage
Sonore (Augmenter / Diminuer, Actif / Sonore (Augmenter / Diminuer, Actif / Silence)Silence)
Affichage (Couleur / Contraste…)Affichage (Couleur / Contraste…)
+-
![Page 17: Projet Technique Un PDA multimodal au service des situation de handicap… DESS HANDI Université Paris XIII](https://reader034.vdocuments.mx/reader034/viewer/2022051819/551d9d94497959293b8ca3ae/html5/thumbnails/17.jpg)
Le Bloc Notes VocalLe Bloc Notes Vocal
FonctionnalitésFonctionnalités
Ecouter / PauseEcouter / Pause Avancer / ReculerAvancer / Reculer Piste suivante / Piste précédentePiste suivante / Piste précédente
Enregistrer / Arrêter EnregistrementEnregistrer / Arrêter Enregistrement
Sauvegarder (Donner un nom, placer dans un dossier)Sauvegarder (Donner un nom, placer dans un dossier)Créer un dossierCréer un dossier
RechercherRechercherEffacer / RenommerEffacer / Renommer
![Page 18: Projet Technique Un PDA multimodal au service des situation de handicap… DESS HANDI Université Paris XIII](https://reader034.vdocuments.mx/reader034/viewer/2022051819/551d9d94497959293b8ca3ae/html5/thumbnails/18.jpg)
Conclusion / Perspectives
Le Bloc Notes VocalLe Bloc Notes Vocal
Perspectives et ConclusionPerspectives et Conclusion
![Page 19: Projet Technique Un PDA multimodal au service des situation de handicap… DESS HANDI Université Paris XIII](https://reader034.vdocuments.mx/reader034/viewer/2022051819/551d9d94497959293b8ca3ae/html5/thumbnails/19.jpg)
Un PDA Multimodal… Un PDA Multimodal…
La Commande VocaleLa Commande Vocale
DESS HANDIDESS HANDIUniversité Paris XIIIUniversité Paris XIII
![Page 20: Projet Technique Un PDA multimodal au service des situation de handicap… DESS HANDI Université Paris XIII](https://reader034.vdocuments.mx/reader034/viewer/2022051819/551d9d94497959293b8ca3ae/html5/thumbnails/20.jpg)
La Commande VocaleLa Commande Vocale
Introduction Introduction INTERFACE D’Entrée:INTERFACE D’Entrée:
Commande VocaleCommande Vocale
qui complète:qui complète:
L’écran TactileL’écran Tactile
Les BoutonsLes Boutons
![Page 21: Projet Technique Un PDA multimodal au service des situation de handicap… DESS HANDI Université Paris XIII](https://reader034.vdocuments.mx/reader034/viewer/2022051819/551d9d94497959293b8ca3ae/html5/thumbnails/21.jpg)
La Commande VocaleLa Commande Vocale
Introduction Introduction Utilisateurs:Utilisateurs:
Les Handicapés VisuelsLes Handicapés Visuels
Les Handicapés LourdsLes Handicapés Lourds
Grand PublicGrand Public
![Page 22: Projet Technique Un PDA multimodal au service des situation de handicap… DESS HANDI Université Paris XIII](https://reader034.vdocuments.mx/reader034/viewer/2022051819/551d9d94497959293b8ca3ae/html5/thumbnails/22.jpg)
La Commande VocaleLa Commande Vocale
Reconnaissance de la Parole: Schéma Reconnaissance de la Parole: Schéma
Fig. 1 Schéma FonctionnelFig. 1 Schéma Fonctionnel
![Page 23: Projet Technique Un PDA multimodal au service des situation de handicap… DESS HANDI Université Paris XIII](https://reader034.vdocuments.mx/reader034/viewer/2022051819/551d9d94497959293b8ca3ae/html5/thumbnails/23.jpg)
La Commande VocaleLa Commande Vocale
Reconnaissance de la ParoleReconnaissance de la ParoleChoix:Choix:
MonolocuteurMonolocuteur vs Multilocuteur vs Multilocuteur
Codification: Codification: LPCLPC vs STFT vs Analyse Cepstral vs STFT vs Analyse Cepstral
Comparaison: Comparaison: DTWDTW
![Page 24: Projet Technique Un PDA multimodal au service des situation de handicap… DESS HANDI Université Paris XIII](https://reader034.vdocuments.mx/reader034/viewer/2022051819/551d9d94497959293b8ca3ae/html5/thumbnails/24.jpg)
La Commande VocaleLa Commande Vocale
Méthodes:Méthodes:Schéma:Schéma:
Signal Préaccentuation Coupure Fenêtrage LPC DTW Réponse
![Page 25: Projet Technique Un PDA multimodal au service des situation de handicap… DESS HANDI Université Paris XIII](https://reader034.vdocuments.mx/reader034/viewer/2022051819/551d9d94497959293b8ca3ae/html5/thumbnails/25.jpg)
La Commande VocaleLa Commande Vocale
Réalisation MATLABRéalisation MATLABÉtude Méthodes:Étude Méthodes:
Matlab: Matlab: Implémentation des méthodes Fenetrage Hamming, LPC, STFT et DTW
Enregistrement de 1000 fichiers wav, différentes Liste de test en différentes langues
Préparation environnement de Test: ( Études générés automatiquement, Étude de la complexité, temps de calcul sur PDA )
![Page 26: Projet Technique Un PDA multimodal au service des situation de handicap… DESS HANDI Université Paris XIII](https://reader034.vdocuments.mx/reader034/viewer/2022051819/551d9d94497959293b8ca3ae/html5/thumbnails/26.jpg)
La Commande VocaleLa Commande Vocale
Réalisation TESTSRéalisation TESTSRésultats avec LPC:Résultats avec LPC:
Matlab: Matlab: Liste de mots 1: 17 mots -> 100 %
Liste de mots 2: 20 mots -> 100 %
Liste de mots 2: 26 lettres Alphabet -> 65 %
![Page 27: Projet Technique Un PDA multimodal au service des situation de handicap… DESS HANDI Université Paris XIII](https://reader034.vdocuments.mx/reader034/viewer/2022051819/551d9d94497959293b8ca3ae/html5/thumbnails/27.jpg)
La Commande VocaleLa Commande Vocale
Réalisation Embedded C++Réalisation Embedded C++Architecture Logiciel:Architecture Logiciel:
ModuleEnregistrement
Dictionnaire
ModuleReconnaissance
De la Parole
Mots pour Enregistrer
Référence a les Commandes a Reconnaître
Validation
Mot Reconu
ApplicationExtérieur
ApplicationExtérieur
![Page 28: Projet Technique Un PDA multimodal au service des situation de handicap… DESS HANDI Université Paris XIII](https://reader034.vdocuments.mx/reader034/viewer/2022051819/551d9d94497959293b8ca3ae/html5/thumbnails/28.jpg)
La Commande VocaleLa Commande Vocale
Réalisation Embedded C++Réalisation Embedded C++Intégration aux autres applications:Intégration aux autres applications:
Module totalement indépendant : Module totalement indépendant : Incorporation aux autres applications comme une DLL Utilisation transparent
Appelle a deux fonctions : Appelle a deux fonctions : Fonction EnregistrerDictionnaire(Liste de Mots)Fonction RAP(Liste de Mots a l’instant)
![Page 29: Projet Technique Un PDA multimodal au service des situation de handicap… DESS HANDI Université Paris XIII](https://reader034.vdocuments.mx/reader034/viewer/2022051819/551d9d94497959293b8ca3ae/html5/thumbnails/29.jpg)
Un PDA multimodal…Un PDA multimodal…
Perspectives et Conclusion Perspectives et Conclusion