l’ia pour une interaction par les gestes
TRANSCRIPT
![Page 1: L’IA pour une interaction par les gestes](https://reader036.vdocuments.mx/reader036/viewer/2022062416/62ad741c45519749762466c9/html5/thumbnails/1.jpg)
L’IA pour une interaction par les gestesDavid Gómez
Enseignant-Chercheur en Informatique
1
![Page 2: L’IA pour une interaction par les gestes](https://reader036.vdocuments.mx/reader036/viewer/2022062416/62ad741c45519749762466c9/html5/thumbnails/2.jpg)
Contenu● Introduction
● Motivation
● Dispositifs pour l’acquisition des gestes
● Approche général
● Techniques, outils et challenges
● Projet de recherche: Rain of Music
● Perspectives
2
![Page 3: L’IA pour une interaction par les gestes](https://reader036.vdocuments.mx/reader036/viewer/2022062416/62ad741c45519749762466c9/html5/thumbnails/3.jpg)
Introduction● Qu’est-ce que la communication gestuelle?
○ Une forme de communication non verbale.
○ Mouvement des mains, du visage ou d'autres parties du corps.
● Qu'est-ce que la reconnaissance des gestes?
○ Interpréter les gestes humains via des techniques d'intelligence artificielle (machine
learning)
○ Les gestes comme entrée pour contrôler des appareils ou des applications.
3
![Page 4: L’IA pour une interaction par les gestes](https://reader036.vdocuments.mx/reader036/viewer/2022062416/62ad741c45519749762466c9/html5/thumbnails/4.jpg)
Motivation pour l’interaction gestuelle● Le geste est une forme de communication naturelle, universelle et
puissante.
● Problèmes d'interaction avec les appareils traditionnels (par exemple, la
souris)
○ Control limité ou difficile avec la souris (par exemple, le contrôle d’une souris dans une
véhicule en mouvement ou le control des objets 3D dans un environnement VR)
● Fournir une interaction plus naturelle avec les machines (par exemple
avec les robots)4
![Page 5: L’IA pour une interaction par les gestes](https://reader036.vdocuments.mx/reader036/viewer/2022062416/62ad741c45519749762466c9/html5/thumbnails/5.jpg)
Applications: langue de signes
Tout comme la reconnaissance
vocale transcrit la parole en texte,
certains systèmes d’interaction
gestuelle peuvent transcrire les
symboles représentés à travers de la
langue des signes en texte.
5
![Page 6: L’IA pour une interaction par les gestes](https://reader036.vdocuments.mx/reader036/viewer/2022062416/62ad741c45519749762466c9/html5/thumbnails/6.jpg)
Applications: contrôleurs alternatifs des dispositifs
6
![Page 7: L’IA pour une interaction par les gestes](https://reader036.vdocuments.mx/reader036/viewer/2022062416/62ad741c45519749762466c9/html5/thumbnails/7.jpg)
Applications: des jeux vidéo immersifs
7
![Page 8: L’IA pour une interaction par les gestes](https://reader036.vdocuments.mx/reader036/viewer/2022062416/62ad741c45519749762466c9/html5/thumbnails/8.jpg)
Applications: aide aux personnes handicapées● Des fauteuils roulants avec des
systèmes d’interaction gestuelle.
● Le mouvement de la main est
utilisé comme un contrôleur de
vitesse ainsi que de direction.
8
![Page 9: L’IA pour une interaction par les gestes](https://reader036.vdocuments.mx/reader036/viewer/2022062416/62ad741c45519749762466c9/html5/thumbnails/9.jpg)
Applications médicales
9
![Page 10: L’IA pour une interaction par les gestes](https://reader036.vdocuments.mx/reader036/viewer/2022062416/62ad741c45519749762466c9/html5/thumbnails/10.jpg)
Interaction naturelle avec des robots
10
![Page 11: L’IA pour une interaction par les gestes](https://reader036.vdocuments.mx/reader036/viewer/2022062416/62ad741c45519749762466c9/html5/thumbnails/11.jpg)
Dispositifs pour l’acquisition des gestes● Gant de données
● Caméras de profondeur
● Capteurs infrarouges
● Capteurs inertiels
● Caméra monoculaire ou stéréo
● Capteurs musculaires (EMG)
● Systèmes de capture de mouvement
11
![Page 12: L’IA pour une interaction par les gestes](https://reader036.vdocuments.mx/reader036/viewer/2022062416/62ad741c45519749762466c9/html5/thumbnails/12.jpg)
Reconnaissance gestuelle (approche)
12
Données d’entrée
Acquisition et segmentation du geste
Extraction des caractéristiques
Algorithme de classification (ML)
Reconnaissance du geste
Modèle entrainé
Données d’entrainement
Utilisateur
Processus online (temps réel)
Processus offline
![Page 13: L’IA pour une interaction par les gestes](https://reader036.vdocuments.mx/reader036/viewer/2022062416/62ad741c45519749762466c9/html5/thumbnails/13.jpg)
Algorithmes de classification pour la reconnaissance gestuelle
● Machine Learning○ Hidden Markov Models (HMM)○ Artificial Neural Networks (ANN)○ K-nearest neighbor (KNN)○ Naive Bayes (NB)○ Support Vector Machine (SVM)○ Decision Tree (DT)○ Random Forest (RF)○ Linear Discriminant Analysis (LDA)
● Deep learning:○ Recurrent Neural Network (RNN)○ Convolutional Neural Network (CNN)
13
![Page 14: L’IA pour une interaction par les gestes](https://reader036.vdocuments.mx/reader036/viewer/2022062416/62ad741c45519749762466c9/html5/thumbnails/14.jpg)
Des exemples des outils pour la reconnaissance gestuelle
● The Gesture Recognition Toolkit (MIT, 2014)○ une bibliothèque d'apprentissage machine C ++ multiplateforme et open source conçue
pour la reconnaissance des gestes en temps réel.
● OpenCV○ une bibliothèque open source de vision par ordinateur qui est disponible pour python et
C++.
● Social Signal Interpretation (SSI)○ Analyse et reconnaissance multimodal du comportement non-verbal et des gestes en
temps réel.
● TensorFlow○ un outil open source d'apprentissage automatique développé par Google.
14
![Page 15: L’IA pour une interaction par les gestes](https://reader036.vdocuments.mx/reader036/viewer/2022062416/62ad741c45519749762466c9/html5/thumbnails/15.jpg)
Challenges● Latence
○ Le traitement de l'image peut être considérablement lent, créant une latence
inacceptable pour plusieurs applications qui demandent du temps réel.
● Manque de langage gestuel○ Différents utilisateurs font des gestes différemment, ce qui rend difficile la
reconnaissance des gestes.
● Robustesse○ Manque de précision en raison des facteurs comme un éclairage insuffisant, des arrière-
plan complexes, etc.
● Manque des données○ Nombre faible de données d’entrainement pour une reconnaissance gestuelle précise.
15
![Page 16: L’IA pour une interaction par les gestes](https://reader036.vdocuments.mx/reader036/viewer/2022062416/62ad741c45519749762466c9/html5/thumbnails/16.jpg)
16
RAIN MUSIC
OF
Arts et Sciences
![Page 17: L’IA pour une interaction par les gestes](https://reader036.vdocuments.mx/reader036/viewer/2022062416/62ad741c45519749762466c9/html5/thumbnails/17.jpg)
Rain of Music
17
✓ Un opéra interactif en
direct conçu pour être
interprété par 4 robots, 6
drones, un chanteur
d'opéra et 2 musiciens..
✓ La musique sera projetée
dans un espace sonore
3D distribué autour et au-
dessus de la scène.above
the stage.
![Page 18: L’IA pour une interaction par les gestes](https://reader036.vdocuments.mx/reader036/viewer/2022062416/62ad741c45519749762466c9/html5/thumbnails/18.jpg)
Rain of MusicCOMMENT VOLER un essaim de drones?
18
Utilisation du langage Soundpainting
![Page 19: L’IA pour une interaction par les gestes](https://reader036.vdocuments.mx/reader036/viewer/2022062416/62ad741c45519749762466c9/html5/thumbnails/19.jpg)
Langage gestuelle Soundpainting (Walter Thompson, 1974)
19
![Page 20: L’IA pour une interaction par les gestes](https://reader036.vdocuments.mx/reader036/viewer/2022062416/62ad741c45519749762466c9/html5/thumbnails/20.jpg)
COMMENT VOLER un essaim de drones?
20GRT, GestureRecognitionToolkIt, N. Gillian, J. Paradiso, MIT MediaLab (2012-2016)
![Page 21: L’IA pour une interaction par les gestes](https://reader036.vdocuments.mx/reader036/viewer/2022062416/62ad741c45519749762466c9/html5/thumbnails/21.jpg)
Génération du son avec des gestes● Un système capable de reconnaître les gestes de Soundpainting à partir
d'un capteur Kinect pour produire des sons de musique électronique.
21
![Page 22: L’IA pour une interaction par les gestes](https://reader036.vdocuments.mx/reader036/viewer/2022062416/62ad741c45519749762466c9/html5/thumbnails/22.jpg)
Implémentation du système
22
![Page 23: L’IA pour une interaction par les gestes](https://reader036.vdocuments.mx/reader036/viewer/2022062416/62ad741c45519749762466c9/html5/thumbnails/23.jpg)
Implémentation du système
23
![Page 24: L’IA pour une interaction par les gestes](https://reader036.vdocuments.mx/reader036/viewer/2022062416/62ad741c45519749762466c9/html5/thumbnails/24.jpg)
Système de reconnaissance gestuelle
24
![Page 25: L’IA pour une interaction par les gestes](https://reader036.vdocuments.mx/reader036/viewer/2022062416/62ad741c45519749762466c9/html5/thumbnails/25.jpg)
Système de reconnaissance gestuelle
25
![Page 26: L’IA pour une interaction par les gestes](https://reader036.vdocuments.mx/reader036/viewer/2022062416/62ad741c45519749762466c9/html5/thumbnails/26.jpg)
Premier caractéristique extraite
26
Positions des poignets
Les parties du corps
qui contiennent les
plus de variations.
Division de l’espace
corporel en 9
quadrants définis
par 4 lignes.Chan et al. IFAC 2009.
![Page 27: L’IA pour une interaction par les gestes](https://reader036.vdocuments.mx/reader036/viewer/2022062416/62ad741c45519749762466c9/html5/thumbnails/27.jpg)
Deuxième caractéristique extraite
27
● Quatre angles générés par les bras.
Invariants aux changements d'échelle et à la translation.
Indépendants de la morphologie.
Les angles des jambes ne sont pas pris en compte.
Zhang et al. WACV 2017.
![Page 28: L’IA pour une interaction par les gestes](https://reader036.vdocuments.mx/reader036/viewer/2022062416/62ad741c45519749762466c9/html5/thumbnails/28.jpg)
Troisième caractéristique extraite
28
● Conversion des coordonnées cartésiennes en coordonnées
sphériques.
Ne pas considérer la distance radiale qui dépend de la morphologie.
Taha et al. ICIT 2015.
![Page 29: L’IA pour une interaction par les gestes](https://reader036.vdocuments.mx/reader036/viewer/2022062416/62ad741c45519749762466c9/html5/thumbnails/29.jpg)
Système de reconnaissance gestuelle
![Page 30: L’IA pour une interaction par les gestes](https://reader036.vdocuments.mx/reader036/viewer/2022062416/62ad741c45519749762466c9/html5/thumbnails/30.jpg)
Entrainement du modèle● Une bibliothèque d'apprentissage automatique conçue pour la
reconnaissance des gestes en temps réel → Gesture Recognition Toolkit.
● Six gestes de Soundpainting (postures clés) ont été appris.
Exécution d’une posture clé devant le capteur Kinect pendant une minute.
● Un algorithme d'arbre de décision (rapide pour classer les nouveaux
échantillons d'entrée) a été utilisé pour entraîner tous les gestes.
30
![Page 31: L’IA pour une interaction par les gestes](https://reader036.vdocuments.mx/reader036/viewer/2022062416/62ad741c45519749762466c9/html5/thumbnails/31.jpg)
Implémentation du système
31
![Page 32: L’IA pour une interaction par les gestes](https://reader036.vdocuments.mx/reader036/viewer/2022062416/62ad741c45519749762466c9/html5/thumbnails/32.jpg)
Logiciel de génération de sons● Le logiciel Pure Data est utilisé pour la génération de musique.
● Chaque geste Soundpainting est associé à un code et envoyé au logiciel
Pure Data (via une socket).
32
![Page 33: L’IA pour une interaction par les gestes](https://reader036.vdocuments.mx/reader036/viewer/2022062416/62ad741c45519749762466c9/html5/thumbnails/33.jpg)
Démonstration artistique publique
33
![Page 34: L’IA pour une interaction par les gestes](https://reader036.vdocuments.mx/reader036/viewer/2022062416/62ad741c45519749762466c9/html5/thumbnails/34.jpg)
Démonstration artistique (Festival Haizebegi)
34
![Page 35: L’IA pour une interaction par les gestes](https://reader036.vdocuments.mx/reader036/viewer/2022062416/62ad741c45519749762466c9/html5/thumbnails/35.jpg)
Perspectives de l’IA pour l’interaction gestuelle● Des études estiment que l’interaction gestuelle sur le marché devrait
augmenter de 27,54% de 2018 à 2023.
● Des applications telles que les systèmes de contrôle à domicile, les
systèmes de santé, les technologies de jeu, les automobiles, les
téléviseurs, les automatismes domestiques et la robotique devraient
pouvoir utiliser l’interaction gestuelle dans les années qui viennent.
● Selon les chercheurs de l'Université de Purdue, les nouveaux
avancements de l’IA rendront les systèmes de reconnaissance des gestes
beaucoup plus efficaces.35
![Page 36: L’IA pour une interaction par les gestes](https://reader036.vdocuments.mx/reader036/viewer/2022062416/62ad741c45519749762466c9/html5/thumbnails/36.jpg)
MERCI DE VOTRE ATTENTION!
36