coadaptation cerveau machine pour une interaction optimale : application au p300-speller
DESCRIPTION
Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller. Margaux Perrin Directeur de thèse : Olivier Bertrand Encadrant : Jérémie Mattout Proche collaborateur : Emmanuel Maby. Septembre 2009 – Décembre 2012. - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/1.jpg)
Coadaptation cerveau machine pour une interaction optimale :
application au P300-SpellerMargaux Perrin
Directeur de thèse : Olivier BertrandEncadrant : Jérémie Mattout
Proche collaborateur : Emmanuel Maby
Laboratoire : Centre de Recherche en Neurosciences de Lyon – Equipe DycogFinancement : ANR Co-Adapt21 Décembre 2012
Septembre 2009 – Décembre 2012
![Page 2: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/2.jpg)
2
Introduction sur les Interfaces Cerveau-Machine
ICM : interface de communication directe entre un cerveau et un dispositif externe
ICMAnimal
HommeInvasive
Non invasive
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
Neurosciences
CliniqueIngénierie
Sélection de marqueurs
Classification ou régression Décision
Applications : Monitoring Restauration fonctionnelle Rééducation fonctionnelle
Non médicales (jeu vidéo, monitoring…)
Acquisition de signal
Transformation en commande
numérique
feedback
![Page 3: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/3.jpg)
3
M N O P Q R
5 6 7 8 9 _Y Z 1 2 3 4S T U V W X
G H I J K LA B C D E F
2 phases : Phase d’étalonnage (quelques minutes) Phase de test
Exemple d’une ICM : le P300-SpellerObjectif : aide à la communication
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
Feedback
…
P300 Speller
M N O P Q R
5 6 7 8 9 _Y Z 1 2 3 4S T U V W X
G H I J K LA B C D E F
M N O P Q R
5 6 7 8 9 _Y Z 1 2 3 4S T U V W X
G H I J K LA B C D E F
M N O P Q R
5 6 7 8 9 _Y Z 1 2 3 4S T U V W X
G H I J K LA B C D E F
M N O P Q R
5 6 7 8 9 _Y Z 1 2 3 4S T U V W X
G H I J K LA B C D E F
M N O P Q R
5 6 7 8 9 _Y Z 1 2 3 4S T U V W X
G H I J K LA B C D E F
M N O P Q R
5 6 7 8 9 _Y Z 1 2 3 4S T U V W X
G H I J K LA B C D E F
M N O P Q R
5 6 7 8 9 _Y Z 1 2 3 4S T U V W X
G H I J K LA B C D E F
M N O P Q R
5 6 7 8 9 _Y Z 1 2 3 4S T U V W X
G H I J K LA B C D E F
M N O P Q R
5 6 7 8 9 _Y Z 1 2 3 4S T U V W X
G H I J K LA B C D E F
M N O P Q R
5 6 7 8 9 _Y Z 1 2 3 4S T U V W X
G H I J K LA B C D E F
M N O P Q R
5 6 7 8 9 _Y Z 1 2 3 4S T U V W X
G H I J K LA B C D E F
M N O P Q R
5 6 7 8 9 _Y Z 1 2 3 4S T U V W X
G H I J K LA B C D E F
Répétition 1= 12 flashs Répétition 3Répétition 2
HM N O P Q R
5 6 7 8 9 _
Y Z 1 2 3 4
S T U V W X
G H I J K LA B C D E F
P300 Speller
Acquisition &
Traitement des signaux
Cible
N1
P300
P8
M N O P Q R
5 6 7 8 9 _
Y Z 1 2 3 4
S T U V W X
G H I J K L
A B C D E F
P300 Speller
Acquisition &
Traitement des signaux
Non cible
P8
M N O P Q R
5 6 7 8 9 _Y Z 1 2 3 4S T U V W X
G H I J K LA B C D E F
H
H
![Page 4: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/4.jpg)
4
Intérêt de cette application
Image du film Le Scaphandre et le papillontiré du livre de J.D. Bauby
atteint du syndrome d’enfermement
Restauration de la communication
Population concernée : Syndrome d’enfermement (Locked-in) Sclérose latérale amyotrophique Syndrome de Guillain-Barré …
Évaluation chez une patiente (coll. Jacques Luauté) :• Femme de 38 ans victime d’un AVC du tronc basilaire en 2009• État Locked-in (sauf mouvement des yeux)• Enregistrée à l’hôpital Henri Gabrielle entre mars et décembre 2010• Performance maximale : 0,6 lettres correctes par minute1 • Performance maximale chez les sujets sains : 4.8 lettres correctes par minute2
Nécessité d’améliorer le protocole
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
1 Maby, Perrin et al., 2011, Proceedings of the 5th international BCI conference2 Maby, Perrin et al, In preparation
![Page 5: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/5.jpg)
5
Coadaptation cerveau-machineIntroduction Expérience 1 Expérience 2 Expérience 3 Discussion
Action
Action
Perception
Perception Apprentissage
Modulée par : Apprentissage Motivation Vigilance
010111001 Apprentissage continu des marqueurs (Daucé et al, In prep.)
Durée de la phase d’étalonnage adaptative(Rivet et al, 2011, J. of Physiology)
![Page 6: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/6.jpg)
6
Coadaptation cerveau-machineIntroduction Expérience 1 Expérience 2 Expérience 3 Discussion
Action
Action
Perception
Perception
Signal de satisfaction
Peut-on améliorer l’interaction en
exploitant un signal de satisfaction ?
Peut-on améliorer l’interaction en
optimisant le temps de réaction de la
machine ?
Décision adaptative
010111001
![Page 7: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/7.jpg)
7
Méthodeso Tâche : P300-Spellero Électrophysiologie : EEGo Environnement logiciel :
• En ligne : Open-ViBE [1]
• Hors ligne : Matlab, Elan [2]
o Traitements de données :• Sélection de caractéristiques : Filtre temporel, fréquentiel et spatial (xDAWN [3])• Classifieur : mixture de gaussiennes
o Évaluation :• Performance : taux de lettres correctes• Bit rate : taux d’information transmise par unité de temps• Sensibilité, spécificité : mesures de l’efficacité d’un classifieur• Questionnaires
o Analyses statistiques : R, SPM [4]
[1] Renard et al, 2010, Presence: Teleoperators and Virtual[2] Aguera et al, 2010, , Comput. Intell. Neurosci.[3] Rivet et al, 2009, IEEE TBME[4] Litvak et al, 2011, Comput. Intell. Neurosci.
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
CibleNon cible
![Page 8: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/8.jpg)
8
Expérience 1Étude hors ligne des réponses aux feedbacks
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
![Page 9: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/9.jpg)
9
Objectifs
Feedback
Signal de réponse au feedback ? Modulation par apprentissage ? Modulation par attention ?
Détection ?
Correction ?
Peut-on améliorer l’interaction en
exploitant un signal de satisfaction ?
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
![Page 10: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/10.jpg)
10
Temps (ms)
Ampl
itude
(µV)
CorrectErreur
Les signaux de réponse au feedback
Signaux modulés par la prédictibilité apprentissage
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
Signaux modulés par la valence du feedback
FRN
P3
Holroyd et al., 2007, Psychophysiology
Attendu (erreur difficile – correct facile)Inattendu ( erreur facile – correct difficile)
Temps (ms)
Ampl
itude
(µV)
FCz
Stimulus auditif
1 sec
Clic avec une souris
Réponse correcte
DifficileErreurs fréquentes
attendues
FacileErreurs rares inattendues Différence entre feedbacks négatifs et positifs
Cohen and Ranganath, 2007, J. NeuroscienceFriston, 2005, Philos Trans R Soc Lond B Biol Sci
Réponses au feedback
![Page 11: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/11.jpg)
11
Leur utilisation dans les ICM
Spüler et al., 2012, Clinical Neurophysiology
Détection de l’ErrP
• Appelées ErrP• Des études sur le sujet depuis une dizaine d’années• Beaucoup d’études hors ligne• Avant 2012 : études avec maximum 6 sujets
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
• Stratégies de correction (Rousseau, 2012) :• Annulation de la commande• Remplacement par le second choix du classifieur• Itération de la commande
![Page 12: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/12.jpg)
12
Protocole expérimental
• EEG (32 électrodes)• 19 sujets sains• Paramètres :
3 Répétitions Flashs toutes les 190 ms Étalonnage : 25 lettres 3 sessions de 24 mots de 5 lettres (360 lettres)
En moyenne : 80% de lettres correctes attendues
• Maby, Perrin et al. HBM Conf. 2010 ; • Maby, Perrin et al., in prep.
P300 Speller utilisant le logiciel OpenViBE
Feedbacks complètement contrôlés : 20% de feedbacks négatifs 80% de feedbacks positifs
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
![Page 13: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/13.jpg)
13P O M F E G P A D E K O B L A M A 6I 8
En pratique
POMME
PXMME
POMFE
Expérimentateur
Vue du sujet
Feedbacks envoyés
F P B
feedback négatif attendu feedback négatif inattendu
Enregistrement des réponses « réelles »
Une réponse réelle correcte correspond à un niveau attentionnel élevé
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
P O M G A E K O L M A 6IAA
feedback positif attendu feedback positif inattendu
![Page 14: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/14.jpg)
14
• Sélection de fenêtres temporelles (SPM) 250-310 ms FRN 380-750 ms fenêtre 380-460 ms pour P3
• Analyse de variance sur données essai par essai (R)
Les réponses au feedback sont-elles présentes dans le contexte des ICM ?
FRN
P3
* ***
Temps (ms)
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
Feedback négatifFeedback positif
• Étude électrophysiologique classique• Prétraitements
Filtrage 0.1-20 Hz Correction des artefacts oculaires avec une ICA Rejet manuel d’artefacts
Temps (ms)
Ampl
itude
(µV)
Holroyd et al., 2007, Psychophysiology
Correct Erreur
FRN
P3
Condition facile23% d’erreurs
![Page 15: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/15.jpg)
15
Reflètent-elles l’apprentissage ?
Réponses plus amples pour les feedbacks inattendus Reflet de l’apprentissage des règles d’apparition des erreurs
FRN réduite pour les erreurs réelles Reflet de l’attention
Feedbacks envoyés
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
Sont-elles modulées par l’attention ?Les réponses au feedback
Performances réelles
Feedbacks envoyés
*
**
Temps (ms)
*
Erreurs réellesCorrects réels
Temps (ms)
Holroyd et al., 2007
****
Erreurs réellesCorrects réels
Feedbacks négatifs – feedbacks positifs
Est-ce que la machine était performante ? 8/10
Feedbacks attendusFeedbacks inattendus
![Page 16: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/16.jpg)
16Nombre de lettres d’étalonnage
SensibilitéSpécificité
Peut-on détecter les réponses au feedback ?• Fenêtre temporelle : 200-600 ms• Étalonnage : de 25 à 250 lettres• Test sur les 110 lettres
100 200 250 36015050
Données de test
0
Données d’étalonnage
Temps (ms)
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
• Sensibilité =
• Spécificité =
• Spécificité très élevée• Sensibilité augmente avec le nombre de lettres utilisées pour l’étalonnage
FB neg. bien détectésNombre total de FB neg.
FB pos. bien détectésNombre total de FB pos.
FRN
P3
![Page 17: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/17.jpg)
17
A B C D E FG H I J K LM N O P Q RS T U V W XY Z 1 2 3 45 6 7 8 9 _
Peut-on corriger les erreurs ?SC: Pertinence du second choix
(lorsque le 1èr choix est faux)
= 53%
Gain théorique lié à la correction : ~3%
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
0,4 0,5 0,6 0,7 0,8 0,9 1
SC (%
)
% lettres correctes
Pertinence du second choix en fonction de la performance
R = 0,50P < 0.05
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
-6-4-202468
101214
Participants
Gain
(%)
![Page 18: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/18.jpg)
18
Conclusion expérience 1Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
• Perrin et al., 2011, 5th int. BCI conf. Graz• Perrin et al., in preparation
Réponse au feedback modulée par apprentissage
et attentionDétection
Correction
Peut-on améliorer l’interaction en
exploitant un signal d’erreur ?
![Page 19: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/19.jpg)
19
Expérience 2
Évaluation en temps-réel de la correction automatique
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
![Page 20: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/20.jpg)
20
Objectifs
Satisfaction ?
Détection ?
Correction ?
Peut-on améliorer l’interaction en
exploitant un signal d’erreur ?
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
Localiser les sources corticales des réponses aux feedbacks Évaluer l’efficacité d’un nouveau mode de stimulation par groupes pseudo-aléatoires de lettres
![Page 21: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/21.jpg)
21
Protocole expérimental• EEG (56 électrodes) /MEG (275 capteurs) • 16 sujets sains• Feedbacks réels• Conditions difficiles pour avoir des erreurs :
2 répétitions par lettre Flashs toutes les 110 ms
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
Test du P300-Speller340 lettres avec feedback
Étalonnage réponse aux cibles36 lettres sans feedfack
Test de la correction100 lettres
Étalonnage réponse aux feedback240 lettres
Questionnaire
![Page 22: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/22.jpg)
22
Détection des réponses aux feedbacks
Expérience 1 Expérience 2Sensibilité 65% 63%
Spécificité 95% 88%
Explication :
Erreurs moins surprenantesPertinence du 2nd choix moins bonne
FRN moins ample
↘ Rapport signal sur bruitMoins bonne discrimination des signaux Second choix moins pertinent
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
Correction des erreurs
Expérience 1 Expérience 2
Second Choix 53% 36%
Gain 3% 0,5%
Sur 16 participants : 50% améliorent leur performance (jusqu’à +12%), et 37.5% la détériorent (jusqu’à -19%) 44% préfèrent le mode avec correction
Expérience 1 Expérience 2
Taux d’erreurs 20% 38%
Expérience 1 Expérience 2
Taux d’erreurs 20% 38%
Feedback négatif
Réponses réellement
incorrectes : 20%
Réponses réellement
incorrectes : 100%
Expérience 1 Expérience 2
Taux d’erreurs 20% 38%
Feedback négatif
Réponses réellement
incorrectes : 20%
Réponses réellement
incorrectes : 100%
Traitements Hors ligne En ligne
![Page 23: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/23.jpg)
23
0.20 0.30 0.40 0.50 0.60 0.70 0.80 0.90 1.000.600.650.700.750.800.850.900.951.00
% lettres correctes
Spéc
ifici
té
Résultat inattendu : 2 groupes de participants
Différences entre les deux groupes (p<0.05) :
Spécificité <75% >85%Performance 46% 72%
Second Choix 29% 45%
Gain -5% +4%
Sentiment que la machine est efficace 4,5/10 6,6/10
Sentiment de contrôle sur la machine 5,2/10 7,4/10
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
Gain <0 Gain >0 Gain = 0
Préférence : Sans correction Avec correction
Spec = 0,95
Spec = 0,68
0.20 0.30 0.40 0.50 0.60 0.70 0.80 0.90 1.000.600.650.700.750.800.850.900.951.00
% lettres correctes
Spéc
ifici
té
![Page 24: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/24.jpg)
24
Différences électrophysiologiques
Différence flashs cibles – non ciblesDifférence feedbacks incorrects – corrects
Potentiel plus précoce pour le groupe avec spécificité >85%
Potentiel plus ample pour le groupe avec spécificité >85%
***
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
Spec. >85%Spec. <75%
N1 importante pour la classification des ciblesDifférence attentionnelle entre les deux groupes
![Page 25: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/25.jpg)
25
Conclusion expérience 2Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
Détection ?
Correction
Peut-on améliorer l’interaction en
exploitant un signal d’erreur ?
Bit rate meilleur qu’avec une stratégie de réécriture
Perrin et al., 2012
Dal Seno et al, 2010
Spüler et al., 2012
Spécificité 88% 68% 96%
Sensibilité 63% 62% 40%
Préférence variable
Expérience 1 Expérience 2
Sensibilité 65% 63%
Spécificité 95% 88%
![Page 26: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/26.jpg)
Conclusion expérience 2
Niveau attentionnel / motivationnel
Qualité des réponses aux flashs
Qualité des réponses aux feedbacks
Performance Second choix
Qualité de la classification des cibles
Qualité de la classification des ErrP
Efficacité de la correction
Prédictibilité du feedback
Perception de l’efficacité de la machine
Électrophysiologie
Classification
Mesures objectives
Mesures subjectives
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
Préférence26
Perrin et al., 2012, Advances in human computer interaction
![Page 27: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/27.jpg)
27
Expérience 3
Optimisation du temps de réaction de la machine
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
![Page 28: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/28.jpg)
28
Objectifs
Peut-on améliorer l’interaction en
optimisant le temps de réaction de la
machine ?
Qualité du signal
Temps de réaction optimal Effet sur le sujet ?
3 étapes : Modification de la méthode Évaluation de la méthode hors ligne Évaluation de la méthode en ligne et de l’effet sur le sujet
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
![Page 29: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/29.jpg)
29
Feedback
Sélection de marqueurs Classification Décision
A priori : p(x)Mise à jour après chaque nouvelle
observation/flash
Données: φp(x|φ)
p(x|φ) α p(φ|x)
Nouveau classifieurIntroduction Expérience 1 Expérience 2 Expérience 3 Discussion
NON
OUI
Suffisamment d’information ?
Moyennage à travers les répétitions
.p(x)
![Page 30: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/30.jpg)
30
• Calcul de l’entropie de Shannon de la distribution de probabilité après chaque nouvelle observation
Quand la connaissance augmente, l’entropie diminue Lorsque l’entropie passe en dessous d’un certain seuil, la stimulation
s’arrête et la décision est prise
Critère sur l’informationIntroduction Expérience 1 Expérience 2 Expérience 3 Discussion
Évaluation hors ligneComparaisons de 2 approches sur des données réelles d’une précédente expérience :
ktN
kktt ppH ,
1, log.
◦ Approche fixe : nombre fixe de flashs (critère temporel)◦ Approche adaptative : nombre de flash optimal (critère sur l’information)
![Page 31: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/31.jpg)
31
AdaptatifÉcart-typeFixeÉcart-type
% le
ttre
s cor
rect
es
Résultats hors ligneRésultat en temps-réel de
Lenhardt et al. 2008
Résultats hors ligne avec nos données
(20 sujets x 60 lettres)
Mode fixe : 30 bits/minute9 sujets9 lettres
Mode adaptatif : 50 bits/minute12 sujets 22 lettres
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
• Bit rate maximal équivalent avec mode adaptatif • Bit rate en mode fixe meilleur sur nos données Gain inférieur sur nos données (+10 bits/min vs. +20 bits/min) Différence en ligne vs. hors ligne ? Effet de la motivation ?
AdaptatifÉcart-typeFixeÉcart-type
![Page 32: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/32.jpg)
32
Expérience en temps-réel
o Protocole expérimental• EEG - 9 électrodes• 11 sujets sains• 3 conditions (100 lettres/cond.)
• Questionnaire
o Choix du seuil de décision :• Utilisation des données d’étalonnage pour estimer un seuil qui correspond
environ à 24 et 60 flashs en moyenne
Fixe Adaptatif prudent Adaptatif risqué5 rep 15 rep max
5 rep en moyenne(=60 flashs)
15 rep max2 rep en moyenne
(=24 flashs)
Comparaisons hors ligne Effet de la motivation Effet de la méthode
Comparaison en ligne Effet global
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
![Page 33: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/33.jpg)
33
***
**
RésultatsPerformance en temps-réel Performance hors-ligne
Données réanalysées avec une décision fixe sur les 2 premières répétitions
L’approche adaptative est plus efficace et augmente la motivation Performances encore meilleures
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
30%
40%
50%
% le
ttres
corr
ecte
s
50 52 54 56 58 60 62 640.60
0.70
0.80
0.90
1.00FixeAdaptatif prudent
Nombre de flashs
% le
ttres
corr
ecte
s
60 flashs = 5 répétitions
Effet global : +10% Effet motivation : +6%Effet méthode : +4%≈ +
![Page 34: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/34.jpg)
34
Préférences des sujets
Conclusion• Modes adaptatifs plus efficaces que mode fixe
• Modes adaptatifs plus agréables d’utilisation
• Effet vertueux des modes adaptatifs qui favorisent la motivation et améliorent ainsi les performances Coadaptation cerveau-machine
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
Perrin et al., In preparation
• Plus motivant• Plus stimulant
• Plus fiable• Plus prédictible
• Plus précis• Moins de concentration nécessaire
![Page 35: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/35.jpg)
35
Discussion
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
![Page 36: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/36.jpg)
36
SynthèseIntroduction Expérience 1 Expérience 2 Expérience 3 Discussion
Action
Action
Perception
Perception
• Signaux d’erreur (exp1) • Reflet de l’apprentissage (exp1 et 2)• Modulation par l’attention (exp1 et 2)
• Correction peu efficace mais très sujet-dépendante (exp1 et 2)• Décision adaptative très efficace (exp3)
exp1 et 2 Attention ↗
Performance ↗
Correction ↗
Coté cerveau Coté machine
Interaction
Remarques importantes :• Effets observés en temps-réel ≠ Effets observés hors ligne Utilisateur adaptatif• Préférences différentes d’un sujet à l’autre Importance d’une adaptation individualisée
010111001
exp3ICM adaptative
Motivation ↗
Performance ↗
36
![Page 37: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/37.jpg)
37
PerspectivesIntroduction Expérience 1 Expérience 2 Expérience 3 Discussion
Action
Action
Perception
Perception
• Étude des sources corticales Augmenter connaissance• Autres marqueurs (ssvep1)
• Correction : biais2, a priori3, thêta4…• Machine adaptative : optimisation compromis performance/temps, écriture prédictive• Ergonomie : nouveaux casques…
Décision adaptative
Motivation ↗
Correction ↗ ?
Coté cerveau Coté machine
Interaction
010111001
[1] Edlinger et al, 2011, 6th int Conf on Universal access in human-computer interaction.[2] Spüler et al., 2012, Clinical Neurophysiology[3] Ahi et al, 2011, IEEE Trans Neural Syst Rehabil Eng[4] Rousseau et al., 2012, Thèse
![Page 38: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/38.jpg)
P300 Speller
M N O P Q R
5 6 7 8 9 _Y Z 1 2 3 4S T U V W X
G H I J K LA B C D E F
MERCI_A_TOUS
![Page 39: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/39.jpg)
39
![Page 40: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/40.jpg)
40
Essai patiente
Maby, Perrin et al, 5th International BCI Conference 2011
Etalonnage Test Perf Classificatio
nTrain01 Sess01 24,4% 53,7%
Sess02.01 Sess02.02 15,6% 37,8%Sess03.01 Sess03.02 15,0% 52,5%Sess04.01 Sess04.01 27,3% 48,9%
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
Répartition des erreurs
Healthy subjects
Poor performerAccuracy : 43.8 %
Good performerAccuracy : 99.4 %
PatientAccuracy : 22.6 %
CibleNon cible
Oddball actif
![Page 41: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/41.jpg)
41
Perspective clinique
Laureys et al. Lancet Neurol 2004
Intendix(Guger Technologies)
Supprimer toutAlarme
Copie dans un mail Sauvegarde
EspaceSortie vocale
Impression
Origine de la différence entre sujets sains et locked-in syndrome ?
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
![Page 42: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/42.jpg)
Guenther, PLoS ONE 2009(groupe Kennedy, Atlanta USA)
- Patient « Locked-in »
- Décodage et synthèse du langageen temps-réel (délai ~50 ms)
- Après un court apprentissage,les performances de productionde voyelles sont de 70%
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
![Page 43: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/43.jpg)
43
Temps (ms)
Ampl
itude
(µV)
CorrectErreur
Les signaux de réponses au feedback
Réponse motrice pas indispensable
Signaux modulés par l’erreur de prédiction apprentissage
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
PerteGain
Choix
Temps (ms)
Cz
CzPerteGain
Pas de réponse
Temps (ms)
Signaux modulés par la
valence du feedback
FRN
P300
FRN
P300
Correct facileErreur difficileCorrect difficileErreur facile
Temps (ms)
Holroyd et al., 2007, Psychophysiology
Yeung et al., 2005, Cerebral Cortex
FCz
Attendu (erreur difficile – correct facile)Inattendu ( erreur facile – correct difficile)
Temps (ms)
Ampl
itude
(µV)
FCz
![Page 44: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/44.jpg)
44
Réponse au feedback
Feedback négatifFeedback positif
-1000 1000 2000 3000 4000 5000 ms0
-1000 1000 2000 3000 4000 5000 ms0
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
Effet Perf sur session 3
Erreurs réellesCorrects réels
![Page 45: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/45.jpg)
45
Modulations des réponses au feedback
Feedbacks envoyés
Temps (ms)Temps (ms)
Performances réelles
Feedbacks envoyés
****
*
**
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
Erreurs réellesCorrects réelsFeedbacks attendus
Feedbacks inattendus
![Page 46: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/46.jpg)
46
• Pc = 1-P * Sens. * SC + P * Spec.
00,10,20,30,40,50,60,70,80,9
1
0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1
SC (%
)
% lettres correctes
Pertinence du second choix en fonction de la performance
3 rep2 rep1 rep
Nombre de lettres d’étalonnage
SensibilitéSpécificitéPPc
CorrectionIntroduction Expérience 1 Expérience 2 Expérience 3 Discussion
-6-4-202468
101214
3 Rep. 1 Rep.
Participants
Gain
(%)
![Page 47: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/47.jpg)
47
Évolution de la classification
CorrectsErreurs
Au début de la calibration A la fin de la calibration
Nombre de lettres d’étalonnage
SensibilitéSpécificité
Au milieu de la calibration
CorrectsErreursCorrectsErreurs
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
![Page 48: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/48.jpg)
Choix de la fenêtre temporel Choix du nombre de filtres spatiaux
Choix des paramètres de détection des feedbacks négatifs
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
48
![Page 49: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/49.jpg)
49
Correction automatique
erreurs corrects
correction 23.7% 7.6%
correction 14% 54.7% S01 21.75 16.27 13.55S03 3.25 3.01 3.27S04 6.00 5.45 5.14S06 4.69 5.45 4.37S12 12.23 9.68 8.88S14 10.20 8.97 9.39S02 12.23 13.01 14.24S05 18.29 18.68 19.23S07 26.10 25.63 24.43S08 25.08 25.48 24.79S09 15.51 15.34 15.38S10 21.30 23.51 26.59S11 25.58 24.78 24.40S13 7.42 7.82 10.43S15 10.20 10.30 11.97S16 27.15 28.07 28.61
All 13.06 12.70 12.81Spec <0.75 9.03 7.71 7.37Spec >0.85 18.21 18.77 19.56
No correctionError detection and respelling
Error detection and automatic correction
(online)
Subjects
Spelling mode (bits/min)
meta-subjects
Réponses aux feedbacks
Spec. > 85%Spec. < 75%
Feedbacks correctsFeedbacks incorrectsFeedbacks correctsFeedbacks incorrects
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
![Page 50: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/50.jpg)
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
Différences inter-individuelles
0.20 0.30 0.40 0.50 0.60 0.70 0.80 0.90 1.000.20
0.30
0.40
0.50
0.60
0.70
0.80
0.90
1.00
% lettres correctes
Sens
ibili
té d
e la
dét
ectio
n de
s err
eurs
0.20 0.30 0.40 0.50 0.60 0.70 0.80 0.90 1.000.200.250.300.350.400.450.500.550.600.65
% lettres correctes
Perti
nenc
e du
2nd
choi
x
0.20 0.30 0.40 0.50 0.60 0.70 0.80 0.90 1.000.600.650.700.750.800.850.900.951.00
% lettres correctes
Spéc
ifici
té
Gain <0 Gain >0 Gain = 0
Préférence : Sans correction Avec correction
Spec = 0,95
Spec = 0,68
0.20 0.30 0.40 0.50 0.60 0.70 0.80 0.90 1.000.600.650.700.750.800.850.900.951.00
% lettres correctes
Spéc
ifici
té
+1%
-3%-2%
Gain <0 Gain >0 Gain = 0
![Page 51: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/51.jpg)
51
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
![Page 52: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/52.jpg)
52
0.30 0.40 0.50 0.60 0.70 0.80 0.90 1.000.60
0.70
0.80
0.90
1.00
% lettres correctes
Déte
ction
des
err
eurs p < 0.05
r = 0.62
Effet de la performance sur la correction des erreurs
Effet de la performance sur la détection des erreurs
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
détection correction
0.30 0.40 0.50 0.60 0.70 0.80 0.90 1.000.20
0.30
0.40
0.50
0.60
0.70
% lettres correctes
Seco
nd C
hoix p <0.001
r = 0.78
Effet de la performance sur la
![Page 53: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/53.jpg)
53
Détection des erreurs en essai unique1er auteur Visconti DalSeno Spüler Schmidt Perrin
Année 2008 2010 2012 2012 2012
Tâche P300-Speller P300-Speller P300-Speller indépendant de la direction du regard P300-Speller
Nombres de sujets 5 2 9 8 sujets
âgés 5 patients 11 16
Electrodes Fz, Cz, Pz, Oz 16 électrodes 57 électrodes 32 électrodes
Epoch [-100 500] ms [100-800] ms [150-900] ms [200 600] ms
Filtrage 1-10 Hz 0,5-16 Hz ? 1-20 Hz
Classifieur LDA appliqué aux
coefficients polynomiaux
LDA SVM avec une fonction de base radiale LDA mixture de deux
gaussiennes
Nombre d'essais pour l'étalonnage
413 en moyenne 258 ou 374 (pour sujet 1 ou sujet 2)
323 en moyenne
274 en moyenne
223 en moyenne
390 en moyenne, dans une tâche différente 300 en moyenne 240
% Feedbacks incorrects 17% 25 ou 22% ~25% (paramètres adaptés à
chaque sujet dans ce but)
~15% ~20%38%
paramètres adaptés pour avoir 15%
Type de test Validation croisée hors ligne Test en temps-réel Test en temps-réel Test en temps-réel Test en temps-réel Test en temps-réel
Spécificité 55 à 91% 66 ou 69% 96% 94% 91% 94% 95% 88%Sensibilité 46 à 84% 58 ou 66% 40% 51% 35% 38% 66% 63%
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
![Page 54: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/54.jpg)
54
Détection des erreurs en essai unique1er auteur Visconti DalSeno Ferrez (a) Ferrez Ferrez (b) Chavarriaga Iturate Lopez Kreilinger Spüler Schmidt Perrin
Année de publication 2008 2010 2008 2007 2008 2010 2010 2010 2012 2012 2012 2012
Tâche P300-Speller Clic vers une cible (simulation d'ICM)
Contrôle d'un carré sur un écran par imagerie motrice
Observation d'un jeu de Memory
Observation d'un robot
Estimation de la durée d'une
seconde
contrôle d'un bras robotisé par imagerie motrice
P300-Speller P300-Speller
indépendant de la direction du regard
P300-Speller
Nombres de sujets 5 2 5 6 2 6 4 5 10 9 8 sujets
âgés 5 patients 11 16
Electrodes utilisées Fz, Cz, Pz, Oz FCz et Cz Fz, FC1, FC2, FCz, Cz, Cp1, CP2,
Cpz laplacian autour
de Cz 16 électrodes 57 électrodes 32 électrodes
Fenêtre temporelle [-100 500] ms [150-650] ms [250-400] ms [200-800] ms [200-600] ms [200 400] ms [100-800] ms [150-900] ms [200 600] ms
Filtrage fréquentiel 1-10 Hz 1-10 Hz 0.5-10 Hz 0,5-10 Hz 0,5-16 Hz ? 1-20 Hz
Classifieur LDA appliqué
aux coefficients polynomiaux
LDA mixture de deux gaussiennes v-SVM avec une fonction de base radiale LDA SVM avec une fonction de base
radiale LDA mixture de deux gaussiennes
Nombre d'essais pour l'étalonnage
413 en moyenne
258 ou 374 (pour sujet 1 ou sujet 2)
~1500 sur deux jours (J1 et J2) ~1500
1500x6 sujets : données issues de Ferrez et al, 2007
~900 ~2000 200 600 ~160 323 en moyenne
274 en moyenne
223 en moyenne
390 en moyenne, dans une
tâche différente
300 en moyenne 240
% Feedbacks incorrects 17% 25 ou 22% 20% (feedback biaisé)
20% (feedback
biaisé)
20% (feedback biaisé) ~32% 5 à 33% 50% 50% 27% ~25% (paramètres adaptés à
chaque sujet dans ce but)
~15% ~20%
38%
paramètres adaptés pour avoir 15%
Type de testValidation
croisée hors ligne
test en temps-réel
Validation croisée et test hors ligne
(étalonnage sur J1, test sur J2)
Validation croisée hors
ligne
Test en temps-réel
Test en temps-réel Test hors ligne
Validation croisée hors
ligne
Validation croisée hors
ligne
Validation croisée hors
ligneTest en temps-réel Test en
temps-réelTest en
temps-réeltest en temps-
réel
Spécificité 55 à 91% 66 ou 69% Val-croisée : 83%
82% 82% 88% Chance level 82.5% J1 : 74%
Détail non précisé,
exactitude : 61%
96% 94% 91% 94% 95% 88%Test sur J2 : 84% J2 : 81%
Sensibilité 46 à 84% 58 ou 66% Val-croisée : 83%
76% 82% 75% Chance level 79%J1 : 79%
40% 51% 35% 38% 66% 63%Test sur J2 : 79% J2 : 78%
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
![Page 55: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/55.jpg)
55
N170 ★ 160-200 ms (N170)
EEG
MEG
Aucune différence entre les conditions
PO7
MRT35
Bad feedbackGood feedback
MEG/EEGFWE corr.
p<0.05
Aire V1 bilatérale et gyrus fusiforme
en accord avec Henson et al, Neuroimage, 2009
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
![Page 56: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/56.jpg)
56
FRN/P3 : Résultats de scalp ★ 230-400 ms (FRN+P300)
FCz
★ 310-450 ms (~P300)
MRT14
★ 260-280 ms (~FRN)
MLT14
EEG
MEG
En MEG, deux fenêtres temporelles émergent. Elles correspondent aux latences de la FRN et de la P300.
Différences claires entre les réponses aux feedbacks positifs et négatifs, dominés par les ondes FRN et P300.
Feedbacks négatifsFeedbacks positifs
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
![Page 57: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/57.jpg)
57
Reconstruction de sources
★ FCRP (Feedbacks positifs 260-280 ms, N=15)
EEG
MEG
Gyrus occipital moyen et inférieur
Cortex cingulaire supérieur et médian
Gyrus pariétal inférieurGyrus temporal moyen
Uncorr. p<10-5
FWE corr. p<0.05
z=10 y=-82 y=-15x=0
z=-1 y=-47 y=-78x=-32
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
![Page 58: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/58.jpg)
58
Reconstruction de sources★ FCRP (Feedbacks positifs 260-280 ms, N=15)
MEG/EEG
Gyrus frontal inférieur Gyrus précentralAire motrice supplémentaire
Gyrus occipital supérieur Gyrus temporal inférieur
Uncorr. p<10-5
z=28 x=24 z=-11 y=-58
z=22 y=14 y=-8x=17 y=-21x=38
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
![Page 59: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/59.jpg)
59
Reconstruction de sources
★ FRN - FCRP (Feedbacks négatifs – feedbacks positifs, 260-280 ms,
N=11 i.e. sujets avec suffisamment d’essais « erreurs »)
Gyrus frontal
inférieur
Gyrus temporal inférieur
MEG/EEGUncorr. p<10-4
z=12 y=14
z=-9 y=-60
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
![Page 60: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/60.jpg)
Gyrus frontal inférieur Gyrus temporal moyenAire motrice supplémentaire
Gyrus occipital supérieur Gyrus temporal inférieur
Reconstruction de sources
★ FCRP (Feedbacks positifs 260-280 ms, N=15)
MEGUncorr. p<10-5
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
Gyrus occipital moyen
![Page 61: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/61.jpg)
Literature review
Dorsal PCC
Donamayor et al, 2011/2012• Gambling task / Time-reaction task• MEG / simultaneous EEG-MEG• Reconstruction of the difference between bad and good feedbacks with LORETA
250-315 ms
Bellebaum et al, 2008• strategy task• EEG• Reconstruction of the difference between bad and good feedbacks with LORETA
230-270 ms
Ferrez et al, 2008• Simulated BCI• EEG• Reconstruction of the difference between bad and good feedbacks with LORETA
Rostral cingulate
zone (ACC)et pre-SMA
250 ms
300 ms (unexp. BFB)
PCC
320 ms (exp. BFB)
Caudal ACC
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
![Page 62: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/62.jpg)
62
Stimulation statique aléatoire (SRS): la cible est toujours associée aux mêmes items distracteurs
Stimulation dynamique aléatoire (DRS): l’assocation entre items change d’une répétition à la suivante
Dilution d’erreur : nouveau mode de flashage
Nrep: 1 Nrep: 2 Nrep: 3
Nrep: 1 Nrep: 2 Nrep: 3
B
75% des erreurs sont dans le
groupe de lettres qui contient la
cible
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
![Page 63: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/63.jpg)
1st repetition 2nd repetition3rd repetition4th repetition
Exemple simplifié : évolution du signal et des probabilités au cours du temps
5th repetition
Différences plus grandes entre signaux cibles et non cibles effet moins dévastateur d’une stimulation perturbatrice Devrait permettre d’améliorer la classification
Lettre cible : M
DRSSRS
Probabilité d’être la cible
Somme cumulée du signal
Simulations simplifiées :signaux aléatoires issus d’une moyenne et d’une variance choisies de manière arbitraire pour les groupes de lettres cibles et non cibles.
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
![Page 64: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/64.jpg)
64
Mode de flashage :stimulation dynamique vs. statique
Stimulation dynamique (DRS) plus efficace dès 2 répétitions
2 rep 4 rep0.50
0.55
0.60
0.65
0.70
0.75
0.80
0.85
0.90 SplotchSuperSplotch
SRSDRS
***
**Nrep x stim: **
0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10.2
0.4
0.6
0.8
1.0
Taux d’erreur dans le groupe de lettres de la cible en SRS
% le
ttre
s cor
rect
es
p = 0.037r = 0.56
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
![Page 65: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/65.jpg)
65
Analyses hors ligne à 8-9 capteurs
32 chan 8 chan 9 chan2 rep 68% 44% 41% 40% 39% 56%4 rep 84% 66% 63% 59% 57% 76%
Objectif : améliorer le confort des participants en réduisant la durée d’installation utilisation clinique
Choix des capteurs adapté de Cecotti et al. 2011en réanalysant hors ligne les données de l’expérience 2
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
![Page 66: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/66.jpg)
66
Pré-testsIntroduction Expérience 1 Expérience 2 Expérience 3 Discussion
AdaptatifFixe
Simulations (1000 lettres par point)
1 2 3 4 5 6 7 8 9 1030
40
50
60
70
80
90
100
StaticDynamic
Nombre de répétitions
% le
ttres
corr
ecte
s
Données réelles (60 lettres x 20 sujets par point)
Évaluation du nouveau classifieur
Statique
Dynamique
Évaluation du mode adaptatif
% le
ttre
s cor
rect
es
![Page 67: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/67.jpg)
67
Évaluations exp3Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
0
5
10
15
20
25
30
Bits
/min
ute
** ***
Risqué
Risqué
Fixe
Risqué
Fixe
Fixe 2rep
Prudent
Fixe 2rep
En ligne :
Hors ligne :
Effet de la méthodeEffet motivationnel
20 25 30 35 40 45 50 55 60 650.40
0.50
0.60
0.70
0.80
0.90
5 répétitions fixesDynamique "prudent"Dynamique "risqué"
Nombre de flashs
% le
ttre
s cor
rect
es
En ligne Hors ligne
**
Fixe Adaptatif prudent
Adaptatif risqué
15
17
19
21
23
25
Bits
/min
ute
**
![Page 68: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/68.jpg)
Expérience comparant le mode standard et le mode optimisé
Expérience comparant le mode standard et le mode optimisé
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
N=12 Standard Optimisé
Rapide 4,6 lettres correctes/minute Perf : 62%
4,5 lettres correctes/minute Perf : 62%
Lent 3,9 lettres correctes/minute Perf : 78%
4,4 lettres correctes/minute Perf : 91%
Préférences :
67%
8%8%
17%
Questionnaire (Dynamique lent vs. Fixe lent) : motivation ↗ ; contrôle de la machine ↗
![Page 69: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/69.jpg)
69
Amélioration de la correction grâce aux résultats de l’expérience 3
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
Décision adaptative augmente la motivation Modulation du seuil pour obtenir une motivation optimale
Évaluation d’un niveau de confiance
Décision
Lettre correcte
Lettre incorrecte
Lettre suivante
Correction par 2nd
meilleur choix
Classification des réponses au feedback
Confiance sur la lettre
(entropie)
Confiance sur le 2nd choix (distance de
Kullback-Leibler)
Flashs supplémentaires
bonnemauvaise
Qualité des réponses aux flashs
Qualité des réponses aux feedbacks
![Page 70: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/70.jpg)
Kreilinger et al, 2012Error potential detection during continuous movement of an artificial arm controlled b
brain-computer interface• Tâche : imagerie motrice• Traitement des données :
– 16 électrodes– Epochs : 200 ms à 400 ms– Filtrage 0.5-10 Hz– Classifieur : LDA– 10x10 cross-validation hors ligne
• Nombre de sujets : 10 (-1)• Nombre d’essais et résultats :
~160 essais (27% d’erreurs), Accuracy : 61.4%
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
![Page 71: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/71.jpg)
Iturate et al, 2010Single trial recognition of error-related potentials during observation of robot
operation• Tâche : Observation des mouvements d’un robot jugement qualitatif
• Traitement des données : – 8 électrodes : Fz, FC1, FC2, FCz, Cz , CP1, CP2 et CPz – Epochs : 200 ms à 800 ms– Filtrage : 0,5-10 Hz– Classifieur : v-SVM with a radial basis function kernel (Ferrez&Millan, 2008)
• Nombre de sujets : 4• Nombre d’essais et résultats :
– 100 essais de chaque classe
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
![Page 72: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/72.jpg)
72
Intérêt de l’apprentissage continueIntroduction Expérience 1 Expérience 2 Expérience 3 Discussion
![Page 73: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/73.jpg)
73
Données : BCI competition (2 sujets)
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
Effet de la taille de la fenêtre et du classifieur
![Page 74: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/74.jpg)
74
• Étalonnage : maximisation de Puissance Signal 1
Puissance Signal 1 + Signal 2 + bruit
Fonctionnement xDAWN
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
• Calcul de plusieurs filtres orthogonaux : choix du nombre de filtres optimal (5 ?)
xDAWN classifieur
• En temps-réel :
![Page 75: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/75.jpg)
75
xDAWNExp 0, suj2 Exp 1, suj23Exp 0, suj1 (MP)
Exp 3, suj11Exp 2, filtre FB, suj10 +12%
Exp 2, suj1
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
![Page 76: Coadaptation cerveau machine pour une interaction optimale : application au P300-Speller](https://reader036.vdocuments.mx/reader036/viewer/2022070423/5681672b550346895ddbc887/html5/thumbnails/76.jpg)
76
Exemple d’une ICM : Objectif : restauration du contrôle moteur
Introduction Expérience 1 Expérience 2 Expérience 3 Discussion
Décodage du
mouvement
Encodage tactile
artificiel
Contrôle cérébral
Contrôle manuel
Exploration active
O’Doherty et al., 2011, Nature
Interface cerveau-machine-cerveau Décodage du signal moteur Encodage de la stimulation tactile Stimulation cérébrale du cortex somatosensoriel
Feedback