![Page 1: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/1.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Comparaison et sélection Bayésienne de modèles
Julien DiardLaboratoire de Psychologie et NeuroCognition – CNRS
UE Cognition bayésienne24/02/2009
http://julien.diard.free.fr [email protected]
![Page 2: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/2.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Correctif Ernst & Banks
2
![Page 3: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/3.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
3
Cas mono-modal
![Page 4: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/4.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
0%67%133%200%
Integration visuo-haptique
4
![Page 5: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/5.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Plan• Modélisation : choix des variables
• Comparaison et sélection de modèles– Cadre général : fit, complexité, capacité de généralisation– Méthodes de validation croisée– Apparté : mesures de distance entre distribution de probabilités
• Sélection bayésienne de modèles– Sélection probabiliste vs. Bayésienne– Tel monsieur Jourdain… un exemple– Apparté : vocabulaire– Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS– Sélection bayésienne de modèles
• Questions ouvertes
5
![Page 6: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/6.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Plan• Modélisation : choix des variables
• Comparaison et sélection de modèles– Cadre général : fit, complexité, capacité de généralisation– Méthodes de validation croisée– Apparté : mesures de distance entre distribution de probabilités
• Sélection bayésienne de modèles– Sélection probabiliste vs. Bayésienne– Tel monsieur Jourdain… un exemple– Apparté : vocabulaire– Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS– Sélection bayésienne de modèles
• Questions ouvertes
6
![Page 7: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/7.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Importance des variables cachées
7
![Page 8: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/8.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Modélisation d’une série temporelle
t y delta_y dy seuillé81 1,982 1,98 0,08 183 2,01 0,03 184 2,1 0,09 185 2,15 0,05 186 2,14 -0,01 087 2,18 0,04 188 2,18 0 089 2,24 0,06 190 2,33 0,09 191 2,33 0 092 2,33 0 093 2,38 0,05 194 2,32 -0,06 -195 2,28 -0,04 -196 2,26 -0,02 -197 2,19 -0,07 -198 2,14 -0,05 -199 2,16 0,02 1100 2,19 0,03 1101 2,2 0,01 0102 2,23 0,03 1103 2,17 -0,06 -1104 2,14 -0,03 -1105 2,13 -0,01 0
8
![Page 9: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/9.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
-1 7,00 0,290 6,00 0,251 11,00 0,46
t y delta_y dy seuillé81 1,982 1,98 0,08 183 2,01 0,03 184 2,1 0,09 185 2,15 0,05 186 2,14 -0,01 087 2,18 0,04 188 2,18 0 089 2,24 0,06 190 2,33 0,09 191 2,33 0 092 2,33 0 093 2,38 0,05 194 2,32 -0,06 -195 2,28 -0,04 -196 2,26 -0,02 -197 2,19 -0,07 -198 2,14 -0,05 -199 2,16 0,02 1100 2,19 0,03 1101 2,2 0,01 0102 2,23 0,03 1103 2,17 -0,06 -1104 2,14 -0,03 -1105 2,13 -0,01 0
P(y)
9
![Page 10: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/10.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Variable cachée V1 = {Bleu, Rouge}
V1=R V1=B
10
![Page 11: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/11.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
t y delta_y dy seuillé81 1,982 1,98 0,08 183 2,01 0,03 184 2,1 0,09 185 2,15 0,05 186 2,14 -0,01 087 2,18 0,04 188 2,18 0 089 2,24 0,06 190 2,33 0,09 191 2,33 0 092 2,33 0 093 2,38 0,05 194 2,32 -0,06 -195 2,28 -0,04 -196 2,26 -0,02 -197 2,19 -0,07 -198 2,14 -0,05 -199 2,16 0,02 1100 2,19 0,03 1101 2,2 0,01 0102 2,23 0,03 1103 2,17 -0,06 -1104 2,14 -0,03 -1105 2,13 -0,01 0
-1 2,00 0,140 4,00 0,291 8,00 0,57
P(y | [V1=R])
-1 5,00 0,500 2,00 0,201 3,00 0,30
P(y | [V1=B])
11
![Page 12: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/12.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
V2 = {Bleu, Rouge}t y delta_y dy seuillé
81 1,982 1,98 0,08 183 2,01 0,03 184 2,1 0,09 185 2,15 0,05 186 2,14 -0,01 087 2,18 0,04 188 2,18 0 089 2,24 0,06 190 2,33 0,09 191 2,33 0 092 2,33 0 093 2,38 0,05 194 2,32 -0,06 -195 2,28 -0,04 -196 2,26 -0,02 -197 2,19 -0,07 -198 2,14 -0,05 -199 2,16 0,02 1100 2,19 0,03 1101 2,2 0,01 0102 2,23 0,03 1103 2,17 -0,06 -1104 2,14 -0,03 -1105 2,13 -0,01 0
[V1
=R
][V
1=
B]
P(y | [V1=R] [V2=R])
P(y | [V1=R] [V2=B])
P(y | [V1=B] [V2=R])
P(y | [V1=B] [V2=B])
12
![Page 13: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/13.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Digression : entropie
• Déf :
• Exemple :
[Shannon, 1948]
13
![Page 14: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/14.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
• Exemple 2 : P(X), X = {-1, 0, 1}
14
![Page 15: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/15.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Variables cachées, connaissance et entropie
• Théorème :Les variables cachées apportent de l’information
P(y | [V1=B] [V2=B])P(y)
15
![Page 16: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/16.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Prédiction de la prochaine valeur ?
P(y)
P(y | [V1=B] [V2=B])t y delta_y dy seuillé
81 1,982 1,98 0,08 183 2,01 0,03 184 2,1 0,09 185 2,15 0,05 186 2,14 -0,01 087 2,18 0,04 188 2,18 0 089 2,24 0,06 190 2,33 0,09 191 2,33 0 092 2,33 0 093 2,38 0,05 194 2,32 -0,06 -195 2,28 -0,04 -196 2,26 -0,02 -197 2,19 -0,07 -198 2,14 -0,05 -199 2,16 0,02 1100 2,19 0,03 1101 2,2 0,01 0102 2,23 0,03 1103 2,17 -0,06 -1104 2,14 -0,03 -1105 2,13 -0,01 0
16
![Page 17: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/17.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Pour 2007, [V1=B] et [V2=B]
17
![Page 18: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/18.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
18
![Page 19: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/19.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Plan• Modélisation : choix des variables
• Comparaison et sélection de modèles– Cadre général : fit, complexité, capacité de généralisation– Méthodes de validation croisée– Apparté : mesures de distance entre distribution de probabilités
• Sélection bayésienne de modèles– Sélection probabiliste vs. Bayésienne– Tel monsieur Jourdain… un exemple– Apparté : vocabulaire– Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS– Sélection bayésienne de modèles
• Questions ouvertes
19
![Page 20: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/20.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Sources
20
![Page 21: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/21.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Devinettes
• Quel est le suivant ?– {1, 3, 5, 7, 9, 11, ?}– {1, 1, 2, 3, 5, 8, 13, ?}– {0, 4, 7, 6, 8, 2, 5, 8, 9, 3, ?}
21
![Page 22: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/22.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Réponses
– {1, 3, 5, 7, 9, 11, ?} 42– {1, 1, 2, 3, 5, 8, 13, ?} 42– {0, 4, 7, 6, 8, 2, 5, 8, 9, 3, ?} 42
22
![Page 23: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/23.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Devinette n° 2
• Combien de méthodes pour définir une relation mathématique ?
23
![Page 24: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/24.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
• Combien de méthodes pour définir une relation mathématique ?
– Par fonction analytique f• E F• x | f(x)
– Par extension• Ensemble de points• (pas pratique pour un ensemble infini)
24
![Page 25: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/25.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Quelle méthode pour la devinette ?
• Passage de points à une fonction• Utilisation de la fonction pour prédire
le point suivant
• Modélisation– Passage de points à un modèle– Utilisation du modèle pour prédire le point
suivant
• 25
![Page 26: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/26.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Modélisation• Définition d’une classe de modèles• Sélection du modèle
– Qui maximise une mesure donnée
• Méthode très générale !– Machine learning
• Réseau de neurone• Algorithmes génétiques• Apprentissage bayésien
– Curve fitting– Optimisation
26
![Page 27: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/27.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Mesures de qualité de modèles• Falsifiability
– Existe-t-il des observations incompatibles ?
• Explanatory adequacy– Make sense of the data but also established findings
• Interpretability– Réifiabilité : les paramètres sont liés à d’autres processus
• Faithfulness– La qualité du modèle vient de sa structure, pas de
propriétés du calcul, de la simulation
• Goodness of fit• Complexity (or simplicity)• Generalizability
27
(Myung 03)
(Léna Soler, Introduction à l’épistémologie, Ellipses,
2000)
![Page 28: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/28.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
28
![Page 29: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/29.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Fit vs complexity
• Fit to regularity– Intéressant à
modéliser
• Fit to experimental noise– Pas intéressant
29
![Page 30: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/30.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Théorème
• Par n points passe un unique polynôme de degré n-1– n points (ou contraintes)– Polynôme degré n-1 a n paramètres
• f(x) = ax2 + bx + c
• Par deux points passe une unique droite• Par trois points passe une unique
parabole
30
![Page 31: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/31.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Théorème
• Par n points passe un unique polynôme de degré n-1
• Idem développement limité de Taylor
• Idem Transformée de Fourier– avec assez de paramètres, on
approxime tout
31
![Page 32: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/32.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Fit vs complexity
32
![Page 33: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/33.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Complexité d’un modèle = Nombre de paramètres + Forme
fonctionnelle
– M1 : y = sin(cos(ax))aexp(-bx)/xb
– M2 : y = axb
– M3 : y = ax + b
33
a=12b=1
![Page 34: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/34.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Fonctionnelle de Tikhonov
• Mesure à minimiser– R(M, Δ) = GM(Δ) + λ H(M)
– GM(Δ) mesure de fit
– H(M) mesure de complexité (indépendante de Δ)
– λ : poids relatif• Tradeoff a résoudre : complexity
regularization (idem en machine learning)
34
![Page 35: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/35.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
35
![Page 36: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/36.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Generalizability
36
![Page 37: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/37.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Mesure de generalisation
– Mesure de la divergence moyenne (discrepancy) entre un modèle M et le vrai modèle MT
– Mesure de divergence entre distribution de probabilité D
– D(f,g) > D(f,f)=0 si f ≠ g
37
€
E D(M, MT )[ ] = D(P(Δ ˆ θ M),P(Δ MT ))P(Δ MT )dy∫
![Page 38: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/38.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Mesure de generalisation
• Mesure de la divergence moyenne (discrepancy) entre un modèle M et le vrai modèle MT
• MT est évidemment inconnu
38
€
E D(M,MT )[ ] = D(P(Δ ˆ θ M),P(Δ MT ))P(Δ MT )dy∫
![Page 39: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/39.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Plan• Modélisation : choix des variables
• Comparaison et sélection de modèles– Cadre général : fit, complexité, capacité de généralisation– Méthodes de validation croisée– Apparté : mesures de distance entre distribution de probabilités
• Sélection bayésienne de modèles– Sélection probabiliste vs. Bayésienne– Tel monsieur Jourdain… un exemple– Apparté : vocabulaire– Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS– Sélection bayésienne de modèles
• Questions ouvertes
39
![Page 40: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/40.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Cross-validation (CV)
• Estimer la généralisation du modèle sans connaître le vrai modèle– Partitionner les données Δ– Identification de
paramètres sur la partie calibration
– Estimation de la capacité de généralisation sur la partie validation
40
![Page 41: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/41.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Méthodes de CV
• Split-sample, hold-out method• Split-half cross-validation
– Coupe en deux Δ = Δ1, Δ2
– Estime les paramètres sur Δ1
– Calcule l’erreur de prédiction sur Δ2 e1
– Intervertir Δ1, Δ2, recommencer e2
• Validation croisée
– Erreur de prédiction finale : moyenne des erreurs de prédiction (e1 + e2) / 2
41
![Page 42: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/42.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Méthodes de CV
• Leave-one-out cross-validation– Découper en n-1 données pour
l’identification, et 1 donnée pour l’erreur de prédiction
– Répéter n fois– Erreur de prédiction moyenne sur les
n étapes
42
![Page 43: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/43.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Méthodes de CV
• K-fold cross-validation– K blocs de taille n/K– Données pour l’identification : K-1
blocs (taille n-n/K)– Données pour la prédiction : 1 bloc
(taille n/K)– Idem leave-n/K-out– Choix de K change le résultat
43
![Page 44: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/44.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Méthode de CV
• Bootstrapping– Tirage avec replacement
subsamples au lieu de subsets des données
– .632+ bootstrap method• 63,2 % de Δ pour l’identification
44
![Page 45: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/45.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Critique de la CV
• Large training set overfitting• Small training set underfitting• Trouver le bon découpage
– même problème que trouver la bonne pondération dans la fonctionnelle de Tikhonov
• Rien résolu (mais facile à coder)
45
![Page 46: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/46.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Plan• Modélisation : choix des variables
• Comparaison et sélection de modèles– Cadre général : fit, complexité, capacité de généralisation– Méthodes de validation croisée– Apparté : mesures de distance entre distribution de probabilités
• Sélection bayésienne de modèles– Sélection probabiliste vs. Bayésienne– Tel monsieur Jourdain… un exemple– Apparté : vocabulaire– Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS– Sélection bayésienne de modèles
• Questions ouvertes
46
![Page 47: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/47.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Mesures de distances entre distributions de
probabilités• Kullback-Leibler
– Distance / divergence de Kullback-Leibler
– KL divergence– Information gain– Relative entropy
• Cross entropy• Mutual information
47
![Page 48: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/48.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
KL divergence
•
• Pas une mesure de distance– D(p,q) ≠ D(q,p)– D(p,q) > 0 pour tout p,q
– D(p,q) = 0 ssi pk = qk pour tout k
48
€
D( p,q) = DKL ( p q) = pk log2
pk
qkk
∑
![Page 49: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/49.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Cross entropy
• Entropie H(p), cross-entropie H(p,q)
•
• Relation avec la KL divergence
49
€
D( p,q) = H( p,q) = − pk logqk
k
∑
€
DKL ( p q) = pk log2
pk
qkk
∑
DKL ( p q) = H(p,q) − H(p)
![Page 50: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/50.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Mutual information
•
• mesurée en bits• I(X,Y) = I(Y,X)• I(X,Y) ≥ 0•
50
€
I(X,Y ) = P(xy)log2
P(xy)
P(x)P(y)y∈Y
∑x∈X
∑
€
I(X,Y ) = DKL (P(XY ) P(X)P(Y ))
![Page 51: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/51.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Plan• Modélisation : choix des variables
• Comparaison et sélection de modèles– Cadre général : fit, complexité, capacité de généralisation– Méthodes de validation croisée– Apparté : mesures de distance entre distribution de probabilités
• Sélection bayésienne de modèles– Sélection probabiliste vs. Bayésienne– Tel monsieur Jourdain… un exemple– Apparté : vocabulaire– Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS– Sélection bayésienne de modèles
• Questions ouvertes
51
![Page 52: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/52.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
En modélisation probabiliste
• Un modèle– Point expérimental δ = {x,y}– P(δ) = P(y | x) P(x)
– P(δ | θ1) = P(y | x θ1) P(x | θ1)
– P(δ | θ1 m1) = P(y | x θ1 m1) P(x | θ1 m1)
52
![Page 53: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/53.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
En modélisation probabiliste
• Plusieurs modèles– Espace de paramètres Θ = {θ1, θ2, …}
– Classe des modèles M = {m1, m2, …}
– Un modèle : P(y | x [Θ = θ1] [M = m1])
• Méta-modèle, modèle hiérarchique– P(Δ Θ M)
= P(δi Θ M) = P(x y Θ M)
= P(y | x Θ M) P(x | Θ M) P(Θ | M) P(M)
53
![Page 54: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/54.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Mesure de comparaison des modèles
• Probabilité d’un modèle m1, au vu de données expérimentales Δ – P(Δ Θ M)
= P(δi Θ M) = P(x y Θ M)
= P(y | x Θ M) P(x | Θ M) P(Θ | M) P(M)= P(δi | Θ M) P(Θ | M) P(M)
54
![Page 55: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/55.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
55
• Soient– Un seul modèle M
– D = {d1, …, dn}, un ensemble de données expérimentales
un ensemble de paramètres de M
• Quel est le modèle le plus probable, au vu des données ?
€
P Θ | D( )∝ P Θ( )P D | Θ( )
∝ P Θ( ) P di | Θ( )i=1
n
∏
(Règle de Bayes)
(Hyp i.i.d.)
![Page 56: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/56.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
56
• Si P() = uniforme–
• Modèle de maximum de vraisemblance• Maximum Likelihood (MLE)
• Si P() uniforme– Modèle = prior vraisemblance
• Modèle de maximum a posteriori (MAP)• Modèle bayésien
€
P Θ | D( )∝ P Θ( ) P di | Θ( )i=1
n
∏
Posterior Prior Vraisemblance
€
P Θ | D( )∝ P di | Θ( )i=1
n
∏
![Page 57: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/57.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Goodness of fit en probabilités
• Maximiser la vraisemblance P(Δ | Θ M)
• P(Δ | Θ M) = Πi P(δi | Θ M)
• max P(Δ | Θ M)= max log P(Δ | Θ M)= max log Πi P(δi | Θ M)
= max Σi log P(δi | Θ M)57
![Page 58: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/58.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Plan• Modélisation : choix des variables
• Comparaison et sélection de modèles– Cadre général : fit, complexité, capacité de généralisation– Méthodes de validation croisée– Apparté : mesures de distance entre distribution de probabilités
• Sélection bayésienne de modèles– Sélection probabiliste vs. Bayésienne– Tel monsieur Jourdain… un exemple– Apparté : vocabulaire– Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS– Sélection bayésienne de modèles
• Questions ouvertes
58
![Page 59: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/59.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
59
Tel monsieur Jourdain…
• Un phénomène génère des couples x,y• Un modèle
– prédit y = F(x), F linéaire, F = ax + b– autorise du « bruit » dans les mesures
• On observe D = {dx1, …, dxn}• Question
– Quels sont les paramètres a, b les plus probables ?
€
p(di Θ) =1
2πσexp −
(di − F(Θ))2
2σ 2
⎛
⎝ ⎜
⎞
⎠ ⎟
![Page 60: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/60.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
60
Tel monsieur Jourdain…
€
P Θ | D( )∝ P Θ( ) P di | Θ( )i=1
n
∏
€
p(di Θ) =1
2πσexp −
(di − F(Θ))2
2σ 2
⎛
⎝ ⎜
⎞
⎠ ⎟
![Page 61: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/61.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
61
Tel monsieur Jourdain…
€
* = argmaxP Θ | D( )
= argmaxP Θ( )P D | Θ( )
= argmax P di | Θ( )i=1
n
∏
= argmax log P di | Θ( )( )i=1
n
∑ ⎡
⎣ ⎢
⎤
⎦ ⎥
= argmin(di − F(Θ))2
2σ i2
i=1
n
∑ ⎡
⎣ ⎢
⎤
⎦ ⎥
= argmin (di − F(Θ))2
i=1
n
∑ ⎡
⎣ ⎢
⎤
⎦ ⎥
€
P Θ | D( )∝ P Θ( ) P di | Θ( )i=1
n
∏
€
p(di Θ) =1
2π σexp −
(di − F(Θ))2
2σ 2
⎛
⎝ ⎜
⎞
⎠ ⎟
![Page 62: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/62.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Moindre carrés de l’erreur
• Comme – un Réseau de Neurones &
Backpropagation• (Mitchell 95, p167)
– Une régression linéaire– …
62
![Page 63: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/63.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
63
Least square fitting sur Mathworldhttp://mathworld.wolfram.com
![Page 64: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/64.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
64
Pour aller plus loin…
• Inférence dans les cas non-linéaires
• Moindres carrés Bayésien
• Espace de modèles = {3x+2, 4x3-
2x2+4}
• Priors hiérarchiques– P( | )
• Rasoir d’Occam automatique…
€
P Θ( ) =1
2π σ Θ
exp −(Θ − μ Θ )2
2σ Θ2
⎛
⎝ ⎜
⎞
⎠ ⎟
€
* = arg max P Θ | D( )
= arg max P Θ( )P D | Θ( )
= arg max P Θ( ) P di | Θ( )i =1
n
∏
= arg max log P Θ( )( ) + log P di | Θ( )( )i =1
n
∑ ⎡
⎣ ⎢
⎤
⎦ ⎥
= arg min(Θ − μ Θ )2
2σ Θ2 +
(di − F(Θ))2
2σ i2
i =1
n
∑ ⎡
⎣ ⎢
⎤
⎦ ⎥
= arg min(Θ − μ Θ )2
σ Θ2 +
(di − F(Θ))2
σ i2
i =1
n
∑ ⎡
⎣ ⎢
⎤
⎦ ⎥
![Page 65: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/65.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Plan• Modélisation : choix des variables
• Comparaison et sélection de modèles– Cadre général : fit, complexité, capacité de généralisation– Méthodes de validation croisée– Apparté : mesures de distance entre distribution de probabilités
• Sélection bayésienne de modèles– Sélection probabiliste vs. Bayésienne– Tel monsieur Jourdain… un exemple– Apparté : vocabulaire– Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS– Sélection bayésienne de modèles
• Questions ouvertes
65
![Page 66: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/66.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Odds, posterior odds, evidence
• Une hypothèse H (modèle), et
• Odds , log odds (stats)
66
€
P(H Δ) =P(H)P(Δ H)
P(Δ)
P(H Δ) =P(H )P(Δ H )
P(Δ)
P(H Δ)
P(H Δ)=
P(H)
P(H )
P(Δ H)
P(Δ H )
€
H
€
O(H Δ) =P(H Δ)
P(H Δ)
![Page 67: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/67.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
• Posterior odds
• Evidence
67
€
O(H Δ) = O(H)P(Δ H)
P(Δ H )
Odds, posterior odds, evidence
€
e(H Δ) =10log10 O(H Δ)
e(H Δ) = e(H) +10log10
P(Δ H)
P(Δ H )
e(H Δ) = e(H) +10 log10
P(δ i H)
P(δi H )i
∑
![Page 68: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/68.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Plan• Modélisation : choix des variables
• Comparaison et sélection de modèles– Cadre général : fit, complexité, capacité de généralisation– Méthodes de validation croisée– Apparté : mesures de distance entre distribution de probabilités
• Sélection bayésienne de modèles– Sélection probabiliste vs. Bayésienne– Tel monsieur Jourdain… un exemple– Apparté : vocabulaire– Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS– Sélection bayésienne de modèles
• Questions ouvertes
68
![Page 69: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/69.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Identification de paramètres vs Sélection de modèles
• Identification de paramètres– P(θ | Δ)– P(θ | Δ M) learning
• Sélection de modèle– P(M θ | Δ)– P(M | Δ)
69
![Page 70: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/70.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Comparaison de modèles
• Basés sur la vraisemblance– AIC Akaike Information Criterion– BIC Bayesian Information Criterion– MDL Minimum Description Length
– BMS Bayesian Model Selection
70
![Page 71: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/71.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
AIC
• avec k le nombre de paramètres
• Modèle M qui minimise la mesure AIC• Fonctionnelle de Tikhonov
– AIC = lack of fit + complexity
• Dérive de l’approximation pour de larges ensembles de données de la KL divergence
71
€
AIC = −2ln P(Δ ˆ θ M) + 2k
![Page 72: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/72.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
BIC
• avec – k le nombre de paramètres– n le nombre de données
• Dérive de l’approximation pour de larges ensembles de données de la Bayesian Model Selection
72
€
BIC = −2ln P(Δ ˆ θ M) + k ln(n)
![Page 73: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/73.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
MDL
• avec– k le nombre de paramètres– n le nombre de données– I(θ) la matrice d’information de Fisher– |.| le déterminant de la matrice
73
€
MDL = −lnP(Δ ˆ θ M) +k
2ln(
n
2π) + ln I(θ)∫ dθ
![Page 74: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/74.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
MDL
•
• Mesure de complexité qui prend en compte la forme fonctionnelle
• Provient de la théorie de l’information– Compression des données Δ par
modèle + déviation
74
€
MDL = −lnP(Δ ˆ θ M) +k
2ln(
n
2π) + ln I(θ)∫ dθ
![Page 75: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/75.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
BMS
• • Vraisemblance
– P(Δ | θ M)
• Vraisemblance marginale– P(Δ | M) = Σθ P(Δ | θ M) P(θ | M)
75
€
BMS = −ln P(ΔθM)P(θ M)∫ dθ
![Page 76: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/76.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Bayesian model selection
•
• Attention– BMS Bayesian model selection– BMS Bootstrap model selection
76
€
BMS = −ln P(ΔθM)P(θ M)∫ dθ
![Page 77: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/77.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Plan• Modélisation : choix des variables
• Comparaison et sélection de modèles– Cadre général : fit, complexité, capacité de généralisation– Méthodes de validation croisée– Apparté : mesures de distance entre distribution de probabilités
• Sélection bayésienne de modèles– Sélection probabiliste vs. Bayésienne– Tel monsieur Jourdain… un exemple– Apparté : vocabulaire– Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS– Sélection bayésienne de modèles
• Questions ouvertes
77
![Page 78: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/78.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
« vraie » Bayesian model selection
•
• Prior sur M uniforme ou pas• Prior sur les paramètres θ
uniformes ou pas
78
€
P(M Δ) =P(MΔ)
P(Δ)
P(M Δ)∝ P(MθΔ)θ
∑
P(M Δ)∝ P(Δθ M)P(θ M)P(M)θ
∑
![Page 79: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/79.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Bayesian model selection • • Intégrale sur l’espace des paramètres
– MAP si on la fait– méthodes de Monte-Carlo (voire, méthode de
Gibbs (Mitchell 95)) si on tire aléatoirement dans θ pour approximer
• Gibbs sampling• Metropolis-Hastings• Random walk methods
– Approximation du log vraisemblance autour de• BMSL Bayesian Model Selection Laplace
approximation
79
€
P(M Δ)∝ P(Δθ M)P(θ M)P(M)∫ dθ
€
ˆ θ
![Page 80: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/80.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Bayes Factor
• Extension du odds
• Ratio de vraisemblances marginales si prior uniforme sur M– P(M1) = P(M2)
80
€
P(M1 Δ)
P(M2 Δ)=
P(M1)
P(M2)
P(Δ M1)
P(Δ M2)
![Page 81: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/81.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Bayesian Model Selection
•
– n’a pas la forme d’une fonctionnelle de Tikhonov
– et pourtant, mesure la complexité des M
81
€
BMS = −ln P(ΔθM)P(θ M)∫ dθ
![Page 82: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/82.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
BMS et mesure de complexité
• « Occam automatique » : intuition
• Si • et P(Δ | θ) concentré autour de
– Alors P(θ2 | Δ) pénalisé par la normalisation sur Θ2 (espace plus grand)
82
€
P(M1 Δ)
P(M2 Δ)=
P(M1)
P(M2)
P(Δθ1M1)θ 1∫ P(θ1 M1)
P(Δθ2M2)θ 2
∫ P(θ2 M2)
€
1 ⊂Θ2
€
ˆ θ ∈ Θ1
![Page 83: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/83.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Plan• Modélisation : choix des variables
• Comparaison et sélection de modèles– Cadre général : fit, complexité, capacité de généralisation– Méthodes de validation croisée– Apparté : mesures de distance entre distribution de probabilités
• Sélection bayésienne de modèles– Sélection probabiliste vs. Bayésienne– Tel monsieur Jourdain… un exemple– Apparté : vocabulaire– Sélection « bayésienne » de modèles : AIC, BIC, MDL, BMS– Sélection bayésienne de modèles
• Questions ouvertes
83
![Page 84: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/84.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Distinguabilité des modèles
• Sélectionner un modèle, ok• Boucle expérimentale :
– où prendre la prochaine donnée expérimentale ?
– Notion philosophique d’expérience cruciale (discriminante)• Distinguer les modèles
84
![Page 85: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/85.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Distinguabilité des modèles
• Modèle de distinguabilité en PBR– Extension du méta-modèle de fit
85
![Page 86: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/86.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Question ouverte
• Deux problèmes inverses– Perception
• Phénomène = f -1 (stimuli)
– Modélisation• Modèle = f -1 (observations)
• Doit-on conclure que le cerveau construit des modèles comme un scientifique le fait ?
• Le cerveau est-il bayésien ?
86
![Page 87: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/87.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Question ouverte
• Pourquoi 42 ?
87
![Page 88: Julien Diard LPNC-CNRS Cours M2R Sciences Cognitives, « Cognition bayésienne » 2009 Comparaison et sélection Bayésienne de modèles Julien Diard Laboratoire](https://reader034.vdocuments.mx/reader034/viewer/2022051413/551d9dbb497959293b8dea20/html5/thumbnails/88.jpg)
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Merci de votre attention !
Questions ?