![Page 1: Apprentissage et évolution : l'effet Baldwin Mirta B. Gordon Laboratoire Leibniz – IMAG Grenoble Dynamique des systèmes complexes et applications aux SHS](https://reader035.vdocuments.mx/reader035/viewer/2022070309/551d9d91497959293b8c6eae/html5/thumbnails/1.jpg)
Apprentissage et évolution : l'effet Baldwin
Mirta B. GordonLaboratoire Leibniz – IMAG
Grenoble
Dynamique des systèmes complexes et applications aux SHS :modèles, concepts méthodes
![Page 2: Apprentissage et évolution : l'effet Baldwin Mirta B. Gordon Laboratoire Leibniz – IMAG Grenoble Dynamique des systèmes complexes et applications aux SHS](https://reader035.vdocuments.mx/reader035/viewer/2022070309/551d9d91497959293b8c6eae/html5/thumbnails/2.jpg)
mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution
2
théorie de l'évolution
•les caractéristiques d'un individu dans une population sont déterminées génétiquement
•les caractères appris ne sont pas transmis à la génération suivante
•évolution d'une population :– sélection : les individus les plus aptes (dans l'interaction avec
leur environnement) ont une meilleure "adéquation à l'environnement" (fitness), et par conséquent, une probabilité plus grande de laisser des descendants.
– mutation : source de variabilité à l'intérieur d'une population– [cross-over]
•les caractéristiques moyennes de la population évoluent dans le temps vers des valeurs optimales
![Page 3: Apprentissage et évolution : l'effet Baldwin Mirta B. Gordon Laboratoire Leibniz – IMAG Grenoble Dynamique des systèmes complexes et applications aux SHS](https://reader035.vdocuments.mx/reader035/viewer/2022070309/551d9d91497959293b8c6eae/html5/thumbnails/3.jpg)
mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution
3
questions soulevées par Baldwin (1896)"A new factor in evolution", The American Naturalist 30 (1896) 441-451
•la sélection naturelle est un processus "négatif"– l'évolution est seul fruit du hasard– les mutations qui ne confèrent pas de fitness disparaissent
•cependant– les paléontologues observent que certaines modifications se
produisent progressivement au cours des générations-> il y aurait un "sens" (une orientation) dans l'évolution
– il y a des discontinuités évolutives dans les gisements fossiles: comme si des étapes d'évolution intermédiaires manquaient
•Baldwin– les deux observations s'expliquent par l'interaction entre
l'apprentissage et l'évolution par une "sélection organique"
![Page 4: Apprentissage et évolution : l'effet Baldwin Mirta B. Gordon Laboratoire Leibniz – IMAG Grenoble Dynamique des systèmes complexes et applications aux SHS](https://reader035.vdocuments.mx/reader035/viewer/2022070309/551d9d91497959293b8c6eae/html5/thumbnails/4.jpg)
mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution
4
l'effet Baldwin (sélection organique)
•grâce à leurs capacités d'apprentissage, les individus survivent en s'adaptant à des conditions environnementales adverses
– si l'environnement ne varie pas trop brutalement :les mutations les plus adaptatives sont celles qui transforment en congénital ce qui devait être appris
• l'apprentissage "guide " l'évolution, car il introduit un biais dans les mutations perennisées
•la capacité d'apprentissage augmente la variance génétique de la population (beaucoup d'individus ont un genotype très différent de la moyenne)
– lors d'un changement brutal de l'environnement, un cataclisme, seuls ces individus très différents (qui existent grâce a la capacité d'apprentissage) peuvent survivre
• l'apprentissage "accélère " l'évolution, il permet des sauts évolutifs
![Page 5: Apprentissage et évolution : l'effet Baldwin Mirta B. Gordon Laboratoire Leibniz – IMAG Grenoble Dynamique des systèmes complexes et applications aux SHS](https://reader035.vdocuments.mx/reader035/viewer/2022070309/551d9d91497959293b8c6eae/html5/thumbnails/5.jpg)
mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution
5
plan
•modèle de Hinton et Nowlan (1987)“How learning guides evolution”
•critique, et modèle d’émergence de l’apprentissage
•discussion
![Page 6: Apprentissage et évolution : l'effet Baldwin Mirta B. Gordon Laboratoire Leibniz – IMAG Grenoble Dynamique des systèmes complexes et applications aux SHS](https://reader035.vdocuments.mx/reader035/viewer/2022070309/551d9d91497959293b8c6eae/html5/thumbnails/6.jpg)
mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution
6
modèle de Hinton et Nowlan (H&N)
•population de N individus haploïdes, chacun possédant un réseau de neurones avec L connexions potentielles
•chaque individu :– génotype = vecteur de L gènes qui codent les connexions
• chaque gène possède 3 allèles :
1 connexion avec poids wi=+1
-1 connexion avec poids wi=-1
? connexion flexible, adaptable par apprentissage
• exemple de génotype : (1,1,-1,?,-1,......)
– le réseau de neurones confère fitness seulement si les connexions ont une configuration particulière : toutes égales à +1
génotype optimal : (1,1,1, ...,1)
![Page 7: Apprentissage et évolution : l'effet Baldwin Mirta B. Gordon Laboratoire Leibniz – IMAG Grenoble Dynamique des systèmes complexes et applications aux SHS](https://reader035.vdocuments.mx/reader035/viewer/2022070309/551d9d91497959293b8c6eae/html5/thumbnails/7.jpg)
mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution
7
évolution: algorithme génétique
•générer une population initiale (n=0) de N individus: • N génotypes de la forme (1,-1,1,?,...,-1) [gènes tirés au hasard]
•évolution – pour chaque individu
• apprentissage : adapter les connexions flexibles (?) • fitness : évaluer l'adéquation à l'environnement
– nouvelle génération : n n+1• sélection: choisir les N individus de la génération suivante avec des
probabilités proportionnelles à leurs fitness– cross-over: on apparie les genomes; le nouvel individu a ses premiers
gènes hérités de son "père" et les derniers de sa "mère" (le point de coupure étant tiré au hasard)
• mutation: chaque gène est transformé en un des deux autres allèles avec probabilité Pmut
![Page 8: Apprentissage et évolution : l'effet Baldwin Mirta B. Gordon Laboratoire Leibniz – IMAG Grenoble Dynamique des systèmes complexes et applications aux SHS](https://reader035.vdocuments.mx/reader035/viewer/2022070309/551d9d91497959293b8c6eae/html5/thumbnails/8.jpg)
mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution
8
•rappel : configuration "correcte" :
•apprentissage : • on tire au hasard les poids des connexions flexibles "?“
+1 ou -1
• G : nombre maximal d'essais permis• g : nombre d'essais vraiment effectués (g G)
• on arrête dès que l'on trouve la configuration +1 pour tous les "?"• ou si g atteint G
•le nombre d'essais g détermine la qualité (fitness) de l'individu
(1,1,....,1)
apprentissage dans le modèle H&N
![Page 9: Apprentissage et évolution : l'effet Baldwin Mirta B. Gordon Laboratoire Leibniz – IMAG Grenoble Dynamique des systèmes complexes et applications aux SHS](https://reader035.vdocuments.mx/reader035/viewer/2022070309/551d9d91497959293b8c6eae/html5/thumbnails/9.jpg)
mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution
9
• définition :
– si en G tirages on ne trouve pas la configuration :– si le génotype contient au moins un "-1"
=1
•probabilité de sélection:
fitness dans le modèle H&N
L
0 100 200 300 400 500 600 7000
5
10
15
20 fitness function (H&N)L=20, G=500
(g)
g
(1,1,....,1)
G
g)1L(L
![Page 10: Apprentissage et évolution : l'effet Baldwin Mirta B. Gordon Laboratoire Leibniz – IMAG Grenoble Dynamique des systèmes complexes et applications aux SHS](https://reader035.vdocuments.mx/reader035/viewer/2022070309/551d9d91497959293b8c6eae/html5/thumbnails/10.jpg)
mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution
10
description des résultats
•au niveau de chaque individu :– P = nombre d’allèles « 1 » du génome– Q=nombre d’allèles « ? »– R=nombre d’allèles « -1 »– P+Q+R=L
•pour décrire la population
–
–
– fitness
– population optimale : p=1, q=r=0 – fitness > 1 seulement si r=0, p+q=1
LR
r;LQ
q;LP
p
1rqp
![Page 11: Apprentissage et évolution : l'effet Baldwin Mirta B. Gordon Laboratoire Leibniz – IMAG Grenoble Dynamique des systèmes complexes et applications aux SHS](https://reader035.vdocuments.mx/reader035/viewer/2022070309/551d9d91497959293b8c6eae/html5/thumbnails/11.jpg)
mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution
11
résultats
•sans apprentissage : fitness "plate"
• dans ce modèle : pas de phénotype -> seul l'apprentissage confère fitness
– évolution "chercher une aiguille dans une botte de foin“
•l'apprentissage permet que des génotypes proches de l'optimum aient une probabilité de sélection importante
•avec apprentissage : paysage de fitness ~ lame de rasoir
0 50 100 150 2000.0
0.2
0.4
0.6
0.8
1.0 pn
G=500
=0.0001 =0.01
L=20
n (generation number)
![Page 12: Apprentissage et évolution : l'effet Baldwin Mirta B. Gordon Laboratoire Leibniz – IMAG Grenoble Dynamique des systèmes complexes et applications aux SHS](https://reader035.vdocuments.mx/reader035/viewer/2022070309/551d9d91497959293b8c6eae/html5/thumbnails/12.jpg)
mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution
12
critique du modèle H&N
•l'apprentissage accélère-t-il l'évolution ?– oui ...
• par rapport à une recherche aléatoire (non darwinienne) de l'optimum
["recherche d'une aiguille dans une botte de foin"]
– mais : • ce modèle ne permet pas de comparer des populations avec et sans
apprentissage car la fitness des individus incapables d'apprendre (avec Q=0) est minimale par construction (à l’exception de ceux avec P=L à la naissance).
•l'apprentissage guide-t-il l'évolution ?– le modèle ne répond pas à cette question
• pas de voies d'évolution alternatives
![Page 13: Apprentissage et évolution : l'effet Baldwin Mirta B. Gordon Laboratoire Leibniz – IMAG Grenoble Dynamique des systèmes complexes et applications aux SHS](https://reader035.vdocuments.mx/reader035/viewer/2022070309/551d9d91497959293b8c6eae/html5/thumbnails/13.jpg)
mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution
13
modèle HN généralisé
•on “évalue” la fitness sur le phénotype : un réseau de neurones
•perceptron = le réseau de neurones le plus simple– entrées : poids des connexions :– sortie (ex. +1=mangeable, -1=poison)
•classification de "référence" (optimale) = “professeur” de poids
w = (w1,w2)x1w0
w1 wN
x0= -1
x1 xN
xw sign
)x,,x,x( L21 x
xw sign
)w,,w,w( L21 w
)w,,w,w(* *L
*2
*1 w
![Page 14: Apprentissage et évolution : l'effet Baldwin Mirta B. Gordon Laboratoire Leibniz – IMAG Grenoble Dynamique des systèmes complexes et applications aux SHS](https://reader035.vdocuments.mx/reader035/viewer/2022070309/551d9d91497959293b8c6eae/html5/thumbnails/14.jpg)
mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution
14
perceptrons adaptables
•à chaque génération n – on génère un ensemble de M exemples x
• apprentissage : déterminer les poids w des connexions flexibles (codées par les allèles "?")
– initialiser :– on tire au hasard (+1 ou -1) les poids des Q connexions flexibles du
perceptron – m = 0
– pour =1 à M • si sign(w.x)=sign(w*.x) m = m+1• autrement on apprend x
[on modifie autant de poids flexibles que nécessaire pour changer le signe de la sortie]
•fitness : proportionnelle à m/M : fraction d'exemples bien classés
![Page 15: Apprentissage et évolution : l'effet Baldwin Mirta B. Gordon Laboratoire Leibniz – IMAG Grenoble Dynamique des systèmes complexes et applications aux SHS](https://reader035.vdocuments.mx/reader035/viewer/2022070309/551d9d91497959293b8c6eae/html5/thumbnails/15.jpg)
mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution
15
paysage de fitness
modèle HN perceptrons avec M=100
![Page 16: Apprentissage et évolution : l'effet Baldwin Mirta B. Gordon Laboratoire Leibniz – IMAG Grenoble Dynamique des systèmes complexes et applications aux SHS](https://reader035.vdocuments.mx/reader035/viewer/2022070309/551d9d91497959293b8c6eae/html5/thumbnails/16.jpg)
mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution
16
résultats
•chemins évolutifs : l'apprentissage ralentit l'évolution
•évolution des genotypes
![Page 17: Apprentissage et évolution : l'effet Baldwin Mirta B. Gordon Laboratoire Leibniz – IMAG Grenoble Dynamique des systèmes complexes et applications aux SHS](https://reader035.vdocuments.mx/reader035/viewer/2022070309/551d9d91497959293b8c6eae/html5/thumbnails/17.jpg)
mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution
17
mais ...
•environnement fixe :– la capacité d’apprentissage se perd !
•question :– que se passe-t-il dans un environnement variable ?
![Page 18: Apprentissage et évolution : l'effet Baldwin Mirta B. Gordon Laboratoire Leibniz – IMAG Grenoble Dynamique des systèmes complexes et applications aux SHS](https://reader035.vdocuments.mx/reader035/viewer/2022070309/551d9d91497959293b8c6eae/html5/thumbnails/18.jpg)
mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution
18
environnement variable
•deux états de la nature (deux perceptrons professeur qui s’alternent)
•poids optimaux :
•temps total d'apprentissage : G
•fréquence de changement : 2f
•temps d’apprentissage dans chaque environnement : T~G/2f
)1,1,1,,1,1(
)1,1,1,,1,1(
fv
fv
LL
*2
LL*1
w
w
![Page 19: Apprentissage et évolution : l'effet Baldwin Mirta B. Gordon Laboratoire Leibniz – IMAG Grenoble Dynamique des systèmes complexes et applications aux SHS](https://reader035.vdocuments.mx/reader035/viewer/2022070309/551d9d91497959293b8c6eae/html5/thumbnails/19.jpg)
mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution
19
évolution
T~G/2fTc=51
T=30
T=112
![Page 20: Apprentissage et évolution : l'effet Baldwin Mirta B. Gordon Laboratoire Leibniz – IMAG Grenoble Dynamique des systèmes complexes et applications aux SHS](https://reader035.vdocuments.mx/reader035/viewer/2022070309/551d9d91497959293b8c6eae/html5/thumbnails/20.jpg)
mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution
20
paysages de fitness
•deux chemins évolutifs suivant la fréquence des changements
2f=1 (T long) 2f=10 (T court)
on a le temps de s'adapter on ne s'adapte pas : on est performant la moitié du
temps
![Page 21: Apprentissage et évolution : l'effet Baldwin Mirta B. Gordon Laboratoire Leibniz – IMAG Grenoble Dynamique des systèmes complexes et applications aux SHS](https://reader035.vdocuments.mx/reader035/viewer/2022070309/551d9d91497959293b8c6eae/html5/thumbnails/21.jpg)
mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution
21
conclusion
•l'apprentissage ralentit l'évolution
•si l'environnement est fixe, la capacité d'apprentissage se perd
•si l'environnement est variable, il y a deux alternatives :
• variation lente : – on s'adapte à l'environnement, – la capacité d'apprentissage a une valeur adaptative (confère "fitness")
• variation rapide :– on se spécialise (quitte à être mal adapté une fraction du temps)– on perd la capacité d'apprendre
![Page 22: Apprentissage et évolution : l'effet Baldwin Mirta B. Gordon Laboratoire Leibniz – IMAG Grenoble Dynamique des systèmes complexes et applications aux SHS](https://reader035.vdocuments.mx/reader035/viewer/2022070309/551d9d91497959293b8c6eae/html5/thumbnails/22.jpg)
mars 2004 [email protected] - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution
22
références
•modèle de Hinton et Nowlan– How learning guides evolution, Complex Systems 1 (1987) 495-502.
– Approximation analytique de Fontanari et Meir– The effect of learning on the evolution of asexual populations, Complex
Systems 4 (1990) 401-414.
•critique, et modèle d’émergence de l’apprentissage
– A model for the interaction of learning and evolution. H. Dopazo, M.B. Gordon, R. Perazzo et S. Risau Gusmán. Bulletin of Mathematical Biology 63 (N°1) (2001) 117-134
– A model for the emergence of adaptive subsystems. H. Dopazo, M.B. Gordon, R. Perazzo et S. Risau Gusmán. Bulletin of Mathematical Biology 65, vol./1(2003) 27-56
Merci de votre attention !