chapitre 7 réseau art. gpa-779 application des réseaux de neurones et des systèmes experts cours...
TRANSCRIPT
![Page 1: Chapitre 7 Réseau ART. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #9 - 2 Plan n Compétition de base: Le gagnant emporte](https://reader036.vdocuments.mx/reader036/viewer/2022070309/551d9db5497959293b8da3c6/html5/thumbnails/1.jpg)
Chapitre 7
Réseau ART
![Page 2: Chapitre 7 Réseau ART. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #9 - 2 Plan n Compétition de base: Le gagnant emporte](https://reader036.vdocuments.mx/reader036/viewer/2022070309/551d9db5497959293b8da3c6/html5/thumbnails/2.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 2
Plan Compétition de base: Le gagnant emporte tout
Modèle générique ART Structure ART1 Améliorations: ART2 ARTMAP
![Page 3: Chapitre 7 Réseau ART. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #9 - 2 Plan n Compétition de base: Le gagnant emporte](https://reader036.vdocuments.mx/reader036/viewer/2022070309/551d9db5497959293b8da3c6/html5/thumbnails/3.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 3
Découverte K. Mehrotra, C.K. Mohan et S. Ranka,
Elements of Artificial Neural Networks, MIT Press, 1997.
Coup de coeur Traitement complet Algos génériques Exemples nombreux
G.A. Carpenter et S. Grossberg, Neural Networks for Vision and Image Processing, MIT Press, 1992
Répertoire de contributions Suite d’une conférence à Boston en 1991 Orienté recherche «égaré» à l’hiver 2003
J.A. Freeman et D.M. Skapura, Neural Networks: Algorithms, Applications and Programming Techniques, Addison Wesley, 1991
Couvre les principaux modèles: adaline, madaline, perceptron, BAM, Hopfield, SOM, ART, neocognitron
Source d’inspiration pour plusieurs acétates
Traitement complet, bien illustré
![Page 4: Chapitre 7 Réseau ART. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #9 - 2 Plan n Compétition de base: Le gagnant emporte](https://reader036.vdocuments.mx/reader036/viewer/2022070309/551d9db5497959293b8da3c6/html5/thumbnails/4.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 4
Vue d’ensemble
![Page 5: Chapitre 7 Réseau ART. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #9 - 2 Plan n Compétition de base: Le gagnant emporte](https://reader036.vdocuments.mx/reader036/viewer/2022070309/551d9db5497959293b8da3c6/html5/thumbnails/5.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 5
7.1 Couche de compétition
Gagnant-emporte-tout Modèle de base de plusieurs réseaux non-supervisés
![Page 6: Chapitre 7 Réseau ART. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #9 - 2 Plan n Compétition de base: Le gagnant emporte](https://reader036.vdocuments.mx/reader036/viewer/2022070309/551d9db5497959293b8da3c6/html5/thumbnails/6.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 6
Architecture
y1 y2 yM
x1 x2 x3 x4
![Page 7: Chapitre 7 Réseau ART. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #9 - 2 Plan n Compétition de base: Le gagnant emporte](https://reader036.vdocuments.mx/reader036/viewer/2022070309/551d9db5497959293b8da3c6/html5/thumbnails/7.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 7
ActivationProduit scalaire. La sortie est proportionnelle au cos de l’angle entre l’entrée et le vecteur de poids
Compétition : soit ym* le neurone avec la sortie maximaleym* = 1ym≠m* = 0
€
ym = wmnxnn
∑
![Page 8: Chapitre 7 Réseau ART. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #9 - 2 Plan n Compétition de base: Le gagnant emporte](https://reader036.vdocuments.mx/reader036/viewer/2022070309/551d9db5497959293b8da3c6/html5/thumbnails/8.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 8
Apprentissage
Le neurone le plus activé gagne la compétition. Son indice est m*.
Sa sortie ym* est placée à 1Tous les autres neurones ont leur sortie à 0
Renforcement des liens du neurone gagnant
€
v W m*
€
v X
Δ
![Page 9: Chapitre 7 Réseau ART. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #9 - 2 Plan n Compétition de base: Le gagnant emporte](https://reader036.vdocuments.mx/reader036/viewer/2022070309/551d9db5497959293b8da3c6/html5/thumbnails/9.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 9
a) avant l’apprentissage b) après l’apprentissage
x: vecteur de poids •: vecteur d’entrée
![Page 10: Chapitre 7 Réseau ART. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #9 - 2 Plan n Compétition de base: Le gagnant emporte](https://reader036.vdocuments.mx/reader036/viewer/2022070309/551d9db5497959293b8da3c6/html5/thumbnails/10.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 10
Phase de compétition
Solution logicielle: Max. (Y) ym* = 1 ymm* = 0
Solution neuronique: inhibition
y1 y2 yM
net1 net2 netM
+1−ε −ε ε <1M
![Page 11: Chapitre 7 Réseau ART. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #9 - 2 Plan n Compétition de base: Le gagnant emporte](https://reader036.vdocuments.mx/reader036/viewer/2022070309/551d9db5497959293b8da3c6/html5/thumbnails/11.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 11
Exercice
y1 y2 y4
0,8 0,2 0,6
+1−ε−ε
y3
0,4
−εε =0,2
![Page 12: Chapitre 7 Réseau ART. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #9 - 2 Plan n Compétition de base: Le gagnant emporte](https://reader036.vdocuments.mx/reader036/viewer/2022070309/551d9db5497959293b8da3c6/html5/thumbnails/12.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 12
7.2 Modèle générique ART ART: Adaptive Resonnance Theory Classification non-supervisée
![Page 13: Chapitre 7 Réseau ART. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #9 - 2 Plan n Compétition de base: Le gagnant emporte](https://reader036.vdocuments.mx/reader036/viewer/2022070309/551d9db5497959293b8da3c6/html5/thumbnails/13.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 13
Composantes: Couche d’entrée F1
– Sous-couche d’entrée F1(a)– Sous-couche d’interface F1(b)
Couche de classification F2 compétition
Mécanisme de comparaison Connexions:
Rappel (F1 F2) bji
Modèle (F2 F1) tij
![Page 14: Chapitre 7 Réseau ART. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #9 - 2 Plan n Compétition de base: Le gagnant emporte](https://reader036.vdocuments.mx/reader036/viewer/2022070309/551d9db5497959293b8da3c6/html5/thumbnails/14.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 14
Phases d’opération
![Page 15: Chapitre 7 Réseau ART. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #9 - 2 Plan n Compétition de base: Le gagnant emporte](https://reader036.vdocuments.mx/reader036/viewer/2022070309/551d9db5497959293b8da3c6/html5/thumbnails/15.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 15
Caractéristiques Apprentissage non-supervisé
–Catégorisation par regroupement de caractéristiques. Apprend les regroupements.
Mémoire incrémentale–On peut ajouter de nouvelles catégories sans effacer ce qui a été appris.
Inspiration biologique–Phénomène de base : éveillement–Dilemme stabilité platicité
![Page 16: Chapitre 7 Réseau ART. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #9 - 2 Plan n Compétition de base: Le gagnant emporte](https://reader036.vdocuments.mx/reader036/viewer/2022070309/551d9db5497959293b8da3c6/html5/thumbnails/16.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 16
€
F1(a)=Entrée=Xk
Structure du ART 1
F2 Catégoriesj
F1(b) =Interface
F1 Caractéristiques
i
€
Wf=bji
€
Wb=tij RAZRAZ
<ρ?
G1
G2
![Page 17: Chapitre 7 Réseau ART. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #9 - 2 Plan n Compétition de base: Le gagnant emporte](https://reader036.vdocuments.mx/reader036/viewer/2022070309/551d9db5497959293b8da3c6/html5/thumbnails/17.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 17
Couche F1 : couche de comparaison
ActivitéX1i
xi
G1
à F2
à RAZde F2
tij
si
G1=1 xi seulementG1=0 F2•xi
À cause règle 2/3: G1=1 si=xi•1 G1=0 si=F2•xi
G1=0 (inhibé) F2 0
Donc, aussitôt que del’activité se produit dans F2
![Page 18: Chapitre 7 Réseau ART. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #9 - 2 Plan n Compétition de base: Le gagnant emporte](https://reader036.vdocuments.mx/reader036/viewer/2022070309/551d9db5497959293b8da3c6/html5/thumbnails/18.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 18
Couche F2 : couche des catégories
ActivitéX2j
G2
à F1
de RAZ
de F1
bji
yj
à toutes lesunités de F2
tij
![Page 19: Chapitre 7 Réseau ART. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #9 - 2 Plan n Compétition de base: Le gagnant emporte](https://reader036.vdocuments.mx/reader036/viewer/2022070309/551d9db5497959293b8da3c6/html5/thumbnails/19.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 19
Fonctionnement Contrôle de gain: G1 et G2
–Permettent de contrôler le contenu de F1–Règle du 2/3: une unité dans F1 ou F2 est activée si 2 entrées sur 3 sont activées
Vigilance–L’entrée est comparée avec le prototype (modèle) généré par F2. Fonction ET sur F1
–Si comparaison < RAZ activé = facteur d’éveil 0 < < 1pour ≈1 X doit égaler exactementF1 retourné par F2
![Page 20: Chapitre 7 Réseau ART. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #9 - 2 Plan n Compétition de base: Le gagnant emporte](https://reader036.vdocuments.mx/reader036/viewer/2022070309/551d9db5497959293b8da3c6/html5/thumbnails/20.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 20
Compétition (couche de compétition F2)–Les mêmes connexions se répètent pour toutes les unités
–Résultat: ym* = 1 pour l’unité la plus activée ymm* = 0 pour toutes les autres unités
y1 y2 yM
net1 net2 netM
+1−ε −ε
![Page 21: Chapitre 7 Réseau ART. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #9 - 2 Plan n Compétition de base: Le gagnant emporte](https://reader036.vdocuments.mx/reader036/viewer/2022070309/551d9db5497959293b8da3c6/html5/thumbnails/21.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 21
Illustration du fonctionnement
![Page 22: Chapitre 7 Réseau ART. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #9 - 2 Plan n Compétition de base: Le gagnant emporte](https://reader036.vdocuments.mx/reader036/viewer/2022070309/551d9db5497959293b8da3c6/html5/thumbnails/22.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 22
0- InitialisationL > 1
€
0 < ρ ≤1
0 < bji (0) <L
L −1+ Itij (0) =1
2
0,9
1/1+I
1
1- Forme Xk présentée à F1a) X=0 G2=0 F2=0b) X=S G2=1F1(b) contient la forme S (=Xk) Fig. 8.2a
2- S propagé sur F2 Fig. 8.2a
€
si y j ≠ −1⇒ y j = b jixii
∑
• Algorithme
![Page 23: Chapitre 7 Réseau ART. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #9 - 2 Plan n Compétition de base: Le gagnant emporte](https://reader036.vdocuments.mx/reader036/viewer/2022070309/551d9db5497959293b8da3c6/html5/thumbnails/23.jpg)
3- Compétition en F2. Forme résultat Y=yj* (1 neurone activé) Fig. 8.2b
4- Y projeté sur F1G1 inhibéF1 contient X•Y projeté = S Fig. 8.2b
5- Appariement
€
S = Si∑ X = Xi∑
€
si S
X< ρ :
€
si S
X> ρ :
6- RAZ activé Fig. 8.2cNeurone Y désactivé et inhibé yj*= -1 2
7- Renforcir Wf allant à Y
8- Renforcir Wb partant de Y
9- Enlever X G2=0Ré-activer les neuronesinhibés dans F2 (rés. de RAZ)
Fig. 8.2d
10- Retour à 1
€
b ji =L ⋅si
L−1+ S
€
tij = si
![Page 24: Chapitre 7 Réseau ART. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #9 - 2 Plan n Compétition de base: Le gagnant emporte](https://reader036.vdocuments.mx/reader036/viewer/2022070309/551d9db5497959293b8da3c6/html5/thumbnails/24.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 24
Exemple - ART1
![Page 25: Chapitre 7 Réseau ART. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #9 - 2 Plan n Compétition de base: Le gagnant emporte](https://reader036.vdocuments.mx/reader036/viewer/2022070309/551d9db5497959293b8da3c6/html5/thumbnails/25.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 25
ART1: convergence et robustesse
![Page 26: Chapitre 7 Réseau ART. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #9 - 2 Plan n Compétition de base: Le gagnant emporte](https://reader036.vdocuments.mx/reader036/viewer/2022070309/551d9db5497959293b8da3c6/html5/thumbnails/26.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 26
Améliorations
ART1: Entrées binairesART2: Entrées analogiques
Normalisation + ContrasteARTMAP: ART1s ou ART2s couplés
avec apprentissage supervisé
( augmenté pour certains exemples)
![Page 27: Chapitre 7 Réseau ART. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #9 - 2 Plan n Compétition de base: Le gagnant emporte](https://reader036.vdocuments.mx/reader036/viewer/2022070309/551d9db5497959293b8da3c6/html5/thumbnails/27.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 27
ART2
![Page 28: Chapitre 7 Réseau ART. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #9 - 2 Plan n Compétition de base: Le gagnant emporte](https://reader036.vdocuments.mx/reader036/viewer/2022070309/551d9db5497959293b8da3c6/html5/thumbnails/28.jpg)
![Page 29: Chapitre 7 Réseau ART. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #9 - 2 Plan n Compétition de base: Le gagnant emporte](https://reader036.vdocuments.mx/reader036/viewer/2022070309/551d9db5497959293b8da3c6/html5/thumbnails/29.jpg)
![Page 30: Chapitre 7 Réseau ART. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #9 - 2 Plan n Compétition de base: Le gagnant emporte](https://reader036.vdocuments.mx/reader036/viewer/2022070309/551d9db5497959293b8da3c6/html5/thumbnails/30.jpg)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 30
ARTMAP
![Page 31: Chapitre 7 Réseau ART. GPA-779 Application des réseaux de neurones et des systèmes experts Cours #9 - 2 Plan n Compétition de base: Le gagnant emporte](https://reader036.vdocuments.mx/reader036/viewer/2022070309/551d9db5497959293b8da3c6/html5/thumbnails/31.jpg)