chapitre 7 réseau art. gpa-779 application des réseaux de neurones et des systèmes experts cours...
Post on 04-Apr-2015
109 Views
Preview:
TRANSCRIPT
Chapitre 7
Réseau ART
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 2
Plan Compétition de base: Le gagnant emporte tout
Modèle générique ART Structure ART1 Améliorations: ART2 ARTMAP
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 3
Découverte K. Mehrotra, C.K. Mohan et S. Ranka,
Elements of Artificial Neural Networks, MIT Press, 1997.
Coup de coeur Traitement complet Algos génériques Exemples nombreux
G.A. Carpenter et S. Grossberg, Neural Networks for Vision and Image Processing, MIT Press, 1992
Répertoire de contributions Suite d’une conférence à Boston en 1991 Orienté recherche «égaré» à l’hiver 2003
J.A. Freeman et D.M. Skapura, Neural Networks: Algorithms, Applications and Programming Techniques, Addison Wesley, 1991
Couvre les principaux modèles: adaline, madaline, perceptron, BAM, Hopfield, SOM, ART, neocognitron
Source d’inspiration pour plusieurs acétates
Traitement complet, bien illustré
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 4
Vue d’ensemble
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 5
7.1 Couche de compétition
Gagnant-emporte-tout Modèle de base de plusieurs réseaux non-supervisés
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 6
Architecture
y1 y2 yM
x1 x2 x3 x4
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 7
ActivationProduit scalaire. La sortie est proportionnelle au cos de l’angle entre l’entrée et le vecteur de poids
Compétition : soit ym* le neurone avec la sortie maximaleym* = 1ym≠m* = 0
€
ym = wmnxnn
∑
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 8
Apprentissage
Le neurone le plus activé gagne la compétition. Son indice est m*.
Sa sortie ym* est placée à 1Tous les autres neurones ont leur sortie à 0
Renforcement des liens du neurone gagnant
€
v W m*
€
v X
Δ
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 9
a) avant l’apprentissage b) après l’apprentissage
x: vecteur de poids •: vecteur d’entrée
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 10
Phase de compétition
Solution logicielle: Max. (Y) ym* = 1 ymm* = 0
Solution neuronique: inhibition
y1 y2 yM
net1 net2 netM
+1−ε −ε ε <1M
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 11
Exercice
y1 y2 y4
0,8 0,2 0,6
+1−ε−ε
y3
0,4
−εε =0,2
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 12
7.2 Modèle générique ART ART: Adaptive Resonnance Theory Classification non-supervisée
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 13
Composantes: Couche d’entrée F1
– Sous-couche d’entrée F1(a)– Sous-couche d’interface F1(b)
Couche de classification F2 compétition
Mécanisme de comparaison Connexions:
Rappel (F1 F2) bji
Modèle (F2 F1) tij
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 14
Phases d’opération
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 15
Caractéristiques Apprentissage non-supervisé
–Catégorisation par regroupement de caractéristiques. Apprend les regroupements.
Mémoire incrémentale–On peut ajouter de nouvelles catégories sans effacer ce qui a été appris.
Inspiration biologique–Phénomène de base : éveillement–Dilemme stabilité platicité
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 16
€
F1(a)=Entrée=Xk
Structure du ART 1
F2 Catégoriesj
F1(b) =Interface
F1 Caractéristiques
i
€
Wf=bji
€
Wb=tij RAZRAZ
<ρ?
G1
G2
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 17
Couche F1 : couche de comparaison
ActivitéX1i
xi
G1
à F2
à RAZde F2
tij
si
G1=1 xi seulementG1=0 F2•xi
À cause règle 2/3: G1=1 si=xi•1 G1=0 si=F2•xi
G1=0 (inhibé) F2 0
Donc, aussitôt que del’activité se produit dans F2
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 18
Couche F2 : couche des catégories
ActivitéX2j
G2
à F1
de RAZ
de F1
bji
yj
à toutes lesunités de F2
tij
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 19
Fonctionnement Contrôle de gain: G1 et G2
–Permettent de contrôler le contenu de F1–Règle du 2/3: une unité dans F1 ou F2 est activée si 2 entrées sur 3 sont activées
Vigilance–L’entrée est comparée avec le prototype (modèle) généré par F2. Fonction ET sur F1
–Si comparaison < RAZ activé = facteur d’éveil 0 < < 1pour ≈1 X doit égaler exactementF1 retourné par F2
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 20
Compétition (couche de compétition F2)–Les mêmes connexions se répètent pour toutes les unités
–Résultat: ym* = 1 pour l’unité la plus activée ymm* = 0 pour toutes les autres unités
y1 y2 yM
net1 net2 netM
+1−ε −ε
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 21
Illustration du fonctionnement
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 22
0- InitialisationL > 1
€
0 < ρ ≤1
0 < bji (0) <L
L −1+ Itij (0) =1
2
0,9
1/1+I
1
1- Forme Xk présentée à F1a) X=0 G2=0 F2=0b) X=S G2=1F1(b) contient la forme S (=Xk) Fig. 8.2a
2- S propagé sur F2 Fig. 8.2a
€
si y j ≠ −1⇒ y j = b jixii
∑
• Algorithme
3- Compétition en F2. Forme résultat Y=yj* (1 neurone activé) Fig. 8.2b
4- Y projeté sur F1G1 inhibéF1 contient X•Y projeté = S Fig. 8.2b
5- Appariement
€
S = Si∑ X = Xi∑
€
si S
X< ρ :
€
si S
X> ρ :
6- RAZ activé Fig. 8.2cNeurone Y désactivé et inhibé yj*= -1 2
7- Renforcir Wf allant à Y
8- Renforcir Wb partant de Y
9- Enlever X G2=0Ré-activer les neuronesinhibés dans F2 (rés. de RAZ)
Fig. 8.2d
10- Retour à 1
€
b ji =L ⋅si
L−1+ S
€
tij = si
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 24
Exemple - ART1
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 25
ART1: convergence et robustesse
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 26
Améliorations
ART1: Entrées binairesART2: Entrées analogiques
Normalisation + ContrasteARTMAP: ART1s ou ART2s couplés
avec apprentissage supervisé
( augmenté pour certains exemples)
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 27
ART2
GPA-779 Application des réseaux de neurones et des systèmes expertsCours #9 - 30
ARTMAP
top related