les réseaux de neurones. plan de lexposé réseaux de neurones techniques dapprentissage...
TRANSCRIPT
Les réseaux de neurones
Plan de l’exposé
Réseaux de neurones
Techniques d’apprentissage
Reconnaissance optique de caractères (OCR)
Le réseau de neurones
Définition
Un réseau de neurones est un outil d’analyse permettant de construire un modèle à partir de données, d’exemples.
Un réseau de neurones est constitué d’un graphe dont les nœuds sont les neurones.
Le réseau de neurones
Vue simplifiée d'un réseau de neurones artificiel
Le neurone
Neurone biologique Neurone artificiel
Motivation, utilité
Reconnaissance de caractères (OCR) Classification Approximation d’une fonction inconnue Prédiction Transitions de phase
Perceptron
Architecture
xi = entrées (i = 1…n)wi = poids (i = 1…n)w0 = biaisy = sortie
Le neurone est un dispositif « feedforward »
Perceptron
Règle d’activation1. Activité a = 2. Sortie y = f(a) = activation
Fonctions d’activation f:
1. Sigmoïde (Fermi)
2. Seuil (Heaviside)
Perceptron
Séparabilité linéaire
Cette équation définit un hyperplan dans l’espace des entrées.
-w0 = 0
Perceptron
Limitation
Le perceptron peut uniquement résoudre les problèmes linéairement séparable.
Le problème XOR
Perceptron
Le problème XOR Solution
Perceptron multi-couches
Architecture
Perceptron multi-couches
Problème linéairement non séparable
Réseaux de neurones
Discussion
Le réseau est une « boîte noire ». Il fournit uniquement une réponse (sortie) lorsqu’on lui présente des données (entrées).
Il n’y a pas de justification sur la manière dont le réseau a donné sa réponse!
Exemples
Carte auto-organisatrice
Réseau multi-couche
Réseau de Hopfield
Apprentissage
Observations Généralisations
1. Méthode supervisée
Convergence fixée
2. Méthode non supervisée
Convergence libre
Algorithme d’apprentissage
1. Entraînement Apprentissage du réseau
2. Validation Vérification de l’entraînement
3. Test Mesure de la performance du réseau
Mode supervisé
Motivation
On aimerait une machine qui classe différents échantillons dans différentes classes.
Par exemple, une machine qui puisse reconnaître des caractères. Celle-ci donnerait la valeur 1 à la sortie s’il s’agit d’un « A » et 0 sinon. Des erreurs sont permises.
Mode supervisé
Motivation On possède une base de données.
On a P couples entrées-sorties x est la valeur d’entrée t est la valeur désirée (target value)
Mode supervisé
Vue générale
Perceptron
Algorithme du perceptron
Initialisation aléatoire des poids du perceptron Comparaison de la sortie du perceptron avec la
valeur désirée Ajustement des poids (apprentissage) Convergence
Perceptron
Descente de gradient Erreur quadratique
Ajustement des poids
Perceptron
Descente de gradient
Perceptron
Algorithme du perceptron
Perceptron multi-couches
Algorithme de backpropagation Généralisation de la descente du gradient Rendre le problème linéairement séparable
Surapprentissage
Spécialisation Tester plusieurs architecturesde réseau avec différentsnombres de neurones
Méthode du « early stopping »
Reconnaissance optique de caractères Perceptron multi-couches
Backpropagation
Surapprentissage
Test
Reconnaissance optique de caractères Déroulement
1. Déterminer une base de données
2. Preprocessing des données
3. Séparer en base d’apprentissage (entraînement et validation) et en base de test
4. Entraîner le réseau (à l’aide de l’algorithme de backpropagation)
5. Optimiser l’erreur (validation)
6. Mesurer la performance du réseau (à l’aide de la base de test)
Reconnaissance optique de caractères
Reconnaissance optique de caractères
Reconnaissance optique de caractères
Entraînement
Reconnaissance optique de caractères
Test
Reconnaissance optique de caractères
Test
Fin