Chapitre 4 (suite)

Applications du perceptron multicouche

Plan

4- Perceptron multicouche Sélection des paramètres Améliorations des performances

Applications Reconnaissance optique de caractères Base d’apprentissage incrémentale Extraction de caractéristiques Compression d’images (réseau Diabolo)

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #5 - 3

Découverte

J.C. Principe, N.R. Euliano et W.C. LefebvreNeural and Adaptive Systems: Fundamentals Through SimulationsJohn Wiley & Sons, 2000

Approche systèmes linéaires adaptatifs

Simulateur de base fourni sur CD-ROM Couvre majorité des modèles, y

compris MVS (machines à vecteurs de support)

ACP Éléments de TNS:

– Réponse en fréquence et transformée en Z

– Filtre adaptatif Trouvé chez le Camelot, sept. 2005,

$124

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #5 - 5

Neurones cachés versus complexité des données

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #5 - 6

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #5 - 7

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #5 - 8

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #5 - 9

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #5 - 10

Apprentissage versus généralisation

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #5 - 11

Généralisation en régression

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #5 - 12

Problématique: rappel

Base de données étiquetée

Base

d’apprentissage Base

de test

apprentissage généralisation

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #5 - 13

Système complet de classification

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #5 - 14

Influence du nombre d’époques d’apprentissage

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #5 - 15

Influence du nombre de neurones

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #5 - 16

Influence du nombre de données

6 Applications

Reconnaissance Optique des Caractères (O.C.R)

Seuillage d’images

Base d’apprentissage incrémentale

Data Mining, Extraction des connaissances

6 Applications - OCR

Reconnaissance Optique des Caractères (O.C.R)

Objectif

s Système OCR

la lettre « s »

Reconnaissance sans contrainte

Reconnaissance hors contexte 2 9 2 8 5Reconnaissance du scripte deuxReconnaissance des caractères manuscrits

6 Applications - OCR

Reconnaissance des chiffres manuscrits

Extraction desprimitives

Système de décision

Acquisition d’images

Système deprétraitement

« 0 »« 1 »« 2 »……« 9 »

6 Applications - OCR

Acquisition d’imagesRésolutions spatiale et en niveaux de gris

Système de prétraitement

Extraction d’imagettesFiltrage/réduction du bruitMise à l’échelle

Extraction desprimitives

Primitives visuelles méthodes syntaxiquesPrototypes des classesParamètres numériques (données brutes, données transformées, ….) méthodes numériques

6 Applications - OCR

Le neurone formel en reconnaissance de chiffres

Séparation entre deux classes

Imagette d’entrée

X

Poidssynaptiques

Classe 1 : -1

Classe 2 : +1

6 Applications - OCR

Exemple :

Classe 1

Classe 2

Image des poids synaptiques

6 Applications - OCR

Le réseau multicouches en reconnaissance de chiffres

Base d’apprentissage étiquetée

16

16

, (0, 0, 0, 1, 0, …, 0)

L

6 Applications - OCR

Nombre de neurones dans la couche cachée ? Base d’apprentissage

étiquetée

Base

d’apprentissage

Base

de test

LLOptimal

6 Applications - Seuillage d’images

Seuillage d’images : Opération que l’on effectue sur une image afin d'obtenir une nouvelle image à deux niveaux de gris.Réseau CMB (Connexionnist Model Binarization)

Sortie désirée

calculd'histogramme

normalisé

Ensemble d'imagesd'apprentissage

choix duseuil optimal

Visualisation desimages seuillées

Entrée

6 Applications - Seuillage d’images

image originale

6 Applications - Base d’apprentissage incrémentale

Base d’apprentissage incrémentale

Concept d’apprentissage incrémental

Ajout de nouvelles classes

Ajout de nouvelles formes

Les réseaux multicouches n’admettent pas cette possibilité

OCR, Reconnaissance de parcellaires en imagerie satellitaire, etc.

6 Applications - Base d’apprentissage incrémentale

Base incrémentale en imagerie satellitaire

Position du problème

Vert

RougeP

roche infrarouge

Composé couleur

Spot

6 Applications - Base d’apprentissage incrémentale

x1 x2 x3

Il s’agit de la classe Cm

Position, (x1 , x2, x3 ), Cm

6 Applications - Base d’apprentissage incrémentale

ClassificationApprentissage

Extractiond'exemples

Connaissancesde l'expert

Base (t)

Base (t+1)

Base (t)

(t+1)

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #5 - 31

Construction dynamique d'une base d'apprentissage

Base (t = 0) Base (tf = 15)100 exemples /classe 1600 exemples

/classe

6 Applications - Base d’apprentissage incrémentale

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #5 - 32

Extraction des connaissances d'une base d'exemples Absence de connaissances a

prioriUne base d'exemples étiquetée Approche d'extraction de connaissances

Apprentissage d'un réseau multicouches

Analyse des poids synaptiquesApplication aux données MSN

MSN, Malaises Graves (MG) et Fratries (F)42 données épidémiologiques

6 Applications - Extraction des connaissances

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #5 - 33

Extraction de connaissances d'une base d'exemples

D1- +

D5

D2+-

D4

D3-+

16

38

MSN bien classifiés

formes MG

3

16 36

40

12

MSN mal classifiésFR bien classifiésFR mal classifiés

- +

+-

MSN

D1

D5

6 Applications - Extraction des connaissances