Module 4 (suite) Applications du perceptron multicouche

Transcription

1 (suite) Applications du perceptron multicouche

2 Améliorations des performances Momentum w ji (t + 1) = j x i + µ w ji (t) 0 <µapple 1

3 Sélection des paramètres 0 < < 1 Apprentissage stochastique Choix des valeurs désirées : a ± ℇ dans le cas de f asymptotique (sigmoïde, tanh) Normalisation des entrées Ø Ø Ø Ø Calcul de la moyenne sur toute la BD d apprentissage Entrée = Entrée - Moyenne Décorreler l entrée (ACP pour trouver les axes principaux) Égalisation de la covariance

4 Neurones cachés versus complexité des données

5

6

7

8

9 Apprentissage versus généralisation

10 Généralisation en régression

11 Problématique: rappel Base de données étiquetée Base d apprentissage Base de test apprentissage généralisation

12 Système complet de classification

13 Influence du nombre d époques d apprentissage

14 Influence du nombre de neurones

15 Influence du nombre de données

16 6 Applications Reconnaissance Optique des Caractères (O.C.R) Seuillage d images Base d apprentissage incrémentale Data Mining, Extraction des connaissances

17 6 Applications - OCR Reconnaissance Optique des Caractères (O.C.R) Objectif la lettre «s» s Système OCR Reconnaissance sans contrainte Reconnaissance hors contexte Reconnaissance du script Reconnaissance des caractères manuscrits deux

18 6 Applications - OCR Reconnaissance des chiffres manuscrits Système de prétraitement Acquisition d images Extraction des primitives Système de décision «0» «1» «2» «9»

19 6 Applications - OCR Acquisition d images Résolutions spatiale et en niveaux de gris Système de prétraitement Extraction des primitives Extraction d imagettes Filtrage/réduction du bruit Mise à l échelle Primitives visuelles méthodes syntaxiques Prototypes des classes Paramètres numériques (données brutes, données transformées,.) méthodes numériques

20 6 Applications - OCR Le neurone formel en reconnaissance de chiffres Séparation entre deux classes Classe 1 : -1 Classe 2 : +1 Imagette d entrée X Poids synaptiques ω

21 6 Applications - OCR Exemple : Classe 1 Classe 2 Image des poids synaptiques

22 6 Applications - OCR Le réseau multicouches en reconnaissance de chiffres Base d apprentissage étiquetée 16 16, (0, 0, 0, 1, 0,, 0) L

23 6 Applications - OCR Nombre de neurones dans la couche cachée? Base d apprentissage étiquetée Base d apprentissage τ Base de test L Optimal L

24 6 Applications - Seuillage d images Seuillage d images : Opération que l on effectue sur une image afin d'obtenir une nouvelle image à deux niveaux de gris. Réseau CMB (Connexionnist Model Binarization)

25 6 Applications - Seuillage d images

26 6 Applications - Base d apprentissage incrémentale Base d apprentissage incrémentale Concept d apprentissage incrémental Ajout de nouvelles classes Les réseaux multicouches n admettent pas cette possibilité Ajout de nouvelles formes OCR, Reconnaissance de parcellaires en imagerie satellitaire, etc.

27 6 Applications - Base d apprentissage incrémentale Base incrémentale en imagerie satellitaire Position du problème Spot Vert Rouge Proche infrarouge Composé couleur

28 6 Applications - Base d apprentissage incrémentale Il s agit de la classe C m x 1 x 2 x 3 Position, (x 1, x 2, x 3 ), C m

29 6 Applications - Base d apprentissage incrémentale Apprentissage Classification Base (t) (t+1) Base (t) Extraction d'exemples Base (t+1) Connaissances de l'expert

30 6 Applications - Base d apprentissage incrémentale Construction dynamique d'une base d'apprentissage Base (t = 0) Base (tf = 15) 100 exemples /classe 1600 exemples /classe

31 6 Applications - Extraction des connaissances Extraction des connaissances d'une Absence de connaissances a priori Une base d'exemples étiquetée Approche d'extraction de connaissances Apprentissage d'un réseau multicouches Analyse des poids synaptiques Application aux données MSN MSN, Malaises Graves (MG) et Fratries (F) 42 données épidémiologiques

32 6 Applications - Extraction des connaissances Extraction de connaissances d'une base d'exemples D1 MSN D5