Introduction Réseaux neuronaux Apprentissage non supervisé Jerzy Korczak, LSIIT, ULP email : jjk@dpt-info.u-strasbg.fr Objectif commun : génération d une taxonomie des données sans connaissances préalable Utilisation : Clustering : groupement, classification des données Quantisation de vecteurs : discrétisation de l espace Réduction de dimension : projection de caractéristiques Prétraitement des données Extraction de traits caractéristiques 1 2 Méthodes neuronales non supervisées Méthodes neuronales non supervisées Apprentissage compétitif Règle : «winner-take-all» Cartes auto-organisatrices de Kohonen réseau de connexions de dimensionnalité fixé (grille 2D) projection de l espace des données vers la grille 2D Gaz neuronal croissant croissance du réseau neurones ajoutés là où l erreur du réseau est localement élevée 3 4 Cartes auto-organisatrices de Kohonen Cartes de Kohonen : «chapeau mexicain» Inspiration : les neurones d une zone du cerveau se projettent dans une autre zone, en conservant les relations de voisinage. Principe d apprentissage : Si le neurone reçoit un potentiel d action par sa connexion et qu il s active, il y a renforcement de cette connexion ; sinon le poids de cette connexion est diminué. Chaque neurone de la carte de Kohonen est relié à tous les neurones de la carte. Mécanisme d interaction latérale : «chapeau mexicain» Les poids sont déterminés en fonction de la distance entre les neurones concernés selon une fonction «chapeau mexicain». Interaction _ + _ Dans une zone latérale proche du neurone, les neurones qui lui sont connectés ont une action excitatrice action inhibitrice Il vaut mieux choisir ce voisinage assez large au début de l apprentissage pour le rétrécir par la suite (k(t) : fonction décroissante linéaire). 5 6 1
Cartes auto-organisatrices de Kohonen : Algorithme Exemple : Kohonen.exe 1. Initialisation aléatoire des poids des connexions de N entrées vers les M sorties. 2. Initialisation de R (le rayon de voisinage). 3. Présenter au réseau une nouvelle entrée. 4. Calculer la distance entre le neurone j de sortie et le neurone i d entrée pour tout j : d j = Σ (x i (t) w ij (t)) 2 avec x i (t) l entrée du neurone, et w ij (t) le poids de la connexion 5. Sélection le neurone j* de sortie de distance minimale. 6. Mettre à jour les poids des connexions du neurone j* avec ses voisins situés dans un rayon R : w ij (t+1)=w ij (t)) +η(t)(x i (t) w ij (t)) lim t->oo η(t) =0 7. Si η(t)>0, alors diminuer le rayon R et retourner en 3. Sinon l apprentissage est terminé. 7 8 Cartes auto-organisatrices de Kohonen Carte de 10*10 neurones 9 10 GND : Cartes auto organisatrices Apprentissage compétitif doux Apprentissage sans dimensionnalité de réseau imposé (ang. Soft Competitive Learning) Quelques méthodes : Neural Gas Competitive Hebbian Learning Neural Gas plus Competitive Hebbian Learning Growing Neural Gas 11 12 2
Neural Gas [Martinetz, Schulten, 1991] NG ordonne les neurones du réseau en fonction de la distance de leur vecteur de référence avec l exemple présenté. Les neurones les plus proches de l exemple sont modifiés pour se rapprocher de l exemple. Le nombre de neurones modifiés ainsi que l importance de cette modification diminuent avec le temps. Les neurones ne sont pas interconnectés entre eux. Neural Gas : Algorithme 1. Initialisation des N neurones dont les vecteurs de référence sont choisis aléatoirement parmi les données; A ={c 1, c 2,, c N }, t=0 2. Choix d un exemple ξ aléatoirement 3. Ordonner les neurones en fonction de leur distance par rapport à ξ : (i 0, i 1,, i N-1 ), k i (ξ,a). 4. Modifier les vecteurs de référence de neurones selon : w i =ε(t)*h λ *k i (ξ,a)) * (ξ -w i ) avec h λ (k) =exp (-k/λ(t)) et λ(t) et ε(t) qui diminuent dans le temps 5. Incrémenter le compteur de temps t=t+1 6. Si t<t max reprendre à l étape 2. Exemples 13 14 Competitive Hebbian Learning [Martinetz 1993] Growing Neural Gas [Fritzke, 1994] Cette méthode est généralement utilisée avec d autres, par ex. Neural Gas plus Competitive Hebbian Learning Dans cette variante, le nombre de neurones est augmenté durant l apprentissage. Elle ne modifie pas les vecteurs de référence des neurones mais génère les connexions entre les neurones. Les neurones sont connectés. A chaque présentation d un exemple, une connexion entre les deux neurones les plus proches de celui-ci est éventuellement ajoutée. 15 16 Growing Neural Gas : Algorithme 1. Initialisation de 2 neurones dont les vecteurs de référence sont choisis aléatoirement parmi les données; A ={c 1, c 2 }, t=0. Initialisation de l ensemble des connexions C. 2. Choix d un exemple ξ aléatoirement. 3. Déterminer les deux neurones s 1 et s 2 les plus proches de ξ. 4. Rajouter une connexions entre s 1 et s 2. Mettre son âge à 0. C = C U {(s 1,s 2 )}.age (s1,s2) = 0 5. Augmenter l erreur cumulée du neurone : E s1 = II ξ w si II 2. 6. Modifier les vecteurs de référence de neurones du neurone vainqueur et de ses voisins topologiques directs : w si = ε b *(ξ -w si ), w i = ε n *(ξ -w n ) 7. Incrémenter l âge des connections de s i 8. Supprimer les connexions d âge supérieur à a max et supprimer les neurones qui n ont plus de connexions. 9. Si le nombre d exemples présentés est un multiple de l, ajouter un neurone entre celui dont l erreur cumulée est la plus grande et son voisin d erreur cumulée la plus importante. Diminuer l erreur cumulée. 10.Si le critère d arrêt n est pas satisfait, reprendre à l étape 2. 18 17 3
Gaz neuronal croissant : exemple Couverture de la distribution des données Gaz de 100 neurones max. Carte de Kohonen Gaz Neuronal Croissant 19 20 GND : Growing Neural Gas Images de télédétection Satellite SPOT résolution de 20m * 20m en mode MultiSpectral B1 : 0.50 à 0.59 ηm B2 : 0.61 à 0.68 ηm B3 : 0,79 à 0.89 ηm triplet de valeurs entre 0 et 255 dimensions : 3000x3000 pixels - résolution de 1,3m*1,3m 21 22 Applications : Découverte de concepts à partir d images [LSIIT-AFD] Réflectance en fonction de la longueur d onde 23 24 4
Agrégation Segmentation d images de télédétection Résolution de l image déterminée par les capteurs des satellites insuffisante pour certaines applications pixels mixtes Utilisation des informations spatiales des images nécessaire pour décrire certains objets permet d associer une sémantique à des groupes de pixels mixtes Données multi-sources 25 Résultats : Robertsau 1996 26 Fouille d images IRMf Rayon d agrégation 2, rayon d étude de voisinage 1, 20 classes Images 3D prisent dans le temps [http://alsace.u-strasbg.fr/ipb/ Exemple : Une série d IRMf permettant de voir les zones réagissant à un stimulant avec leur niveau d intensité par rapport à leurs emplacements au sein du cerveau. Classification étape 9 Segmentation étape 9 27 28 Adaptations de GNC aux données IRMf Réduction de l ensemble des donné données : Sélection de zones d intérêt Cure de Jouvence : Empêcher la destruction d'un neurone pertinant Inertie d'un neurone : Limiter les mouvements d'un neurone pertinant 29 30 5
Exemple de classe relevant d une activation de type bloc Classifications 31 32 Comparaison avec SPM Quelques références Equipe Apprentissage et Fouille de Données http://lsiit.u-strasbg.fr/afd All seven parts of the FAQ can be downloaded from either of the following URLS: ftp://ftp.sas.com/pub/neural/faq.html.zip ftp://ftp.sas.com/pub/neural/faq.txt.zip Usenet newsgroup comp.ai.neural-nets. Part 1: Introduction Part 2: Learning Part 3: Generalization Part 4: Books, data, etc. Part 5: Free software Part 6: Commercial software Part 7: Hardware and miscellaneous 33 34 6