OIA A. DIPANDA. Cours Réseaux de neurones - A. DIPANDA - M2 BDIA

Transcription

1 OIA A. DIPANDA Cours Réseaux de neurones - A. DIPANDA - M2 BDIA 1

2 Cours Réseaux de neurones - A. DIPANDA - M2 BDIA 2

3 Système complexe: Système formé de nombreux éléments (identiques ou différents) en interaction dont le comportement ou l évolution n est pas prévisible par le calcul. Ex: une colonie de fourmis, le cerveau, la bourse, une entreprise, la mayonnaise, un troupeau de moutons, une rumeur, etc Comportement Auto-organisation et émergence de structures cohérentes Interaction des composants entre-eux qui permet la formation de groupes: notion de hiérarchie ou de système complexe par niveaux Les composants sont eux-mêmes des systèmes complexes Interactions rétroactives (ou reflexives) Cours Réseaux de neurones - A. DIPANDA - M2 BDIA 3

4 Historique: 1890: W. James: tout concept est physiquement représenté dans le cerveau par l entrée en activité d un ensemble de neurones (notion de mémoire associative) 1940: John Von Neumann pose le problème de la construction d un système artificiel capable de se reproduire. Il réduit le monde réel en un quadrillage infini sur les carreaux duquel vivent et meurent de petits êtres (un être par carreau): les cellules. Le problème de la reproduction se ramène alors à choisir les règles d interaction entre les cellules pour que celles-ci soient susceptibles de se multiplier au cours de «la vie» de l organisme : J. Mc Culloch et W. Pitts définissent le neurone formel comme un élément binaire (1: actif; 0:inactif). Ils montrent que des réseaux de neurones formels simples peuvent réaliser des fonctions logiques, arithmétiques et symboliques complexes (tout au moins au niveau théorique) : D. Hebb, physiologiste américain constate que deux neurones qui sont activés en même temps deviennent associés de sorte que l activité de l un facilitera celle de l autre. Il explique le conditionnement chez l animal par les propriétés des neurones eux-mêmes. La mise en mémoire semble s effectuer aux lieux d interaction (connexion) entre les neurones. D où le nom de «connexionnisme». Cours Réseaux de neurones - A. DIPANDA - M2 BDIA 4

5 1958: F. Rosenblatt développe le modèle du perceptron. C est un réseau de neurones inspiré du système visuel. Il possède deux couches de neurones : une couche de perception et une couche liée à la prise de décision. 1969: M. Minsky et S. Papert publient une critique des propriétés du Perceptron. 1972:T. Kohonen présente ses travaux sur les mémoires associatives et propose des applications à la reconnaissance de formes. 1982: J. Hopfield présente son étude d un réseau complètement rebouclé, dont il analyse la dynamique : La rétropropagation de gradient apparaît. C est un algorithme d apprentissage adapté aux réseaux de neurones multicouches (aussi appelés Perceptrons multicouches). Cours Réseaux de neurones - A. DIPANDA - M2 BDIA 5

6 Neurone biologique Corps cellulaire: contient le noyau du neurone Dendrite: récepteur principal du neurone qui permet de capter les signaux électriques qui lui parviennent Axone: transporte les signaux émis par le neurone Synapse: jonction entre deux neurones, et généralement entre l'axone d'un neurone et un dendrite d'un autre neurone (mais il existe aussi des synapses axo-axonales par exemple). Principe: le neurone traite les signaux électriques qui lui parviennent par ses dentrites. Le traitement peut être «modélisé» par une sommation. Si la sommation>seuil (actif) le neurone répond par un signal électrique qui se propage le long de son axone Sinon il est inactif Cours Réseaux de neurones - A. DIPANDA - M2 BDIA 6

7 Neurone formel Principe: pas de notion temporelle coefficient synaptique : coefficient réel sommation des signaux arrivant au neurone sortie obtenue après application d une fonction de transfert Cours Réseaux de neurones - A. DIPANDA - M2 BDIA 7

8 Analogie neurone biologique et neurone formel synapse corps poids Fonction de transfert Σ axone Élément de sortie f: fonction d activation θ: seuil w m :poids synaptiques Cours Réseaux de neurones - A. DIPANDA - M2 BDIA 8

9 Cours Réseaux de neurones - A. DIPANDA - M2 BDIA 9

10 Fonctions de transfert Cours Réseaux de neurones - A. DIPANDA - M2 BDIA 10

11 Règle de Hebb: Lorsqu un axone de la cellule A est suffisamment proche pour exciter la cellule B et qu il prend part de manière répétitive ou persistante à cette excitation, alors on doit trouver soit un phénomène de croissance, soit un changement métabolique dans A ou B tel que l efficacité de A pour exciter B soit accrue. Modification des poids principe de l apprentissage Cours Réseaux de neurones - A. DIPANDA - M2 BDIA 11

12 Les différents réseaux de neurones Cours Réseaux de neurones - A. DIPANDA - M2 BDIA 12

13 Réseaux connexionnistes Assemblage d unités de calculs fortement interconnectées dont la connaissance réside dans les connexions, à savoir dans les poids associés aux connexions. Modélisation: Sous la forme d un graphe orienté et pondéré dont les nœuds sont des automates simples Règles locales: Chaque automate agit en fonction des automates qui lui sont directement liés. Chaque automate ne traite qu une infime partie du problème. Le comportement global du réseau qui émerge est composé du comportement individuel et local de tous ses automates. Cours Réseaux de neurones - A. DIPANDA - M2 BDIA 13

14 Eléments de définition d un réseau connexionniste 1. L architecture Manière dont les unités sont interconnectées Contraintes liant les poids 2. La dynamique Comment les activités des unités sont couplées entre elles Comment les signaux se propagent dans le réseau 3. L apprentissage Règles qui permettent de déterminer les valeurs optimales des poids pour que le réseau accomplisse une certaine tâche. Cours Réseaux de neurones - A. DIPANDA - M2 BDIA 14

15 Applications statistiques : analyse de données / prévision / classification robotique : contrôle et guidage de robots ou de véhicules autonomes imagerie / reconnaissance de formes traitement du signal simulation de l apprentissage Finance : Prévision du coût de la vie Secteur médical : Analyse EEC et ECG Télécommunications : Compression de données Cours Réseaux de neurones - A. DIPANDA - M2 BDIA 15

16 Définitions : Déterminer un réseau de neurones revient à trouver les coefficients synaptiques. La phase d apprentissage : les caractéristiques du réseau sont modifiées jusqu à ce que le comportement désiré soit obtenu. Base d apprentissage : exemples représentatifs du comportement ou de la fonction à modéliser. Ces exemples sont sous la forme de couples (entrée ; sortie) connus. Base d essai (test) : pour une entrée quelconque (bruitée ou incomplète), calculer la sortie. On peut alors évaluer la performance du réseau. Apprentissage supervisé : les coefficients synaptiques sont évalués en minimisant l erreur (entre sortie souhaitée et sortie obtenue) sur une base d apprentissage. Cours Réseaux de neurones - A. DIPANDA - M2 BDIA 16

17 Exemple: Réseaux de neurones n entrées e 1,, e n m neurones N 1,, N m. w ij le coefficient synaptique de la liaison entre les neurones N i et N j une sortie o un seuil T a i est la valeur d activation du neurone N i. Fonction de transfert : fonction Signe si x > 0 : Signe(x) = +1 si x 0 : Signe(x) = 1 S: base d apprentissage. S est composée de couples (e, c) où : e est le vecteur associé à l entrée (e 1,, e n ) c la sortie correspondante souhaitée Cours Réseaux de neurones - A. DIPANDA - M2 BDIA 17

18 Algorithme : μ est une constante positive. Initialiser aléatoirement les coefficients w i Répéter : Prendre un exemple (e, c) dans S Calculer la sortie o du réseau pour l entrée e Si c o Modification des poids w ij : w ij = w ij + μ (a i a j ) Fin Pour Fin Si Fin Répéter Cours Réseaux de neurones - A. DIPANDA - M2 BDIA 18

19 Exemple: μ = 1 Conditions initiales : coefficients et seuils nuls Exemple (1) : o = Signe(w1 e1 + w2 e2) = Signe(0) = 1 o = 1 1 = x w1 = w1 + e1 x = 1 w2 = w2 + e2 x = 1 Exemple (2) : o = Signe((w1 e1 + w2 e2) = Signe(0) = 1 o = 1 1 = x w1 = w1 + e1 x = 2 w2 = w2 + e2 x = 0 Exemples (3) et (4) OK Exemples (1) et (2) OK STOP Cours Réseaux de neurones - A. DIPANDA - M2 BDIA 19

20 Un automate booléen est défini par: l ensemble d entrée l ensemble de sortie la fonction de transition donnant la sortie au temps t+1 en fonction des entrées au temps t Un automate booléen: opère sur les valeurs binaires {0,1} Il est défini par une table de vérité donnant la valeur de la sortie pour chacune des entrées Avec k entrées on a: 2 k configurations d entrée automates binaires différents Cours Réseaux de neurones - A. DIPANDA - M2 BDIA 20

21 Automates binaires pour k=2 Numéro Définition Nom contradiction ET Premier caractère Second caractère XOR OU NOR Equivalence (NON-XOR) Inverse du second caractère Second implique premier Inverse premier caractère Premier implique second NAND tautologie Cours Réseaux de neurones - A. DIPANDA - M2 BDIA 21

22 Un réseau booléen est défini par l architecture et la dynamique Architecture: Réseaux ouverts ou fermés: certaines entrées des automates du réseau reçoivent des signaux d éléments extérieurs au réseau Connectivité complète: chaque automate est connecté à tous les autres Connectivité cellulaire: les connexions se font entre les automates voisins Dynamique Itération parallèle: tous les automates changent d état en même temps en fonction de l état des automates d entrée au temps précédent Itération séquentielle: un seul automate change d état à un instant donné. Il faut donner la suite ordonnée des automates à modifier Graphe d itération: un réseau à n automates booleéns comprend 2 n configurations possibles. On passe d une configuration à l autre en appliquant la règle de changement d état à chaque automate. La dynamique est complètement décrite par le tableau des successeurs. Cours Réseaux de neurones - A. DIPANDA - M2 BDIA 22

23 Exemple: Faire le graphe d itération 1/XOR 4/eq 5/XOR 2/eq e(1)=xor(e(2),e(3)) e(2)=eq(e(3),e(4)) e(3)=and(e(4),e(5)) e(4)=eq(e(5),e(1)) e(5)=xor(e(2),e(1)) 4 bassins d attractions 2 points fixes : 3 et 8 3/AND Graphe d itération Code Initial Successeur Code Cours Réseaux de neurones - A. DIPANDA - M2 BDIA 23

24 Automates cellulaires: Automates répartis dans les carreaux d une grille bidimensionnelle à mailles carrées. La connectivité est cellulaire: limitée aux plus proches voisins En théorie le réseau est infini, en pratique il y a toujours les bords (bord droit connecté au bord gauche) Toujours un mode d itération parallèle Cours Réseaux de neurones - A. DIPANDA - M2 BDIA 24

25 Automates cellulaires à une dimension et 3 entrées Dimension1 chaine infinie d automates Structure la plus simple: l automate et ses deux plus proches voisins Chaque automate calcule son nouvel état à partir du sien propre et de celui de ses deux voisins Configuration d entrée =Triplet de bits 1 er : état du voisin de gauche 2 ème : état de l automate lui-même 3 ème : état du voisin de droite 2 3 =8 configurations d entrées différentes 2 8 =256 règles différentes de changement d état, numérotés de 0 à 255 =nombres codant en décimal les 8 bits Cours Réseaux de neurones - A. DIPANDA - M2 BDIA 25

26 Regle n 1 Quelques exemples de règles Trois types de comportement 1. Évolution rapide vers un état invariant homogène composé de 0 ou 1 Ex: 128 (0) ou 250 (1) 2. Attracteurs de périodes courtes (1 ou 2) suivant les configurations initiales 1. Ex: 108 ou Périodes longues (trop longues pour être observables) Ex: 90 ou 126 Cours Réseaux de neurones - A. DIPANDA - M2 BDIA 26

27 Automates cellulaires à une dimension et deux entrées Cas particulier du précédent à trois entrées L état de l automate au temps t n intervient pas dans la détermination de l état au temps t+1 Le réseau est constitué de deux sous-réseaux disjoints t 0 X 0 X 0 X 0 X 0 t+1 X 0 X 0 X 0 X 0 X t+2 0 X 0 X 0 X 0 X 0 Cours Réseaux de neurones - A. DIPANDA - M2 BDIA 27

28 Il est commode partir d une configuration initiale composée de 0 pour l un des sous-réseaux et de limiter l analyse à l autre sous-réseau Il y a 16 fonction booléennes à 2 entrées (on peut se limiter à 8 en inversant les 0 et 1) n GD GD GD GD nom Contradiction ET Détecte la décrossiance Transmet l entrée gauche Détecte la croissance Transmet l entrée droite XOR OU Cours Réseaux de neurones - A. DIPANDA - M2 BDIA 28

29 Automates cellulaires à deux dimensions La structure des connexions est liée au réseau Grille carrée Grille triangulaire Grille hexagonale En pratique on travaille avec des réseaux carrés avec 2 types de connectivité: 4-connexité (voisinage de Von-Neumann) 8-connexité (voisinage de Moore) Cours Réseaux de neurones - A. DIPANDA - M2 BDIA 29

30 Réseaux à seuil: On définit un seuil (entier ou réel). La somme des états voisins est comparée au seuil: Si somme>seuil alors nouvel état=1 Sinon nouvel état=0 Exemple: avec le voisinage de Von Neumann et seuil=1, t=0 t=0 t=0 t=0 Cours Réseaux de neurones - A. DIPANDA - M2 BDIA 30

31 Jeu de la vie de Conway Voisinage de Moore Règles: Une cellule à l état 0 passe à l état 1 (elle nait) si 3 de ses voisins sont à l état 1, sinon elle reste à 0 Une cellule à l état 1 reste à 1 si 2 ou 3 de ses voisins sont à 1. Elle passe à 0 (elle meurt) dans les autres cas (isolement ou étouffement) t=0 t=1 t=2 t=3 Cours Réseaux de neurones - A. DIPANDA - M2 BDIA 31