Laboratoire 3 : Familiarisation avec les RNA (Réseaux de Neurones Artificiels)

Transcription

1 Université du Québec en Outaouais Département d'informatique et d ingénierie C.P Hull - Québec J8X 3X7 Téléphone: (819) Télécopieur: (819) Programme de Génie Informatique 7643 Cours Robotique et vision artificielle Sigle du Cours GEN1593 Session - Groupe Hiver Professeur Marek Zaremba Assistant Juba Bernou Laboratoire 3 : Familiarisation avec les RNA (Réseaux de Neurones Artificiels) Objectifs Général Le but de ce travail pratique est de se familiariser avec les réseaux de neurones artificiels. La maîtrise de ces notions est nécessaire afin de pouvoir réaliser des projets de synthèse. Spécifiques Préalable Introduction aux réseaux de neurones. Utiliser «Neural Network Toolbox» de MATLAB. Connaissance de MATLAB et Simulink. Équipement Logiciel : MATLAB. UQO - Département d Informatique et d Ingénierie GEN1593 : Robotique et vision artificielle

2 Introduction Le fonctionnement du cerveau humain est très compliqué, il capable de résoudre des problèmes très complexes. Bien que nous ayons une bonne compréhension de certaines des opérations de base qui conduisent le cerveau, nous sommes toujours loin de savoir le tout à propos du cerveau. Figure 1 : Modèle de neurone biologique Microsoft Encarta définit un réseau neurologique en tant que «réseau fortement interconnecté des éléments de traitement de l'information qui imite la connectivité et le fonctionnement du cerveau humain». Ces réseaux neurologiques peuvent résoudre beaucoup de problèmes qui pourraient être impossibles à résoudre avec des méthodes de programmation traditionnelles. Ils peuvent apprendre d'une manière qui est beaucoup plus semblable à la méthode humaine d'étude, et sont donc beaucoup plus pertinents dans certains domaines tels que la reconnaissance de la parole. Il y a deux types de neurones artificiels : discrets continus. Voici comment Encarta les définit : Les neurones discrets envoient un signal de sortie de 1 si la somme de signaux reçus est au-dessus d'une certaine valeur critique appelée une valeur seuil, autrement ils envoient un signal de sortie de 0. Laboratoire # 3 - Robotique et vision artificielle - GEN1593 Page - 2 / 16

3 Des neurones continus ne sont pas limités à envoyer des valeurs de sortie de 1 et de 0 seulement; au lieu de cela ils envoient une valeur de sortie entre 1 et 0 selon le montant total d'entrée qu'ils reçoivent. Plus le signal reçu est fort, plus le signal envoyé du nœud est fort et vice-versa. Les neurones continus sont le plus généralement utilisés dans les réseaux neurologiques artificiels réels. En conclusion les réseaux de neurones artificiels ont été conçus à la base du modèle du neurone naturel. Ce dernier étant excité par un stimulus, il y répond selon sa fonction de transfert par une sortie (réponse) qui peut être une atténuation ou une amplification de l'entrée. Dans le cadre de ce cours on s intéresse particulièrement à l application des réseaux de neurones dans la prédiction de séries temporelles, ou le contrôle de robots. Réseaux de neurones avec Matlab Figure 2 : Vue simplifiée d'un réseau artificiel de neurones On distingue deux types de neurones avec ou sans biais d entrée (bias input). Le poids w sert à amplifier ou à atténuer l'effet du stimulus sur la réponse. Figure 3 : Neurone avec ou sans biais d entrée (bias input) Laboratoire # 3 - Robotique et vision artificielle - GEN1593 Page - 3 / 16

4 Préparation Donner les valeurs de sortie d un neurone à 2 entrées si : le vecteur augmenté d entrée x = [1, 4, -3] et le vecteur de poids de pondération w = [-0.4, -0.5, 1], Pour la fonction d activation : a) binaire à seuil, b) linéaire à seuil. Avant de se présenter au laboratoire vous devez remettre vos préparations par courriel. Laboratoire # 3 - Robotique et vision artificielle - GEN1593 Page - 4 / 16

5 Manipulations Partie I : Utilisation de l interface graphique «Neural Network Fitting Tool» Dans la fenêtre de commande de Matlab exécuter les commandes suivantes : load housing % Charger les données nftool Appuyer sur «Next» pour continuer, ensuite sélectionner p et t des menus déroulants : Laboratoire # 3 - Robotique et vision artificielle - GEN1593 Page - 5 / 16

6 Vous allez remarquer que les entrées et les cibles sont déjà assignées pour un intervalle de [-1,1]. Appuyer sur «Next» pour continuer, vous allez remarquer que «validation» et «test data sets» sont a 20% de la valeur des données d origine. Appuyer sur «Next» pour continuer, vous allez remarquer que le nombre des neurones cachés est de 20, vous pourrez le changer plus tard. Une fois que le réseau est créé, appuyé sur «Train» pour réaliser l apprentissage. Laboratoire # 3 - Robotique et vision artificielle - GEN1593 Page - 6 / 16

7 Cette fois l apprentissage a pris 20 itérations Laboratoire # 3 - Robotique et vision artificielle - GEN1593 Page - 7 / 16

8 Appuyer sur «View Regression» dans la fenêtre de «Neural Network Fitting Tool» Laboratoire # 3 - Robotique et vision artificielle - GEN1593 Page - 8 / 16

9 Le même résultat peut être obtenu en utilisant les commandes suivantes : load housing [p2,ps] = mapminmax(p); [t2,ts] = mapminmax(t); [trainv,val,test] = dividevec(p2,t2,0.20,0.20); net = newff(minmax(p2),[20 1]); [net,tr]=train(net,trainv.p,trainv.t,[],[],val,test); a2 = sim(net,p2); a = mapminmax('reverse',a2,ts); [m,b,r] = postreg(a,t); Pour plus de détails vous pouvez consulter l aide de Matlab la section suivante : «Using Command-Line Functions :: Getting Started (Neural Network Toolbox)» Appuyer sur «Next» dans la fenêtre de «Neural Network Fitting Tool» pour évaluer le réseau. Si vous êtes satisfait, appuyer sur «Next» pour sauvegarder le réseau. Ensuite appuyer sur «Finish» pour terminer. Laboratoire # 3 - Robotique et vision artificielle - GEN1593 Page - 9 / 16

10 Partie II : La fonction de transfert La fonction d activation : de seuillage ou fonction de transfert sert à introduire une non-linéarité dans le fonctionnement du neurone. Les fonctions de seuillage présentent généralement trois intervalles : 1. en dessous du seuil, le neurone est non-actif; 2. aux alentours du seuil, une phase de transition; 3. au-dessus du seuil, le neurone est actif. Les trois les plus utilisées sont les fonctions : «Seuil» (en anglais «hard limit») «Linéaire» «Sigmoïde». Comme son nom l indique, la fonction seuil applique un seuil sur son entrée. Plus précisément, une entrée négative ne passe pas le seuil, la fonction retourne alors la valeur 0 (on peut interpréter ce 0 comme signifiant faux), alors qu une entrée positive ou nulle d épaisse le seuil, et la fonction retourne 1 (vrai). Pour visualiser la fonction «seuil», dans la fenêtre de commande de Matlab exécuter les commandes suivantes : n = -5:0.1:5; a = hardlim(n); plot(n,a,'c+') Figure 4 : La fonction : «Seuil» Pour visualiser la fonction «linéaire», dans la fenêtre de commande de Matlab exécuter les commandes suivantes : a = purelin(n); plot(n,a,'r+') Laboratoire # 3 - Robotique et vision artificielle - GEN1593 Page - 10 / 16

11 Figure 5 : La fonction : «Linéaire» Pour visualiser la fonction «sigmoïde», dans la fenêtre de commande de Matlab exécuter les commandes suivantes : a = logsig(n); plot(n,a,'r+') Dans Simulink les fonctions de transfert sont : Figure 6 : La fonction : «Sigmoïde» Laboratoire # 3 - Robotique et vision artificielle - GEN1593 Page - 11 / 16

12 Figure 7 : Fonctions de transfert Partie III : Le fonctionnement d'un neurone avec NND A ) Dans la fenêtre de commande de Matlab exécuter la commande suivante : nnd2n1 Neural Network DESIGN One-Input Neuron Input Linear Neuron: a = purelin(w*p+b) p w a Alter the weight, bias and input by dragging the triangular shaped indicators. w 1 b 4 Pick the transfer function with the F menu. Watch the change to the neuron function and its output b a F: p Chapter 2 On vous demande de modifier les valeurs du poids w et du biais d entrée (bias input) b et de visualiser l'effet du stimulus sur la réponse. N oublier de décrire ce que vous observez. B) Dans la fenêtre de commande de Matlab exécuter la commande suivante : nnd2n2 Neural Network DESIGN Two-Input Neuron Input p(1) p(2) w(1,1) w(1,2) 1 Linear Neuron F n 6-6 b a Alter the input values by clicking & dragging the triangle indicators. Alter the weights and bias in the same way. Use the menu to pick a transfer function. Pick the transfer function with the F menu. The net input and the output will respond to each change a = purelin(w*p+b) Chapter 2 On vous demande de modifier les valeurs des entrées p(1) et p(2), du poids w et du biais d entrée (bias input) b et de visualiser l'effet du stimulus sur la réponse. N oublier de décrire ce que vous observez. Laboratoire # 3 - Robotique et vision artificielle - GEN1593 Page - 12 / 16

13 Partie IV : Un premier exemple de simulation de RNA avec Matlab L objectif de cette partie est d utiliser l approche matricielle pour la simulation des réseaux de neurones sans rétro-propagation avec Matlab. A - Simulation avec des entrées concurrentes dans un réseau statique La figure suivante présente le fonctionnement d'un neurone tel que l'ont décrit Mc Culloch et Pitts. Il s'agit d'une unité arithmétique faisant la somme pondérée des signaux reçus en entrée à laquelle on applique une fonction de transfert, ici la fonction lineaire, afin d'obtenir la réponse de la cellule (notée a). Avant d exécuter les commandes suivantes, on vous demande de consulter l aide de Matlab pour la commande newlin et d expliquer brièvement le fonctionnement. net = newlin([1 3 ; 1 3],1); % W = [1 2]; net.iw{1,1}=[1 2]; % b = [0]; net.b{1}=0; P = [ ; ]; A = sim(net,p) B - Simulation avec des entrées séquentielles dans un réseau dynamique Simulation avec des entrées concurrentes : Laboratoire # 3 - Robotique et vision artificielle - GEN1593 Page - 13 / 16

14 net = newlin([-1 1],1,[0 1]); net.biasconnect = 0; net.iw{1,1} = [1 2]; P = { }; A = sim(net,p) C - Simulation avec des entrées concurrentes dans un réseau dynamique P = [ ]; A = sim(net,p) P = {[1 4] [2 3] [3 2] [4 1]}; A = sim(net,p) Partie V : Un premier exemple d apprentissage de RNA avec Matlab L'objectif de l'apprentissage est de fournir une méthode au réseau afin qu'il puisse ajuster ces paramètres lorsqu'on lui présente des exemplaires à traiter. On distingue habituellement trois paradigmes d'apprentissage : supervisé, non supervisé et hybride. Supervisé Dans ce cas on fournit au réseau la donnée à traiter mais aussi la réponse attendue. Le réseau effectue une évaluation de la donnée, puis compare la valeur obtenue avec la valeur désirée, il va ensuite modifier ses paramètres internes afin de minimiser l'erreur constatée. Non supervisé Dans ce cas aucune information (en plus des données à apprendre) n'est fournie au système. Celui-ci est amené à découvrir la structure sous-jacente des données afin de les organiser en clusters. Hybride Cette approche combine méthodes numériques et méthodes symboliques. Certains, utilisent le terme d'apprentissage hybride pour parler d'un couplage supervisé, non supervisé ; dans ce cas il s'agit d'un réseau qui met en parallèle ou en série un réseau entraîné en mode supervisé et un autre en mode non supervisé. Dans Matlab l apprentissage est lancé soit par la fonction adapt (incrémental) soit par train (par paquets). Ces 2 fonctions auront le même effet. A - Apprentissage incrémental dans un réseau statique net = newlin([-1 1;-1 1],1,0,0); net.iw{1,1} = [0 0]; net.b{1} = 0; P = {[1;2] [2;1] [2;3] [3;1]}; T = { }; Apprentissage incrémental [net,a,e,pf] = adapt(net,p,t); Si on modifie le taux d apprentissage a 0,1 vous allez voir comment le réseau va se réajuster par rapport aux entrées. net.inputweights{1,1}.learnparam.lr=0.1; net.biases{1,1}.learnparam.lr=0.1; [net,a,e,pf] = adapt(net,p,t); Laboratoire # 3 - Robotique et vision artificielle - GEN1593 Page - 14 / 16

15 B - Apprentissage incrémental dans un réseau dynamique net = newlin([-1 1],1,[0 1],0.1); net.iw{1,1} = [0 0]; net.biasconnect = 0; L apprentissage incrémental de ce réseau présente les entrées et les cibles comme éléments de chaque matrice ou tableau. Pi = {1}; P = {2 3 4}; T = {3 5 7}; [net,a,e,pf] = adapt(net,p,t,pi); Partie VI : Architecture optimale L objectif de cette partie est de trouver l architecture optimale d un réseau multicouche pour la classification de données de «Iris». On vous demande d utiliser deux ensembles de données : un ensemble d exemples (50%) et un ensemble de données pour la vérification (50%). Essayer les architectures à différente taille en termes de nombre de couches et de nombre de neurones. Donner la valeur minimale de l erreur obtenue sur l ensemble de données de vérification, ainsi que les paramètres de la meilleure architecture du réseau. Pour importer les données dans l espace de travail load iris; Les 4 premières colonnes, on les traite comme les données d'entrée, A1, A2, A3, A4 et la 5e colonne signifie les 3 classes (sorties). Commentaires sur le bon ou le mauvais fonctionnement du réseau de neurones. Comparaison des sorties du réseau de neurones avec le vecteur à trouver. Une brève critique sur l'approche utilisée. Rapport Avant la fin de la séance, vous devrez remettre : %% Le script de Matlab commenté. % Commentaires sur le bon ou le mauvais fonctionnement... % Avant 09 :00 AM 7 jours après la fin de ce laboratoire, vous devrez remettre un compte rendu individuel. Laboratoire # 3 - Robotique et vision artificielle - GEN1593 Page - 15 / 16

16 Annexe A %% Feed-Forward Network - Apprentissage par rétro-propagation % la commande newff est utilisée pour créer un réseau MLP %% On peut créer un réseau simplement avec par exemple : % >> net = newff(pr,[ncc ncs],{'logsig','logsig'}) % PR matrice valeurs min. et max. des entrées, % ncc nombre des neurones de la couche cachée, % ncs nombre des neurones de sortie % et l entraîner avec : % >> [net,tr] = train(net,p,t) %% Matrice des valeurs min. et max. des entrées % c est le nombre de lignes de la matrice PR (paramètre d entrée) % qui indique le nombre de variables d entrée. PR = [0 1; 0 1]; %% nbre neurones couche cachée, ncc = 2; %% nbre neurones sortie ncs = 1; %% Créer le réseau net = newff(pr,[ncc ncs],{'logsig','logsig'}); % net = newff([0 1; 0 1],[2 1],{'logsig','logsig'}); %% Matrice des entrées qui illustre la fonction logique xor % les vecteurs de données d entrée doivent être placés % dans les colonnes d une matrice P P = [ ; ]; %% Matrice des sorties % les données de sortie à obtenir doivent être placées dans un vecteur % ligne T T = [ ]; %% Afficher les données plotpv(p,t); %% on simule la sortie de réseau en faisant % une initialisation du réseau de neurone Y = sim (net, P) %%! keyboard %% On entraîne le réseau % pour itérations! net.trainparam.show = 5; net.trainparam.epochs = 10000; net = train(net,p,t); %% % La figure suivante décrit l'entraînement du réseau. %% On simule de nouveau la sortie du réseau Y = sim (net, P) Laboratoire # 3 - Robotique et vision artificielle - GEN1593 Page - 16 / 16