Reconnaissance des Formes Travaux Pratiques, 1 ère séance /4 - Corrigé partiel -

Transcription

1 Reconnaissance des Formes Travaux Pratiques, 1 ère séance /4 - Corrigé partiel - Modalités de déroulement o séance en salle Linux o compte-rendu à remettre à l'issue de la séance Objectif de la séance o Affichage de données par la méthode de Sammon ; étude des méthodes de classification kppv, nuées dynamiques, VQ, LVQ o Cas traités : images de chiffres manuscrits brutes et images de caractères manuscrits pré-traités o Langages et environnements de programmation : C, Scilab 1) Affichage de Sammon 1.1) Appliquer l'utilitaire "sammon" du LVQ_PAK aux données des fichiers "iris.don", "wine.don" et "chiffres300.don". Déterminer des paramètres adéquats pour chacun de ces fichiers. Remarque : Le LVQ_PAK peut traiter des fichiers de donnée d extension.dat, un format un peu différent du format.don (voir document "lvq_pak.pdf" à www-rdf.efrei.fr). Cet commande peut s appliquer à des vecteurs de données, qu il s agisse de vecteurs dans un fichiers d origine (comme les fichiers.don), ou des vecteurs représentatifs dans des fichiers.cod générés par le LVQ_PAK. Remarques importantes, comme indiqué la page web du module RdF : - ajouter en début de fichier le nombre de caractéristiques, soit vérifier qu en fin de fichier, il n y a pas de retour à la ligne Syntaxe de la commande : > sammon cin chiffres2.don cout chiffres2.sam rlen ps 1 "rlen" est le nombre d itération de l algorithme (rappel : cet algorithme est basé sur la descente de gradient d un critère d erreur). L inconvénient d un nombre fixe d itérations est que l on risque d arrêter l algorithme alors que le critère n est pas suffisamment faible pour que le résultat soit révélateur de la réalité. 1.2) Visualiser ces résultats également avec Scilab, en utilisant le fichier d'extension ".sam" généré par l utilitaire "sammon". On pourra s'inspirer du programme "essai_xnumb.sce", qui est une application basique de la fonction Scilab "xnumb", permettant d'afficher des nombres sous forme graphique. Générer un fichier graphique de type.gif et l'insérer dans le compte-rendu. Le programme donné en exemple sur le site www-rdf.efrei.fr "essai_xnumb.sce" est le suivant : 1

2 plot2d([-100,500],[-100,600],[-1,-1],"022") x=[10,20,30]; y=[10,20,30]; n=[1,2,3]; xnumb(x,y,n,0) Module de Reconnaissance de Formes, , Benoît Decoux On écrit un programme pour afficher les points à 2D contenus dans le fichier d extension.sam généré par l utilitaire sammon du LVQ_PAK (programme "xnumb_sammon.sce") : a1=fscanfmat('/home/benoit/rdf/outils/som_pak-3.1/tmp.sam'); plot2d([-100,500],[-100,600],[-1,-1],"022") xnumb(a1(:,1)/ ,a1(:,2)/ ,a1(:,3),0) xs2gif(0, "tmp1.gif", 1) Pour les données du fichier "chiffres.don", le fichier.gif généré est le suivant : 1.3) Interpréter ces résultats du point de vue du problème de classification posé (classes entremêlées, classes bien distinctes des autres, etc). Dans le cas des données Iris, la classe Setosa est bien distincte des 2 autres, et devrait pouvoir être classifiée avec un taux proche de 100%. Par contre, les classes Versicolor et Virginica se chevauchent partiellement, par conséquent leur taux de classification ne devrait pas atteindre 100%. Les données des fichiers "chiffres.don" et "caract_holland.don" concernent des chiffres manuscrit et des caractères manuscrits (respectivement), mais la grande différence entre eux est que le premier est constitué d images brutes, alors que le 2 e contient des éléments caractéristiques ayant été extraits de ces données. 2) Classification par kppv 2.1) Appliquer l'algorithme des kppv du programme "kppv.c" aux données du fichier "caract_holland.don" puis celle du fichier "chiffres.don". Mettez en évidence l'influence de k et du nombre de vecteurs initialement classés sur les résultats en testant quelques valeurs différentes. 2

3 La syntaxe de la commande, par exemple pour k=3 et i=5 (nombre de vecteurs déjà classés en début d algorithme), est la suivante : > kppv caract_holland.don k=3 i=5 Avec différentes valeurs des paramètres i et k, les résultats sont les suivants : caract_holland.don : chiffres.don : i k=1 k=3 k=5 k=7 5 46,6 30,8 30, ,3 44,7 45,8 44, ,1 59,3 53, ,1 65,4 63, ,3 72, ,1 i K=1 k=3 k=5 k=7 5 61,8 58,3 52,1 43, , ,2 59, ,6 76,9 73,7 72, ,6 78,8 76,3 76, ,8 79,5 83,6 78,4 2.2) Mêmes tests avec l utilitaire "knntest" LVQ_PAK. Déterminer les paramètres adéquats et préciser la syntaxe de la commande. L étape préalable à la classification est la recherche de vecteurs de référence, par l utilitaire "eveninit". Le critère utilisé par cet utilitaire pour dire si un vecteur est représentatif ou non, est qu il soit correctement classé par la méthode des kppv (voir doc du LVQ_PAK). Par exemple, si l on souhaite 5 exemples initiaux pour chaque classe, cela signifie un paramètre "noc" égal à 26 5=130. Les options à indiquer au programme sont : "noc" = 26 5 = 130 ; din indique le fichier de données d entrée ; cout indique le fichier des vecteurs de référence, avec lesquels seront comparés les vecteurs à classer. La ligne de commande correspondante est donc : > eveninit din caract_holland.don cout caract_holland.cod noc 130 La classification proprement dite peut alors avoir lieu : > knntest din caract_holland.don cin caract_holland.cod knn 3 Les résultats obtenus avec différentes valeurs de k, et différentes valeurs du nombre de vecteurs représentatifs (noc) sont : 3

4 caract_holland.don : chiffres.don : Module de Reconnaissance de Formes, , Benoît Decoux noc k=1 k=3 k=5 k=7 5 44,4 43,5 39,9 37, ,9 49,6 47, ,4 64,5 59,8 56, ,9 72,3 68,1 64, ,9 73,5 70,2 noc k=1 k=3 k=5 k=7 5 66,8 61,4 56,8 54, ,1 73,6 69,7 67, ,4 80,5 79,5 77, ,7 83,1 81, ,1 84,3 83,4 82,2 Pour obtenir des résultats acceptables, il faut utiliser plus de vecteurs représentatifs (paramètre "noc") pour chaque classe. Par exemple avec 1040 vecteurs représentatifs (soit 80 exemples pour chacune des 26 classes), soit 1/10 e du fichier de données, le résultat atteint environ 80 %. En prenant une valeur encore plus grande pour "noc", les résultats auraient été forcément meilleurs puisqu on aurait utilisé l information de classe réelle pour un plus grand nombre de vecteurs. Par exemple avec noc=20000, chaque vecteur de donnée serait devenu un vecteur de référence, et le résultat aurait été proche de 100 % de reconnaissance (mais la généralisation de la reconnaissance n aurait pas été testée). 2.3) Interprétez les résultats de ces tests, du point de vue : o De la comparaison entre les programmes kppv.c et knntest ; o Des paramètres optimaux pour les programmes et les deux types de données utilisés ; o Des deux types de données utilisés. D après les résultats des 2 exercices précédents, on peut constater que les programmes knntest et kppv donnent à peu près les mêmes résultats, ce qui est logique, même si les 2 implémentations ne sont pas tout à fait identiques. Etonnamment, c est avec la valeur la plus faible de k que les résultats sont les meilleurs, ce qui signifie qu il suffit de regarder la classe du vecteur le plus proche du vecteur à classer, et lui affecter, pour obtenir la meilleure classification possible. Quand au paramètre du nombre de vecteurs dont la classe est connue pour démarrer l algorithme (i pour kppv.c et noc pour knntest), plus il est grand, meilleure est la classification. Ce qui est logique, car plus on donne de vecteurs déjà classés à l algorithme, plus on lui apporte d information sur les classes. 3) Classification par apprentissage compétitif : nuées dynamiques, VQ et LVQ 3.1) Le programme "compet.c" permet de tester, entre autres, la méthode des nuées dynamiques. L appliquer aux données des fichiers "caract_holland.don" puis "chiffres.don". Tester dans les deux cas différentes valeurs de paramètres de l algorithme, et leur influence sur les résultats. 4

5 L algorithme des nuées dynamiques est le numéro 1 parmi les 3 méthodes implémentées dans ce programme (les 2 autres sont VQ et LVQ). Le paramètre "m" doit donc être égal à 1. Le nombre de présentation de la base d apprentissage peut être égal à 1. En effet les vecteurs de références sont obtenus par calcul de moyennes, donc ils sont complètement déterminés après la 1 ère présentation. Le paramètre "n" peut donc être égal à 1. Le paramètre restant est le nombre de vecteurs utilisés pour calculer le vecteur moyen initial. Il s agit du paramètre "i". Les résultats sont rassemblés dans le tableau de la question suivante. La syntaxe de la commande, par exemple pour i=5 (nombre de vecteurs utilisés pour calculer le vecteur représentant initial), est la suivante : > compet caract_holland.don i=5 m=1 m est le numéro de méthode (1=nuées dynamiques). 3.2) Même chose avec les versions VQ et LVQ de compet.c. Expliquer les points communs et différences entre ces méthodes et les nuées dynamiques. Les résultats obtenus sont : chiffres.don : caract_holland.don : noc\m nuees vq lvq (*) 5 70,3 72,8 70, ,8 69, ,6 75,6 81, ,7 80,8 79, ,5 76,4 85,1 noc\m nuees vq lvq (*) 5 28,3 26,6 56, ,5 61, ,5 35,5 60, ,2 37, ,8 38,1 63,2 (*) noc : nombre de vecteurs représentatifs ; m : méthode de classification 3.3) Essayer d obtenir des résultats encore meilleurs avec quelques variantes de cette même méthode du LVQ_PAK. Les différentes versions de l algorithme LVQ du LVQ_PAK sont : LVQ1, LVQ2.1, LVQ3 et OLVQ1. Les paramètres communs à toutes ces versions sont : Le nombre d exemples représentatifs par classe (" noc" pour "number of codebook vectors") ; On applique l apprentissage avec la moitié des données et la reconnaissance avec l autre moitié. 5

6 Les autres paramètres sont : o Pour LVQ2.1 et LVQ3, la taille de la fenêtre ("win") ; o Pour LVQ3 : epsilon (voir règle d apprentissage). Pour générer le fichier contenant les vecteurs représentatifs des classes, on peut utiliser l utilitaire "eveninit". Le fichier généré porte l extension ".cod". Avec les données du fichier "caract_holland.don", pour avoir 1 exemple représentatif par classe, on écrit " noc 26" dans la ligne de commande ; en effet, il y a 26 classes et "eveninit" répartit les exemples représentatifs équitablement entre toutes les classes. Pour 5 exemples représentatifs par classe on écrit simplement " noc 130". Pour distinguer les vecteurs d apprentissage et les vecteurs de test, le plus simple est de diviser le fichier de données initial en 2 fichiers de tailles à peu près égales : "holland_a.don" et "holland_r.don" ("a" pour apprentissage et "r" pour reconnaissance). Pour exemples représentatifs par classe, on entre la commande : eveninit din holland_a.don cout holland1.cod noc 130 Le taux d apprentissage (paramètre "alpha") est pris égal à 0,02 et le nombre de cycles d apprentissage ("rlen") à 10000, mais une étude complète nécessiterait de tester plusieurs valeurs différentes. La reconnaissance est testée avec le 2 e fichier. lvq1 din holland_a.don cin holland1.cod cout holland2.cod rlen alpha 0.02 Pour la version 2.1 il faut ajouter un paramètre de largeur de fenêtre : par exemple " win 0.3" : lvq2 din holland_a.don cin holland1.cod cout holland2.cod rlen win 0.3 Pour lvq3 il y a un paramètre en plus par rapport à lvq2.1 : par exemple " epsilon 0.1". lvq3 din holland_a.don cin holland1.cod cout holland2.cod rlen win 0.3 epsilon 0.02 Pour "olvq1" (version à taux d apprentissage optimisé), il faut d abord utiliser l utilitaire "balance", qui détermine des taux d apprentissage différents pour chaque classe, et les place dans un fichier ".cod". Le programme "balance" calcule les médianes des distances les plus courtes entre les prototypes de chaque classe et les égalise. Elle ajuste le nombre de prototypes par classe, pour qu il soit optimal. balance din holland_a.don cin holland1.cod cout holland1a.cod puis olvq1 din holland_r.don cin holland1a.cod cout holland2.cod rlen A chaque fois il faut visualiser le résultat de la classification à l aide de l utilitaire "classify". Les arguments sont : - le fichier des vecteurs représentatifs modifiés par apprentissage ("holland2.cod" dans l exemple) ; - le fichier de données initial. accuracy din holland_r.don cin holland2.cod 6

7 Les taux de reconnaissance obtenus avec ces différentes méthodes et les différents paramètres sont les suivants : Chiffres.don : noc\m lvq1 lvq2.1 lvq3 olvq1 (*) 1 86, ,4 5 92,2 92,8 92,2 91, ,4 90, , ,8 90,8 90,6 94, ,8 90,8 91,4 95, ,6 91,2 95,6 Caract_holland.don : noc\m lvq1 lvq2.1 lvq3 olvq1 1 46,1 41,1 41,4 80,5 5 55,9 55,6 55,7 66, ,8 63,4 63,5 73, ,1 71,3 71, ,2 77,5 77,5 85, ,1 80,3 80,5 87,2 (*) noc : nombre de vecteurs représentatifs ; m : méthode de classification 3.4) Visualiser certaines parties du processus de classification (par exemple, en représentant par une couleur les classifications correctes, et par une autre les classifications incorrectes, en mettant en évidence le vecteur prototype, sa position en début et en fin d algorithme, etc). A venir 3.5) Proposer (et tester) quelques améliorations de compet.c, par exemple du point de vue du temps de traitement. A venir 7