SY09 Rapport TP2 : Analyse factorielle d un tableau de distances, classification automatique

Transcription

1 UNIVERSITÉ DE TECHNOLOGIE DE COMPIÈGNE SY09 Rapport TP2 : Analyse factorielle d un tableau de distances, classification automatique CUNI Frédéric 21 avril 2015 Objectifs du TP : Le but de ce TP est l application de l analyse factorielle d un tableau de distances (AFTD) ainsi que la clarification automatique. l ADTD ou positionnement multidimensionnelle a pour objectif d obtenir une représentation fidèle des données dans des espaces euclidiens de faible dimension, souvent le plan, à partir d un tableau de proximités entre les individus (ce qui diffère de l analyse en composante principale du TP1). CUNI Frédéric - P15 1

2 1 Analyse factorielle d un tableau de distances On considère le tableau de données suivants : X = Tableaux des distances euclidiennes et matrice des produits scalaires Le tableau D 2 se calcul en R avec la fonction "dist" et nous permet d obtenir la matrice suivante La matrice des produits scalaires W s obtient en effectuant le produit matricielle du tableau de X par sa transposé X ou alors par le calcul suivant : W = 1 2 Q n D 2 Q n D = W = Pour constater que W ou 1 W est semi définie positive il faut vérifier que ses valeurs n propres soient supérieures à 0. Pour se faire on utilise la fonction eigen( 1 W ), qui calcule 8 les valeurs et vecteurs propres de W On obtient les valeurs propres suivantes : 51.6, 11.1, 1.2e 15, 1.1e 15, 3.76e 16, 8.63e 17, 1.19e 16, 7.2e 16. On peut remarquer que seul deux valeurs propres ont des valeurs bien définies tandis que les autres sont très proches de 0. Ceci se justifie par le fait que le rang(x) = 2. On peut donc conclure que W est semi définie positive Matrice B des vecteurs propres et matrice L diagonale des valeurs propres La matrice B correspond à la matrice des vecteurs propres de 1 8 W et la matrice L correspond à la matrice diagonale des valeurs propres de 1 8 W. On obtient les matrices ci- CUNI Frédéric - P15 2

3 dessous : B = e e L = e e e e Représentations multidimensionnelle fournie par l AFTD et du nuage X Dans un premier temps, il faut calculer les composantes principales C = B L et de tracer une représentation C qui correspond à la représentation multidimensionnelle fournie par l AFTD, ainsi que de tracer le nuage associé au tableau initial X pour pouvoir ensuite les comparer. Nous obtenons les deux représentations ci-dessous : On peut constater que les deux représentations sont relativement proches, cependant à une isométrie prêt. Dans cet exercice, nous avions dès le départ la représentation, mais le but de ce-dernier était de nous faire comprendre et appliquer l ADTD. CUNI Frédéric - P15 3

4 1.1.3 Fonction AFTD en R La fonction ci-contre, correspond à la fonction aftd qui prend en argument d entrée la distance D et comment argument de sortie la représentation multidimensionnelle calculée par l AFTD ainsi que la qualité de cette représentation. 1.2 Données de mutations Utilisation de la fonction AFTD précédente et de cmdscale L AFTD des données mutations ont été effectué cicontre par le biais de la fonction cmdscale et de la fonction réalisée dans la partie précédente. On constate que l on obtient la même représentation à une isométrie prêt. En effet, l AFTD met en pratique une ACP, or nous savons que lors du calcul de l ACP, les vecteurs propres sont définis au signe prêt ce qui explique les sens opposé d une méthode à l autre AFTD avec un nombre de variables de représentations et diagramme de Shepard Une AFTD est donc réalisée avec un nombre de variables d de représentations allant de 2 à 5 avec les diagrammes de Shepard correspondant (figure cicontre). Cela signifie que pour la représentation en dimension 2, on prend 2 composantes principales, pour la représentation en 3 dimensions on prend 3 composantes principales,... Le diagramme de Shepard permet de mesurer la qualité de représentation du tableau D(X2),D(X3),... obtenu en fonction de δ. On constate donc que plus on prend de composantes principales, plus la représentation est bonne c est à dire plus on se rapproche de la première bissectrice sans jamais l atteindre car δ n est pas euclidien. En conclusion, le diagramme de Shepard avec 5 dimensions à donc la meilleure qualité de représentation. CUNI Frédéric - P15 4

5 2 Méthodes des centres mobiles 2.1 Données Iris Partition en k (2,3,4) classes avec la fonction kmeans Nous allons visualiser le résultat du partitionnement des données iris avec l algorithme des kmeans, pour différentes valeurs de K (nombre de classes pour la partition). Au préalable il faut définir un nouveau jeu de données NewIris qui ne prend pas en compte l espèce. En effet, si on ne fait pas abstraction de l espèce, la fonction kmeans va partitionner les données en espèces. On peut constater une diminution de la somme des inerties intra-classes, et une agrégation en boules plus k augmente Stabilité du résultat de la partition On réalise ici plusieurs classification en K = 3 classes du jeu de données. On fait pour cela 4 tests des kmeans et on cherche à savoir s ils sont égaux. Pour cela on regarde le critère d inertie intra-classe entre les différents lancés. Lancé Inertie intra-classe Lancé Lancé 2 79 Lancé 3 79 Lancé Lancé Lancé Le résultat des kmeans dépend du positionnement de départ car l algorithme trie au hasard les points de départs. Pour k = 2, on obtient tout le temps le même résultat d inertie intraclasse, et pour k = 3, tableau ci-contre, on obtient deux résultats. L algorithme des kmeans tire 100 points au hasard donc on obtient 100 tirages différents. Or nous constatons que 2 valeurs possibles d inertie intra-classe pour 100 tirage différents, ce qui permet de dire que c est stable. Nous savons que l algorithme ne garde que le critère d inertie le plus faible, il suffirait donc d effectuer plusieurs lancés et de ne garder que le critère d inertie intra-classe minimum. CUNI Frédéric - P15 5

6 2.1.3 Nombre de classe optimale Pour effectuer n = 100 classifications en prenant K = 2 classes jusqu à K = 10 classes, on a réalisé une fonction qui permet d effectuer 9 échantillons contenant 100 valeurs d inertie intra-classe chacun, donc les lignes correspondent aux valeurs de K, et les 100 colonnes correspondent aux inerties intra-classes. L algorithme des kmeans minimise l intertie intra-classe et c est donc le but recherché ici. Nous savons que plus K est grand plus l inertie intra-classe est faible. Pour les valeurs obtenues précédemment, nous allons donc calculer la somme des 100 lignes pour avoir les inerties intra-classe minimum. Pour chaque valeur de K on calcul l inertie intra-classe minimale et on représente la variation d inertie minimale en fonction de K. En effet, on entre dans une matrice les inertie minimum en fonction de K, et on représente cette variation (figure ci-contre). On utilise la méthode du coude pour connaître la valeur de K à retenir. En effet, cette méthode consiste à sélectionner une valeur de K = nombre de classes résumant bien les données par rapport à une inertie intra-classe faible. On peut donc voir ici que cette valeur correspond à K = Comparaison partition réelle, partition des centres mobiles La méthode des centres mobiles suggère une partition en deux classes, ce qui est différent de la partition réelle (classe = 3) correspondant aux 3 espèces. Cela peut se traduire par le fait que deux des trois classes d iris sont très proches. Pour K = 3, nous retrouvons les trois espèces d origine. On peut constater que cest un bon résultat car en effet, la classe 2 permet d identifier les setosa, la classe 1 les versicolor, tandis que la classe 3 permet d identifier les virginica. Espèce Classe 1 Classe 2 Classe 3 Setosa Versicolor Virginica CUNI Frédéric - P15 6

7 2.2 Données Crabs Classification des données Crabs à l aide des centres mobiles Le même raisonnement que précédemment est alors effectué sur les données Crabs. On utilise la fonction précédente créée afin d obtenir plusieurs classifications en prenant K = 1 jusqu à 10. On calcul ensuite les inerties intra-classe minimum et on représente ces inerties en fonction des valeurs de K. On obtient la représentation ci-contre. On peut ainsi trouver la valeur de K suggérer par le graphique qui est donc K = 4. Ceci est plausible car dans les données Crabs nous avons 2 espèces et 2 sexes Comparaison partition réelle, partition des centres mobiles La méthode des centres mobiles suggère une partition en 4 classes, ce qui est en concordance avec la partition réelle correspondant aux 2 espèces et aux 2 sexes. Pour K = 4, nous retrouvons les espèces d origine ainsi que leur sexe. On peut remarquer que le partitionnement obtenu est très correct. On voit ainsi, au travers de cet exemple, que l algorithme des kmeans est très puissant et permet de donner une représentation très proche des données réelles. Espèce Classe 1 Classe 2 Classe 3 Classe 4 Pour K = 4, nous retrouvons les deux espèces d origine ainsi que leur sexe comme le montre le tableau ci-contre. On peut constater que cest un bon résultat car en effet, en prenant K = 4 classes, on peut aussi bien retrouver l espèce associé que le sexe des crabes. B O Sexe Classe 1 Classe 2 Classe 3 Classe 4 F M CUNI Frédéric - P15 7

8 2.3 Données Mutations Au préalable de l étude, il faut tout d abord calculer une représentation des données mutations dans un espace de dimension d = 5 sur laquelle on pourra utiliser la fonction kmeans. Une foi la représentation définie, il nous faut effectuer plusieurs classifications de cette représentation en K = 3 classes. Pour ce faire nous utilisons la fonction mut ci-contre, qui nous permet d effectuer 100 classifications différentes et permet de stocker dans un matrice les inerties intra-classes obtenues à partir de ces lancés. La représentation ci-joint est celle de la matrice contenant les inerties intra-classe des différents lancés. On peut constater que celles-ci sont très disparates. En effet, comparé aux données Iris avec K = 3, nous n avions que 2 valeurs répétitives de données intra-classe. Or ici nous obtenons de nombreuses valeurs différentes. On peut donc conclure que le résultat est instable car il dépend du positionnement de départ car l algorithme des kmeans trie au hasard les points de départs. Conclusion du TP : Ces différents exercices nous on permis d utiliser et d analyser des tableaux de distances ainsi qu à différentes méthodes pour les représenter. Nous avons utiliser en première partie l AFTD qui permet de donner une représentation des données de départ très proche des données réelles. En seconde partie, nous avons utilisé l algorithme des kmeans qui partitionne le tableau de données de départ. Celui-ci nous à permis de comprendre l interrogation du nombre de classes K à choisir et la méthode pour y parvenir : la méthode du coude. On a de plus, constater que cette méthode peut suggérer un choix de classe différent des données réelles. Cependant, la représentation obtenu était très proche des donnes réelles de départs. CUNI Frédéric - P15 8