Analyse de données avec Complémentarité des méthodes d analyse factorielle et de classification

Transcription

1 Analyse de données avec Complémentarité des méthodes d analyse factorielle et de classification François Husson & Julie Josse Laboratoire de mathématiques appliquées Agrocampus Rennes husson@agrocampus-ouest.fr

2 Plan Qu est-ce que et pourquoi? Les méthodes classiques et les aides à l interprétation Traitement de données multi-tableaux Complémentarité analyse factorielle - classification Interface graphique

3 Qu est-ce que? Logiciel gratuit de plus en plus utilisé Disponible sous Windows, Mac, Linux Permettant d utiliser et de fabriquer des librairies de fonctions pointues (plus de 2500 librairies) Évolution rapide du logiciel, disponibilité immédiate de nouvelles méthodes ou méthodologies Graphes et sorties facilement exportables Possibilité de modifier / sélectionner les données facilement Possibilité de combiner programmation et utilisation de fonctions pré-définies

4 Pourquoi? Pour pouvoir faire de l analyse de données en utilisant un point de vue géométrique permettant de dessiner des graphes en ayant la possibilité d ajouter de l information supplémentaire sur de nouvelles méthodes (prenant en compte différentes structures sur les données) à l aide d une interface graphique simple d utilisation et orientée vers l utilisateur

5 Les méthodes factorielles Différentes méthodes pour différents formats de données Données Variables quantitatives Table de contingence Variables qualitatives Variables quantitatives et qualitatives Groupes de variables Hiérarchie sur les variables Groupes d individus Méthode An. en Composantes Principales An. des Correspondances An. des Correspondances Multiples An. Factorielle de données mixtes An. Factorielle Multiple An. Factorielle Multiple Hiérarchique An. Factorielle Multiple Duale Fct. PCA CA MCA AFDM MFA HMFA DMFA

6 Les méthodes de classification Méthodes de classification Classification ascendante hiérarchique K-means Fonction HCPC kmeans Méthodes outils Description d une variable quantitative par des variables quantitatives et/ou qualitatives (ex. d une dimension) Description d une variable qualitative par des variables quantitatives et/ou qualitatives (ex. d une classe) Construction d un tableau de données textuel Fonction condes, dimdesc catdes textuel

7 Exemple en ACP Les données : 10 vins blancs (5 Sauvignons, 5 Vouvrays) évalués par des experts selon 27 variables sensorielles Int.av.agitation Int.ap.agitation Expression O.fruit O.passion O.agrume O.fruit.confit S Michaud Sauvignon S Renaudie Sauvignon S Trotignon Sauvignon S Buisse Domaine Sauvignon S Buisse Cristal Sauvignon V Aub Silex Vouvray V Aub Marigny Vouvray V Font Domaine Vouvray V Font Brûlés Vouvray V Font Coteaux Vouvray Astringence Fraicheur Oxydation Finesse Persistance.gustative Persistance.aromatique Appréciation.hédonique Appréciation.olfactive cepage

8 Exemple en ACP Dim 2 (27.64%) V Aub Marigny V Font Coteaux S Renaudie V Font Brûlés S Trotignon S Michaud V Font Domaine S Buisse Cristal S Buisse Domaine V Aub Silex Dim 1 (39.69%) Dim 2 (27.64%) Int.av.agitation Int.ap.agitation Int.attaque Persistance.aromatique Expression amere O.boisee Persistance.gustative acide O.vanille O.alcool Astringence O.fruit.confit Fraicheur O.passion O.champ Oxydation O.agrume Finesse O.florale O.fruit Typicite.olf.chenin O.vegetale sucree Dim 1 (39.69%) > resultat <- PCA(donnees, quali.sup=1, quanti.sup=40:41)

9 Exemple en ACP Introduction d information supplémentaire : Individus supp. Variables qualitatives supp. Dim 2 (27.64%) Sauvignon Vouvray V Aub Marigny V Font Coteaux V Font Brûlés Vouvray V Font Domaine V Aub Silex S Renaudie S Trotignon Sauvignon S Michaud S Buisse Cristal S Buisse Domaine Dim 1 (39.69%) > resultat <- PCA(donnees, quali.sup=1, quanti.sup=40:41)

10 Exemple en ACP Introduction d information supplémentaire : Individus supp. Variables qualitatives supp. Graphes enrichis : en coloriant les individus en fonction d information supplémentaire Dim 2 (27.64%) Sauvignon Vouvray V Aub Marigny V Font Coteaux V Font Brûlés Vouvray V Font Domaine V Aub Silex S Renaudie S Trotignon Sauvignon S Michaud S Buisse Cristal S Buisse Domaine Dim 1 (39.69%) > resultat <- PCA(donnees, quali.sup=1, quanti.sup=40:41) > plot(resultat, habillage=1)

11 Exemple en ACP Introduction d information supplémentaire : Individus supp. Variables qualitatives supp. Graphes enrichis : en coloriant les individus en fonction d information supplémentaire en construisant des ellipses de confiance autour des modalités Dim 2 (27.64%) Sauvignon Vouvray V Aub Marigny V Font Coteaux V Font Brûlés Vouvray V Font Domaine V Aub Silex S Renaudie S Trotignon Sauvignon S Michaud S Buisse Cristal S Buisse Domaine Dim 1 (39.69%)

12 Exemple en ACP Graphes enrichis : variables représentées en fonction de leur qualité de représentation Introduction d information supplémentaire : Variables quantitatives supplémentaires Dim 2 (27.64%) Int.av.agitation Int.ap.agitation Int.attaque Persistance.aromatique Expression amere Persistance.gustative O.boisee acide O.vanille O.alcool Astringence Appréciation.olfactive O.fruit.confit Fraicheur O.passion O.champ O.agrume Oxydation Appréciation.hédonique Finesse O.florale O.fruit Typicite.olf.chenin O.vegetale sucree Dim 1 (39.69%) > resultat <- PCA(donnees, quali.sup=1, quanti.sup=40:41)

13 Exemple en ACP Des indicateurs sont disponibles : Contribution des individus et des variables à la construction des axes Qualité de représentation des individus et des variables > $eig eigenvalue inertia cumulative inertia comp > $ind coord contrib cos2 Dim.1 Dim.2 Dim.1 Dim.2 Dim.1 Dim.2 S Michaud > $var coord contrib cos2 Dim.1 Dim.2 Dim.1 Dim.2 Dim.1 Dim.2 O.agrume > $quanti.sup > $quali.sup coord cos2 v-test Dim.1 Dim.2 Dim.1 Dim.2 Dim.1 Dim.2 Sauvignon > resultat

14 Description des dimensions Par des variables quantitatives : Calcul du coefficient de corrélation entre chaque variable et les coordonnées des individus sur l axe s Tri des coefficients de corrélation Les coefficients significativement différents de 0 sont fournis $Dim.1 $Dim.1$quanti Meilleures variables pour décrire la première dimension > dimdesc(resultat) correlation p.value A.alcool e-04 O.fruit.confit e-04 Typicite.olf.chenin e-03 O.champ e-03 Oxydation e-02 O.vegetale e-03 O.passion e-04 O.florale e-04 Fraicheur e-05

15 Description des dimensions Par les variables qualitatives : Réalisation d une analyse de variance avec les coordonnées des individus sur l axe en fonction de la variable qualitative Réalisation d un test T par modalité $Dim.1$quali R2 p.value cepage e-05 $Dim.1$category Estimate p.value Vouvray e-05 Sauvignon e-05

16 Groupes de variables (AFM) Les groupes de variables peuvent être quantitatifs et/ou qualitatifs Objectifs : un groupe) - équilibrer l influence de chaque groupe de variables - étudier le lien entre groupes de variables - fournir des graphes spécifiques : représentation partielle (individus vus par groupes de variables

17 Exemple d AFM : les données Les données : un panel d experts + 1 panel étudiant + 1 panel conso + données d appréciation + 1 variable qualitative (cépage) Expert (27) Groupes de variables quantitatives Conso (15) Etudiant (15) Appréciation (60) Qlt Cépage (1) Vin 1 Vin 2 Vin 10 > resafm <- MFA(don.comp, group=c(27,15,15,60,1), type=c(rep("s",4),"n"), num.group.sup=c(4:5), name.group=c("expert","conso","etudiant","appréciation","cépage"))

18 Exemple d AFM: représentation des individus Dim 2 (25.1 %) Sauvignon Vouvray S Trotignon S Renaudie Sauvignon S Michaud S Buisse Domaine V Aub Silex S Buisse Cristal Vouvray V Aub Marigny V Font Domaine V Font Brûlés V Font Coteaux Dim 1 (41.44 %)

19 Exemple d AFM : représentation des variables Dim 2 (24.42 %) Expert Conso Int.attaque Etudiant O.Av.Intensite_J2 Expression Int.av.agitation Fraicheur Int.ap.agitation O.passion acide O.Av.Intensite O.Fruitpassion_J2 O.Ap.Intensite_J2 O.Vegetale O.Fruitpassion O.Ap.Intensite Astringent_J2 O.florale Persistance.aromatique O.agrume amere Astringent Amere Equilibre_J2 O.vegetale Persistance.gustative Acide_J2 Finesse Acide G.Intensite O.Champignon_J2 O.Typicite_J2 O.fruit G.Alcool Amere_J2 O.boisee G.Intensite_J2 G.Typicite_J2 O.alcool O.vanille G.Alcool_J2 O.Champignon Equilibre G.Typicite Astringence O.Typicite Int.couleur Nuance.couleur Sucree Impression.surface Sucree_J2 O.fruit.confit Oxydation O.champ sucree O.Vegetale_J2 O.Alcool Typicite.olf.chenin O.Alcool_J Dim 1 (42.52 %)

20 Exemple d AFM : représentation des variables Dim 2 (24.42 %) Expert Conso Etudiant O.Fruitpassion_J2 O.Fruitpassion Sucree Sucree_J2 O.passion sucree acide Astringent_J2 amere Astringent Amere Acide_J2 Acide Amere_J2 Astringence Dim 1 (42.52 %)

21 Exemple d AFM : représentation des groupes Dim 2 (24.42 %) Cépage Expert Appréciation Etudiant Conso Dim 1 (42.52 %)

22 Exemple d AFM : représentation des points partiels Dim 2 (24.42 %) Expert Conso Etudiant S Trotignon S Renaudie S Michaud Sauvignon S Buisse Cristal S Buisse Domaine Vouvray V Font Brûlés V Aub Silex V Aub Marigny V Font Domaine V Font Coteaux Dim 1 (42.52 %)

23 Exemple d AFM : représentation des préférences Dim 2 (24.42 %) > resafm <- MFA(don.comp, group=c(27,15,15,60,1), Dim 1 (42.52 %) type=c(rep("s",4),"n"),num.group.sup=c(4:5), name.group=c("expert","jury 1","Jury 2","Appréciation","Cépage"))

24 Complémentarité analyse factorielle - classification Analyse factorielle comme prétraitement avant classification : transformation des variables qualitative en quantitative (ACM) équilibre de l influence des variables (AFM ou AFMH) suppression des dernières dimensions pour rendre la classification plus robuste Complémentarité graphique : vision continue (axes factoriels) et discontinue (classes) arbre hiérarchique donne une idée de l information portée par les autres dimensions de l analyse factorielle

25 Exemple de classification : arbre hiérarchique Hierarchical Clustering Hierarchical Classification inertia gain CAH sur les coordonnées de l AFM choix du nombre de classes > resclassif <- HCPC(resAFM) V Aub Silex S Trotignon S Renaudie S Michaud S Buisse Domaine S Buisse Cristal V Font Brûlés V Font Domaine V Aub Marigny V Font Coteaux

26 Exemple de classification : arbre hiérarchique Hierarchical Clustering Hierarchical Classification inertia gain CAH sur les coordonnées de l AFM choix du nombre de classes K-Means avec 5 groupes > resclassif <- HCPC(resAFM) V Aub Silex S Trotignon S Renaudie S Michaud S Buisse Domaine S Buisse Cristal V Font Brûlés V Font Domaine V Aub Marigny V Font Coteaux

27 Exemple de classification : arbre en 3D height cluster 1 cluster 2 cluster 3 cluster 4 cluster 5 Hierarchical clustering on the factor map > resclassif <- HCPC(resAFM) S Trotignon S Renaudie V Aub Marigny S Michaud 0 S Buisse Cristal V Font Coteaux -1 S Buisse Domaine V Font Domaine V Font Brûlés V Aub Silex Dim 1 (42.52%) Dim 2 (24.42%)

28 Exemple de classification : partition Dim 2 (24.42%) cluster 1 cluster 2 S Trotignon cluster 3 S Renaudie cluster 4 S Michaud cluster 5 S Buisse Cristal V Aub Marigny V Font Coteaux S Buisse Domaine V Font Domaine V Font Brûlés V Aub Silex > resclassif <- HCPC(resAFM) Dim 1 (42.52%)

29 Exemple : description des classes > $test.chi $test.chi2 p.value df cepage > resclassif <- HCPC(resAFM) > resclassif > $category$classe3 Cla/Mod Mod/Cla Global p.value v.test cepage=sauvignon cepage=vouvray > $quanti$classe5 v.test Mean in Overall sd in Overall p.value category mean category sd O.boisee O.vanille O.Champignon_J G.Intensite_J Amere_J O.Typicite_J G.Typicite_J

30 L interface graphique Menu déroulant de FactoMineR

31 L interface graphique Fenêtre principale de l ACP

32 L interface graphique Options graphiques

33 Les autres packages ade4 : équipe de Lyon; package complet, orienté données écologiques ca : Analyse des correspondances simple et multiple (Greenacre) homals : homogeneity analysis (De Leeuw) MASS : analyse des correspondances cluster : classification hopach : classification hiérarchique dyngraph : graphiques dynamiques missmda : gestion de données manquantes pour ACP ou ACM

34 Conclusion Pour les chercheurs, les utilisateurs et les étudiants : contient des méthodes classiques mais aussi des méthodes avancées FactoMineR est disponible sur le site officiel de R (CRAN) L interface graphique peut être chargée très facilement : source(" Un site web est dédié à cette librairie : Jeux de données : Gestion des données manquantes via le package missmda

35 Presses Universitaires de Rennes Conclusion Statistiques avec R (2008, 2010) Cornillon, Guyader, Husson, Jégou, Josse, Kloareg, Matzner-Lober, Rouvière Analyse de données avec R (2009) Husson, Lê, Pagès Nouvelle collection SpringR

36 L équipe de FactoMineR (lors d une évaluation sensorielle ou d une réflexion autour du package?)