Analyse Factorielle des Correspondances (AFC)

Transcription

1 Analyse Factorielle des Correspondances (AFC) Jérôme Pagès (& François Husson) Laboratoire de mathématiques appliquées - Agrocampus Rennes husson@agrocampus-ouest.fr / 43

2 Analyse Factorielle des Correspondances (AFC) Données 2 Modèle d indépendance 3 Les nuages et leur ajustement 4 Pourcentages d inertie et inertie en AFC 5 Représentation simultanée des lignes et des colonnes 6 Aides à l interprétation 2 / 43

3 Analyse Factorielle des Correspondances (AFC) Données 2 Modèle d indépendance 3 Les nuages et leur ajustement 4 Pourcentages d inertie et inertie en AFC 5 Représentation simultanée des lignes et des colonnes 6 Aides à l interprétation 3 / 43

4 Tableau de correspondances Ensemble J Tableau de correspondances Ensemble I i j J x ij x ij : nombre d individus appartenant à l élément i de l ensemble I Nombre d individus appartenant à l élément i de l ensemble I à l élément j de l ensemble J à l élément x ij j de l ensemble J I Personnages de Mots Nombre de fois que le personnage Phèdre (Racine) Lignes Colonnes i a utilisé le mot xj ij Parfums Descripteur Nombre de fois où le parfum i a Personnages de Phèdre Mots Nombre de fois que le personnage i (Racine) été décrit a utilisé par le mot le mot j j Milieux Vins Espèces Mots Abondance Nombre de fois l espèce que le vin ij a été dans associé le milieu iau mot j = Exemples où le test d indépendance du χ 2 peut être appliqué Bureau de vote Candidat Nombre de voix obtenues par le candidat j dans le bureau de vote i 4 / 43

5 Données historiques Enquête du CREDOC (N. Tabard, 974) Etude de la liaison entre deux variables qualitatives 5 / 43

6 Données n individus et 2 variables qualitatives V V 2 Modalités de V 2 j J Individus l i j Modalités de V i n I n Distribution des n individus dans les I J cases du tableau 6 / 43

7 Du tableau de contingences au tableau de probabilités Modalités de V 2 Marge colonne (probabilité marginale) j J Σ f ij = x ij n Modalités de V i Marge ligne Σ (probabilité marginale) I f f ij f. j =. j f ij i= I f i. J = = f i. f ij j= Liaison entre V et V2 : écart entre les données observées et le modèle d indépendance 7 / 43

8 Analyse Factorielle des Correspondances (AFC) Données 2 Modèle d indépendance 3 Les nuages et leur ajustement 4 Pourcentages d inertie et inertie en AFC 5 Représentation simultanée des lignes et des colonnes 6 Aides à l interprétation 8 / 43

9 Liaisons et indépendance entre deux variables qualitatives Modèle d indépendance : Evènements indépendants : P(A et B) = P(A) P(B) Variables qualitatives indépendantes : i, j, f ij = f i. f.j Probabilité conjointe = produit des probabilités marginales Autres écritures : f ij f ij = f.j = f i. f i. f.j Probabilité conditionnelle = probabilité marginale 9 / 43

10 Liaisons entre deux variables qualitatives Ecart entre données obs (f ij ) et modèle d indépendance (f i. f.j ) Significativité de la liaison (de l écart) : test du χ 2 χ 2 obs = I J (eff. observé eff. théorique) 2 effectif théorique i= j= = I J (n f ij n f i. f.j ) 2 n f i. f.j i= j= χ 2 obs = I J n i= j= (probabilité observée probabilité théorique)2 probabilité théorique = n Φ 2 2 Intensite de la liaison = Φ 2 = écart entre probabilités théoriques et observées 3 Nature de la liaison = association entre modalités L AFC travaille sur le tableau des probabilités ne dit rien sur la significativité visualise la nature de la liaison entre les deux variables 0 / 43

11 Comment l AFC appréhende l écart à l indépendance? Analyse par lignes : f ij = f.j f i. Modalités de V 2 j J Σ Profil ligne i = distribution conditionnelle Modalités de V i I G I f f ij i. f.j L AFC compare les profils lignes au profil moyen Profil ligne moyen = distribution marginale Profil de l ensemble des individus étudiés Approche multidimensionnelle de l écart à l indépendance / 43

12 Comparaison du profil ligne au profil moyen rester au foyer trav. à mi-temps trav. à plein temps 2 conj. tr. également trav. mari + absorbant seul le mari travaille marge ligne rester au foyer trav. à mi-temps trav. à plein temps 2 conj. tr. également Trav. mari + absorb. seul le mari travail Marge ligne Les femmes qui répondent seul le mari travaille répondent-elles de façon particulière à la question sur l activité d une mère de famille? 2 / 43

13 Comment l AFC appréhende l écart à l indépendance? Analyse par colonnes : f ij f.j = f i. Modalités de V 2 j J G J Modalités de V i f ij f. j f i. I Σ Profil colonne j = distribution conditionnelle Profil colonne moyen = distribution marginale Profil de l ensemble des individus étudiés Comparaison des profils colonnes au profil moyen Approche multidimensionnelle de l écart à l indépendance 3 / 43

14 yer mps temps Comparaison du profil ligne au profil moyen 2 conj. tr. également Trav. mari + absorb. seul le mari travail rester trav. à trav. à marge au foyer mi-temps plein temps colonne Marge ligne 2 conj. tr. également trav. mari + absorbant seul le mari travaille conj. tr. également trav. mari + absorbant seul le mari travaille Les femmes qui répondent travailler à mi-temps répondent-elles de façon particulière à la question sur la famille idéale? 4 / 43

15 Analyse Factorielle des Correspondances (AFC) Données 2 Modèle d indépendance 3 Les nuages et leur ajustement 4 Pourcentages d inertie et inertie en AFC 5 Représentation simultanée des lignes et des colonnes 6 Aides à l interprétation 5 / 43

16 Le nuage des (profils) lignes J RI d χ 2 ( i, i' ) Modalités de V 2 j J Σ i i ( poids f i.) N I G I Modalités de V i f f ij i. I G I f. j f. j f i' j f i'. f f ij i. Modalité j de V 2 Distance entre deux profils : d 2 χ 2 (i, i ) = Distance au profil moyen G I : d 2 χ 2 (i, G I ) = J f j=.j J ( fij f i. f i j f j=.j f i. ( fij f i. f.j ) 2 ) 2 6 / 43

17 Le nuage des (profils) colonnes Modalités de V 2 j J G J J RI I d χ 2 ( j, j' ) G J j j ( poids f ). j Modalités i de V f ij f. j f i. I Σ fi. f ij' f. j' f f ij. j Modalité i de V Distance entre deux profils : d 2 χ 2 (j, j ) = Distance au profil moyen G J : d 2 χ 2 (j, G J ) = I f i= i. I ( fij f i= i. ) 2 f ij f.j f.j ( fij f i. f.j ) 2 7 / 43

18 Que se passe-t-il s il y a indépendance? Pour tout i, f ij f i. = f.j les profils sont confondus avec le profil moyen N I réduit à G I L inertie du nuage est nulle RI J i N I G I f. j f f ij i. Modalité j de V 2 Idem pour les colonnes : pour tout j, f ij f.j = f i / 43

19 Ecart à l indépendance et inertie Plus les données s écartent de l indépendance et plus les profils s écartent de l origine I I Inertie(N I /G I ) = Inertie(i/G I ) = f i. dχ 2 2 (i, G I ) = = i= I J f i. f i= j=.j I J i= j= φ 2 mesure l intensité de la liaison ( fij f i. f.j (f ij f i. f.j ) 2 f i. f.j i= ) 2 = χ2 n = φ2 Etudier l inertie de N I revient à étudier l écart à l indépendance Idem pour N J : Inertie(N J /G J ) = Inertie(N I /G I ) (dualité) 9 / 43

20 Représentation du nuage des lignes (ou des colonnes) Décomposition de l inertie de N I par analyse factorielle Projection de N I sur une suite d axes orthogonaux d inertie maximum RI J M i u N I O = G I H i projection de M i sur P u 2 P I Trouver P tel que f i. (OH i ) 2 est maximum i= u axe d inertie maximum u 2 axe d inertie maximum avec u 2 u Inertie associée à l axe s : I f i. (OHi s )2 = λ s i= 20 / 43

21 Règles d interprétation sur l exemple Dim 2 (3.7%) conj. tr. également rester au foyer trav. plein temps seul le mari trav. trav. mi-temps trav. mari + absorbant er axe : attitude à l égard du travail féminin (lignes et colonnes) Dualité Dim (86.29%) rester trav. à trav. à O = G J au foyer mi-temps plein temps 2 conj. tr. également trav. mari + absorbant seul le mari travaille / 43

22 Analyse Factorielle des Correspondances (AFC) Données 2 Modèle d indépendance 3 Les nuages et leur ajustement 4 Pourcentages d inertie et inertie en AFC 5 Représentation simultanée des lignes et des colonnes 6 Aides à l interprétation 22 / 43

23 Pourcentages d inertie Qualité de représentation de N I par l axe de rang s I ( ) inertie projetée de N I sur u s i= = f i. OH s 2 i inertie totale de N = λ s Pourcentages d inertie (comme I dans toute analyse I i= f i. (OM i ) 2 K factorielle). La qualité de représentation est mesurée par le rapport : inertie projetée/inertie i=k λ k totale 2. Les inerties projetées s additionnent d un axe à l autre (axes orthogonaux) Inertie Inertie (%) F La décroissance des inerties (en fonction du Ecart rang s) suggère à l indépendance le nombre d axes bien à conserver résumé F2 par le premier axe (86 %) vins blancs de Loire décrits par 30 mots Somme j 30 2 Inerties projetées s additionnent d un axe à l autre (axes orthogonaux) K k= λ k = Inertie (N I ) = Φ 2 Ici nφ 2 = i = χ 2 x = La décroissance desx ij inerties : nombre suggère de fois quele nombre d axes à conserver le mot j a été associé au vin i. N axe Val. propre % % cumulé x ij Proba. critique = 0 49 % d'inertie AFC sur 0 vins blancs de Loire décrits par 30 mots Rang de l'axe 23 / 43

24 Inerties (= valeurs propres). Inerties (= valeurs propres). Très particulières en AFC. En AFC 0 λ s En AFC : 0 λ s En ACP λ En ACP (normée) : λ s A quelle structure des données correspond le maximum? A quelle structure correspond une valeur propre de? J J 2 λ s = I I J I J 2 I 2 Axe s Partition en deux classes des lignes et des colonnes Association exclusive des classes Partition en deux classes des lignes des colonnes Associations exclusives des classes 24 / 43

25 Données Données : reconnaissance : reconnaissance de trois de trois saveurs saveurs (sucré, (sucré, acide, acide, amer) amer) Pour Pour chaque chaque saveur, Inerties saveur, on a on demandé (= a demandé valeurs à dix à personnes propres) dix personnes de reconnaître de reconnaître la saveur la saveur d une d une solution solution qui leur qui était leur était présentée. présentée. Données : reconnaissance de trois saveurs (sucré, acide, amer) Pour chaque saveur, on a demandé à dix personnes de reconnaître la saveur d une solution qui leur était présentée Perçu Perçu Perçu Perçu Perçu Perçu sucré sucré acide acide amer amer Sucré Sucré Acide Acide Amer Amer AFC AFCV. Propre V. Propre % % Axe Axe 72,727 72,727 Axe 2 Axe 20,375 0,375 27,273 27,273 Somme Somme,375, Perçu Perçu Perçu Perçu Perçu Perçu sucré sucré acide acide amer amer Sucré Sucré Acide Acide Amer Amer AFC AFC V. Propre V. Propre % % Axe Axe Axe 2 Axe 20,042 0, Somme Somme,042, Dim 2 (27.27%) Dim 2 (27.27%) Perçu.amer Perçu.amer Amer Amer Perçu.sucré Perçu.sucré Sucré Sucré Perçu.acide Perçu.acide Acide Acide Dim 2 (4.00%) Perçu.amer Perçu.amer Amer Amer Sucré Sucré Perçu.sucré Perçu.sucré Acide Acide Perçu.acide Perçu.acide Dim 2 (4.00%) Dim (72.73%) Dim (72.73%) Dim (96.00%) Dim (96.00%) 25 / 43

26 Inerties (= valeurs propres) Inertie Inertie (%) F F Somme λ = 0.7 on est loin d une association exclusive entre une ligne et une colonne Φ 2 = on est loin d une liaison parfaite, i.e. d une association exclusive entre les modalités des deux variables 26 / 43

27 Analyse Factorielle des Correspondances (AFC) Données 2 Modèle d indépendance 3 Les nuages et leur ajustement 4 Pourcentages d inertie et inertie en AFC 5 Représentation simultanée des lignes et des colonnes 6 Aides à l interprétation 27 / 43

28 Représentation simultanée des lignes et colonnes Relation de transition = propriétés barycentriques F s (i) = λs J f ij f i. G s (j) j= }{{} F s(i) : coord. de la ligne i sur l axe de rang s f ij : jème élément du profil i f i. G s(j) : coord. de la colonne j sur l axe de rang s λ s : inertie associée à l axe s (en AFC λ s ) Le long de l axe de rang s, on calcule le barycentre de toutes les colonnes, chaque colonne j étant affectée du poids f ij /f i. Le barycentre est ensuite d autant plus écarté de l origine que λ s est petit : / λ s G s (j) = λs I i= f ij f.j F s (i) 28 / 43

29 tation simultanée u Perçu e amer Représentation f simultanée et inertie ij Gs ( j) = Fs ( i) λ i f s. j G s (j) = λs Perçu Perçu Perçu sucré acide amer Sucré Acide 0 9 Amer Inerties et représentation simultanée I f ij F s (i) f.j i= Perçu Perçu Perçu sucré acide amer Sucré Acide Amer Sucré Acide Amer % AFC V. Propre % Axe 72,727 Axe 2 0,375 27,273 Somme, AFC V. Propre % Axe 96 Axe 2 0,042 4 Somme, AFC Axe Axe 2 Somm Sucré çu.sucré Dim 2 (27.27%) Perçu.amer Amer Perçu.acide Acide Perçu.sucré Sucré Dim 2 (4.00%) Perçu.amer Amer Acide Perçu.acide Sucré Perçu.sucré Dim 2 (27.27%) Perç Ame Perç Acide Dim (72.73%) Dim (96.00%) / 43

30 u Perçu Perçu ré acide amer amer ( ) 5/8 5 8 = f f 33.3.acide 3/83 8 = f f ( ) Représentation simultanée et inertie Perçu.amer G s (j) = λs ( ) Amer 7 8 = f f 33 Perçu Perçu Perçu sucré acide amer Sucré Acide 0 9 Amer Perçu.acide 4.9 Acide /8 42 = 8 = f23 f = =. 6 λ ( ).3 I i= f ij f.j F s (i) Perçu Perçu Perçu sucré acide amer Sucré Acide Amer = λ 2 Perçu.amer ( ) Amer 5/8 5 8 = f f 33 Perçu.acide Acide 3/83 8 = f f = ( ) Perçu Amer Sucré Acide Amer Perçu Acide = λ / 43

31 Propriété barycentrique Dim 2 (3.7%) conj. tr. également rester au foyer 26,54 seul le mari trav. 63, trav. mi-temps trav. mari + absorbant trav. plein temps 0, Dim (86.29%) rester au foyer trav. à mi-temps trav. à plein temps Σ 2 conj. tr. également trav. mari + absorbant seul le mari travaille O = G I / 43

32 Propriété barycentrique Dim 2 (3.7%) conj. tr. également rester au foyer trav. plein temps seul le mari trav. trav. mi-temps trav. mari + absorbant Dim (86.29%) Le er axe classe les modalités (des deux questions) depuis la plus défavorable au travail féminin jusqu à la plus favorable 4 32 / 43

33 Retour aux données Pourquoi rester au foyer est plus défavorable à l égard du travail féminin que seul le mari travaille? Dans R I, d 2 χ 2 (rester au foyer, G J ) = 0.46 Dans R J, d 2 χ 2 (seul le mari travaille, G I ) = / 43

34 Analyse Factorielle des Correspondances (AFC) Données 2 Modèle d indépendance 3 Les nuages et leur ajustement 4 Pourcentages d inertie et inertie en AFC 5 Représentation simultanée des lignes et des colonnes 6 Aides à l interprétation 34 / 43

35 Aides à l interprétation : qualité de représentation Indicateur de qualité de représentation d un point (idem nuage) : inertie projetée de M i sur u s inertie totale de M i = f i.(oh s i )2 f i. (OM i ) 2 = cos2 ( OM i, u s ) N I RI O = G I J M i s H i u s vecteur unitaire de l axe de rang s projection de M i sur u s Indicateur montre dans quelle mesure l écart d un profil au profil moyen est complètement représenté par l axe (ou par un plan) 35 / 43

36 Axe Axe 2 Données Acide Modèle0 d indépendance 9 Les nuages Inertie Représentation Sucré simultanée Sucré Aides à0.000 l interprétation Amer Perçu.sucré Sucré Acide Acide AFC V. Propre % Amer Axe 72,727 Amer Qualité de représentation Perçu.acide : exemple Axe 2 0,375 27,273 Perçu.sucré Somme, Acide Perçu.acide Perçu.acide Perçu.amer Dim 2 (27.27% Dim (72.73%) Perçu.amer Perçu Perçu Perçu sucré acide amer Sucré Acide Amer Dim 2 (4.00%) Perçu.amer Amer Acide Perçu.acide AFC V. Propre % Axe 96 Axe 2 0,042 4 Somme, Dim (96.00%) Sucré Perçu.sucré Qualité de représentation Qualité de (cos²) représentation (cosinus²) Axe Axe2 Axe Axe 2 Sucré Sucré Acide Acide Amer Amer Perçu.sucré Perçu.acide Perçu.amer Perçu.amer Interprétation des graphes basée sur points remarquables ayant une bonne qualité de représentation 36 / 43

37 Aides à l interprétation : contribution Indicateur brut : inertie projetée de M i sur u s = f i. (OH s i )2 Indicateur relatif : inertie proj. de M i sur u s inertie de l axe s = f i.(oh s i )2 λ s On peut additionner les contributions de plusieurs éléments Elles indiquent dans quelle mesure on peut considérer qu un axe est dû à un élément ou à quelques éléments Compromis opérationnel entre distance à l origine et poids Utiles pour les grands tableaux pour sélectionner un sous-ensemble d éléments au début de l interprétation (conjointement à la qualité de représentation) 37 / 43

38 Contributions : exemple Contribution : exemple X X2 X3 X4 a 0 0 b c d 0 0 Dim 2 (.54%) a X b d Inertie % Axe Axe Axe X4 Axe Axe2 a X2 X3 c b c d Σ Dim (83.50%) Les points extrêmes ne sont pas nécessairement ceux qui contribuent le plus à la construction des axes / 43

39 Equivalence distributionnelle Equivalence distributionnelle : si plusieurs lignes ayant le même profil sont regroupées en une seule, les résultats de l AFC sont strictement équivalents (idem pour le regroupement de colonnes) Application en analyse textuelle : Grâce à l équivalence distributionnelle, si 2 mots (ou plus) sont employés dans les mêmes circonstances, leurs coordonnées sont proches et faire l analyse avec les deux termes ou avec un terme unique qui regroupe ces deux notions est strictement équivalent notion très utile (regroupement des singuliers et pluriels, des conjugaisons des verbes, etc.) 39 / 43

40 Nombre maximum d axes et V de Cramer Nuage des lignes : I points dans un espace à J dimensions J dim. mais contrainte (profils) S J I points évoluent dans au plus I dim. S I = Φ 2 = min(i,j ) k= λ k min(i, J ) d où l idée d un indicateur borné de la liaison entre 2 variables : V de Cramer = Φ 2 [0; ] min(i, J ) } S min(i, J ) Travail féminin V = 0.35/2 = AFC V. Propre % Axe 0,7 86,292 Axe 2 0,09 3,708 Somme 0,35 00 Trois saveurs V =.375/2 = AFC V. Propre % Axe 72,727 Axe 2 0,375 27,273 Somme, Trois saveurs V =.042/2 = 0.52 AFC V. Propre % Axe 96 Axe 2 0,042 4 Somme, / 43

41 Bilan sur l exemple Dim 2 (3.7%) conj. tr. également rester au foyer trav. plein temps seul le mari trav. trav. mi-temps trav. mari + absorbant Dim (86.29%) L AFC apporte une visualisation synthétique de l écart à l indépendance qui aide la compréhension du tableau (a fortiori avec de grands tableaux) Sur ces données L essentiel de l écart à l indépendance est structuré par l attitude à l égard du travail féminin La position des modalités le long de l échelle d attitude éclaire leur signification Exemple : la proximité de travailler à mi-temps avec le profil moyen suggère que cette modalité est «neutre», à la différence de l autre modalité moyenne (plutôt favorable au travail féminin) 4 / 43

42 Conclusion Pour étudier la liaison entre deux variables qualitatives, on construit un tableau de contingence Cette liaison réside dans l écart entre le tableau de contingence et le modèle d indépendance L analyse des correspondances : construit un nuage des lignes (et un nuage des colonnes) dont l inertie totale mesure l intensité de l écart à l indépendance décompose cette inertie totale sur une suite d axes d importance décroisante représentant chacun un aspect synthétique de la liaison entre les deux variables fournit une représentation des lignes et des colonnes dans laquelle la position d un point reflète sa participation à l écart à l indépendance 42 / 43

43 Bibliographie Pour approfondir l analyse des correspondances dans le même esprit que cette vidéo : Escofier B. & Pagès J. (2008) Analyses factorielles simples et multiples ; objectifs, méthodes et interprétation. 4e édition. 38 p., Dunod, Paris. Husson F., Lê S. & Pagès J. (2009) Analyse des données avec R. 224 p., Presses Universitaires de Rennes. 43 / 43