COMBIEN D AXES DANS VOS ANALYSES FACTORIELLES? LA PETITE HISTOIRE MÉCONNUE DÉCEMBRE

Transcription

1 COMBIEN D AXES DANS VOS ANALYSES FACTORIELLES? LA PETITE HISTOIRE MÉCONNUE DÉCEMBRE de la vie aux idées

2 Combien d axes dans vos analyses factorielles? La petite histoire méconnue. Réflexions sur le nombre d Axes à conserver lors d une Analyse Factorielle (AF), où comment des considérations économiques désuètes influencent encore aujourd hui la pratique de l AF. Résumé La recherche marketing fait une grande utilisation de l analyse factorielle, en particulier pour réduire le nombre de dimensions de l espace d analyse, éliminer le bruit résiduel, et préparer le terrain pour une segmentation ou une régression. Un critère fréquemment utilisé pour décider du nombre d axes à conserver est celui d un seuil minimum (souvent 1 ou légèrement plus) pour les valeurspropres associées - règle de Kaiser-Guttman (KG). Ce critère semble raisonnable, puisqu on demande aux axes retenus de résumer au moins autant d information qu une variable simple. Ce qui nous a toujours paru moins logique, est d appliquer ce critère avant d effectuer une rotation des axes, sur des axes dépourvus de sens, puisque toute l analyse subséquente se fera sur les axes signifiants, après rotation. Nous illustrerons par des exemples simples pourquoi il nous semble souvent préférable d appliquer ce critère après rotation (il ne s agira alors plus à strictement parler de valeurs-propres, mais de leur équivalent variance de l axe) et proposerons des tentatives d explication dont une inattendue à l origine de cette pratique peu logique dans les logiciels statistiques courants, ainsi que quelques recettes pratiques pour contourner cette lacune. Introduction L analyse factorielle (AF) est une méthode largement répandue en recherche marketing. Pour la distinguer de l analyse factorielle originelle des psychologues, qui vise à découvrir des facteurs cachés par les variables mesurées, on utilise souvent le terme d analyse factorielle exploratoire pour décrire la méthode qui vise à résumer une information multi-dimensionnelle (batterie de questions d attitude, scores de satisfaction etc) en un nombre restreint de facteurs non ambigus et aussi distincts que possible. L objectif en est à la fois un de synthèse (extraire le sens), de simplification pour rendre les données plus facilement manipulables (prélude à une régression ou une segmentation), et de réduction du bruit, en ignorant les dimensions résiduelles.

3 Dans ce qui suit, nous ferons référence à l AF exploratoire appliquée à la recherche marketing. Nous supposons que le lecteur a une pratique de base de l AF, et en comprend les termes principaux. Selon la pratique la plus répandue, nous supposerons une analyse en composantes principales (ACP), suivie d une rotation de type Varimax, qui tend à enligner les facteurs au mieux possible sur les variables de départ. Un des premiers problèmes auxquels se heurte le praticien de l AF est celui de la dimensionnalité de l espace factoriel. On entend par cela le nombre d axes factoriels que l on doit retenir. Ce nombre est inférieur ou égal au nombre de variables de départ, et on le souhaite strictement inférieur pour qu il y ait effectivement réduction des données. Bien qu il n existe pas de solution optimale théorique, la littérature propose plusieurs règles dont nous ne citerons que les 3 plus simples : 1. La règle dite de Kaiser-Guttman (KG) datant des années , propose de se limiter aux axes dont les valeurs-propres (eigenvalues) sont supérieures ou égales à 1 (ou un seuil arbitraire légèrement supérieur comme 1,25). 2. L observation du diagramme d éboulis (scree plot) qui projette les valeurspropres sur le nombre d axes. On cherche alors un coude, ou une forte augmentation de la courbure de la ligne du graphe. 3. Un seuil a priori de variance expliquée à conserver. On pourrait par exemple décider de conserver les n premiers axes résumant cumulativement au moins 75% de la variance totale. Le premier critère semble logique : tout axe qui représente moins d information qu une simple variable de départ est considéré résiduel et donc à écarter. Le deuxième critère suppose que si le graphe devient presque plat, c est que chaque nouvel axe n apporte pas beaucoup d information supplémentaire, relativement aux précédents. Ce qui cependant ne nous a jamais semblé logique, c est que les critères 1 et 2 ne tiennent pas compte de l espace d analyse final, car on les applique avant d effectuer la rotation des axes. Pourtant, tout le reste de l analyse s effectuera sur des axes ayant subi une rotation. L ACP sert à déterminer le sous-espace dans lequel sera effectuée la rotation. Ce qui n est pas logique, c est d appliquer aux axes issus de l ACP, axes mathématiques dépourvus de sens un critère relevant du sens de l axe.

4 Tout se passe comme si on s était arrêté à répondre à la question du nombre d axes de l analyse en composantes principales (axes mathématiques), en oubliant qu on effectue en fait une analyse factorielle (axes signifiants). Ce problème ne concerne pas le critère 3, car la variance expliquée sera la même, dans l espace avant et après rotation. Dans ce qui suit, nous tenterons d illustrer par des exemples ce qu il y a d illogique à procéder de la sorte, et fournirons une tentative d explication historique inattendue à cette manière de faire. Quelques exemples L exemple 1 provient d une véritable AF sur 20 variables d attitude à l égard d un produit de consommation. Le critère KG nous indique que 6 axes sont à retenir. Cependant, si nous retenons 7, 8 et même 9 axes, nous constatons après rotation que la variance associée (l équivalent de la valeur-propre : la somme des contributions au carré sum of squared loadings) est encore supérieure à 1 pour ces 3 axes additionnels. Leur interprétation (que nous omettons de détailler ici) est aussi cohérente et non ambiguë. Pourquoi faudrait-il les rejeter? Nous avons tracé le diagramme d éboulis (Scree plot), ainsi que son équivalent pour les variances associées (figure 1). On constate d abord que la courbure des graphes après rotation est moins prononcée et que les graphes après rotation rejoignent la cote 1 plus loin que le graphe avant rotation. Cela semble normal, car la variance du premier axe est redistribuée sur les axes suivants. D autre part, les graphes sont moins réguliers (en zigzag). Ceci est normal aussi, car la sémantique impose un sens à des objets purement mathématiques, à travers la rotation. Cette sémantique est ce qui distingue l AF d une simple ACP. Pourquoi l ignorer? Le deuxième exemple (figure 2) illustre bien l aspect irrégulier des variances associées aux axes après rotation, comparativement à celles des axes principaux (avant rotation). On y chercherait cependant en vain un coude, selon la règle 2. On y constate simplement aussi le fait que plus le nombre de variables augmente, moins le problème est pertinent, car le graphe des valeurpropres avant rotation tend alors à rejoindre la cote 1 au même point que celui des variances des axes après rotation. En effet, la variance des premiers axes est redistribuée sur un grand nombre de facteurs et la contribution aux derniers axes devient négligeable. Notre dernier exemple (figure 3) est un exemple extrême fictif mais éloquent qui facilite la réflexion sur le problème et sa compréhension. Le lecteur peut facilement reproduire l expérience avec le logiciel statistique de son choix. Dans

5 une base de données d enquête, créons 2 variables aléatoires indépendantes, par exemple selon une loi uniforme, X et Y. Leur coefficient de corrélation R est donc voisin de 0. Créons une troisième variable Z = X + Y. Clairement, Z est corrélé avec X (R.7). Si nous effectuons une AF sur les variables X et Z, avec le critère KG habituel (valeurs-propres >= 1), alors nous n obtenons qu un seul axe. Par contre, si nous retenons 2 axes et leur imposons une rotation, nous obtenons 2 axes de variance 1 (équivalent des valeurspropres = somme des contributions au carré). La dimensionnalité de notre espace factoriel est bien 2. La même expérience effectuée directement avec X et Y donne des résultats similaires, pour peu qu il existe la moindre corrélation entre X et Y (aussi petite soit-elle en valeur absolue, mais 0). Dans ce cas, on pourra toujours objecter qu on ne respecte pas toutes les prémisses de l AF (présence de corrélation au départ). L exemple est extrême, et on touche ici à la philosophie. Du point de vue de l AF originelle, en psychologie, par exemple, on pourrait considérer que l espace factoriel est de dimension 1 car on cherche le sous-espace dont l information est commune aux 2 variables. Du point de vue de l AF exploratoire, et du point de vue géométrique, clairement cet espace est de dimension 2.

6 Total Variance Explained Extraction Sums of Squared Loadings Component Initial Eigenvalues Unrotated Rotation Total % of Variance Cumulative % Total 10 axes 9 axes 8 axes 7 axes 6 axes Extraction Method: Principal Component Analysis Répartition de la variance expliquée, selon le nombre d'axes retenus Avant rotation Rotation 9 axes Rotation 8 axes Rotation 7 axes Rotation 6 axes Figure 1

7 Total Variance Explained Component Initial Eigenvalues Extraction Sums of Squared Loadings Rotation Sums of Squared Loadings Total % of VarianceCumulative %Total % of Variance Cumulative Total % % of Variance Cumulative % Avant rotation Après rotation Extraction Method: Principal Component Analysis. Figure 2

8 Total Variance Explained Component Initial Eigenvalues Unrotated Rotation Sums of Squared Loadings Total % of Variance Cumulative % Total 2 axes Extraction Method: Principal Component Analysis Avant rotation Après rotation Figure 3 Recul historique En écrivant cet article, nous avons trouvé des douzaines de papiers sur le sujet, offrant les méthodes les plus sophistiquées et créatives pour déterminer la dimensionnalité de l espace factoriel, mais nous n en avons trouvé aucun qui remette en question ce dogme qu on détermine d abord la dimensionnalité de l espace, et qu on effectue la rotation après. Pour conclure, nous proposons 2 explications à cet état de fait. D abord, la recherche récente en ce domaine provient surtout de l intelligence artificielle, du data mining et autres disciplines plus préoccupées de performance et d automatisation que de sens. Par exemple un article intéressant de Mu Zhu et Ali Ghodsi (Automatic dimensionality selection from the scree plot via the use of profile likelihood, Waterloo 2005) propose un algorithme efficace pour l ACP. Il s agit ici d application en reconnaissance automatique d image, et si on cherche des algorithmes puissants, pour de grands espaces factoriels, on se soucie peu d interpréter les axes résultants. L objectif ultime est ici la réduction du bruit.

9 Une explication possible Mais la raison principale nous semble historique : les pionniers en la matière furent Kaiser et Guttman, dans les années 1950 à A cette époque, le temps de calcul sur ordinateur coûtait très cher quand on ne calculait pas à la main! La rotation des axes requiert un calcul intensif où le nombre d opérations est d ordre n! si n est le nombre de variables de départ. Une simple rotation pouvait donc coûter des dizaines, voire des centaines de dollars. La solution d appliquer un seuil aux valeurs-propres avant rotation était donc avant tout une astuce économique. En effet, pour appliquer l équivalent du critère KG après rotation, il faut effectuer une rotation des axes pour tous les entiers supérieurs au nombre d axes déterminé par KG jusqu à ce que la variance du dernier axe résultant soit inférieure à 1 (dans l exemple 1, il faut donc effectuer une rotation sur 7, 8, 9 et 10 axes afin de déterminer qu on arrête à 9). Ce qui se fait en quelques secondes aujourd hui pouvait représenter un travail colossal il y a 50 ans. Nous vivons donc avec l héritage d une époque révolue. On comprend mal cependant pourquoi l industrie ne s est pas mise à jour dans ce cas. Inertie, manque de perspective historique? Pour nous c est un exemple parfait du syndrôme : «Mon logiciel fait ainsi, ça doit être bon». Une petite question pour les sceptiques : pourquoi en 2010 le nombre d itérations maximal par défaut pour accomplir une rotation Varimax dans le logiciel le plus utilisé et enseigné est toujours de 25, comme en 1970, ce qui, dans la pratique, est souvent insuffisant? La technologie actuelle permettrait de porter cette valeur par défaut à 1000, voire 10000, sans pénaliser le chercheur. Une nouvelle règle : KG + Notre usage en AF est proche de KG (le seuil dépend du contexte plus il y a de variables, plus nous avons tendance a prendre un seuil élevé, car la contribution relative de chaque axe diminue). Si KG détermine n axes, nous avons pris l habitude cependant de toujours regarder aussi les solutions à n+1, n+2, n+3 etc axes, en comparant la variance des axes additionnels après rotation avec le seuil. Dans la majorité des cas, ces axes sont interprétables et sont porteurs de sens. De notre point de vue, KG permet donc de déterminer un nombre minimum d axes. KG appliqué aux axes après rotation, que nous appellerons KG+ nous permet d identifier le nombre d axes signifiants, qui est généralement égal ou légèrement supérieur au nombre obtenu par KG. Le critère ultime demeure cependant l interprétabilité des axes. De notre point de vue, la question est loin d être vidée, et nous croyons que la technologie actuelle devrait permettre à de nouveaux critères basés sur les axes signifiants d émerger.

10 À venir En fouillant l Internet pour écrire cet article, nous sommes tombés sur un livre de recette à l usager des étudiants de premier cycle qui nous a étonnés. On y recommande de ne pas regarder la solution avant la rotation des axes. Au contraire, nous y portons toujours une attention particulière. Un prochain article expliquera pourquoi. Références Les deux articles suivants comportent une bibliographie abondante et pertinente sur le sujet de la détermination du nombre d axes en AF : Automatic dimensionality selection from the scree plot via the use of profile likelihood (Waterloo 2005) de Mu Zhu et Ali Ghodsi cité plus haut et Finding the Magic Number (The Psychologist, Octobre 2008) de Paul Wilson et Colin Cooper. Remerciements Nous tenons à remercier Michel Saulnier de l ARIM pour ses corrections et commentaires pertinents sur une première version de cet article.

11 de la vie aux idées 550, RUE SHERBROOKE OUEST MONTRÉAL (QUÉBEC) H3A 1B9 BUREAU 900 TOUR EST T , POSTE 3064