Analyse en Composantes Principales

Transcription

1 Analyse en Composantes Principales One Pager Décembre 2013 Vol. 8 Num. 010 Analyse en Composantes Principales Copyright Laréq «Pour les meilleurs ou les pires, les mathématiques sont devenues l outil privilégié de l analyse économique contemporaine.» Carl P. Simon & Lawrence Blume Résumé Ce papier présente un outil de l analyse multivariée, l analyse en composantes principales. Pour ce faire, il nous a paru impérieux de rappeler certaines notions mathématiques, notamment le vecteur et la matrice, avant de procéder à l exposé de la méthode en cause. Mots clé : vecteur, matrice, analyse en composantes principales Abstract This paper focuses on the study of principal component analysis. So, first, we recall the concepts of vectors and matrices, and then proceed to the presentation of the method PCA. Introduction Résumer l information pour une série de données permet à un analyste de passer du complexe au simple et de fournir une interprétation plus plausible. C est sous cet angle que l Analyse en composantes principales (ACP), s insérant parmi les méthodes de la statistique multivariée, consiste à transformer des variables liées entre elles en nouvelles variables décorrélées les unes des autres [composantes principales ou axes principaux]. Cette approche permet ainsi de réduire le nombre de variables et de rendre la présentation de l information plus aisée. En parallèle, il y a lieu de noter que la méthode ACP est intrinsèquement l œuvre de Karl Pearson. Elle a été présentée dès 1901 dans un article portant sur la recherche de la «droite du meilleur ajustement». Dans ce cadre, l auteur s est, notamment, proposé de décrire et de résumer l information contenue dans les variables, et non à chercher l explication d une variable par d autres comme dans la régression. Toutefois, il sied de noter que le développement et la formalisation de l ACP sont attribués à l économiste et statisticien américain Harold Hotelling, d où le nom de la transformée de Hotelling. Etant donné que le but de ce papier est de proposer une présentation plus simplifiée de l ACP, la structure suivante a été retenue, la section première s attèle à l analyse des éléments de calculs vectoriel et matriciel, et la section deuxième, à l exposé de la méthode ACP. 92

2 I. Eléments de calculs vectoriel et matriciel Cette section rappelle quelques concepts basiques et fondamentaux sur les calculs vectoriel et matriciel. Pour une présentation plus rigoureuse, nous désignons Tombola et Tsasa (2013). Par définition, un vecteur est un segment de droite orienté, appartenant dans un espace à dimensions. Pour deux dimensions, l espace se confond au plan. Et l ensemble de tous les vecteurs forme l espace vectoriel E 1. Quatre éléments classiques caractérisent généralisent un vecteur, à noter : le point d application : l origine du vecteur ; la direction : le support du vecteur ; le sens : généralement indiqué par une flèche lors de la représentation graphique du vecteur ; le module : la longueur du vecteur. On l appelle également intensité, norme. Il est noté pour un vecteur considéré, et se calcule comme suit. = où = (x 1, x 2,, x n) Pour une norme égale à l unité,, le vecteur est dit unitaire. Note : tout vecteur peut devenir unitaire en divisant seulement chacune de ses composantes par sa norme Quelques opérations dans un espace vectoriel E ) E 2 E (loi interne) (, K X E, E (loi externe) Propriétés ou règles de calcul dans espace vectoriel E E K,. 0 = 0 K et E K et (v, u) E 2 (, ) K 2 et E, Notion de la distance Soit deux points A(x 1, X 2,, x n) et B(y 1, y 2,, y n), la distance entre ces deux points est donnée par : Trois propriétés gouvernent la notion de la distance : d(a, B) = d(b, A), la symétrie; d(a, A) =, la distance d un point vers un même point est nulle ; d(a, B) d(a, C) + d(b, C), l inégalité triangulaire. 1 Voir une définition plus rigoureuse dans Tombola Tsasa (2013, p. 95). 93

3 Intéressons nous à présent à l analyse matricielle. Une matrice est un tableau rectangulaire de nombres, formé de lignes et colonnes. Le format (m, n) indique la dimension de la matrice et est l élément de la matrice située à l intersection de ligne et de la colonne. Ainsi, une matrice à m lignes et n colonnes, à coefficients dans un corps K est toute application de [1, m] X [1, n] dans K. De manière générale, on peut noter une telle matrice nommée A comme suit : A = Vecteur ligne et vecteur colonne, si m = 1 la matrice A devient un vecteur ligne et si n = 1 la matrice A devient un vecteur colonne [cette forme du vecteur sera largement utilisée dans la méthode ACP]. 1 Li = et Cj = désignent respectivement le vecteur ligne et le vecteur colonne. Matrice carrée, si m = n, la matrice A devient une matrice carrée et appelée matrice d ordre n. A = où a 11, a 22,, a nn sont coefficients diagonaux de A. Matrice diagonale, on appelle une matrice diagonale une matrice carrée dont tous les éléments non diagonaux sont nuls. C est à dire A = Matrice identité, on appelle une matrice identité d ordre n une matrice diagonale dont tous les éléments diagonaux sont égaux à l unité. I n = Matrice symétrique, on appelle une matrice symétrique une matrice carrée dont les éléments sont égaux deux à deux perpendiculairement par rapport à la diagonale principale. A = Opérations sur les matrices Transposition de la matrice, soit une matrice A de dimension on appelle transposée de A la matrice notée A t de dimension 2 Addition matricielle, tout d abord, on doit retenir qu on ne peut additionner que deux matrices de même dimension. Et pour additionner deux matrices A et B, on additionne les éléments de mêmes indices. Propriété: l addition matricielle est commutative [A + B = B + A]. 1 Cette définition du vecteur montre que la notion du vecteur est un cas particulier de la matrice. 2 La transposition implique de manière plus simple que les lignes de A deviennent les colonnes de A t et les colonnes des lignes. 94

4 Multiplication d une matrice par un scalaire, pour multiplier une matrice par un scalaire, on multiplie chaque élément de la matrice par ce scalaire. Soit A, une matrice de dimension Multiplication deux matrices, ce produit n est possible que si le nombre de colonnes de la première matrice [A (m, n)] est égal au nombre de lignes de la deuxième matrice [B (p, r)].. Propriété : le produit matriciel est non commutatif. Valeurs et vecteurs propres d une matrice carrée Valeur propre. Soient A une matrice carrée, I n, une matrice identité et un paramètre réel. On appelle valeur propre, le zéro du polynôme caractéristique noté :. Vecteur propre. On appelle vecteur propre associé à la valeur propre, le vecteur E tel que :. Note : à une valeur propre est liée une famille de vecteurs propres. II. Exposition de la méthode de l ACP Pourquoi ce choix sur l ACP? Historiquement, l ACP est la première méthode d analyse des données. Et par ailleurs, à ce jour,, l analyse des données utilise principalement les méthodes d analyse factorielle. Celles ci consistent à réduire les données initiales afin de les représenter graphiquement dans un espace à faibles dimensions [généralement deux]. Parmi ces méthodes, on peut aussi citer l analyse factorielle des correspondances [AFC], la classification automatique, l analyse discriminante. Le recours à ces méthodes est venu de la déception lors de l utilisation de la statistique descriptive traditionnelle [moyenne, écart type, etc.] qui livre une description sommaire des données, et se montrant incapable de fournir les informations telles que les proximités, les combinaisons. Par ailleurs, notre intérêt sur l ACP se justifie non seulement du point de vue de l histoire, mais aussi du fait que la quasi totalité de méthodes de l analyse factorielle fait recours à l ACP. Nature et présentation des données Les données soumises à l ACP doivent être quantitatives, c est à dire mesurables ou comptables [comme le poids, l âge, le nombre de cours, le Produit intérieur brut (PIB), etc.]. L ACP consiste à réduire un problème à variables et individus à des axes principaux [généralement deux] permettant de grouper les individus ou les variables selon ces axes. Note : l indépendance de ces deux axes principaux. 95

5 Le problème se présente initialement comme suit : Individus 1 2 i p Variables 1 X1 X2 Xj Xn X11 X21 X1j X1n X21 X22 X2j X2n Xi1 Xi2 Xij Xin Xp1 Xp2 Xpj Xpn Construction de la matrice centrée ou centrée réduite 1 M Soit, un ensemble de variables aléatoires (X 1, X 2,, X n) connues à partir d un échantillon de P réalisations conjointes de ces variables. Cette situation peut être décrite dans une matrice M à lignes et colonnes. M = Soit, le vecteur (,, centre de gravité. ) le centre de gravité 2 du nuage des points et centrons la matrice M sur le = Cette matrice M peut être réduite, selon le modèle, en divisant chaque élément de la matrice l écart type respectif. D où la matrice centrée réduite M : par M = Dans la pratique, la matrice M est la plus utilisée. Note : une variable à forte variance va tirer tout l effet de l ACP vers elle, si on ne réduit pas le nuage. Et une variable qui n est un bruit [variable non significative] va se retrouver avec une variance apparente égale à une variable significative. Construction de la matrice d inertie W La méthode de l ACP, dans le même style que l estimation de la droite d ajustement par les moindres carrés ordinaires [MCO], consiste à trouver un axe [issu de la combinaison linéaire de toutes les variables X n] tel que le nuage des points autour de cet axe soit minimal. Ce qu on appelle en physique minimiser l inertie du nuage autour de. Cet axe dirigé par un vecteur unitaire qui n est rien d autre que le vecteur propre unitaire de la matrice d inertie. 1 Le choix de réduire ou pas la matrice M dépend du choix du modèle considéré. 2 En physique, le centre de gravité [notion introduite par Isaac Newton] est le point d application, l origine, de la résultante de toutes les forces de pesanteur. 96

6 Pour arriver à trouver cet axe, cherchons d abord la matrice d inertie : où : W = t M.. M ou W = t, t M est la transposée de la matrice M t est la transposée de la matrice est la matrice diagonale représentant le poids ou la chance de réalisation de chaque élément de la matrice M. Si tous les éléments ont la même importance dans le calcul des caractéristiques de l échantillon, ce poids sera donné par. Alors la matrice d ordre est donnée par :. Note : la matrice W est symétrique et les éléments diagonaux sont égaux à l unité. Valeurs et vecteurs propres de la matrice d inertie W La somme de toutes les valeurs propres de la matrice W donne l ordre de cette matrice, ce qui est en effet, égal au nombre de variables considéré dans l échantillon. Cela renvoie à la notion de la part d inertie déterminée pour chaque valeur propre. Cette part pour la valeur propre considérée est égale à : Seules les deux premières valeurs propres ayant les plus grandes parts d inertie permettront de trouver les vecteurs propres respectifs. Analyse du nuage des individus L analyse des points individus (ou même des points variables) est l analyse factorielle en question. L objectif est de chercher les axes principaux, définir les composantes principales et enfin déterminer le plan principal permettant d interpréter l analyse. Axes principaux et composantes principales Ces axes factoriels sont dirigés par les vecteurs propres issus de la matrice d inertie. Mais ce sont seulement les vecteurs propres unitaires associés aux valeurs propres ayant les plus grandes parts d inertie qui dirigent les deux axes principaux. Ensuite, on projette les points sur ces axes principaux, définissant ainsi deux nouvelles variables pour chaque individu. Ces variables sont appelées les composantes principales. On les note comme suit : e = M. e ou e =. e où : e est la composante principale et e le vecteur propre unitaire. 97

7 Plan principal Ce plan est formé de deux axes principaux. C set sur ce plan que les observations des composantes principales seront projetées pour former le nuage des individus. Figure 1 : nuage des individus Interprétation L interprétation de ce nuage renvoie à la notion de la distance. Plus la distance entre les individus est réduite, plus les individus présentent les mêmes caractères [appartiennent au même groupe]. La figure montre deux groupes, un individu isolé et un autre qui se trouve très proche du centre de gravité. Note : le centre de gravité est en O et l inertie totale est mesurée par la variance qui est égale au nombre de variables. Analyse du nuage des variables Dans cette analyse, on cherche à trouver les liens entre les variables. De même que pour le nuage des individus, on cherche les axes principaux. Il est important de noter que les projections des points variables sur les axes principaux sont égaux aux coefficients de corrélation entre ces variables et les composantes principales. On peut écrire la situation de la manière suivante : e = cor ( e, X e) =. e L interprétation se fait toujours en termes de proximité, mais il y a lieu de rappeler que le nuage des variables est régi autour d une sphère de centre 0 et de rayon 1. Note : les liens entre les variables sont exprimés par le coefficient de corrélation. Par ailleurs, notons que dans le domaine de l analyse d image, l ACP est connue sous le nom de transformée Karhunen Loève 1. Elle est utilisée pour analyser les séries dynamiques d mages. C est le cas des scintigraphies en médecine nucléaire permettant d observer le fonctionnement d organes comme le cœur. Ainsi, on assiste à une amélioration de la qualité visuelle dans le domaine médical. 1 Des noms du statisticien finlandais Kari Karhunen ( ) et du mathématicien et statisticien français et américain Michel Loève ( ) qui ont développé cette méthode. 98

8 Figure 2 : nuage des variables Dans le domaine de la topographie, l ACP permet l analyse de l évolution du relief au cours du temps. Somme toute, le présent papier a présenté une vision plus ou moins simplifiée la méthode d Analyse en composantes principales [ACP]. Par ailleurs, dans des papiers ultérieurs, il sera question d aborder d autres méthodes de l analyse factorielle, et de procéder en même temps à des illustrations sur des logiciels appropriés.. 99

9 Références bibliographiques DELGADO Jean pierre, 2001, Mathématiques appliquées, ESKA, 2è Edition, Paris, 165p. DENIZET Frédéric, 2008, Algèbre et géométrie, Edition Nathan, Paris, 501p. ESCH Louis, 1992, Mathématiques pour économistes et gestionnaires, Edition De Boeck, Bruxelles, 697p. KLOTZ Gérard, 2000, Mathématiques pour les sciences économiques et sociales, Edition Presses universitaires de France, Paris, 344p. MALU Raїssa, 2010, L indispensable des Mathématiques, Collection savoirs et découvertes, Louvain-la-Neuve, 116p. MICHEL, Philippe, 1989, Cours de mathématiques pour économistes, Economica, 2è Edition, Paris, 748p. MONIER Jean Marie, 1993, Géométrie, Editions Dunod, Paris, 347p. PEARSON, Karl, 1991, «On Lines and Planes of Closest Fit to Systems of points in Space, Philosophical Magazine, 2 (6): TOMBOLA Cédrick et Jean Paul TSASA, 2013, «Analyse de la Structure d Espaces Vectoriels», One Pager Laréq (février), 5 (15): ZOUHHAD Richid et Cie, 2002, Mathématiques appliquées, Dunod, 5è ed, Paris, 335p. 100