Partie I. Les données quantitatives

Transcription

1 Variables quantitatives : analyse en composantes principales Jean-Marc Lasgouttes Partie I Les données quantitatives Description de données quantitatives On appelle «variable» un vecteur x de taille n Chaque coordonnée x i correspond à un individu On s intéresse ici à des valeurs numériques Poids Chaque individu peut avoir un poids p i, tel que p + + p n =, notamment quand les individus n ont pas la même importance (échantillons redressés, données regroupées,) On a souvent p = /n Résumés on dispose d une série d indicateurs qui ne donne qu une vue partielle des données : effectif, moyenne, médiane, variance, écart type, minimum, maximum, étendue, er quartile (25% inférieurs), 4ème quartile (25% supérieurs), Ces indicateurs mesurent principalement la tendance centrale et la dispersion On utilisera principalement la moyenne, la variance et l écart type Moyenne arithmétique On note x = n ou pour des données pondérés x = x i, p i x i Propriétés la moyenne arithmétique est une mesure de tendance centrale qui dépend de toutes les observations et est sensible aux valeurs extrêmes Elle est très utilisée à cause de ses bonnes propriétés mathématiques Variance et écart-type var(x) = σ 2 x = n la variance de x est définie par (x i x) 2 ou var(x) = p i (x i x) 2 Propriétés La variance satisfait la formule suivante var(x) = p i x 2 i ( x) 2 La variance est «la moyenne des carrés moins le carré de la moyenne» L écart-type, qui a la même unité que x, est une mesure de dispersion Attention! les calculatrices utilisent l estimateur sans biais de la variance dans lequel le /n est remplacé par /(n ) Mesure de liaison entre deux variables s et y est cov(x, y) = σ xy = la covariance observée entre deux variables x p i (x i x)(y i ȳ) = p i x i y i xȳ et le coefficient de r de Bravais-Pearson ou coefficient de corrélation est donné par cor(x, y) = r xy = σ xy cov(x, y) = σ x σ y var(x) var(y) Ces deux grandeurs sont symétriques : cov(x, y) = cov(y, x) et cor(x, y) = cor(y, x) Propriétés du coefficient de corrélation Borne On a toujours (inégalité de Cauchy-Schwarz) cor(x, y) Variables liées cor(x, y) = si et seulement si x et y sont linéairement liées : ax i + by i = c, pour tout i n En particulier, cor(x, x) = Variables décorrélées si cor(x, y) =, on dit que les variables sont décorrélées Cela ne veut pas dire qu elles sont indépendantes! L écart-type σ x est la racine carrée de la variance

2 y Le coefficient de corrélation par l exemple x x x3 5 5 Interprétation on a 4 variables numériques avec 3 individus Les variables et 2 sont «indépendantes» ; les variables et 3 ont une relation linéaire ; les variables 2 et 4 ont une relation non-linéaire Que signifie une corrélation linéaire? Qu est ce qui est significatif? si on a assez de données, on peut considérer qu une corrélation supérieure à, 5 est forte, et une corrélation entre, 3 et, 5 est moyenne Une corrélation égale à un indique que les deux variables sont équivalentes Qu est-ce que cela veut dire? une corrélation significative indique une liaison entre deux variables, mais pas nécessairement un lien de causalité Exemple : Le nombre de pompiers présents pour combattre un incendie est corrélé aux dégâts de l incendie Mais ce ne sont pas les pompiers qui causent les dégâts Et une décorrélation? voici un exemple ou cor(x, y) = x Cas particuliers matrices zéro et identité de taille n n et vecteur unité de taille n : n =, I n =, n = Addition Possible quand les dimensions sont égales ; on ajoute les coefficients A + B = B + A, A + = A Produit Contrainte lignes/colonnes : A B = (n p) (p k) C (n k) Nombre de colonnes de la première matrice égal au nombre de lignes de la seconde AB BA, I n A = AI p = A Pense-bête matrices (2/2) (A + B)C = AC + BC A(BC) = (AB)C Transposition échange des lignes et des colonnes d une matrice ; on note A la transposée de A (A ) = A, (A + B) = A + B, (AB) = B A Trace la trace d une matrice carrée est la somme des termes de sa diagonale Inverse Tr(AB) = Tr(BA), Tr(ABC) = Tr(CAB) = Tr(BCA) Tr(CBA) si A et B sont carrées de taille n, alors AB = I n = BA = I n On note B = A (inverse de A) Partie II Formulation matricielle Pense-bête matrices (/2) x Tableau de données On note x j i la valeur de la variable x j pour le i-ème individu X = (x,, x p ) est une matrice rectangulaire à n lignes et p colonnes x j = x j x j 2 x j n, X = x x 2 x p x 2 x 2 2 x n Un individu est représenté par x j i e i = [x i,, x j i,, xp i ] x p n Matrice tableau de données, noté par un lettre majuscule grasse (ex : A) Vecteur matrice à une seule colonne, noté par une lettre minuscule grasse (ex : x) 2 Cours d analyse de données Jean-Marc Lasgouttes année 24-25

3 La matrice des poids on associe aux individus un poids p i tel que p + + p n = que l on représente par la matrice diagonale de taille n p p 2 D p = p n Cas uniforme tous les individus ont le même poids p i = /n et D p = n I n Point moyen et tableau centré Point moyen c est le vecteur g des moyennes arithmétiques de chaque variable : g = ( x,, x p ), où x j = On peut écrire sous forme matricielle g = X D p n p i x j i Tableau centré il est obtenu en centrant les variables autour de leur moyenne ou, en notation matricielle, y j i = xj i xj Y = X n g = (I n n nd p )X Matrice de variance-covariance c est une matrice carrée de dimension p σ 2 σ 2 σ p σ 2 V =, σ p où σ kl est la covariance des variables x k et x l et σj 2 est la variance de la variable x j Formule matricielle σ 2 p V = X D p X gg = Y D p Y Matrice de corrélation p p Si l on note r kl = σ kl /σ k σ l, c est la matrice r 2 r p r 2 R =, r p Formule matricielle D/σ = R = D/σVD/σ, où σ σ p Partie III Géométrie des nuages de points L analyse de composantes principales (ACP) Contexte chaque individu est considéré comme un point d un espace vectoriel F de dimension p L ensemble des individus est un nuage de points dans F et g est son centre de gravité Principe on cherche à réduire le nombre p de variables tout en préservant au maximum la structure du problème Pour cela on projette le nuage de points sur un sous-espace de dimension inférieure Distance entre individus Motivation afin de pouvoir considérer la structure du nuage des individus, il faut définir une distance, qui induira une géométrie Distance euclidienne classique la distance la plus simple entre deux points de R p est définie par d 2 (u, v) = (u j v j ) 2 = u v 2 j= Généralisation simple on donne un poids m j > à la variable j d 2 (u, v) = m j (u j v j ) 2 j= Utiliser ce poids est équivalent à multiplier la coordonnée j par m j Métrique soit M = diag(m j ), où m,, m p sont des réels strictement positifs On pose Espace métrique u 2 M = u Mu = d 2 M(u, v) = u v 2 M m j u 2 j, j= il est défini par le produit scalaire u, v M = u Mv = On notera que u 2 M = u, u M m j u j v j j= Cours d analyse de données Jean-Marc Lasgouttes année

4 Orthogonalité u, v M = on dit que u et v sont M-orthogonaux si Propriétés du produit scalaire Le produit scalaire est commutatif u, v M = v, u M Le produit scalaire est linéaire u, v + w M = u, v M + u, w M, Identité remarquable u, λv M = λ u, v M pour tout λ R u + v 2 M = u 2 M + v 2 M + 2 u, v M Le cas de la métrique D /σ 2 Pourquoi cette métrique? pour que les distances soient indépendantes des unités de mesure pour qu elles ne privilégient pas les variables dispersées Équivalence avec les données réduites on a D/σ 2 = et donc D/σD/σ u, v D/σ 2 = D/σu, D/σv Travailler avec la métrique D/σ 2 est équivalent à diviser chaque variable par son écart-type et à utiliser la métrique I Données centrées réduites les données z j i = xj i xj σ j, c est le tableau Z contenant qui se calcule matriciellement comme Z = YD/σ Utilisation des métriques Utiliser une métrique est donc équivalent à «tordre» les données, par exemple pour les rendre comparables Inertie totale puisque c est I g, qui est la plus petite inertie possible, I v = I g + v g 2 M Autres relations I g mesure la moyenne des carrés des distances entre les individus 2I g = j= p i p j e i e j 2 M L inertie totale est aussi donnée par la trace de la matrice VM (ou MV) I g = Tr(VM) = Tr(MV), la trace d une matrice étant la somme de ses éléments diagonaux Métriques particulières Métrique usuelle usuel et M = I p correspond au produit scalaire I g = Tr(V) = j= Métrique réduite obtenue quand M = D/σ 2 = D2 /σ I g = Tr(D/σ 2V) = Tr(D /σvd/σ) = Tr(R) = p L analyse de composantes principales (version 2) Principe on cherche à projeter le nuage de points sur un espace F k de dimension k < p Critère on veut que la moyenne des carrés des distances entre les points projetés soit maximale (elle est toujours plus petite que pour le nuage original) Pour cela on cherche F k, sous espace de dimension k de F p, tel que l inertie du nuage projeté sur F k soit maximale σ 2 i x2 x2 x x Exemple utiliser la métrique réduite est équivalent à travailler sur les données centrées réduites Z = YD/σ Inertie l inertie en un point v du nuage de points est I v = p i e i v 2 M = p i (e i v) M(e i v) 4 Cours d analyse de données Jean-Marc Lasgouttes année 24-25

5 Partie IV Approche matricielle du problème Rappels : valeurs propres et vecteurs propres un vecteur v de taille p est un vecteur propre d une matrice A de taille p p s il existe λ C telle que Av = λv λ est une valeur propre de A associée à v Domaine En général, les vecteurs propres et valeurs propres sont complexes ; dans tous les cas qui nous intéressent, ils seront réels Interprétation des vecteurs propres dans lesquelles la matrice agit ce sont les directions Interprétation des valeurs propres c est le facteur multiplicatif associé à une direction donnée Non unicité des vecteur propres Si v est un vecteur propre de A associé la valeur propre λ, alors, pour tout α C, αv est aussi vecteur propre de A : A(αv) = αav = αλv = λ(αv) Valeurs et vecteurs propres : un exemple concret La matrice a pour vecteurs propres v =, v 2 =, v 3 = On vérifie facilement que les valeurs propres associées sont λ = 2, λ 2 = 4, λ 3 = 6 Valeurs et vecteurs propres : cas particuliers Matrice nulle sa seule valeur propre est, et tout vecteur est vecteur propre Matrice identité tout vecteur est vecteur propre de I avec valeur propre, puisque Iv = v Matrice diagonale si D λ est une matrice diagonale avec les coefficients λ,, λ p, alors le i-ème vecteur coordonnée est vecteur propre de D λ associé à la valeur propre λ i L action d une matrice diagonale est de multiplier chacune des coordonnées d un vecteur par la valeur propre correspondante Matrice diagonalisable c est une matrice dont les vecteurs propres forment une base de l espace vectoriel : tout vecteur peut être représenté de manière unique comme combinaison linéaire des vecteurs propres Une matrice A de taille p p qui a p valeurs propres distinctes est diagonalisable et Tr(A) = λ + λ λ p Quelques matrices diagonalisables Matrice symétrique une matrice symétrique réelle (A = A) possède une base de vecteurs propres orthogonaux réels et ses valeurs propres sont elles aussi réelles v i, v j = si i j, et λ i R Matrice M-symétrique une matrice M-symétrique réelle (A M = MA) possède une base de vecteurs propres M- orthogonaux réel et ses valeurs propres sont elles aussi réelles v i, v j M = si i j, et λ i R Matrice définie positive c est une matrice symétrique dont les valeurs propres sont strictement positives Analyse de VM v i, v j = si i j, et λ i > Valeurs propres la matrice VM est M-symétrique : elle est donc diagonalisable et ses valeurs propres λ,, λ p sont réelles Axes principaux d inertie tels que VMa k = λ k a k, Ils sont M-orthonormaux ce sont les p vecteurs a,, a p avec a k, a l M = si k = l, sinon Signe des valeurs propres les valeurs propres de VM sont positives et on peut les classer par ordre décroissant Résultat principal Théorème principal λ λ 2 λ 3 λ p (Admis) le sous-espace F k de dimension k portant l inertie maximale est engendré par les k vecteurs propres de VM associés aux k plus grandes valeurs propres ; 2 Les solutions sont «emboîtées» : F k+ = F k f k+, où f k+ est le sous espace de dimension M-orthogonal à F k portant l inertie maximale Interprétation du théorème l ACP sur k variables est obtenue en se limitant aux k plus grandes valeurs propres Le calcul ne dépend pas du nombre de variables qu on veut Cours d analyse de données Jean-Marc Lasgouttes année

6 Idée du lien avec l inertie on sait que Tr(VM) = λ + +λ p Si on ne garde que les données relatives à a,, a q, on gardera l inertie λ + + λ q, et c est le mieux qu on puisse faire Partie V Les éléments de l ACP Les composantes principales Coordonnées des individus supposons que e i g = p l= c ila l, alors e i g, a k M = c il a l, a k M = c ik l= La coordonnée de l individu centré e i g sur l axe principal a k est donc donné par la projection M-orthogonale c ik = e i g, a k M = (e i g) Ma k Composantes principales ce sont les variables c k = (c k,, c nk ) de taille n définies par c k = YMa k Chaque c k contient les coordonnées des projections M- orthogonales des individus centrés sur l axe défini par les a k Représentation des individus dans un plan principal Qu est-ce que c est? pour deux composantes principales c et c 2, on représente chaque individu i par un point d abscisse c i et d ordonnée c i2 e6 e4 e5 Axe 2 e7 e8 e2 e e3 Axe Covariance de même, pour k l, cov(c k, c l ) = c kd p c l = = λ l a kma l = Les composantes principales ne sont pas corrélées entre elles Interprétation dans l espace des variables On peut transposer le tableau de données et étudier un nuage de p points de R n où chaque point est une variable Métrique D p il faut munir l espace des variables d une métrique raisonnable On choisit toujours la métrique D p des poids : x, y Dp = x D p y, x 2 D p = x D p x pour deux variables cen- Covariance et produit scalaire trées x et y, on a cov(x, y) = x, y Dp, var(x) = x 2 D p, cor(x, y) = x, y D p = cos( xy) x Dp y Dp Exemple les vecteurs c k / λ k forment une base D p - orthonormale { ck c l, si k = l,, = cor(c k, c l ) = λk λl D p, sinon Facteurs principaux on associe à un axe principal a k le facteur principal u k = Ma k de taille p C est un vecteur propre de MV car MVu k = MVMa k = λ k Ma k = λ k u k Calcul en pratique, on calcule les u k par diagonalisation de MV, puis on obtient les c k = Yu k Les a k ne sont pas intéressants Interprétation Si on pose u k = (u k,, u pk ), on voit que la matrice des u jk sert de matrice de passage entre la nouvelle base et l ancienne Quand? Elle est utile pour des individus discernables c ik = y j i u jk c est-à-dire c k = y j u jk j= j= Propriétés des composantes principales Moyenne arithmétique centrées : les composantes principales sont c k = c kd p n = a kmy D p n = car Y D p n = (les colonnes de Y sont centrées) Variance la variance de c k est λ k car var(c k ) = c kd p c k = a kmy D p YMa k = a kmvma k = λ k a kma k = λ k 6 Cours d analyse de données Jean-Marc Lasgouttes année 24-25

7 Formules de reconstitution Reconstitution Les c k et a k permettent de retrouver les coordonnées centrées par les formules équivalentes y j i = c ik a kj, e i g = k= c ik a k, y j = k= c k a kj k= ou matriciellement Y = p k= c ka k Les a kj forment de matrice de passage entre l ancienne base et la nouvelle Preuve il suffit de calculer n c ik a k, a l = c ik ak, a l = c M il = e i g, a l M k= M k= Comme les a k forment une base, on obtient la seconde formule Approximation Les k premiers termes fournissent la meilleure approximation de Y par une matrice de rang k au sens des moindres carrés (théorème de Eckart-Young) Critère de Kaiser (variables centrées-réduites) on ne retient que les axes associés à des valeurs propres supérieures à, c est-à-dire dont la variance est supérieure à celle des variables d origine Une autre interprétation est que la moyenne des valeurs propres étant, on ne garde que celles qui sont supérieures à cette moyenne Nombre d axes à retenir (suite) Éboulis des valeurs propres on cherche un «coude» dans le graphe des valeurs propres Partie VI Aspects pratiques L ACP sur les données centrées réduites c est la matrice de corré- Matrice de variance-covariance lation car Z D p Z = D/σY D p YD /σ = D/σVD/σ = R Métrique on prend la métrique M = I p ce sont les p vecteurs propres ortho- Facteurs principaux normés de R, Ru k = λ k u k, avec u k, u l = si k = l, sinon dont les valeurs propres vérifient λ +λ 2 +λ 3 + +λ p = p et λ λ 2 λ 3 λ p Composantes principales elles sont données par c k = Zu k Nombre d axes à retenir Dimension de l espace des individus L ACP visant à réduire la dimension de l espace des individus, on veut conserver aussi peu d axes que possible Il faut pour cela que les variables d origine soient raisonnablement corrélées entre elles Les seuls critères utilisables sont empiriques Interprétation des axes on s efforce de ne retenir que des axes à propos desquels une forme d interprétation est possible (soit directement, soit en terme des variables avec lesquels ils sont très corrélés) On donnera des outils à cet effet plus loin dans le cours Corrélation entre composantes et variables initiales Sur les variables centrées-réduites, cette corrélation s écrit ( p ) cov(z j, c k ) = cov a lj c l, c k = a lj cov(c l, c k ) = λ k a kj l= cor(z j, c k ) = cov(zj, c k ) var(ck ) = λ ka kj λk l= = λ k u jk Position dans un plan On sait que var(z j ) =, mais on peut aussi écrire ( ) var(z j ) = cov(z j, z j ) = cov z j, a kj c k = a kj cov(z j, c k ) = λ k a 2 kj = k= k= [ cor(z j, c k ) ] 2 k= k= Par conséquent, les 2 premières coordonnées sont dans un disque de rayon, puisque [ cor(z j, c ) ] 2 + [ cor(z j, c 2 ) ] 2 Le cercle des corrélations Qu est-ce que c est? c est une représentation où, pour deux composantes principales, par exemple c et c 2, on représente chaque variable z j par un point d abscisse cor(z j, c ) et d ordonnée cor(z j, c 2 ) Cours d analyse de données Jean-Marc Lasgouttes année

8 Le cercle des corrélations (suite) Interprétation Les variables qui déterminent les axes sont celles dont la corrélation est supérieure en valeur absolue à une certaine limite (, 9,, 8 selon les données) ; on essaie d utiliser la même limite pour tous les axes Remarques les points sont la projection orthogonale dans D p des variables dans le plan défini par les composantes principales c et c 2 Il ne faut interpréter la proximité des points que s ils sont proches de la circonférence Effet «taille» quand toutes les variables ont le même signe de corrélation avec la première composante principale (positif ou négatif) Cette composante est alors appelée «facteur de taille», la seconde «facteur de forme» un effet de taille indique un consensus sur une variable Le facteur correspondant ne nous apprend pas toujours quelque chose il n y a effet de taille que sur le premier axe! il n y a pas d «effet de forme»! Contribution d un individu à une composante On sait que var(c k ) = λ k = n p ic 2 ik La contribution de l individu i à la composante k est donc p i c 2 ik λ k Interprétation la contribution d un individu est importante si elle excède d un facteur α le poids p i de l individu concerné, c est-à-dire Partie VII Qualité de l analyse Qualité globale de la représentation Calcul de l inertie on se souvient que I g = Tr(VM) ; comme la trace d une matrice est la somme de ses valeurs propres, on a I g = λ + λ λ p la qualité de la représentation obtenue par k valeurs propres est la proportion de l inertie expliquée λ + λ λ k λ + λ λ p Si par exemple λ + λ 2 est égal 9% de I g, le nuage de points est aplati autour du premier plan principal Variables centrées réduites On a I g = Tr(R) = p : la somme des valeurs propres est le nombre de variables Utilisation cette valeur sert seulement à évaluer la projection retenue, pas à choisir le nombre d axes à garder Qualité locale de la représentation But on cherche à déterminer si le nuage de points est très aplati par la projection sur les sous-espaces principaux Dans ce cas, deux individus éloignés pourraient artificiellement sembler proches les uns des autres ou de manière équivalente p i c 2 ik λ k αp i, c ik αλ k Choix de α selon les données, on se fixe en général une valeur de l ordre de 2 à 4, que l on garde pour tous les axes Individus sur-représentés Qu est-ce que c est? c est un individu qui joue un rôle trop fort dans la définition d un axe, par exemple p i c 2 ik λ k >, 25 Effet il «tire à lui» l axe k et risque de perturber les représentations des autres points sur les axes de rang k Il est donc surtout problématique sur les premiers axes Un tel individu peut être le signe de données erronées Solution on peut le retirer de l analyse et le mettre en «individu supplémentaire» Angle entre un individu et un axe principal Il est défini par son cosinus carré Le cosinus de l angle entre l individu centré i et l axe principal k est cos(ê i, a k ) = e i g, a k M e i g M car les a k forment une base orthonormale Comme e i g, a k M = c ik, cos 2 (ê i, a k ) = c 2 ik p l= c2 il Cette grandeur mesure la qualité de la représentation de l individu i sur l axe principal a j 8 Cours d analyse de données Jean-Marc Lasgouttes année 24-25