Analyse des données et Data Mining

Transcription

1 Analyse des données et Data Mining Analyse en composantes principales utc sy09 1

2 Objectif des méthodes factorielles Visualiser, traiter des données multidimensionnelles Problème difficile Information apportée par ces variables souvent redondante Exploiter cette redondance pour remplacer les variables initiales par un nombre réduit de nouvelles variables sans perdre trop d information Remplacer plusieurs variables par une seule : démarche habituelle : Moyenne àl école QI répartition des hommes politiques sur l axe droite-gauche Mieux à faire : conserver un aspect multidimensionnel Psychologues américains (Spearman, Burt, Thurstone) Données : résultats à des tests psychologiques Objectif ; facteur général d aptitude + facteurs spécifiques (mémoire, intelligence,...) utc sy09 2

3 Exemple de l analyse en composantes principales Variables quantitatives Nouvelles variables = combinaisons linéaires des variables initiales Non corrélées Géométriquement : chercher les droites, les plans et de manière plus générale les variétés linéaires proches du nuage des individus K. Pearson (1900) : 2 variables H. Hotelling (1933) : plus de 2 variables de variables. Référence récente : Jackson (1991) utc sy09 3

4 Les différentes méthodes factorielles Dépendent de la forme des données Mêmes bases mathématiques Différent de «factor analysis» Anglo-saxons Statistiques inférentielles s appuyant sur un modèle statistique Assez peu utilisées en France ACP : tableaux de variables quantitatives AFC : tableaux de contingence ACM : tableaux de variables qualitatives AFTD : tableaux de proximités AFD : Variable à discriminer utc sy09 4

5 Les données X tableau individus, variables quantitatives Nuage N(Ω) de R p muni de la métrique euclidienne X centré en colonne Matriciellement : X = Y 1 n Y si Y est la matrice initiale utc sy09 5

6 Formulation du problème Représentation fidèle du nuage des individus dans un espace plus simple : Espaces choisis : Droite, plan,... Espace affine de dimension de petite dimension Il faut fixer la dimension k<p Il existe des extensions à d autres types d espaces Type de représentation : Projection orthogonale Fidélité : Minimisation des «écarts» entre les points du nuage et leurs projections Minimisation de l inertie par rapport à l espace affine utc sy09 6

7 Formulation mathématique Pb1 : Trouver le sous-espace affine E k de dimension k tel que I Ek Théorème de Huygens : E k g g =0 E k sous-espace vectoriel De plus I Ek + I E k = I = cste Pb2 : Trouver le sous-espace vectoriel E k t.q. I E k soit maximum k = 1 : droite des moindres carrés ACP : régression orthogonale Différent de la droite de régression de y par rapport à x Différent de la droite de régression de x par rapport à y soit minimum utc sy09 7

8 Résolution du problème : axes factoriels Décomposition spectrale de la matrice de variance S = 1 n XX S sym. 0 diagonalisable, valeurs propres 0, vecteurs propres λ 1... λ p valeurs propres ordonnées u 1,...,u p les vecteurs propres normés correspondant : base orthonormée Solution : les propriétés spectrales permettent de montrer que les sous-espaces recherchés sont définis de la façon suivante : E 1 = u 1 ; E 2 = E 1 u 2... E k = E k 1 u k En outre : I u k = λ k u k : axe factoriel (ou axe principal d inertie) utc sy09 8

9 Résultats pratiques La recherche des sous-espaces E k est donc obtenue de la façon suivante : Diagonaliser S Ordonner les vecteurs propres dans l ordre décroissant des valeurs propres Normaliser des vecteurs propres Notations matricielles : Matrice des vecteurs propres U =(u 1,...,u p ) Matrice diagonale des valeurs propres L =diag(λ 1,...,λ p ) Remarque : UU = I U SU = L SU = UL utc sy09 9

10 Inerties expliquées On a I u k = λ k E k = u 1... u k et u k orthogonaux D où I E k = λ λ k Remarques pour k = p : on retrouve I = trace(s) Si r est le rang de la matrice X(r min(p, n)) : λ 1,...,λ r > 0 et λ r+1,...,λ p =0 On a donc I E r = I : le nuage est donc dans E r utc sy09 10

11 Choix du nombre k d axes à retenir Avec le pourcentage d inertie pourcentage d inertie expliquée par E 1 = 100 λ 1 p α=1 λ = 100 λ 1 ; α trace(s) pourcentage d inertie expliquée par E 2 = 100 (λ 1+λ 2 ) p α=1 λ α... ; = 100 (λ 1+λ 2 ) trace(s) ; pourcentage d inertie expliquée par E k = 100 (λ 1+λ λ k ) p α=1 λ α = 100 (λ 1+λ λ k ) trace(s) Méthode graphique du «coude» Utilisation de tests : par exemple H 0 : λ k+1 =... = λ p utc sy09 11

12 Composantes Principales Définition Pb initial : représenter les individus dans un espace de petite dimension E k Comment obtenir cette représentation? Coordonnées d un individu i sur E k : c 1 i...,cα i,...,ck i où cα i est la position de i sur l axe α Composantes principales : c α =(c α 1,...,c α n) Pour tracer le plan factoriel (α, β), il suffit de calculer c α et c β Pour α>r,onac α = 0 (inertie expliquée nulle) i Ω (cα i )2 Expression des valeurs propres λ α = I uα = 1 n Calcul des composantes principales : projection des x i sur les vecteurs de base c α i =< x i, u α >= x iu α ou encore c α = Xu α Matriciellement si C =(c1,...,c p ): C = XU utc sy09 12

13 Composantes principales : nouvelles variables c α associe à chaque individu une valeur réelle : nouvelle variable Propriétes combinaisons linéaires des variables x j centrées, de variance λ α et non corrélées Vecteurs propres de 1 n XX, matrice des produits scalaires avec les valeurs propres λ α Autre interprétation de l ACP : Trouver k nouvelles variables, combinaisons linéaires normées ( u α =1)desp variables centrées initiales, non corrélées deux à deux et de variance maximum Solution : vecteurs propres normées de la matrice 1 n XX : c α Diagonaliser XX ou X X? utc sy09 13

14 Formule de reconstitution p r X = CU ou X = = c α u α = c α u α α=1 α=1 Décomposition de la matrice X en une somme de matrices de rang 1 «Reconstitution» de X avec les composantes principales et les axes factoriels Approximation : X X = k c α u α = CŨ. α=1 Relation quelquefois utilisée pour compresser les données utc sy09 14

15 Qualité delareprésentation Qualité globale : pourcentage d inertie pris en compte par E k λ λ k trace(s).100 Contribution d un axe à un individu : proportion de l inertie de l individu conservée sur l axe Inertie de l individu : 1 n x i 2 (I = p i=1 1 n x i 2 ) Inertie de l individu sur l axe : 1 n (ci α) 2 Contribution COR(i, α) = (cα i )2 x i 2 Carré du cosinus de l angle (x i, u α ) Varie de 1 (i bien représenté) à0(i mal représenté) Généralisation : contribution relative de E k k k α=1 QLT (i, k) = (cα i )2 x i 2 = COR(i, α) utc sy09 15 i=1

16 Qualité de la représentation (suite) Contribution d un individu à un axe: proportion d inertie de l axe apportée par un individu Inertie de l axe Contribution I uα = λ α = 1 n CTR(i, α) = n (c α i ) 2 i=1 1 n (cα i )2 λ α utc sy09 16

17 Représentation des variables Objectif : visualiser les corrélations x j, x j et les corrélations c α, x j Représentation des variables normées ( cercle des corrélations) : les corrélations x j, x j seront visualisées par les cosinus Les composantes principales normées v α = 1 λα c α forment une base orthonormée de l espace vectoriel engendré par les variables initiales Dans cette base : les coordonnées des variables normées sur les axes sont les corrélations c α, x j Calcul des coordonnées : d j α = cor(x j, c α ) ou encore D = D 1 σ UL1 2 Qualité de représentation : dépend de la position des projections par rapport au cercle de corrélations utc sy09 17

18 Les éléments supplémentaires (ou illustratifs) Représentation d individus ou de variables n ayant pas participé à l analyse Principe : leur appliquer les mêmes transformations que celles qui ont été appliquées aux individus ou aux variables de départ Individu supplémentaire : coordonnée sur l axe u α de l individu y s : centrage en colonne : x s = y s x =(y 1 s x 1,...,y p s x p ) Projection sur l axe : < x s, u α >= x su α Variable supplémentaire : coordonnée sur l axe v α de la variable s s Centrage en colonne : x s =(y s 1 y s,...,y s p y s ) Projection sur l axe : < x s, v α > Dp =(x s ) D p c α λα utc sy09 18

19 Les éléments supplémentaires : utilisation Représentation d individus dont la fiabilité est suspecte Représentation d individus prenant des valeurs atypiques qui prendraient une part trop prépondérante à la formation des axes s ils étaient pris en compte Représentation d un groupe d individus par leur centre de gravité Représentation d éléments de natures différentes des éléments initiaux : variables actives : notes scolaires et variables supplémentaires : notes de tests psychologiques Individus actifs : malades et individus supplémentaires : personnes saines utc sy09 19

20 Exemple d ACP : Les données math scie fran lati d-m jean aline annie monique didier andré pierre brigitte evelyne Moy Données initiales math scie fran lati dess Données centrées utc sy09 20

21 Matrice de variance S = 1 9 X X = math scie fran lati dess math scie fran lati dess Valeurs propres Axes factoriels Inertie % d inertie % d inertie expliquée expliquée cumulée u 1 u 2 u 3 u 4 u utc sy09 21

22 Contributions relatives des axes aux individus Contributions relatives des individus aux axes jean aline annie monique didier andré pierre brigitte evelyne jean aline annie monique didier andré pierre brigitte evelyne utc sy09 22

23 Composantes principales jean aline annie monique didier andré pierre brigitte evelyne Analyse dans R n F1 F2 F3 F4 F 5 math scie fran lati d-m utc sy09 23

24 ACP : Exemple des notes (variables) 1 fran 0.5 lati Axe 2 0 d m 0.5 math scie Axe 1 utc sy09 24

25 ACP : Exemple des notes (variables) Axe 3 0 fran math scie lati d m Axe 1 utc sy09 25

26 ACP : Exemple des notes (individus) 6 pier anni evel 2 Axe moni 1 alin 2 3 jean didi 4 brig andr Axe 1 utc sy09 26

27 3 2 jean alin ACP : Exemple des notes (individus) pier moni 1 didi 0 anni Axe andr brig evel Axe 1 utc sy09 27

28 Taille du cerveau et intelligence Référence : Reference : Willerman, L., Schultz, R., Rutledge, J. N., and Bigler, E. (1991), In Vivo Brain Size and Intelligence, Intelligence, 15, Description : 40 étudiants en psychologie et 7 variables Sexe 3 mesures d intelligence FSIQ : Full Scale IQ scores based on the four Wechsler (1981) subtests VIQ : Verbal IQ scores based on the four Wechsler (1981) subtests PIQ : Performance IQ scores based on the four Wechsler (1981) subtests Weight : taille de l étudiant Height : poids de l étudiant MRI (Magnetic Resonance Imaging) : taille du cerveau utc sy09 28

29 Les données FSIQ VIQ PIQ W H MRI 1F M M M F F F F M M F M M F F F F M F M FSIQ VIQ PIQ WEIG HEIG MRI 21M M F M F M F M F F F M M M F F M F M M utc sy09 29

30 Corrélations FSIQ VIQ PIQ WEIG HEIG MRI FSIQ VIQ PIQ WEIG HEIG MRI ACP : valeurs propres Variance Pourc. de variance Pourcentage cumulé utc sy09 30

31 ACP (correlation) : Taille du cerveau (variables) 1 MRI HEIG WEIG 0.5 PC 2 0 PIQ FSIQ VIQ utc sy PC 1

32 ACP (correlation) : Taille du cerveau (individus) PC utc sy09 PC 1 32

33 ACP (correlation) : Taille du cerveau (individus) 3 f m 2 1 PC utc sy09 PC 1 33

34 Fichier notes.rd math scie fran lati d-m jean aline annie monique didier andre pierre brigitte evelyne Y <- as.matrix(data) n <- dim(y)[1] Programme R # Centrage du tableau X <- Y-matrix(1,n,1)%*% apply(y,2,mean) # Reduction du tableau (eventuellement) #X <- X/matrix(1,n,1)%*% apply(x,2,sd) # Calcul de la matrice de covariance ou de correlation S <- (1/n)*t(X)%*%X # Calcul des valeurs propres et des axes d inertie tmp<-eigen(s,symmetric=true) L <- diag(tmp$values) U <- tmp$vectors # Calcul des composantes principales des individus C <- X%*% U # Représentation des variables D <- diag(1/(sqrt((n-1)/n)*sd(x))) %*% U %*% sqrt(l) # Calcul des contributions COR <- diag(1/apply(x^2,1,sum))%*% C^2 CTR <- (1/n)*C^2 %*% diag(1/diag(l)) # Tracé des graphiques plot(c[,1],c[,2],type="n") text(c[,1],c[,2],rownames(data));abline(h=0);abline(v=0) plot(c[,1],c[,3],type="n") text(c[,1],c[,3],rownames(data));abline(h=0);abline(v=0) plot(-1:1,-1:1,type="n",xlab= Axe 1,ylab= Axe 2 ) text(d[,1],d[,2],colnames(data));abline(h=0);abline(v=0) curve(sqrt(1-x^2),-1,1,add=true) curve(-sqrt(1-x^2),-1,1,add=true) plot(-1:1,-1:1,type="n",xlab= Axe 1,ylab= Axe 3 ) text(d[,1],d[,3],colnames(data));abline(h=0);abline(v=0) curve(sqrt(1-x^2),-1,1,add=true) curve(-sqrt(1-x^2),-1,1,add=true) utc sy09 34