Analyse en Composantes Principales

Transcription

1 Analyse en posantes Principales Université Paris Sud et Ecole Polytechnique Analyse en posantes Principales 1/21

2 Réduction de dimension : ACP Analyse en posantes Principales 2/21

3 Réduire la dimension: exemple Epreuve d heptathlon, jeux olympiques de Seoul, hurdles highjump shot run200m longjump javelin run800m Joyner-Kersee (USA) John (GDR) Behmer (GDR) Sablovskaite (URS) Choubenkova (URS) Schulz (GDR) Fleming (AUS) Greiner (USA) Lajbnerova (CZE) Bouraga (URS) Wijnsma (HOL) Dimitrova (BUL) Scheider (SWI) Braun (FRG) Ruotsalainen (FIN) Yuping (CHN) Hagger (GB) Brown (USA) Mulliner (GB) Hautenauve (BEL) Kytola (FIN) Geremias (BRA) Hui-Ing (TAI) Jeong-Mi (KOR) Launa (PNG) Analyse en posantes Principales 3/21

4 ACP en action Résultat d une ACP sur les données d heptathlon PC highjump 11 run200m longjump hurdles run800m shot 5 javelin PC1 Analyse en posantes Principales 4/21

5 ACP : notations Epreuve d heptathlon, jeux olympiques de Seoul, [ tableau n p : X = X (v) i ] i = 1... n v = 1... p = [ X (1),..., X (p)] = X T 1. X T n p = 7 variables: 1 hurdles: results 100m hurdles. 2 highjump: results high jump. 3 shot: results shot. 4 run200m: results 200m race. 5 longjump: results long jump. 6 javelin: results javelin. 7 run800m: results 800m race. n = 25 athlètes. Analyse en posantes Principales 5/21

6 Réduire la dimension But: représenter les obervations X i R p dans un espace de plus petite dimension avec le moins de perte d information possible. Ex: avec p = 2 variables: axes de projections (1er en rouge, 2nd en vert). Analyse en posantes Principales 6/21

7 Réduire la dimension But: représenter les obervations X i R p dans un espace de plus petite dimension avec le moins de perte d information possible. X[,3] X[,2] X[,1] Ex: avec p = 3 variables: meilleur plan approximant. Analyse en posantes Principales 7/21

8 Etape préliminaire Normalisation: étape préliminaire de normalisation des données: centrer: X (v) X (v) X (v) réduire: X (v) X (v) / var ( X (v)) (sauf si comparables) Dorénavant on supposera les données centrées. Analyse en posantes Principales 8/21

9 ACP Objectif : Obtenir un espace vectoriel V de petite dimension tel que Proj V (X i ) X i pour i = 1,..., n. Questions : on notera Σ = 1 n X T X 1 Montrer que V d := argmin dim(v )=d = argmax dim(v )=d n X i Proj V (X i ) 2 i=1 n Proj V (X i ) 2 i=1 2 Par quels vecteurs V d est-il engendré? (commencer par d = 1) 3 Que vaut n i=1 Proj V d (X i ) 2? Analyse en posantes Principales 9/21

10 ACP : définitions Axes principaux: a (1)... a (d) R p vecteurs propres orthonormés de Σ = 1 n X T X, ordonnés selon les valeurs propres décroissantes posantes principales: c k = Xa (k) R n pour k = 1,..., d Remarques: c 1... c d R n : car c j, c k = n(a (j) ) T Σ a (k) = nλ k δ jk a (k) = 1 et c k 2 = nλ k c 1,..., c d R n vecteurs propres de XX T Analyse en posantes Principales 10/21

11 ACP : projections Projection des individus: X i, a (k) = (c k ) i donc d Proj Vd (X i ) = (c k ) i a (k) k=1 Projection des variables: X (v), c k / c k 2 = (a (k) ) v donc d Proj <c1,...,c d >(X (v) ) = (a (k) ) v c k k=1 Analyse en posantes Principales 11/21

12 ACP: biplot PC highjump 11 run200m longjump hurdles run800m shot 5 javelin PC1 Analyse en posantes Principales 12/21

13 ACP : variance expliquée valeurs propres pour les données d heptathlon. acp Variances Analyse en posantes Principales 13/21

14 Cercle des corrélations Cercle des corrélations: pour chaque variable v on définit le vecteur ρ (v) R d par On a ρ (v) k = cor(x (v), c k ) = X (v), c k X (v), k = 1,..., d. c k ρ (v) 2 = Proj <c 1,...,c d >(X (v) ) 2 X (v) 2 1. La norme de ρ (v) représente la qualité de la représentation de la variable v par les d premiers axes. Analyse en posantes Principales 14/21

15 Cercle des corrélations : d = 2 PC highjump gjump shot javelin run200m hurdle run800m PC 1 Les variables sont bien expliquées par les deux premières composantes (proche du cercle) 15/21 Analyse en posantes Principales

16 ACP: exemple 2 Exemple: budget de l état français sur 24 années. Les variables: part du budget alloué à différents postes (en pourcentage du budget) PVP: Pouvoirs publics AGR: Agriculture CMI: merce et industrie TRA: Travail LOG: Logement EDU: Éducation ACS: Action sociale ANC: Ancien combattants DEF: Défense DET: Remboursement dette DIV: Divers donc p = 11 Observations: on a 24 observations pour chaque variable (n = 24) Analyse en posantes Principales 16/21

17 ACP: exemple 2 valeurs propres valeurs propres Analyse en posantes Principales 17/21

18 ACP: exemple 2 Projection sur les 2 premiers axes Analyse en posantes Principales 18/21

19 ACP: exemple 2 Projection sur les 3 premiers axes Analyse en posantes Principales 19/21

20 ACP: exemple 2 Cercle des corrélations Variables proches du cercle: bien expliquées par les deux premiers axes. Analyse en posantes Principales 20/21

21 ACP : récapitulatif Axes principaux: a (1)... a (d) R p vecteurs propres orthonormés de Σ = 1 n X T X, posantes principales: c 1... c d R n, avec c k = Xa (k) Projection des individus: Proj Vd (X i ) = d k=1 (c k) i a (k) Projection des variables: Proj <c1,...,c d >(X (v) ) = d k=1 (a(k) ) v c k Ratio de variance expliquée: par les d premières composantes λ λ d λ λ p. Analyse en posantes Principales 21/21

22 ACP versus ALD pour re duire la dimension Exemple: X = mesure de la composition chimique (55 compose s) de n = 162 souches de E. coli. Y = souche commensale ou pathoge ne ALD ACP Analyse en posantes Principales /21