Méthodes de placement multidimensionnelles. Fabrice Rossi Télécom ParisTech

Dimension: px

Commencer à balayer dès la page:

Download "Méthodes de placement multidimensionnelles. Fabrice Rossi Télécom ParisTech"

Jean-Marc Lafleur
il y a 10 ans
Total affichages :

1 Méthodes de placement multidimensionnelles Fabrice Rossi Télécom ParisTech

2 Plan Introduction Analyse en composantes principales Modèle Qualité et interprétation Autres méthodes 2 / 27 F. Rossi

3 Plan Introduction Analyse en composantes principales Modèle Qualité et interprétation Autres méthodes 3 / 27 F. Rossi Introduction

4 Motivations intérêt des outils de visualisation très efficaces en dimension 2 corrects en dimension 3 utilisables en dimensions 4 ou 5 (après un apprentissage) limites dilemme lisibilité versus nombre de variables (et d objets) liens entre variables difficiles à comprendre liens entre objets difficiles à comprendre 4 / 27 F. Rossi Introduction

dilemme lisibilité versus nombre de variables (et d objets) liens entre variables

5 Motivations intérêt des outils de visualisation très efficaces en dimension 2 corrects en dimension 3 utilisables en dimensions 4 ou 5 (après un apprentissage) limites dilemme lisibilité versus nombre de variables (et d objets) liens entre variables difficiles à comprendre liens entre objets difficiles à comprendre solution réduire automatiquement la dimension des données en enlevant des variables ou en calculant de nouvelles coordonnées 4 / 27 F. Rossi Introduction

entre variables difficiles à comprendre liens entre objets difficiles à comprendre solution réduire automatiquement

6 Placement formulation du problème : données (X i ) 1 i N dans un espace X placement (Y i ) 1 i N dans R Q avec Q petit (2 ou 3) à chaque objet X i est associé un vecteur en basse dimension Y i problème : bien choisir les Y i deux sources de variabilité dans les solutions représentation initiale (nature) des X i critère de choix des Y i questions additionnelles lien entre les X i et les Y i contrôle de la qualité du placement interprétation 5 / 27 F. Rossi Introduction

sources de variabilité dans les solutions représentation initiale (nature) des X i critère de choix des Y i questions

7 Données vectorielles X est une matrice N P N objets P variables numériques Critère d approximation Y est de dimension Q < P : on considère les Y i comme des éléments d un sous-espace vectoriel de R P critère de qualité quadratique 1 N N X i Y i 2 i=1 attention : les Y i sont décrits dans une base adaptée problème d optimisation : choisir les meilleurs Y i sous une contrainte de rang 6 / 27 F. Rossi Introduction

critère de qualité quadratique 1 N N X i Y i 2 i=1 attention : les Y i sont décrits dans une base

8 Données dissimilarités les X sont décrits seulement par une dissimilarité entre les objets, d X (X i, X j ) Critères d approximation les Y sont dans R p : d(y i, Y j ) = Y i Y j essayer d avoir d(y i, Y j ) d X (X i, X j ) : principe de préservation des distances critère générique 1 N 2 N i=1 j=1 N (d X (X i, X j ) Y i Y j ) 2 F (d X (X i, X j ), Y i Y j ) le rôle de F est de limiter l influence des grandes distances (par exemple) d autres variantes existent 7 / 27 F. Rossi Introduction

préservation des distances critère générique 1 N 2 N i=1 j=1 N (d X (X i, X j ) Y i Y j ) 2 F (d X (X i, X j ), Y i Y j )

9 Plan Introduction Analyse en composantes principales Modèle Qualité et interprétation Autres méthodes 8 / 27 F. Rossi Analyse en composantes principales

10 Analyse en composantes principales méthode de placement pour données numériques inventée par Pearson (1901) approche par projection linéaire idée sous-jacente (modèle factoriel) processus génératif X = YW W est une matrice Q P orthogonale WW T = I Y est une représentation de dimension Q but de l analyse factorielle : retrouver W et Y 9 / 27 F. Rossi Analyse en composantes principales

génératif X = YW W est une matrice Q P orthogonale WW T = I Y est une représentation de

11 Projection linéaire soit un système orthonormé (φ j ) 1 j Q de R P, la projection d un X i sur le sous-e. v. associé est P(X i ) = Q (X i φ j )φ T j j=1 erreur de projection 1 N N X i i=1 Q (X i φ j )φ T j j=1 2 meilleure projection : optimisation sur (φ j ) 1 j Q 10 / 27 F. Rossi Analyse en composantes principales

associé est P(X i ) = Q (X i φ j )φ T j j=1 erreur de projection 1 N N X i i=1

12 Résolution on suppose les données centrées : N i=1 X i = 0 on note Φ la matrice des φ j (en colonnes) l erreur de projection devient 1 N N X i X i ΦΦ T 2 i=1 minimiser l erreur revient à résoudre maximiser 1 N Tr(XΦΦT X T ) avec Φ T Φ = I solution (admise) : les φ j sont les vecteurs propres de 1 N X T X associés aux P plus grandes valeurs propres 11 / 27 F. Rossi Analyse en composantes principales

résoudre maximiser 1 N Tr(XΦΦT X T ) avec Φ T Φ = I solution (admise) : les φ j sont les vecteurs

13 ACP on a donc X YW avec W = Φ T et Y = XΦ les colonnes de Φ sont les axes principaux de l ACP les colonnes de Y sont les composantes principales la variance de Y.i est λ i, la i-ème valeur propre de 1 N X T X placement : on conserve les deux premiers axes on affiche les deux premières composantes 12 / 27 F. Rossi Analyse en composantes principales

i est λ i, la i-ème valeur propre de 1 N X T X placement : on conserve les deux

14 Conservation de la variance autre vison de l ACP : chercher une direction intéressante dans les données intéressant : avec une forte variabilité analyse similaire à la précédente : axe de projection φ, projection Xφ variance de la projection 1 N XφφT X T (données centrées) maximisation de la variance même problème que précédemment! les axes principaux sont donc des axes de variance maximale 13 / 27 F. Rossi Analyse en composantes principales

variance de la projection 1 N XφφT X T (données centrées) maximisation de la variance même problème que

15 Exemples données verre : 213 observations sur 10 variables 9 variables numériques : pas de prise en compte de la variable nominale données iris : 150 observations sur 5 variables 4 variables numériques (et une nominale) centrage et réduction : centrage : obligatoire réduction : au choix de l analyste 14 / 27 F. Rossi Analyse en composantes principales

variables 4 variables numériques (et une nominale) centrage et réduction : centrage :

16 Données verre normalisé PC PC1 15 / 27 F. Rossi Analyse en composantes principales

17 Données verre non normalisé PC PC1 15 / 27 F. Rossi Analyse en composantes principales

18 Données Iris normalisé PC PC1 16 / 27 F. Rossi Analyse en composantes principales

19 Données Iris non normalisé PC PC1 16 / 27 F. Rossi Analyse en composantes principales

20 Analyse du placement l ACP est une projection linéaire les distances sont donc réduites : si deux points sont proches dans R P ils seront toujours proches dans R Q par ACP mais deux points proches dans le placement ACP ne sont pas nécessairement proches dans l espace d origine les séparations sont exactes les regroupements peuvent être trompeurs 17 / 27 F. Rossi Analyse en composantes principales

dans le placement ACP ne sont pas nécessairement proches dans l espace d origine les séparations

21 Qualité de l approximation Erreur de reconstruction 1 N Tr(X T X) 1 N Tr(XΦΦT X T ) or 1 N Tr(X T X) = P i=1 λ i est la somme des variances des variables 1 N Tr(XΦΦT X T ) = 1 N Tr(ΦT XX T Φ) = Q i=1 λ i Qualité : pourcentage de la variance expliquée Q i=1 λ i P i=1 λ i 18 / 27 F. Rossi Analyse en composantes principales

22 Représentation graphique Données verre Données Iris 19 / 27 F. Rossi Analyse en composantes principales

23 Représentation graphique Données verre Données Iris L approximation est bien meilleure pour les données Iris en deux dimensions. 19 / 27 F. Rossi Analyse en composantes principales

24 Interprétation des axes aide à l interprétation : quel sens accorder aux axes principaux? lien entre les axes et les variables d origine on considère la corrélation entre X.j et Y.k : comme les variables sont centrées, la covariance de X.j et Y.k est 1 N (X T Y ) jk la corrélation entre X.j et Y.k est donc λk φ jk σ j, où σ i est l écart-type de X.j on peut dessiner les variables réduites : cercle des corrélations 20 / 27 F. Rossi Analyse en composantes principales

25 Données Iris normalisé PC PC1 21 / 27 F. Rossi Analyse en composantes principales

26 Données Iris PC V2 V3 V4 V PC1 21 / 27 F. Rossi Analyse en composantes principales

27 Données glass normalisé PC PC1 22 / 27 F. Rossi Analyse en composantes principales

28 Données glass PC V7 V1 V9 V3 V8 V6 V5 V2 V PC1 22 / 27 F. Rossi Analyse en composantes principales

29 Plan Introduction Analyse en composantes principales Modèle Qualité et interprétation Autres méthodes 23 / 27 F. Rossi Autres méthodes

30 Limites de l ACP pas de prise en compte des dépendances non linéaires s appuie sur les corrélations : pas de corrélation, pas de simplification! projection linéaire : écrase les données ne préserve pas les distances 24 / 27 F. Rossi Autres méthodes

31 Limites de l ACP pas de prise en compte des dépendances non linéaires s appuie sur les corrélations : pas de corrélation, pas de simplification! projection linéaire : écrase les données ne préserve pas les distances autres solutions : méthodes de placement non linéaire : pas de lien linéaire entre X et Y optimisation d une mesure de préservation des distances (dissimilarités) 24 / 27 F. Rossi Autres méthodes

32 Multi Dimensional Scaling famille des algorithmes de Multi Dimensional Scaling méthode de Kruskal-Shepard : minimiser ( d(xi, x j ) y i y j ) 2 i j méthode de Sammon : minimiser ( d(xi, x j ) y i y j ) 2 i j d(x i, x j ) ce qui favorise les petites distances nombreuses autres variantes 25 / 27 F. Rossi Autres méthodes

33 Données Iris normalisé PC PC1 26 / 27 F. Rossi Autres méthodes

34 Données Iris Sammon iris.sammon$points[,2] iris.sammon$points[,1] 26 / 27 F. Rossi Autres méthodes

35 Données glass normalisé PC PC1 27 / 27 F. Rossi Autres méthodes

36 Données glass Sammon glass.sammon$points[,2] glass.sammon$points[,1] 27 / 27 F. Rossi Autres méthodes

Documents pareils

L ANALYSE EN COMPOSANTES PRINCIPALES (A.C.P.) Pierre-Louis GONZALEZ

L ANALYSE EN COMPOSANTES PRINCIPALES (A.C.P.) Pierre-Louis GONZALEZ INTRODUCTION Données : n individus observés sur p variables quantitatives. L A.C.P. permet d eplorer les liaisons entre variables et