Introduction à l Analyse Des Données (ADD) B- Exemples C- Les données

Transcription

1 Introduction à l Analyse Des Données (ADD) A- Les méthodes A- Les méthodes B- Exemples C- Les données

2 A- Les méthodes Lors de toute étude statistique, il est nécessaire de décrire et explorer les données avant d en tirer de quelconques lois ou modèles prédictifs. Dans beaucoup de situations, les données sont trop nombreuses pour pouvoir être visualisables (nombre de caractéristiques trop élevées) Il est alors nécessaire d extraire l information pertinente qu elles contiennent ; Les techniques d ADD répondent à ce besoin.

3 A - Les méthodes ADD = ensemble de méthodes descriptives ayant pour objectif de résumer et visualiser l information pertinente contenue dans un grand tableau de données

4 A - Les méthodes Trois grandes familles de méthodes: Objectif Variables quanti Variables quali/mixtes Repérer et visualiser les Analyse en Analyse factorielle des corrélations multiples entre variables et/ou les ressemblances entre individus composantes principales (ACP) correspondances (AFC AFCM) Réaliser une typologie des individus Caractériser de groupes d individus à l aide de variables Methodes de classification (CAH,..) Analyse discriminante (AFD,..) AFC ou AFCM et classification Analyse discriminante (AFD,..)

5 B- Exemples

6 B- Exemples (ACP sous R ) Deux grandes tendances : L axe 1 distingue les états de Floride, Colorado, Arizona, Californie, Maryland caractérisés par un fort taux de délits en tous genres aux autres états. L axe 2 est un axe de gravité des délits : s oppose les états ayant un fort taux de délits mineurs (Colorado, Arizona) aux états concernés par des délits majeurs (Alabama, Louisiane).

7 B- Exemples (classif sous R) Classification On distingue 4 groupes d états : le groupe vert, caractérisé par un taux de délits en tous genres inférieur à la moyenne Le groupe bleu caractérisé par un taux de délits en tous genres supérieur à la moyenne Le groupe noir caractérisé par un taux de délits graves supérieur à la moyenne Le groupe rouge caractérisé par un taux de délits mineurs supérieur à la moyenne delits mineurs -----delits maje eurs représentation dans les axes d'une ACP(programme3) Louisiana Alabama Georgia Kentucky Arkansas Alaska Illinois Maryland California Indiana Florida Kansas Idaho Connecticut Maine Iow a Colorado Delaw are Arizona Haw aii forte criminalite ---- faible criminalite

8 B- Exemples

9 B Exemples (ACP sous statistica)

10 C 1 Les données: tableau individu*variables On observe p caractéristiques e,..., e,... e 1 i n X,... X 1 p quantitatives sur n individus On note x ij la valeur de la variable X observée sur l individu e j i Individu e1 e2 X 1 X 2 x 11 x 12 x 21 x 22 X x 1 j j x 2 j X p x 1 p x 2 p ei x i1 x i2 x ij x ip en x n1 x n2 x nj x np

11 C 1 Les données: tableau individu*variables Le tableau peut être mis sous forme matricielle X = x x... x... x j 1p x 21 x x 2 j... x 2 p x i1 x i2... x ij... x ip x x... x... x n1 n2 nj np

12 C 1 Les données : tableau individu*variables Chaque individu est décrit par p variables, formant un vecteur de dimension p, appelé vecteur individu. x i 1... e = x R p i ij... x ip

13 C 1 Les données : tableau individu*variables Chaque variable peut être représentée par un vecteur de dimension n, appelé vecteur variable, correspondant aux valeurs prises par cette variable sur les n individus. x 1 j... x = x R j ij n... x nj

14 C 1 Les données: tableau individu*variables

15 C.2- Les données : Grandeurs associées au tableau de données a- Matrice des poids associés aux individus Les données peuvent être pondérées : Le poids attribué à chaque individu exprime l importance que l on désire lui accorder dans l étude (représentativité de l échantillon étudié dans la population) : p p 1, i = 1,... n i n P = 0 0 p 0 0 pi = 1 i i = Généralement P = 1 n I n (même poids pour tous les individus) p n

16 C.2- Les données : Grandeurs associées au tableau de données b- Nuages de points Ils permettent de visualiser les liens entre les variables ou les ressemblances/dissemblances entre individus contenus dans le tableau de données X. Nuage des points-individus = coordonnées des n vecteurs individus dans le repère de R p dont les axes sont les p variables du tableau. e ' x,..,... i i1 x ij x = ip Nuage des points-variables = coordonnées des p vecteurs variables dans le repère de R n dont les axes sont déterminés par les n individus. X = [ x,...,,... ]' j 1j x ij x nj e i X j

17 C.2- Les données : Grandeurs associées au tableau de données b- Nuages de points On dispose de 6 variables représentant les taux de différents délits commis pour habitants dans 20 Etats des Etats-unis. Ces données peuvent être mises dans un tableau individu*variable ETAT Meurtre Rapt vol attaque viol larcin Alabama Alaska Arizona Arkansas California Colorado Connecticut Delaware Florida Georgia Hawaii Idaho Illinois Indiana Iowa Kansas Kentucky Louisiana Maine Maryland

18 C.2- Les données : Grandeurs associées au tableau de données b- Nuages de points Les n individus forment un nuage de points dans le sous-espace de défini par les variables, appelé nuage des points-individus R p nuage des points-individus 60 rapt meurtre Le taux de meurtre et le taux de rapt sont corrélés positivement, ce qui signifie que les états où il y a beaucoup de meurtres sont généralement des états où il y a beaucoup de rapt, et inversement.

19 C.2- Les données : Grandeurs associées au tableau de données b- Nuages de points Les p variables forment un nuage de points dans le sous-espace de défini par les individus, appelé nuage des points-variables. alaska Nuage de s po ints -variable s pour le table au ré duit à de ux individus meutre rapt vol attaque viol lar cin alabam a R n on peut comparer par rapport à la première bissectrice les valeurs prises par les variables sur les différents individus afin d identifier des individus proches en terme de valeurs prises par les variables. Ainsi, l Alaska se distingue par un nombre relativement important de larcins.

20 C.2- Les données : Grandeurs associées au tableau de données c- Centre de gravité Le centre de gravité du nuage de points individus G caractérise la position globale de nuage (individu) dans le repère défini par les variables. C est le point autour duquel «gravitent» les individus du nuage. x 1 x n G 2 x = p x = j i 1... = i ij x p Au plus G est loin de l origine, au moins le nuage est centré. RQ : lorsque les poids sont égaux, G est le vecteur des moyennes.

21 C.2- Les données : Grandeurs associées au tableau de données c- Centre de gravité nuage des points-individus 60 rapt meurtre

22 C.2- Les données : Grandeurs associées au tableau de données c- Centre de gravité Centre de gravité du tableau des protéines Statist.exe

23 C.2- Les données : Grandeurs associées au tableau de données d- Matrice de variance-covariance associée à X V = Var( X ) Cov( X, X )... Cov( X, X )... Cov( X, X ) j 1 p Cov( X, X ) Var( X )... Cov( X, X )... Cov( X, X ) j 2 p Cov( X, X ) Cov( X, X )... Var( X )... Cov( X, X ) 1 j 2 j j j p Cov( X, X ) (, )... (, )... ( ) 1 p Cov X X Cov X X Var X 2 p j p p V = X ' cpxc cov( X n, X ) = ( )( ) c ' c j l pi xij x j xil xl = X PX j l i= 1 Var( X ) = cov( X, X ); σ ( X ) = Var( X ) j j j j j Statist.exe

24 C.2- Les données : Grandeurs associées au tableau de données e- Inertie On peut définir une distance ou éloignement entre individus : p e e ² = ( x x )² j=1 = 1 ij kj d²( e, e ) = = ( e e )'( e e ) i k i k i k i k Application : Eloignement d un point du nuage par rapport au centre de gravité : p d²( e, G) = ( x x )² i j = 1 ij j

25 C.2- Les données : Grandeurs associées au tableau de données e- Inertie Inertie du nuage de points par rapport à son centre de gravité = somme pondérée des éloignements au centre de gravité n I = p d ²( e, G ) = j = i = 1 i i j= 1 p = Var ( X ) = Tr ( V ) I caractérise la dispersion ou la forme du nuage par rapport à son centre. : au plus I est élevée, au plus le nuage est dispersé autour de son centre de gravité. Une inertie nulle signifie que tous les individus sont identiques. Lorsque les variables sont centrées et réduites I=p L inertie mesure la quantité d information contenue dans X Statist.exe

26 C.2- Les données : Grandeurs associées au tableau de données e- Inertie I=218,47

27 C.3- Les données : Transformations du tableau a- Tableau (matrice) centré associé à X Centrage : permet de ramener toutes les colonnes de X a la même origine, zero: x x x ij ij j Matrice centrée : Xc = X EG' x x x x... x x... x x j j 1p p x x x x... x x... x x j j 2p p X c = x x x x... x x... x x i1 1 i2 2 ij j ip p x x x... x x... x x n1 x n2 2 nj j np p 1

28 C.3- Les données : Transformations du tableau b- Tableau centré-réduit associé à X Réduction = ramener toutes les variables à une même origine 0 et un même écart-type 1. x x Centrage + réduction = x ij j ij σ ( X ) j Xr = X D 1 c s D s = σ ( X ) σ ( X j ) σ ( X p )

29 C.3- Les données : Transformations du tableau b- Tableau centré-réduit associé à X x x x x x x x x j j... 1p p σ ( X ) σ ( X ) σ ( X ) σ ( X ) 1 2 j p x x x x x x x x j j... 2p p σ ( X ) σ ( X ) σ ( X ) σ ( X ) 1 2 j p X r = x x x x x x x x i1 1 i ij j... ip p σ ( X ) σ ( X ) σ ( X ) σ ( X ) 1 2 j p x x n1 1 σ ( X ) 1 x x x x nj j x... np x n p σ ( X ) σ ( X ) σ ( X ) 2 j p

30 C.3- Les données : Transformations du tableau b- Tableau centré-réduit associé à X données initiales données centrées données centrées réduites 2 1,5 1 0,5 0-0, , ,5 1 1,5 2 2,5 3 3,5 4 4,5-4 -6

31 C.3- Les données : Transformations du tableau d- Matrice de corrélation associée à X Le coefficient de corrélation linéaire entre deux variables quantitatives permet de mesurer le lien linéaire entre ces deux variables: Cov( X, X ) r( X, X ) = j k j k σ ( X ) σ ( X ) j k r( X, X ) = X r ' PX r j k j k r X X, d autant plus grand en valeur absolue que le lien j k linéaire est grand. Nul si absence de lien linéaire. 1 (, ) 1

32 C.3- Les données : Transformations du tableau d- Matrice de corrélation associée à X R = 1 r( X1, X 2)... r( X1, X j )... r( X1, X p ) r( X1, X 2) 1... r( X 2, X j )... r( X 2, X p ) r( X1, X j ) r( X 2, X j ) r( X j, X p ) r( X1, X p ) r( X 2, X p )... r( X j, X p )... 1 R = X ' PX D 1VD 1 r r = s s

33

34 C.4- Les données : Ecriture matricielles importantes Le carré de la P-norme d une variable centrée Xj est sa variance 2 X = X ' PX =σ 2 ( X ) j P j j j Le carré de la P-norme d une variable centrée réduite Xj est égal à 1 Le P-produit scalaire entre deux variables centrées est leur covariance X, ' j X k = X PX = Cov( X, X ) P j k j k Le P-produit scalaire entre deux variables centrées réduites est leur coefficient de corrélation X ' PX = r( X, X ) j k j k

35 Ch2 : Analyse en Composantes Principales (ACP) A- Objectifs B- construction d un espace factoriel C- Les étapes d une ACP D- Interprétation E- Limites F- Exemple

36 A- Objectifs On dispose d un tableau de données X. Ce tableau définit deux nuages de points : Nuage de points-variables = coordonnées des vecteurs variables tracées dans le repère dont les axes représentent les individus (espace de dimension n) Nuage de points-individus = coordonnées des vecteurs individus tracées dans le repère dont les axes représentent les variables (espace de dimension p)

37 A- Objectifs G Xp X ( x,..., x,.., x )' X1 = Le nuage des e1 points variables représenté dans e2 l espace de dim Xj ei n défini par les xij individus j 1 j ij nj en

38 A- Objectifs e1 G X1 X2 Le nuage des points individus représenté dans l espace de dim p défini par les variables ei xij Xj i i1 ij ip Xp e = ( x,... x,... x )' en

39 A - Objectifs Difficulté à mettre en évidence les relations globales existant entre les variables dès que p>3, car impossibles à visualiser.

40 A - Objectifs On veut condenser l information du tableau de manière à retirer les relations vraiment caractéristiques (proximités entre variables et individus), ceci en limitant la perte d information. Déterminer un sous-espace de dimension q<p (q nouveaux axes), sur lequel projeter les nuages de points relatifs au tableau de données. Ce sous-espace doit être: - «compréhensible» par l œil: q faible, de préférence q=1 ou q=2, - le moins déformant possible Ce sous-espace est appelé espace factoriel du nuage.

41 A - Objectifs Définir un nouveau sous-espace de dimension q (q nouvelles directions de l espace) revient à Définir q nouvelles variables comme axes du repère du nuage de points-individus : on les appelle axes factoriels ou composantes principales Définir q nouveaux individus comme axes du repère du nuage de points-variables

42 B- construction d un espace factoriel Un espace factoriel est défini par un repère de dimension q, dont les axes sont construits de la façon suivante (ex: nuage de pointsindividus): On effectue un changement de repère, passant du repère défini par les p variables à un repère de dimension p le moins déformant possible pour le nuage. Il sera défini par p nouveaux axes, appelés axes factoriels. On retient ensuite les q premiers axes du nouveau repère, ce qui nous donnera l espace factoriel de dimension q.

43 B- construction d un espace factoriel Les p axes factoriels sont définis séquentiellement : On détermine l axe (premier axe factoriel) sur lequel le nuage se déforme le moins possible en projection, On cherche un second axe, sur lequel le nuage se déforme le moins en projection, après le premier axe, tout en étant orthogonal au premier, On réitère jusqu à l obtention de p axes. Dans le second repère, les axes ne véhiculent pas la même information selon leur rang : leur capacité à «résumer» le nuage se détériore au fur et à mesure que l on observe des axes de rang élevé.

44 B- construction d un espace factoriel Interprétation en termes statistiques : Chaque axe factoriel représente une nouvelle variable, construite comme combinaison linéaire des variables (axes) de départ, appelée composante principale. La coordonnée d un individu donné sur cet axe correspond à la valeur de la composante principale prise par cet individu. Les composantes principales sont construites de manière à restituer la majeure partie de l information du tableau. Elles déforment le moins possible l information) Les composantes principales sont non corrélées (les axes sont orthogonaux)

45 B- construction d un espace factoriel e1 X1 e i = (c i1,...,c ik,...c ip )' u1 G X2 ei G u2 xij Xj cik i i1 ij ip Xp e = ( x,... x,... x )' en up ei uk

46 B- construction d un espace factoriel le rôle de l ACP est de trouver le sous-espace sur lequel projeter le nuage tel que la déformation subie soit la plus faible possible et permette ainsi de récupérer les liens les plus significatifs contenus dans le tableau. Comment obtenir une déformation minimale? Projection sur un axe : ei ek ck ci Il faut que l axe sur lequel on projette permette la dispersion maximale u d( c i, c ) d( e i, e ) k k c = e, u = x u x u i i i1 1 ip p d( c i, c ) d( e i, e ) k k

47 B- construction d un espace factoriel G t$assault t$murder

48 B- construction d un espace factoriel Conclusion : le meilleur axe (premier axe factoriel) sera celui sur lequel le nuage de points projeté est de dispersion, d inertie maximale. La première composantes principale sera une CL des variables de départ de dispersion (de variance) maximale.

49 Choix du tableau X C- Les étapes d une ACP Analyse directe : Construction de l espace factoriel du nuage de pointsindividus associé au tableau. On garde pour l instant les p axes factoriels Analyse duale : : Construction de l espace factoriel du nuage de pointsvariables : elle est déduite de la première Interprétation de ces analyses : choix du nombre d axes q à retenir, construction des nuages de points projetés sur ces axes, interprétation des axes principaux et étude des proximités entre points. Synthèse des résultats, construction éventuelle du tableau C réduit (tableau des composantes principales) et visualisation des nuages de points associés.

50 C-1 Choix du tableau X Travailler sur le tableau brut (centré par défaut) ou centré réduit? X centré non réduit : L importance que prendront le variables dans le calcul des composantes principales est fonction de leur ordre de grandeur; une variable d écart-type important aura plus de poids qu une variable d écart-type faible. Des variables de fort écart-type construiront les premières composantes principales : les calculs ne sont pas faux, et conduisent aux même interprétation mais la lecture des résultats risque d être brouillée. On commence souvent par centrer et réduire X Statist.exe

51 C-2 Analyse directe a- Origine du repère Recherche des axes factoriels du nuage de points-individus Détermination de l origine : On MQ les axes «les plus informatifs» passent forcement par le centre d inertie du nuage de points. Le nouveau repère aura pour origine G. On travaille toujours sur le nuage centré. Un axe étant déterminé par un point et un vecteur directeur (une direction de l espace), il suffit dès lors de rechercher les directions des p axes factoriels. Dès à présent, On note X le tableau centré, e i ses vecteurs individus et X j ses vecteurs variables.

52 C-2 Analyse directe a- Origine du repère nuage des points-individus nuage de points réduits ra apt G rap pt rédu uit meurtre m eurtre réduit

53 C-2 Analyse directe b- Recherche du premier axe factoriel Il passe par G Vecteur directeur : u normé t.q. le nuage de points projeté sur u 1 1 est d inertie maximale (P) I est maximale 1 sous la contrainte: u = 1 1 Où I est l inertie du nuage projeté 1 I 1 I

54 C-2 Analyse directe b- Recherche du premier axe factoriel Calcul de I1 : C = ( c,..., c,..., c ) Soit i1 n1 le vecteurs des coordonnées de la projection orthogonale des individus du tableau X sur l axe S=X PX= matrice d inertie Lorsque X est centré S=V Lorsque X est centré-réduit, S=R u = ( u,..., u,..., u ) j1 p 1 c = e, u = e ' u = x u x u i1 i 1 i 1 i1 11 ip 1p 1 1 n n 2 = ²( 1 i i1, ) = i i1 = ' = ( ) = u ' X ' PXu = u ' Su i= 1 i= 1 I p d c G p c C PC Var C C = X u

55 C-2 Analyse directe b- Recherche du premier axe factoriel On a (P) u ' Su 1 1 I = u ' Su est maximale sous la contrainte : u = 1 1 Solution : u 1 est le vecteur propre unitaire de S associé à la plus grande valeur Su1 = λ1u 1 1 propre λ. Il vérifie : le vecteur des coordonnées des n points du nuage sur le premier axe est C = Xu C est le vecteur des valeurs prises par la première composante principale sur les n individus. 1 1

56 C-2 Analyse directe b- Recherche du premier axe factoriel Propriétés du premier axe : Information véhiculée par l axe : I = u ' Su = λ u ' u = λ L axe 1 restitue une information égale à La première composante principale est centrée. De variance λ Var( C) = C' PC = u' Su = λ

57 C-2 Analyse directe c- Recherche des axes de rang supérieur Même méthode : le deuxième axe factoriel est l axe associé à la valeur propre de rang 2 (2 plus grande valeur propre de S), que l on pourra choisir orthogonal au premier axe (car S est une matrice orthogonale), et ainsi de suite, jusqu au p axe. L inertie de l axe k (information véhiculée par l axe) est I k = λ k la k composante C = Xu k k est centrée, de variance non corrélée avec les autres Cov( C, C ) = 0 k k ' Var( C ) = I = λ, k k k

58 C-2 Analyse directe c- Recherche des axes de rang supérieur Inertie d un sous-espace factoriel (espace constitué de q<p premiers axes factoriels) : Soit IE(q) l inertie du nuage de points sur le sous-espace factoriel de dimension q. On montre que q I = I = λ E( q) k k k= 1 k= 1 q Dans une ACP normée, I = I = p E( p)

59 C-2 Analyse directe c- Conclusion L analyse directe passe par les étapes suivantes : Diagonalisation de S (S est définie positive d ordre p, elle n a pas de valeurs propres nulles et il y a donc p directions). Classement des valeurs propres par ordre décroissant (elles sont toutes <=1). Les vecteurs propres associés déterminent les axes du nouveau repère. Les valeurs prises par la projection des individus sur ces axes sont les valeurs des composantes principales (les nouvelles variables créées, CL des variables de départ de variance max)

60 C-3 Analyse duale On peut montrer qu il n y a pas lieu de réitérer l ensemble des calculs faits précédemment et que : les axes factoriels dans l analyse duale se déduisent des axes factoriels trouvés lors de l analyse directe (par symétrie, ce sont les vecteurs propres de XX P). Il y en a seulement p d informatifs l inertie (représentant l information restituée) est identique pour des axes de même rang dans les deux analyses.

61 C-3 Analyse duale Relation entre les axes factoriels Pour des raisons de symétrie, les axes factoriels du nuage de points-variables passent par l origine (il n y a donc pas lieu de centrer) et ont pour vecteurs directeurs les vecteurs propres P- unitaires de la matrice XX P. On montre que XX P a p valeurs propres non nulles et n-p nulles donc seulement p axes sont informatifs. Les valeurs propres non nulles sont les mêmes que celles de R. Les valeurs propres non nulles et donc l inertie sont identiques pour des axes de rang homologues. Ik = λk Les vecteurs propres satisfont X ' Pvk uk = λ k v k = Xu λ k k

62 C-3 Analyse duale Coordonnées des points-variables sur les axes Le vecteur de coordonnées k 1k pk des variables sur le k axe factoriel du nuage de points variables est donné par X ' PC X D k j ' PCk k = λk uk = d jk = λk u jk = λ λ k D = ( d,..., d )' k Lorsque l ACP est normée (X tableau centré réduit), la deuxième formule ci-dessus permet de montrer que : d = r( X, C ) jk j k

63 C-4 Résumé de la décomposition factorielle Analyse directe e1 X1 I = p d²( e, G) = λ i i k e i = (c i1,...,c ik,...c ip )' u1 G X2 ei G u2 xij Xj cik i i1 ij ip Xp e = ( x,... x,... x )' en I = λ = Var( C ); Cov( C, C ) = 0 k k k k l ei uk up Ru = λ u, u = 1, λ.. λ k k k k 1 p C = Xu, C = ( c,.., c,..., c )' k k k 1k ik nk

64 C-4 Résumé de la décomposition factorielle Analyse duale X x x x j = ( 1 j,..., ij,.., nj )' X j = d1 j dij d pj (,...,,... ) e1 v1 X1 Xj G Xj e2 dij vi Xp en xij ei Xu vp k vk =,1 k p λk X ' PCk Dk = λk uk =, Dk = ( d1 k,.. d pk )' λk Ik = λk = d jk ²

65 C-5 Conclusion de la décomposition factorielle L ACP permet donc de construire de nouvelles variables (les composantes principales), C = Xu k k combinaison linéaire des variables d origine. On montre facilement qu elles sont centrées (les variables d origine le sont) ' non corrélées Cov(C k,c l ) = CkPCl = 0 2 de variance maximale. C = Var(C ) = λ k p k k Nous pouvons en sélectionner une partie pour construire le tableau C, résumant l information contenue dans le tableau initial, et tenter de leur donner une signification.

66 ACP normée avec Statistica Statist.exe Valeurs propres de R Col1 : rang de l axe Col2 : inertie de l axe Col3 : proportion d inertie expliquée par l axe Col4: inertie expliquée par le sous-espace déterminé par les axes de rang inférieurs ou égaux, Col5 : % inertie cumulée I = = λ 9 k

67 ACP normée avec Statistica Coordonnées des individus sur les axes factoriels du nuage de points-individus: c = e ' u = x u x u ik i k i1 1k ip pk

68 ACP normée avec Statistica Coordonnées des variables sur les axes factoriels du nuage de points-variables: d = r( X, C ) jk j k On les représente sur le cercle des corrélations Statist.exe