CH1 : Introduction à l Analyse Des Données (ADD) B- Les données et leurs caractéristiques C- Grandeurs associées aux données

Transcription

1 CH1 : Introduction à l Analyse Des Données (ADD) A- Introduction A- Introduction B- Les données et leurs caractéristiques C- Grandeurs associées aux données

2 A-1 Les méthodes Lors de toute étude statistique, il est nécessaire de décrire et exlorer les données avant d en tirer de quelconques lois ou modèles rédictifs. Dans beaucou de situations, les données sont tro nombreuses our ouvoir être visualisables (nombre de caractéristiques tro élevées) Il est alors nécessaire d extraire l information ertinente qu elles contiennent ; Les techniques d ADD réondent à ce besoin.

3 A -1 Les méthodes ADD = ensemble de méthodes descritives ayant our objectif de résumer et visualiser l information ertinente contenue dans un grand tableau de données

4 A -1 Les méthodes Trois grandes familles de méthodes: Objectif Variables quanti Variables quali/mixtes Reérer et visualiser les Analyse en Analyse factorielle des corrélations multiles entre variables et/ou les ressemblances entre individus comosantes rinciales (ACP) corresondances (AFC AFCM) Réaliser une tyologie des individus Caractériser de groues d individus à l aide de variables Methodes de classification (CAH,..) Analyse discriminante (AFD,..) AFC ou AFCM et classification Analyse discriminante (AFD,..)

5 A-2 Exemles

6 A-2 Exemles ACP: Deux grandes tendances : L axe 1 distingue les états de Floride, Colorado, Arizona, Californie, Maryland caractérisés ar un fort taux de délits en tous genres aux autres états. L axe 2 est un axe de gravité des délits : s oosent les états ayant un fort taux de délits mineurs (Colorado, Arizona) aux états concernés ar des délits majeurs (Alabama, Louisiane).

7 A-2 Exemles Classification On distingue 4 groues d états : le groue vert, caractérisé ar un taux de délits en tous genres inférieur à la moyenne Le groue bleu caractérisé ar un taux de délits en tous genres suérieur à la moyenne Le groue noir caractérisé ar un taux de délits graves suérieur à la moyenne Le groue rouge caractérisé ar un taux de délits mineurs suérieur à la moyenne delits mineurs -----delits majeurs rerésentation dans les axes d'une ACP(rogramme3) Louisiana Alabama Georgia Kentucky Arkansas Alaska Illinois Maryland California Indiana Florida Kansas Idaho Connecticut Maine Iow a Colorado Delaw are Arizona Haw aii forte criminalite ---- faible criminalite

8 A-2- Exemles

9 A-2 Exemles (ACP sous statistica)

10 Analyse discriminante A-2 Exemles 3 groues de ersonnes reérées ar 4 variables : age revenu atrimoine emrunt LD Jeunes ages Gros atrimoines emrunt eleve LD1

11 A-2 Exemles Le groue 1 est un groue de gens assez jeunes à revenus lus faibles que la moyenne dont le atrimoine est nettement lus faible que dans les autres classes et le taux d emrunt lus élevé que la moyenne Le groue 2 est caractérisé ar des gens jeunes de revenus moyens, mais dont le atrimoine est très imortant et le taux d emrunt très faible Le groue 3 est caractérisé ar des gens lus agés de revenus confortables et de atrimoine assez imortant, ayant un taux d emrunt lus élevé que dans les autres classes

12 B 1 Tableau individu*variables On observe caractéristiques e,..., e,... e 1 i n X,... X 1 quantitatives sur n individus On note x ij la valeur de la variable X observée sur l individu e j i Individu e1 e2 X 1 X 2 x 11 x 12 x 21 x 22 X x 1 j j x 2 j X x 1 x 2 ei x i1 x i2 x ij x i en x n1 x n2 x nj x n

13 B 1 Tableau individu*variables Le tableau eut être mis sous forme matricielle X = x x... x... x j 1 x 21 x x 2 j... x x i1 x i2... x ij... x i x x... x... x n1 n2 nj n

14 B 1 Tableau individu*variables Chaque individu est décrit ar variables, formant un vecteur de dimension, aelé vecteur individu. x i 1... e = x R i ij... x i

15 B 1 Tableau individu*variables Chaque variable eut être rerésentée ar un vecteur de dimension n, aelé vecteur variable, corresondant aux valeurs rises ar cette variable sur les n individus. x 1 j... x = x R j ij n... x nj

16 B 1 Les données: tableau individu*variables

17 B.2- Matrice des oids associés aux individus Les données euvent être ondérées : Le oids attribué à chaque individu exrime l imortance que l on désire lui accorder dans l étude (rerésentativité de l échantillon étudié dans la oulation) : , i = 1,... n i n P = i = 1 i i = Généralement P = 1 n I n (même oids our tous les individus) n

18 B-3 Nuages de oints Ils ermettent de visualiser les liens entre les variables ou les ressemblances/dissemblances entre individus contenus dans le tableau de données X. Nuage des oints-individus = coordonnées des n vecteurs individus e dans le reère de R dont les axes sont les variables du tableau. e ' x,..,... i i1 x ij x = i Nuage des oints-variables = coordonnées des vecteurs variables dans le reère de R n dont les axes sont déterminés ar les n individus. X = [ x,...,,... ]' j 1j x ij x nj e i X j

19 B-3 Nuages de oints On disose de 6 variables rerésentant les taux de différents délits commis our habitants dans 20 Etats des Etats-unis. Ces données euvent être mises dans un tableau individu*variable ETAT Meurtre Rat vol attaque viol larcin Alabama Alaska Arizona Arkansas California Colorado Connecticut Delaware Florida Georgia Hawaii Idaho Illinois Indiana Iowa Kansas Kentucky Louisiana Maine Maryland

20 B-3 Nuages de oints Les n individus forment un nuage de oints dans le sous-esace de défini ar les variables, aelé nuage des oints-individus R nuage des oints-individus 60 rat meurtre Le taux de meurtre et le taux de rat sont corrélés ositivement, ce qui signifie que les états où il y a beaucou de meurtres sont généralement des états où il y a beaucou de rat, et inversement.

21 B-3 Nuages de oints Les variables forment un nuage de oints dans le sous-esace de défini ar les individus, aelé nuage des oints-variables. alaska Nuage de s o ints -variable s our le table au ré duit à de ux individus meutre rat vol attaque viol lar cin alabam a R n on eut comarer ar raort à la remière bissectrice les valeurs rises ar les variables sur les différents individus afin d identifier des individus roches en terme de valeurs rises ar les variables. Ainsi, l Alaska se distingue ar un nombre relativement imortant de larcins.

22 B-4 Centre de gravité Le centre de gravité du nuage de oints individus G caractérise la osition globale de nuage (individu) dans le reère défini ar les variables. C est le oint autour duquel «gravitent» les individus du nuage. x 1 x n G 2 x = x = j i 1... = i ij x Au lus G est loin de l origine, au moins le nuage est centré. RQ : lorsque les oids sont égaux, G est le vecteur des moyennes.

23 B-4 Centre de gravité nuage des oints-individus 60 rat meurtre

24 B-4 Centre de gravité Centre de gravité du tableau des rotéine >mean(roteine) VR VB Oeufs Lait Poisson Céréales Amidon Noix FL

25 B-5 Inertie V = Var( X ) Cov( X, X )... Cov( X, X )... Cov( X, X ) j 1 Cov( X, X ) Var( X )... Cov( X, X )... Cov( X, X ) j Cov( X, X ) Cov( X, X )... Var( X )... Cov( X, X ) 1 j 2 j j j Cov( X, X ) (, )... (, )... ( ) 1 Cov X X Cov X X Var X 2 j

26 B-5 Inertie On eut définir une distance ou éloignement entre individus : e e ² = ( x x )² j=1 = 1 ij kj d²( e, e ) = = ( e e )'( e e ) i k i k i k i k Alication : Eloignement d un oint du nuage ar raort au centre de gravité : d²( e, G) = ( x x )² i j = 1 ij j

27 B-5 Inertie Inertie du nuage de oints ar raort à son centre de gravité = somme ondérée des éloignements au centre de gravité n I = d ²( e, G ) = j = i = 1 i i j= 1 = Var ( X ) = Tr ( V ) I caractérise la disersion ou la forme du nuage ar raort à son centre. : au lus I est élevée, au lus le nuage est disersé autour de son centre de gravité. Une inertie nulle signifie que tous les individus sont identiques. Lorsque les variables sont centrées et réduites I= L inertie mesure la quantité d information contenue dans X

28 B-5 Inertie > cov=cov(crime2) > c=as.matrix(cov); c Meutre Rat Vol Attaque Viol Larcin Meutre Rat Vol Attaque Viol Larcin > I=sum(diag(c));I [1]

29 C-1 Tableau centré associé à X Centrage : ermet de ramener toutes les colonnes de X a la même origine, zero: x x x ij ij j Matrice centrée : Xc = X EG' x x x x... x x... x x j j x x x x... x x... x x j j X c = x x x x... x x... x x i1 1 i2 2 ij j i x x x... x x... x x n1 x n2 2 nj j n 1

30 C-2 Tableau centré-réduit associé à X Réduction = ramener toutes les variables à une même origine 0 et un même écart-tye 1. x x Centrage + réduction = x ij j ij σ ( X ) j Xr = X D 1 c s D s = σ ( X ) σ ( X j ) σ ( X )

31 C-2 Tableau centré-réduit associé à X x x x x x x x x j j... 1 σ ( X ) σ ( X ) σ ( X ) σ ( X ) 1 2 j x x x x x x x x j j... 2 σ ( X ) σ ( X ) σ ( X ) σ ( X ) 1 2 j X r = x x x x x x x x i1 1 i ij j... i σ ( X ) σ ( X ) σ ( X ) σ ( X ) 1 2 j x x n1 1 σ ( X ) 1 x x x x nj j x... n x n σ ( X ) σ ( X ) σ ( X ) 2 j

32 C-2 Tableau centré-réduit associé à X > crimer=scale(crime2)*sqrt(20/19); round(crimer, digit=3) Meutre Rat Vol Attaque Viol Larcin Alabama Alaska Arizona Arkansas California Colorado Connecticut

33 C-2 Tableau centré-réduit associé à X données initiales données centrées données centrées réduites 2 1,5 1 0,5 0-0, , ,5 1 1,5 2 2,5 3 3,5 4 4,5-4 -6

34 C-3 Matrice de variance-covariance associée à X V = Var( X ) Cov( X, X )... Cov( X, X )... Cov( X, X ) j 1 Cov( X, X ) Var( X )... Cov( X, X )... Cov( X, X ) j Cov( X, X ) Cov( X, X )... Var( X )... Cov( X, X ) 1 j 2 j j j Cov( X, X ) (, )... (, )... ( ) 1 Cov X X Cov X X Var X 2 j V = X ' cpxc cov( X n, X ) = ( )( ) c ' c j l i xij x j xil xl = X PX j l i= 1 Var( X ) = cov( X, X ); σ ( X ) = Var( X ) j j j j j

35 C-3 Matrice de corrélation associée à X Le coefficient de corrélation linéaire entre deux variables quantitatives ermet de mesurer le lien linéaire entre ces deux variables: Cov( X, X ) r( X, X ) = j k j k σ ( X ) σ ( X ) j k r( X, X ) = X r ' PX r j k j k r X X, d autant lus grand en valeur absolue que le lien j k linéaire est grand. Nul si absence de lien linéaire. 1 (, ) 1

36 C-3 Matrice de corrélation associée à X R = 1 r( X1, X 2)... r( X1, X j )... r( X1, X ) r( X1, X 2) 1... r( X 2, X j )... r( X 2, X ) r ( X1, X j ) r ( X 2, X j ) r ( X j, X ) r( X1, X ) r( X 2, X )... r( X j, X )... 1 R = X ' PX D 1VD 1 r r = s s

37 C-3 Matrice de corrélation associée à X > cor=cor(crime2) #=cov(crimer) > cor Meutre Rat Vol Attaque Viol Larcin Meutre Rat Vol Attaque Viol Larcin

38 C.4- Ecriture matricielles imortantes Le carré de la P-norme d une variable centrée Xj est sa variance 2 X = X ' PX =σ 2 ( X ) j P j j j Le carré de la P-norme d une variable centrée réduite Xj est égal à 1 Le P-roduit scalaire entre deux variables centrées est leur covariance X, ' j X k = X PX = Cov( X, X ) P j k j k Le P-roduit scalaire entre deux variables centrées réduites est leur coefficient de corrélation X ' PX = r( X, X ) j k j k