Reconnaissance des formes

Transcription

1 Reconnaissance des formes - Chapitre 2 -

2 Analyse en composantes principales Objectifs Contexte : Chaque individu x i du tableau X est considéré comme un point d un espace vectoriel E de dimension p. L ensemble des individus constitue un nuage de points dans E. On note m son point moyen, appelé aussi centre de gravité. Objectif : On cherche à réduire le nombre p de variables en préservant au maximum la structure du nuage, afin de le représenter le plus fidèlement possible. Principe : L ACP vise à projeter les données dans un sous-espace approprié, de dimension plus faible, préservant la topologie du nuage.

3 Analyse en composantes principales Exemple vue 3 vue 2 vue 1

4 Analyse en composantes principales Exemple plus réaliste cidre odeur sucre acide amer astringence suffocante piquante alcool parfum fruité Notes obtenues pour 10 cidres selon 10 critères lors d un concours agricole.

5 Espace des individus Métrique Métrique : L ACP repose sur les distances entre individus dans E. Le choix de la métrique a une influence fondamentale sur le résultat de l analyse. Définition : Soit M une matrice définie positive de dimension p. La fonction suivante d M : IR p IR p IR + définit une métrique d 2 M(x i,x j ) = x i x j 2 M = (x i x j ) M (x i x j ) Cette distance est appelée distance de Mahalanobis lorsque M = Σ 1, où Σ est la matrice de variance-covariance des données. Produit scalaire : La métrique définie ci-dessus dérive du produit scalaire x i,x j M = x i M x j On dit que x i et x j sont M-orthogonaux si x i,x j M = 0.

6 Analyse des données Métrique Utiliser la métrique M = T T sur le tableau de données X est équivalent à travailler avec la métrique euclidienne sur le tableau transformé XT. Tableau transformé : Lorsqu on travaille sur le tableau transformé comme ci-dessus, il est alors possible d utiliser la norme euclidienne. En effet, x i,x j M = x i (T T)x j = (Tx i ) (Tx j ) = Tx i,tx j I Réciproque : Pour toute matrice définie positive M, il existe une matrice définie positive T telle que M = T T. On notera improprement T = M 1 2. Appliquer préalablement la transformation XT X permet de simplifier les traitements.

7 Analyse des données Métriques particulières Métrique euclidienne : Elle est obtenue pour M = I. L une des difficultés rencontrées avec la métrique euclidienne est qu elle privilégie les variables les plus dispersées et dépend donc de leur unité de mesure. Métrique réduite : Elle consiste à prendre M = D 1/σ 2, où D 1/σ 2 est la matrice diagonale de termes diagonaux les inverses 1 des variances des σi 2 variables. 1 0 σ1 2 D 1/σ 2 = σp 2 Cette métrique permet de s affranchir de l unité de mesure des variables, et de donner la même importance à chaque variable dans le calcul de la distance.

8 Analyse des données Tableau de données centrées réduites Utiliser la métrique M = D 1/σ 2 = D 1/σD 1/σ sur le tableau de données X revient à travailler avec la métrique euclidienne sur le tableau transformé XD 1/σ. En effet : d 2 M (x i,x j ) = x i x j 2 M = (x i x j ) D 1/σ D 1/σ(x i x j ) = (D 1/σ x i D 1/σ x j ) (D 1/σ x i D 1/σ x j ) Il est équivalent de travailler avec la métrique D 1/σ 2 sur le tableau X, ou avec la métrique euclidienne I sur le tableau centré réduit Z composé des données : z j i = xj i xj σ j Le tableau de données centré réduit Z se calcule matriciellement ainsi : Z = Y D 1/σ = (X 1m )D 1/σ.

9 Inerties Inertie par rapport à un point Définition : L inertie du nuage de points {x 1,...,x n } en un point quelconque a est donnée par n I a = p i x i a 2 M i=1 Propriété : L inertie du nuage de points {x 1,...,x n } en son point moyen m, ou centre de gravité, est I m = n p i x i m 2 M = 1 2 i=1 n p i p j x i x j 2 M i,j=1 = Trace(ΣM) Cette propriété a été démontrée au chapitre précédent. Propriété : Pour un tableau de données centrées réduites, on a I m = Trace(R) = p

10 Inerties Inertie par rapport à un point m x i a

11 Inerties Théorème de Huygens Propriété : Soit m le centre de gravité du nuage de points {x 1,...,x n }, et a un point quelconque de IR p. L inertie I a du nuage au point a est donnée par I a = I m +d 2 M (a,m) En conséquence, I a est minimum pour a = m. Démonstration : n I a = p i (x i m) (a m) 2 M = i=1 n n p i x i m 2 M + n p i (a m) 2 M 2 p i x i m,a m M i=1 i=1 i=1 = I m +d 2 M (a,m)

12 Inerties Inertie par rapport à un axe Définition : L inertie du nuage de points {x 1,...,x n } par rapport à un axe est définie par n I = p i d 2 M (x i, ) i=1 Cette inertie quantifie la dispersion du nuage des individus autour de. Rappels : Soit (a,u) un axe de vecteur directeur normé u passant par a. On rappelle que d 2 M(x i, ) = min v i d 2 (z i,a+v i u) En conséquence, l inertie du nuage {x 1,...,x n } par rapport à (a,u) est définie par n I (a,u) = min p i d 2 v M(x i,a+v i u) avec v = [v 1,...,v n ]. i=1

13 Inerties Inertie par rapport à un axe a x i

14 Détermination du premier axe Définition du problème : L axe recherché est celui représentant le mieux les données au sens de l inertie I minimum. Il est donc obtenu par min I (a,u) avec I (a,u) = min u,a v n p i d 2 M(x i,a+v i u) où est défini par un point a et un vecteur directeur normé u. i=1 Détermination de a : En appliquant le Théorème de Huygens, on trouve I (a,u) = I (m,u) +d 2 M(a,m) En conséquence, I (a,u) est minimum pour a = m. L axe recherché passe par m.

15 Centrage et normalisation des données Nous considérerons les données centrées et normalisées Z = (X 1m )M 1 2 pour : faire correspondre m avec l origine 0 du repère travailler avec la métrique euclidienne sur le nuage de points {z 1,...,z n }

16 Détermination du premier axe Redéfinition du problème : L axe recherché passe par l origine 0 et est solution du problème min I (u) avec I (u) = min u v n p i d 2 (z i,v i u) Calcul du gradient : En développant la fonction coût, notée J (u,v), on obtient n J (u,v) = p i [ z i 2 2v i z i,u +vi 2 u 2 ] En conséquence i=1 i=1 u J (u,v) = 2Z Dv +2 v 2 Du v J (u,v) = 2DZu+2 u 2 Dv avec D la matrice diagonal de termes diagonaux p i.

17 Détermination du premier axe Conditions d optimalité : Celles-ci s écrivent { Z Dv = v 2 D u DZu = u 2 Dv En combinant les 2 équations, on obtient Z DZu = u 2 v 2 D }{{} λ u La solution est un vecteur propre u de la matrice de covariance Σ = Z DZ Lequel?

18 Détermination du premier axe Lequel? En injectant le résultat dans la fonction coût, on obtient I (u) = n p i [ z i 2 2v i z i,u +vi u 2 2 ] i=1 = Trace(Σ) 2u Z Dv + v 2 D u 2 = Trace(Σ) 2 v 2 D u 2 + v 2 D u 2 = Trace(Σ) λ(u) où λ(u) est la valeur propre associée à u Le vecteur propre recherché est donc celui associé à la plus grande valeur propre

19 Détermination du premier axe Soient λ 1... λ p les valeurs propres de la matrice de covariance Σ, de vecteurs propres unitaires associés u 1,...,u p Choix du premier axe : L inertie I (u) = Trace(Σ) λ(u) est minimum pour le couple (u 1,λ 1 ) Inertie correspondante : La valeur λ 1 est, par définition, l inertie expliquée par l axe (u 1 ).

20 Inerties Théorème d Inclusion Soient E 1 et E 1 les sous-espaces affines de directions respectives et passant par l origine. L inertie du nuage par rapport à E 1 et E1 est définie par n I E1 = p i d 2 (z i,e 1 ) I E 1 = i=1 n p i d 2 (z i,e1 ) Voir le schéma ci-après. Par le Théorème de Pythagore, on a i=1 I 0 = I E1 +I E 1 où I 0 est l inertie du nuage par rapport à l origine. On en déduit le Théorème d Inclusion ci-après.

21 Inerties Inertie par rapport à un sous-espace affine 0

22 Inerties Théorème d Inclusion F 1 E 1 x i,f x i,e x i 0 x i,e E 1 a x i,f F 1

23 Théorème d Inclusion Théorème d Inclusion : Soit E k un sous-espace, de dimension k, d inertie expliquée maximum. Le sous-espace E k+1 de dimension k+1, d inertie expliquée maximum, est la somme directe de E k et du sous-espace de dimension 1 de E k dont l inertie expliquée y est maximum.

24 Théorème d Inclusion Recherches des axes : Etant donné le Théorème d Inclusion, pour déterminer le sous-espace optimum E k, il est possible de procéder séquentiellement : recherche du premier axe d inertie portée maximum recherche du deuxième axe, orthogonal au premier, d inertie portée maximum etc.

25 Détermination du deuxième axe On construit le tableau de données résiduel Z 1 = Z v 1 u 1. Il est aisé de montrer que les données correspondantes appartiennent à Z 1 u 1 = Zu 1 u 1 2 v 1 = 0 d après la deuxième condition d optimalité, car D est inversible. La matrice Z 1DZ 1 admet les mêmes couples valeurs/vecteurs propres (λ k,u k ) que Z DZ, pour k 1, (Z 1 DZ 1)u k = (Z DZ)u k k 1 = λ k u k car (u 1 u k ), excepté λ 1 qui devient nulle (Z 1 DZ 1)u 1 = [Z v 1 u 1 ] D[Z v 1 u 1 ] = (1 2+1) u 1 2 v 1 2 Du 1 = 0

26 Détermination du deuxième axe Pour déterminer le deuxième axe, on pose le même problème que pour le premier, avec le tableau Z 1. On aboutit alors à u 2. En effet Choix du deuxième axe : L inertie I (u) = Trace(Σ 1 ) λ(u) est minimum pour le couple (u 2,λ 2 ) Remarque : Trace(Σ 1 ) = Trace(Σ) λ 1 Inerties correspondantes : L inertie expliquée par l axe (u 2 ) vaut λ 2. Pour l espace affine de direction u1 + u2, par le Théorème de Pythagore, elle vaut λ 1 +λ 2. et ainsi de suite...

27 Axes principaux et inertie expliquée Les axes (u k ) sont appelés axes factoriels ou axes principaux L inertie expliquée par l axe (u k ) est la valeur propre λ k de Σ L inertie expliquée par le sous-espace factoriel E k0 engendré par les k 0 premiers axes principaux est λ λ k0 Le taux d inertie expliquée par E k0 est donné par car I 0 = Trace(Σ) = p k=1 λ k λ λ k0 p k=1 λ k

28 Nombre d axes à retenir L ACP vise à réduire la dimension de l espace des individus. On souhaite conserver aussi peu d axes principaux que possible. Des critères empiriques : Retenir les axes offrant une corrélation suffisante entre composantes principales et variables initiales. Voir plus loin. Fixer un taux minimum d inertie expliquée, par exemple 0.80 Rechercher un coude dans l éboulis des valeurs propres λ k λ k

29 Composantes principales Coordonnées des individus : La coordonnée c lk de l individu z l sur l axe principal (u k ) est donnée par sa projection sur u k c lk = z l u k Composantes principales : Il s agit des vecteurs c k des coordonnées des individus sur l axe principal (u k ), c est à dire c k = Zu k

30 Propriétés des composantes principales Moyenne arithmétique : c k = 1 Dc k = 1 DZu k = 0 car 1 DZ = 0, le tableau étant centré Variance : var(c k ) = c k Dc k = u k Z DZu k = λ k car u k est vecteur propre de Σ = Z DZ Covariance : Il s agit des vecteurs c k des coordonnées des individus sur l axe principal (u k ), c est à dire cov(c k,c l ) = c k Dc l = u k Z DZu l = 0 car (u k u l ). Les composantes principales sont donc décorrélées.

31 Qualité de la représentation d un individu Définition : La qualité de la représentation d un individu l sur l axe principal k est donnée par le cosinus de leur angle, soit cos(z l,u k ) = z l u k z l Comme z l u k = c lk, et {u k } k est une base orthonormée de IR p, on a cos 2 (z l,u k ) = c 2 lk p k=1 c2 lk

32 Contribution d un individu à une composante principale On a vu que var(c k ) = λ k = n i=1 p ic 2 ik. Définition : On définit la contribution de l individu l à un axe principal k par θ lk = p lc 2 lk λ k Interprétation : La contribution d un individu l doit être relativisée par rapport à son poids p l. Ainsi, si θ lk > αp i avec α > 2, on peut juger la contribution de l individu l importante. Sur-représentation : L individu l peut être considéré comme sur-représenté par l axe principal k si θ lk > Il a eu une influence trop importante dans la détermination de celui-ci, risquant de perturber la définition des autres axes.

33 Espace des variables On s intéresse à présent aux colonnes z j du tableau Z, représentant les variables. Métrique D : On munit l espace des variables d une métrique naturelle, D, celle des poids des individus z i,z j D = (z i ) Dz j z i 2 D = (z i ) Dz i Interprétation : Pour des variables centrées, ce qui est le cas ici, on a cor(z i,z j ) = zi,z j D z i D z j D = cos(z i,z j ) Remarque : Les composantes principales normalisée c k / λ k forment une base D-orthonormale : c i λi, c j λj D = cor ( c i λi, c j λj ) = δ ij

34 Corrélation des composantes principales et variables Le coefficient de corrélation entre c k et z i est donné par cor(c k,z i ) = c k,z i D λk Les coefficients de corrélation entre c k et l ensemble des variables de Z peuvent être calculés ainsi cor(c k,z) = Z Dc k λk Comme Z Dc k = Z DZu k = Σu k, on a directement cor(c k,z) = λ k u k

35 Cercle des corrélations On représente traditionnellement chaque variable z i par un point de coordonnées (cor(z i,c 1 ), cor(z i,c 2 ), cor(z i,c 3 ),...) afin d interpréter les axes principaux obtenus. (u 2 ) z 4 z 1 z 3 (u 1 ) z 2

36 En résumé Centrer et réduire les données X Z Calculer la matrice de covariance Σ = Z DZ Diagonaliser Σ pour obtenir {(u k,λ k )} k=1,...,p Choisir le nombre k 0 d axes à retenir Préciser le taux d inertie expliqué par chacun des axes retenus Calculer les composantes principales {c k } k=1,...,k0 Représenter les individus dans le(s) repère(s) des axes principaux Tracer les cercles de corrélation Interpréter