L analyse en Composantes principales

Transcription

1 L analyse en Composantes principales Stéphane Canu M8 - Principes du traitement de l information March 13, 2017

2 Plan 1 Nature des variables statistiques 2 Description mono variable 3 Description d un couple de variables 4 Description d un ensemble de variables Tableaux de données Résumé graphique des données Résumé statistique des données : l analyse en composantes principales Stéphane Canu (INSA Rouen - ASI) ACP March 13, / 29

3 Analyse en composante principale (ACP) X A.C.P. (U, V, λ) Les 3 étapes de l ACP 1 centrer et réduire les données Xn = (X - un*mx)./(un*sx) 2 calculer les valeurs et vecteurs propres [V,λ] = eig(xn *Xn) 3 projeter les observations U = Xn*V

4 Analyse en composante principale du Foot

5 Analyse en composante principale des prénoms n = 99 départements p = fréquence des prénoms

6 Analyse en composante principale des frères Corneille n = 32 pièces écrites par Thomas et Pierre Corneille p = mots (frère, mort, ces... )

7 Xn = La matrice des corrélations Quand on considère la matrice des données centrées réduites, l ACP revient à la recherche des vecteurs propres de la matrice des corrélations. X = ones(n, 1) mean(x ) S = ones(n, 1) std(x ) Xn = (X X )./S rho = 1 n Xn Xn

8 LA première composante principale X A.C.P. (u IR n, v IR p, λ IR + ) Les 3 étapes de l ACP 1 centrer et réduire les données Xn = (X - un*mx)./(un*sx) 2 calculer la plus grande valeur propre [v,λ] = eig(xn *Xn) 3 projeter les observations u = Xn*v Comment interpréter u = X n v? u est une nouvelle variable Quelle est la dimension de uv t?

9 ACP : pourquoi rechercher des valeurs propres? La meilleur représentation linéaire du nuage de points est donnée par le couple de vecteurs u IR n et v IR p permettant au mieux de reconstruire la matrice X. Il sont alors solution du problème de minimisation suivant : min u,v J(u, v) avec J(u, v) = n i p (x ij u i v j ) 2 j v X u uv aussi noté : J(u, v) = X uv 2 F

10 Résumé d un tableau de données : résultat principal Théorème (Eckart & Young, 1936) La solution unique du problème d optimisation suivant est donnée par min u,v J(u, v) avec J(u, v) = X uv 2 F v et u = X v, où v est le vecteur propre normé associé à λ la plus grande valeur propre de la matrice X X. De plus on a v = 1 et u = λ. Démonstration : A l optimum on a { u J(u, v) = 2X v + 2 v 2 u = 0 v J(u, v) = 2X u + 2 u 2 v = 0

11 Résumé d un tableau de données : calculs La fonction cout 1 peut se réécrire : n i p (x ij u i v j ) 2 = j = = n i n i n i p n p n xij 2 2 x ij u i v j + j p xij 2 2 j i j i n p x ij v j u i + i j p xij 2 2(X v) u + u 2 v 2 j p (u i v j ) 2 j n i u 2 i p j v 2 j et donc min u,v X uv 2 F }{{} J(u,v) est analogue à min u,v 2(X v) u + u 2 v 2 }{{} J (u,v) 1 qui est la norme de Frobenius de la matrice des différences J(u, v) = X uv 2 F

12 Minimisation d une fonction de plusieurs variables min u,v J(u, v) = X uv 2 F Definition (Gradient) soit F une fonction de plusieurs (d) variables : F : IR d IR x F (x) on appelle gradient de F au point x la fonction des dérivées partielles x F : IR d IR d x x F (x) = ( ) F x 1 (x),..., F x i (x),..., F x (x) d Condition d optimalité (u, v ) est solution du problème de minimisation ssi le gradient de la fonction J s annule en ce point

13 Minimisation d une fonction de plusieurs variables Exemple min x,y J(x, y) = 2(x a)2 + (y b) 2 Méthode de résolution du problème : 1 calcul du gradient x F (x, y) 2 résolution des équations x F (x, y ) = 0 (2 équations à 2 inconnues)

14 Calcul du gradient Minimiser le cout c est trouver u et v qui annulent le gradient : { u J (u) = 0 v J (v) = 0 min J(u, v) = X u,v uv 2 F pour le cout : n p n J(u, v) = xij 2 2 le gradient s écrit i j J(u, v) u i = 2 J(u, v) v j = 2 i p x ij v j u i + j p x ij v j + 2u i j n x ij u i + 2v j Ecriture matricielle du gradient { u J(u) = 2X v + 2 v 2 u v J(v) = 2X u + 2 u 2 v i p j n i n i v 2 j u 2 i u 2 i p j v 2 j

15 min u,v X uv 2 F Les conditions d optimalité s écrivent : { u J (u) = 0 X v + v 2 u = 0 v J (v) = 0 X u + u 2 v = 0 On en déduit : { X v = v 2 u X u = u 2 v X X v = v 2 X u = v 2 u 2 }{{} λ v La solution est donc donnée par un vecteur propre v de la matrice X X. lequel?

16 Quel vecteur propre choisir? A l otimum J (u, v) = 2(X v) u + u 2 v 2 et X v = v 2 u soit J (u, v) = 2 v 2 u u + u 2 v 2 = 2 v 2 u 2 + u 2 v 2 = u 2 v 2 = λ le cout c est la valeur propre. La solution du problème est donc donnée par le vecteur propre associé à la plus grande valeur propre de la matrice X X car : J (v) = 0 X X v λv = 0 avec J(u, v) = X 2 λ et l on sait que toutes les valeurs propres de la matrice symétrique définie positive X X sont positives.

17 car v v 2 = 0 puisque les vecteurs propres sont orthogonaux entre eux. et la suite.. On itere le processus Construisons la matrice des résidus R = X uv R R admet les mêmes valeurs propres que X X....à l exception de la plus grande qui devient zéro. en posant X X v = λv et X X v 2 = λ 2 v 2 et λ 2 < λ on a : R Rv = (X uv ) (X uv )v = X X v 2vu X v + vu uv v = λv 2 u 2 v + u 2 v 2 v = λv u 2 v = 0 car u = X v, v 2 = 1 et u 2 = X v 2 = v X X v = λ et R Rv 2 = (X uv ) (X uv )v 2 = X X v 2 2X uv v 2 + vu uv v 2 = λ 2 v 2

18 Les valeurs propres et vecteurs propres en 5 lignes 1 soit X la matrice des observations 2 Xr est la matrice des données centrées réduites Xr(:, i) = X (:,i) µ i σ i 3 on calcule les valeurs et vecteurs propres de la matrice de covariance Xr Xr 4 on visualise les observations en les projetant sur les vecteurs propres associés aux plus grandes valeurs propres (typiquement les 2 plus grandes) 5 on visualise aussi les variables

19 L analyse en composantes principales (ACP) Donc en résumé, si l on cherche le sous espace V de rang k qui «ressemble» le plus aux données X il faut calculer les k vecteurs proposes correspondant aux k plus grandes valeurs propres. [n,p]=size(x); Xn = (X - ones(n,1)*mean(x))./(ones(n,1)*std(x)); [v,d] = eig(xn *Xn); % Calcul des valeurs propres vp = sort(diag(d), descend ); [vp 100*cumsum(vp)/sum(vp)], % on ordonne les valeurs propres % affichage des valeurs propres v =

20 L analyse en composantes principales (ACP) Donc en résumé, si l on cherche le sous espace V de rang k qui «ressemble» le plus aux données X il faut calculer les k vecteurs proposes correspondant aux k plus grandes valeurs propres. [n,p]=size(x); Xn = (X - ones(n,1)*mean(x))./(ones(n,1)*std(x)); [v,d] = eig(xn *Xn); % Calcul des valeurs propres vp = sort(diag(d), descend ); [vp 100*cumsum(vp)/sum(vp)], % on ordonne les valeurs propres % affichage des valeurs propres v =

21 La représentation des individus et des variables par l ACP Facteurs : les axes factoriels v, λ X n X n v = λv et v = 1 Individus : les composante principale qui sont les projection des individus u = X n v Variables : calcul des corrélations entre variables observées normalisées X n (centrées réduites) et les composantes principales u. cor(x n, u) = X n u = X n X n v = n u n u λ λ v = v n λ n car pour toutes les variables X j 2 = n et u 2 = λ

22 [V,D] = eig(xn *Xn); U = Xn*V; % les nouvelles variables plot(u(:,1),u(:,2), o ); plot(u(:,1),u(:,3), o ); plot(u(:,2),u(:,3), o ); plot(u(:,4),u(:,5), o ); % le role des variables Vn = (V*sqrt(D(1:p,1:p))/sqrt(n)); plot(vn(:,1),vn(:,2), * ); plot(vn(:,1),vn(:,3), * ); plot(vn(:,2),vn(:,3), * );

23 L ACP en matlab On centre et on réduit les données. Fonction V n, U, λ ACP(X, k) X = (X un mean(x ))./(un std(x )) (V, λ) = eig(x *X,k) ou (U, V, µ) = svd(x,k) U = X V V n = V λ/ n ou V n = V µ/ n on projette les données sur le sous espace engendré par les k vecteurs propres associés aux k plus grandes valeurs propres et on calcule les corrélations entre les observation et ces nouvelles variables.

24 L ACP reconstruit la matrice des données Meilleur approximation de rang k Soit X une matrice. La meilleure approximation de rang k de X, la matrice A k minimisant le critère suivant : min A k X A k 2 F avec rang(a k ) = k s obtient à l aide des k vecteurs propres v i, i = 1, k associées aux k plus grandes valeurs propres de la matrice X X de la manière suivante : A k = U k V k où V k est la matrice des vecteurs propres v i, i = 1, k et U k est la matrice des vecteurs u i = X v i, i = 1, k et donc A k = XV k V k l erreur d approximation est donnée par la somme des valeurs propres restantes : n X A k 2 F = i=k+1 λ i

25 L ACP reconstruit la matrice des données J k = X U k V k 2 F k = 1, p J(1) = (sum(sum(abs(xn).^2))); for k=1:p J(k+1) = norm(xn - (U(:,1:k)*D(1:k,1:k)*(V(:,1:k) )))); end figure(5) plot(j/j(1)); hold on title( Erreur de reconstruction par ACP ) plot(j/j(1), o ); hold off Avec les deux plus grandes valeur propres, on reconstruit plus de 80 % de la matrice des données (ébouli des valeurs propres selon Baccini et Besse) observations X = Information A k + Bruit

26 Plus loin sur le même principe... D autres applications possible de l ACP : compression d image D autres analyses à base d analyse spectrale sur des tableaux de distance Tables de contingences : l analyse factorielle des correspondances (AFC) L analyse canonique (AC) : comparaison de deux groupes de variables L analyse des correspondances multiples, l analyse discriminates D autres développements : ACP et modèle probabiliste ACP non linéaire, ACP généralisée ACP parcimonieuse

27 Conclusion Pourquoi faire une analyse en composantes principale (ACP) permet de représenter les individus permet de représenter les variables permet de compresser les données et d éliminer du bruit Comment faire une L analyse en composantes principale (ACP) réduire et centrer les données Xr calculer la matrice des correlations Xr Xr en extraire les valeurs et les vecteurs propres V reconstruire les nouvelles variables U = XrV choisir k le nombre de facteurs significatifs k Méthode exploratrice complexe dans sa formulation facile dans sa mise en œuvre (5 lignes de code)

28 Repéres bibliographiques Statistique descriptive multidimensionnelle : Techniques factorielles de base Baccini, Alain et Besse, Philippe (UPS. Université Paul Sabatier, Toulouse 3. LSP. Laboratoire de statistique et probabilités. France) le cours de l UTC sur l ACP (G. Govaert) un tutorial de CMU sur l ACP sur wikipedia

29 Rappel sur les valeurs propres soit Σ une matrice carrée symétrique définie positive (Σ = X X ) de dimension p. Il existe : tels que p réels positifs λ i, i = 1, p et p vecteurs de IR p, v i, i = 1, p Σv i = λ i v i quelques faits à propos des valeurs et des vecteurs propres par convention on ordonne les valeurs propres λ i λ i 1, i = 2, p par convention les vecteurs propres sont normés v i v i = 1 les vecteurs propres sont orthogonaux entre eux : v i v j = 0 i j la matrice des vecteurs propres V forme une base de IR p décomposition spectrale : Σ = p i=1 λ iv i v i on les calcule en utilisant un programme ([V,D] = eig(σ))

30 X = randn(10,5) X = S = X *X S = [V,D] = eig(s) V = D = diag(d) D = Sv = λv S*V(:,1) - D(1,1)*V(:,1) = 1.0e-13 * S - V*D*V ; = e-14 *...