5MS04 - Analyse des données Master 2 spécialité Statistiques Université Pierre et Marie Curie. Kernel PCA. (Schoelkop Smola and Mueller 1999)

Transcription

1 5MS04 - Analyse des données Master 2 spécialité Statistiques Université Pierre et Marie Curie Kernel PCA (Schoelkop Smola and Mueller 1999) Bertrand MICHEL bertrand.michel@upmc.fr

2 Méthodes linéaires en statistiques / Analyse de données Régression linéaire Analyse discriminante linéaire Analyse en composantes principales

3 Méthodes à noyau : schéma général Idée générale : envoyer les données dans un espace de grande dimension (espace des features) dans lequel les méthodes linéaires pourraient fonctionner. Φ R D Φ F espace de grande dimension

4 CMDS dans l espace des features Soient x 1,... x n un nuage de point dans R D. Contrairement aux techniques précédentes, ici le point de départ consiste à projeter les données dans un espace de grande dimension. Soient Φ une application (typiquement non linéaire) de R D vers un espace de Hilbert (F, <> F ), que l on appelle espace des features. Par ex. F = R D et en toute généralité un espace de Hilbert de dim infinie. On considère le problème de la réduction de dimension dans F pour les données y 1 = Φ(x 1 ),..., y n = Φ(x n ). Kernel PCA = MDS dans l espace des features : 1. Matrice de Gram dans F : G F = Y Y. 2. Double recentrage de G F : G c F = HG F H. 3. Diagonalisation de G c F : G c Fv s = λv s où les v s forment une bon de R n. 4. Reduction de dimension (ou non) dans l espace des features, on considère une configuration dans R l définie par [ λ 1 v 1,..., λ l v l ]. 5. Eventuellement : calcul des (approximations de ) pré-images des points de cette configuration.

5 Méthode à noyau et Kernel trick Dans les calculs précédents, la fonction Φ n intervient que dans les produits scalaires < Φ(x i ), Φ(x j ) > F de la matrice de Gram G F. On considère le noyau sur R D R D défini par : K(x, x) :=< Φ(x), Φ( x) > F. Par construction, K est symétrique et positif sur R D, c.a.d N N, (x 1,..., x n ) R D R D, (a 1,..., a N ) R D : N a i a j K(x i, x j ) 0. i,j=1 C.a.d la matrice [K(x i, x j )] est semi définie positive. Il apparaît alors plus simple de choisir un noyau K sur R D R D plutôt que d expliciter un espace de features F et une fonction Φ vers cet espace. On travaille alors implicitement dans un espace de features, sans le definir explicitement. Cette approche n est justifiée que si pour le noyau choisi K, il existe un espace de Hilbert F et une application Φ : R D R D F telle que pour tout x, x de R D : K(x, x) =< Φ(x), Φ > F

6 Caractérisation des noyaux symétriques positifs Theorème : [Aronszajn] K est un noyau positif sur un ensemble X si et seulement si il existe un espace de Hilbert F, <> F et une application Φ : X F tels que pour tout x, x X, K(x, x) =< Φ(x), Φ( x) > F. Preuve : Cas fini X = [a, b] : Théorème de Mercer 1909 Cal général F est un espace de Hilbert à noyau autoreproduisant (RKHS). Aronszajn (1944, 1950).

7 Noyaux sur R D Exemples de noyaux sur R D R D : Noyaux polynomiaux : K(x, x) = (< x, x > +1) p pour p entier Fonctions radiales, par exemple noyau Gaussien (RBF) K(x, x) = exp ( x x 2 2σ 2 ) p. Noyau de type fonction d activation d un perceptron K(x, x) = tanh (< x, x > +b) Le choix d un noyau adéquat est une question délicate. Un bon noyau doit parvenir à linéariser les données dans l espace des features qui lui est associé pour que CMDS y fonctionne efficacement.

8 Application : deux cercles embôités Sources : doc sklearn decomposition/plot_kernel_pca.html

9 Le problème de la pré-image R D Φ F??? Π MDS et réduction de dimension

10 Le problème de la pré-image R D x Φ Φ(x) z F [Mika 99] Pour x R D, trouver z R D qui minimise z Φ( z) Π(Φ(x)) 2 c.a.d. qui minimise z Φ(z) 2 2 < Φ(z), Π(Φ(x)) >. Descente de gradient si K est assez régulier. D autres méthodes plus élaborées existent aussi Π MDS et réduction de dimension Π(Φ(x)) Φ(z)

11 Quelques remarques En réalité cette technique devrait plutôt s appeler Kernel MDS car elle s appuie sur une diagonalisation de la matrice de Gram G F. Avantages de K-PCA : réduction de dim non linéaire, flexibilité via choix du noyau inconvenients : Complexité algorithomique (celle de MDS) en n 3. Choix du noyau... Délicat retour dans l espace initial depuis l espace des features