5MS04 - Analyse des données Master 2 spécialité Statistiques Université Pierre et Marie Curie. Kernel PCA. (Schoelkop Smola and Mueller 1999)

Transcription

1 5MS04 - Analyse des données Master 2 spécialité Statistiques Université Pierre et Marie Curie Kernel PCA (Schoelkop Smola and Mueller 1999) Bertrand MICHEL bertrand.michel@ec-nantes.fr

2 Méthodes linéaires en statistiques / Analyse de données Régression linéaire Analyse discriminante linéaire (classification) Analyse en composantes principales

3 Méthodes à noyau : schéma général Idée générale : envoyer les données dans un espace de grande dimension (espace des features) dans lequel les méthodes linéaires pourraient fonctionner. Φ R D Φ F espace de grande dimension

4 CMDS dans l espace des features Soient x 1,... x n un nuage de point dans R D. Contrairement aux techniques précédentes, ici le point de départ consiste à projeter les données dans un espace de grande dimension. Soient Φ une application (typiquement non linéaire) de R D vers un espace de Hilbert (F, <> F ), que l on appelle espace des features. Par ex. F = R D et en toute généralité un espace de Hilbert de dim infinie. On considère le problème de la réduction de dimension dans F pour les données y 1 = Φ(x 1 ),..., y n = Φ(x n ). Kernel PCA = MDS dans l espace des features : 1. Matrice de Gram dans F : G F = Y Y. 2. Double recentrage de G F : G c F = HG F H. 3. Diagonalisation de G c F : G c Fv s = λv s où les v s forment une bon de R n. 4. Reduction de dimension (ou non) dans l espace des features, on considère une configuration dans R l définie par [ λ 1 v 1,..., λ l v l ]. 5. Eventuellement : calcul des (approximations de ) pré-images des points de cette configuration.

5 Schéma général d une ACP à noyau R D Φ F La projection Π est vue ici comme une application de F dans F (par comme une application de F dans R k ) Π MDS et réduction de dimension F

6 Méthode à noyau et Kernel trick Dans les calculs précédents, la fonction Φ n intervient que dans les produits scalaires < Φ(x i ), Φ(x j ) > F de la matrice de Gram G F. On considère le noyau sur R D R D défini par : K(x, x) :=< Φ(x), Φ( x) > F. Par construction, K est symétrique et positif sur R D, c.a.d N N, (x 1,..., x n ) R D R D, (a 1,..., a N ) R D : N a i a j K(x i, x j ) 0, i,j=1 i.e. la matrice [K(x i, x j )] est semi définie positive. Il est plus simple de choisir un noyau K sur R D R D plutôt que d expliciter un espace de features F et une fonction Φ vers cet espace. On travaille alors dans un espace de features sans le définir explicitement. Cette approche n est justifiée que si pour le noyau K, il existe un espace de Hilbert F et une application Φ : R D R D F telle que : (x, x) R D, K(x, x) =< Φ(x), Φ > F.

7 Caractérisation des noyaux symétriques positifs Theorème : [Aronszajn] K est un noyau positif sur un ensemble X si et seulement si il existe un espace de Hilbert F, <> F et une application Φ : X F tels que pour tout x, x X, K(x, x) =< Φ(x), Φ( x) > F. Preuve : Cas fini X = [a, b] : Théorème de Mercer 1909 Cas général F est un espace de Hilbert à noyau autoreproduisant (RKHS). Aronszajn (1944, 1950).

8 Exemples de noyaux sur R D R D : Noyaux polynomiaux : Exemple de fonctions noyaux K(x, x) = (< x, x > +1) p pour p entier. Pour ces noyaux on peut montrer que les features créés vivent dans l espace des polynomes en les variables initiales. Fonctions radiales, par exemple noyau Gaussien (RBF) ) p x x 2 K(x, x) = exp (. 2σ 2 Noyau de type fonction d activation d un perceptron K(x, x) = tanh (< x, x > +b) On peut aussi définir des noyau sur des objets plus complexes comme des graphes. Le choix d un noyau adéquat est une question délicate. Pour le problème qui nous intéresse ici, un bon noyau doit parvenir à linéariser les données dans l espace des features qui lui est associé pour que CMDS y fonctionne efficacement.

9 Application : deux cercles embôités Sources : doc sklearn decomposition/plot_kernel_pca.html

10 Le problème de la pré-image R D Φ F??? Π MDS et réduction de dimension

11 Le problème de la pré-image R D x Φ Φ(x) z F Pour x R D, trouver z R D qui minimise c.a.d. qui minimise z Φ( z) Π(Φ(x)) 2 Φ(z) 2 2 < Φ(z), Π(Φ(x)) > En pratique par ex. optimisation par méthode itérative de type point fixe. Voir Kwork and Tsang ICML ICML pdf Π MDS et réduction de dimension Π(Φ(x)) Φ(z)

12 Quelques remarques En réalité cette technique devrait plutôt s appeler Kernel MDS car elle s appuie sur une diagonalisation de la matrice de Gram G F. Avantages de K-PCA : réduction de dim non linéaire, flexibilité via choix du noyau inconvenients : Complexité algorithomique (celle de MDS) en n 3. Choix du noyau... Délicat retour dans l espace initial depuis l espace des features