Méthodes à Noyaux pour L analyse de Données Mathieu Fauvel gipsa-lab 19 janvier 2007 Mathieu Fauvel (gipsa-lab) Méthodes à Noyaux 19 janvier 2007 1 / 39
Introduction 1 Présentation Générale Les Données Idée Principale Un exemple linéairement séparable Un exemple non-linéairement séparable 2 Fonctions noyaux Théorème Démonstration Quelques noyaux semi-défini positif 3 Analyse non-linéaire en composante principale (kernel PCA) Analyse en composante principale Kernel PCA Application 4 Conclusions Pour - Contre Autres méthodes Mathieu Fauvel (gipsa-lab) Méthodes à Noyaux 19 janvier 2007 2 / 39
Présentation Générale 1 Présentation Générale Les Données Idée Principale Un exemple linéairement séparable Un exemple non-linéairement séparable 2 Fonctions noyaux Théorème Démonstration Quelques noyaux semi-défini positif 3 Analyse non-linéaire en composante principale (kernel PCA) Analyse en composante principale Kernel PCA Application 4 Conclusions Pour - Contre Autres méthodes Mathieu Fauvel (gipsa-lab) Méthodes à Noyaux 19 janvier 2007 3 / 39
Présentation Générale Les Données Représentation des données : x R ou C x R n ou C n x R n R n ou C n C n x (Ω, σ, P ) x ensemble de toutes les séquences finies de l alphabet {A, C, G, T } (x est une séquences d ADN) x P(E)... Notations : X un ensemble quelconque, un objet x X et S = {x 1,..., x N } un ensemble fini de N objets à notre disposition. Mathieu Fauvel (gipsa-lab) Méthodes à Noyaux 19 janvier 2007 4 / 39
Présentation Générale Idée Principale Méthodes à noyaux : Transformer tout algorithme linéaire, s exprimant sous forme de produits scalaires, en un algorithme non linéaire. Idée de Base : Projeter les données dans un espace vectoriel Chercher des relations linéaires dans cet espace f(x) o o o o o x x x x x x x x o o o o f f(x) f(x) f(x) f(x) f(o) f(o) f(x) f(x) f(x) f(o) f(o) f(o) f(o) f(o) f(o) Mathieu Fauvel (gipsa-lab) Méthodes à Noyaux 19 janvier 2007 5 / 39
Présentation Générale Un exemple linéairement séparable Classification : S = {(x i, y i ) R n { 1; 1}; i [1, N]} 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 0.1 0.4 0.2 0 0.2 0.4 0.6 0.8 1 M 1 x 2? M 1 x 2 Mathieu Fauvel (gipsa-lab) Méthodes à Noyaux 19 janvier 2007 6 / 39
Présentation Générale Un exemple linéairement séparable M 1 x 2 = = M 1 x 2 = 1 m 1 1 M 1 x 2 M 1 x 2? 0 m 1 m 1 m 1 = 1 1 m 1 x i x, x i x m 1 m 1 m 1 m 1 x i 1, x i 1 + x, x 2 x i, x m 1 m 1 x i, x k m 1 1 + x, x 2 x i, x m 2 1 k=1 m 1 1 m 2 1 l=1 x j, x l + x, x 2 m 1 1 m 1 m 1 x j, x Mathieu Fauvel (gipsa-lab) Méthodes à Noyaux 19 janvier 2007 7 / 39
Présentation Générale Un exemple linéairement séparable Règle de décision : ( m 1 1 2 x i 1 m 1 m 1 m 1 ) x j, x + 1 m 2 1 m 1 k=1 x i, x k 1 m 2 1 m 1 x j, x l? 0 l=1 Étudier le signe : f(x) = w, x + b w = 2 m 1 +m 1 m=1 α m = 1 m 1 ou 1 m 1 y m = 1 ou 1 b = 1 m 2 1 m 1 k=1 α m y m x m x i, x k 1 m 2 1 m 1 x j, x l l=1 Mathieu Fauvel (gipsa-lab) Méthodes à Noyaux 19 janvier 2007 8 / 39
Présentation Générale Un exemple linéairement séparable Séparation : {x f(x) = 0}. 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 0.1 0.4 0.2 0 0.2 0.4 0.6 0.8 1 Mathieu Fauvel (gipsa-lab) Méthodes à Noyaux 19 janvier 2007 9 / 39
Présentation Générale Un exemple non-linéairement séparable 1 0.8 0.6 0.4 0.2 0 0.2 0.4 0.6 0.8 1 1 0.8 0.6 0.4 0.2 0 0.2 0.4 0.6 0.8 1 Projection : Φ : R 2 R 3 x Φ(x) (x 1, x 2 ) (x 2 1, x 2 2, 2x 1 x 2 ) Mathieu Fauvel (gipsa-lab) Méthodes à Noyaux 19 janvier 2007 10 / 39
Présentation Générale Un exemple non-linéairement séparable 0.8 0.6 0.4 0.2 0 0.2 0.4 0.6 0.8 0 0.2 0.4 0.6 0.8 1 0 0.2 0.4 0.6 0.8 1 Mathieu Fauvel (gipsa-lab) Méthodes à Noyaux 19 janvier 2007 11 / 39
Présentation Générale Un exemple non-linéairement séparable 0.6 0.4 0.2 0 0.2 0.4 0.6 0.2 0.4 0.6 0.8 0.2 0.4 0.6 0.8 Mathieu Fauvel (gipsa-lab) Méthodes à Noyaux 19 janvier 2007 11 / 39
Présentation Générale Un exemple non-linéairement séparable Ré-écriture du produit scalaire : Φ(x), Φ(y) R 3 3 Φ(x) i Φ(y) i = Φ(x) 1 Φ(y) 1 + Φ(x) 2 Φ(y) 2 + Φ(x) 3 Φ(y) 3 = x 1 2 y 1 2 + x 2 2 y 2 2 + 2x 1 x 2 y 1 y 2 = (x 1 y 1 + x 2 y 2 ) 2 = x, y 2 R 2 = k(x, y) Ré-écriture de la règle de décision : f(x) = k(w, x) + b b = 1 m 2 1 m 1 k=1 k(x i, x k ) 1 m 2 1 m 1 k(x j, x l ) l=1 Mathieu Fauvel (gipsa-lab) Méthodes à Noyaux 19 janvier 2007 12 / 39
Présentation Générale Un exemple non-linéairement séparable 1 0.8 0.6 0.4 0.2 0 0.2 0.4 0.6 0.8 1 1 0.8 0.6 0.4 0.2 0 0.2 0.4 0.6 0.8 1 Mathieu Fauvel (gipsa-lab) Méthodes à Noyaux 19 janvier 2007 13 / 39
Présentation Générale Un exemple non-linéairement séparable 1 0.8 0.6 0.4 0.2 0 0.2 0.4 0.6 0.8 1 1 0.8 0.6 0.4 0.2 0 0.2 0.4 0.6 0.8 1 Pour quelles fonctions k a-t on : k(x, y) = Φ(x), Φ(y) H Mathieu Fauvel (gipsa-lab) Méthodes à Noyaux 19 janvier 2007 13 / 39
Fonctions noyaux 1 Présentation Générale Les Données Idée Principale Un exemple linéairement séparable Un exemple non-linéairement séparable 2 Fonctions noyaux Théorème Démonstration Quelques noyaux semi-défini positif 3 Analyse non-linéaire en composante principale (kernel PCA) Analyse en composante principale Kernel PCA Application 4 Conclusions Pour - Contre Autres méthodes Mathieu Fauvel (gipsa-lab) Méthodes à Noyaux 19 janvier 2007 14 / 39
Fonctions noyaux Théorème Pour quelles fonctions k a-t-on l égalité suivante : avec k(x, y) = Φ(x), Φ(y) H k : X X R Φ : X H (x, y) k(x, y) x Φ(x) Theorem (Théorème de Moore-Aronsjan (1950)) A chaque noyau semi-défini positif k : X X R, on peut associer un unique espace de Hilbert (H,, H ) ayant k comme noyau reproduisant : f H, : x X, f(x) = f, k(., x) H Mathieu Fauvel (gipsa-lab) Méthodes à Noyaux 19 janvier 2007 15 / 39
Fonctions noyaux Démonstration Noyau semi défini positif : k : X X R est semi défini positif si : 1 (x, y) X X ; k(x, y) = k(y, x) 2 n N, ξ 1... ξ n R, x 1... x n X, n i,j ξ iξ j k(x i, x j ) 0 Espace de Banach : Espace vectoriel normé complet pour la distance issue de sa norme. Espace de Hilbert : Espace de Banach dont la norme. découle d un produit scalaire : x H = x, x H. Espace de Hilbert à noyau auto-reproduisant : Soit X un espace quelconque, H un espace vectoriel de fonctions définies sur X à valeurs réelles ; H R X et (H,, H ) un espace de Hilbert. La fonction K : X X R est un noyau reproduisant si : 1 y X : K(., y) : x K(x, y) H 2 y X et f H : f(y) = f, K(., y) H Propriété reproduisante : K(x, y) = K(., x), K(., y) H. Mathieu Fauvel (gipsa-lab) Méthodes à Noyaux 19 janvier 2007 16 / 39
Fonctions noyaux Démonstration Noyau semi défini positif : k : X X R est semi défini positif si : 1 (x, y) X X ; k(x, y) = k(y, x) 2 n N, ξ 1... ξ n R, x 1... x n X, n i,j ξ iξ j k(x i, x j ) 0 Espace de Banach : Espace vectoriel normé complet pour la distance issue de sa norme. Espace de Hilbert : Espace de Banach dont la norme. découle d un produit scalaire : x H = x, x H. Espace de Hilbert à noyau auto-reproduisant : Soit X un espace quelconque, H un espace vectoriel de fonctions définies sur X à valeurs réelles ; H R X et (H,, H ) un espace de Hilbert. La fonction K : X X R est un noyau reproduisant si : 1 y X : K(., y) : x K(x, y) H 2 y X et f H : f(y) = f, K(., y) H Propriété reproduisante : K(x, y) = K(., x), K(., y) H. Mathieu Fauvel (gipsa-lab) Méthodes à Noyaux 19 janvier 2007 16 / 39
Fonctions noyaux Démonstration Noyau semi défini positif : k : X X R est semi défini positif si : 1 (x, y) X X ; k(x, y) = k(y, x) 2 n N, ξ 1... ξ n R, x 1... x n X, n i,j ξ iξ j k(x i, x j ) 0 Espace de Banach : Espace vectoriel normé complet pour la distance issue de sa norme. Espace de Hilbert : Espace de Banach dont la norme. découle d un produit scalaire : x H = x, x H. Espace de Hilbert à noyau auto-reproduisant : Soit X un espace quelconque, H un espace vectoriel de fonctions définies sur X à valeurs réelles ; H R X et (H,, H ) un espace de Hilbert. La fonction K : X X R est un noyau reproduisant si : 1 y X : K(., y) : x K(x, y) H 2 y X et f H : f(y) = f, K(., y) H Propriété reproduisante : K(x, y) = K(., x), K(., y) H. Mathieu Fauvel (gipsa-lab) Méthodes à Noyaux 19 janvier 2007 16 / 39
Fonctions noyaux Démonstration Propriétés des noyaux auto-reproduisant (a.r.) : 1 Si K existe, alors il est unique 2 Un noyau a.r. est un noyau semi-défini positif : Preuve 2. K(x, y) = K(., x), K(., y) H = K(., y), K(., x) H = K(y, x) n n ξ i ξ j K(x i, x j ) = ξ i ξ j K(., x i ), K(., x j ) H = n n ξ i K(., x i ), ξ j K(., x j ) H n = ξ i K(., x i ) 2 H 0 Mathieu Fauvel (gipsa-lab) Méthodes à Noyaux 19 janvier 2007 17 / 39
Fonctions noyaux Démonstration Construction de l espace de Hilbert : k : un noyau semi-défini positif, k : X X R H 0 espace vectoriel des combinaisons linéaires finies : f := p α i k(., x i ) x i X, α i R et p N On définit : f, g H0 := p,q i, Montrons que f, g H0 est un produit scalaire : Indépendant de la base de représentation bilinéaire (immédiat) symétrique (immédiat) positif défini α i β j k(x i, y j ) Mathieu Fauvel (gipsa-lab) Méthodes à Noyaux 19 janvier 2007 18 / 39
Fonctions noyaux Démonstration Indépendance de la représentation de f et g. p q p f, g H0 = β j k(x i, y j ) = α i g(x i ) = α i q β j f(y j ) Positivité. f, f H0 = positif. Défini. p α i α j k(x i, x j ) 0, α i, x i, p. k est un noyau semi-défini Remarquons : f, k(., x) H0 = p α i k(x i, x) = f(x) (prop. reproduisante). f(x) = f, k(, x) H0 f H0 k(x, x) 1/2 (bilinéarité + positivité + symétrie) Donc f H0 = 0 (f(x) = 0, x) f = 0 Mathieu Fauvel (gipsa-lab) Méthodes à Noyaux 19 janvier 2007 19 / 39
Fonctions noyaux Démonstration Indépendance de la représentation de f et g. p q p f, g H0 = β j k(x i, y j ) = α i g(x i ) = α i q β j f(y j ) Positivité. f, f H0 = positif. Défini. p α i α j k(x i, x j ) 0, α i, x i, p. k est un noyau semi-défini Remarquons : f, k(., x) H0 = p α i k(x i, x) = f(x) (prop. reproduisante). f(x) = f, k(, x) H0 f H0 k(x, x) 1/2 (bilinéarité + positivité + symétrie) Donc f H0 = 0 (f(x) = 0, x) f = 0 Mathieu Fauvel (gipsa-lab) Méthodes à Noyaux 19 janvier 2007 19 / 39
Fonctions noyaux Démonstration Indépendance de la représentation de f et g. p q p f, g H0 = β j k(x i, y j ) = α i g(x i ) = α i q β j f(y j ) Positivité. f, f H0 = positif. Défini. p α i α j k(x i, x j ) 0, α i, x i, p. k est un noyau semi-défini Remarquons : f, k(., x) H0 = p α i k(x i, x) = f(x) (prop. reproduisante). f(x) = f, k(, x) H0 f H0 k(x, x) 1/2 (bilinéarité + positivité + symétrie) Donc f H0 = 0 (f(x) = 0, x) f = 0 Mathieu Fauvel (gipsa-lab) Méthodes à Noyaux 19 janvier 2007 19 / 39
Fonctions noyaux Démonstration Theorem (Complété) Si (E 0,, E0 ) est un espace métrique, il existe un espace métrique (Ẽ0,, fe0 ) complet dont (E 0,, E0 ) est un sous espace dense. Cet espace est unique à isométrie près. On l appelle le complété de (E 0,, E0 ) Conclusion : ( H 0,, fh0 ), complété de (H 0,, H0 ), est un espace Hilbertien. k semi-defini positif k(x, y) = k(., x), k(., y) H = Φ(x), Φ(y) H Mathieu Fauvel (gipsa-lab) Méthodes à Noyaux 19 janvier 2007 20 / 39
Fonctions noyaux Démonstration Theorem (Complété) Si (E 0,, E0 ) est un espace métrique, il existe un espace métrique (Ẽ0,, fe0 ) complet dont (E 0,, E0 ) est un sous espace dense. Cet espace est unique à isométrie près. On l appelle le complété de (E 0,, E0 ) Conclusion : ( H 0,, fh0 ), complété de (H 0,, H0 ), est un espace Hilbertien. k semi-defini positif k(x, y) = k(., x), k(., y) H = Φ(x), Φ(y) H Mathieu Fauvel (gipsa-lab) Méthodes à Noyaux 19 janvier 2007 20 / 39
Fonctions noyaux Quelques noyaux semi-défini positif (X,, X ) espace de Hilbert k(x, y) = x, y X est semi-défini positif. k(x, y) = x, y X = y, x X = k(y, x) n n n ξ i ξ j x i, x j X = ξ i x i, ξ j x j X n 2 = ξ i x i X 0 g : X R k(x, y) = g(x) g(y) est semi-défini positif. k(x, y) = g(x) g(y) = g(y) g(x) = k(y, x) ( n n n n 2 ξ i ξ j g(x i ) g(x j ) = ξ i g(x i ) ξ j g(x j ) = ξ i g(x )) i 0 Mathieu Fauvel (gipsa-lab) Méthodes à Noyaux 19 janvier 2007 21 / 39
Fonctions noyaux Quelques noyaux semi-défini positif k 1 et k 2 semi-défini positif k 1 + k 2 semi-défini positif. k(x, y) = k 1 (x, y) + k 2 (x, y) = k 1 (y, x) + k 2 (y, x) = k(y, x) n n n ξ i ξ j k(x i, x j ) = ξ i ξ j k 1 (x i, x j ) + ξ i ξ j k 2 (x i, x j ) 0 k 1 et k 2 semi-défini positif k 1 k 2 semi-défini positif. k 1 semi-défini positif k = exp(k 1 ) est semi-défini positif. + n n ξ i ξ j k(x i, x j k ) = ξ i ξ 1(x r i, x j ) + 1 n j = ξ i ξ j k r r! r! 1(x i, x j ) 0 r=1 r=1 Mathieu Fauvel (gipsa-lab) Méthodes à Noyaux 19 janvier 2007 22 / 39
Fonctions noyaux Quelques noyaux semi-défini positif k(x, y) = x, y p noyau polynomial d ordre p. k 1 (x, y) = x, y est un noyau k 2 (x, y) = k 1 (x, y) k 1 (x, y) est un noyau... Correspond à l espace de tous les monômes d ordre p. Variante : espace de tous les monômes jusqu à l ordre p. k(x, y) = ( x, y + q) p Mathieu Fauvel (gipsa-lab) Méthodes à Noyaux 19 janvier 2007 23 / 39
Fonctions noyaux Quelques noyaux semi-défini positif ( k(x, y) = exp ( ) exp x y 2 2 γ = exp 2 ( k 1 (x, y) = exp k 2 (x, y) = exp ) x y 2 2 γ 2 ( x,x R d ) x,x R d γ exp 2 noyau radial. γ 2 ) exp ( 2 x,y R d γ 2 ) = exp (k 3 (x, y)) ( y,y R d γ 2 ) exp ( y,y R d γ 2 ) = g(x) g(y) ( ) 2 x,y R d γ 2 Espace de projection associé de dimension infinie. Mathieu Fauvel (gipsa-lab) Méthodes à Noyaux 19 janvier 2007 24 / 39
Fonctions noyaux Quelques noyaux semi-défini positif Autres noyaux : x, y R + k(x, y) = min(x, y) x, y (Ω, F, P) un espace de probabilité. k(x, y) = P(x, y) P(x)P(y) (Mesure de similarité d événements probabilistes) Mathieu Fauvel (gipsa-lab) Méthodes à Noyaux 19 janvier 2007 25 / 39
Analyse non-linéaire en composante principale (kernel PCA) 1 Présentation Générale Les Données Idée Principale Un exemple linéairement séparable Un exemple non-linéairement séparable 2 Fonctions noyaux Théorème Démonstration Quelques noyaux semi-défini positif 3 Analyse non-linéaire en composante principale (kernel PCA) Analyse en composante principale Kernel PCA Application 4 Conclusions Pour - Contre Autres méthodes Mathieu Fauvel (gipsa-lab) Méthodes à Noyaux 19 janvier 2007 26 / 39
Analyse non-linéaire en composante principale (kernel PCA) Analyse en composante principale Vecteur aléatoire x R n, N observations x i. Algorithme 1 Centrer 2 Matrice de covariance : C x = 1 N N x i x it 3 Résoudre : λv = C x v v R n = 1 4 Projection sur k ieme PC : x k pc = v k, x R n Mathieu Fauvel (gipsa-lab) Méthodes à Noyaux 19 janvier 2007 27 / 39
Analyse non-linéaire en composante principale (kernel PCA) Kernel PCA Projection : Φ : R n H x Φ(x) Matrice de covariance dans H : C Φ(x) = 1 N N Φ(x i )Φ(x i ) T Résoudre : λv Φ = C Φ(x) v Φ Mathieu Fauvel (gipsa-lab) Méthodes à Noyaux 19 janvier 2007 28 / 39
Analyse non-linéaire en composante principale (kernel PCA) Kernel PCA Projection : Φ : R n H x Φ(x) Matrice de covariance dans H : C Φ(x) = 1 N N Φ(x i )Φ(x i ) T Résoudre : λv Φ = C Φ(x) v Φ N Φ(x i )Φ(x i ) T v Φ = 1 N Mathieu Fauvel (gipsa-lab) Méthodes à Noyaux 19 janvier 2007 28 / 39
Analyse non-linéaire en composante principale (kernel PCA) Kernel PCA Projection : Φ : R n H x Φ(x) Matrice de covariance dans H : C Φ(x) = 1 N N Φ(x i )Φ(x i ) T Résoudre : λv Φ = C Φ(x) v Φ N Φ(x i )Φ(x i ) T v Φ = 1 N = 1 N N Φ(x i ), v Φ H Φ(x i ) Mathieu Fauvel (gipsa-lab) Méthodes à Noyaux 19 janvier 2007 28 / 39
Analyse non-linéaire en composante principale (kernel PCA) Kernel PCA v Φ est généré par les Φ(x i ) : v Φ = N α i Φ(x i ) Ré-écriture : λv Φ = 1 N N Φ(xi ), v Φ H Φ(x i ) λ N α iφ(x i ) = 1 N Φ(xi ), N α N jφ(x j ) H Φ(x i ) λ N α iφ(x i ) = 1 N N α j Φ(x i ), Φ(x j ) H Φ(x i ) N m=1 Φ(x m),. H λ N m=1 α i Φ(x i ), Φ(x m ) H = 1 N N m=1 α j Φ(x i ), Φ(x j ) H Φ(x i ), Φ(x m ) H Mathieu Fauvel (gipsa-lab) Méthodes à Noyaux 19 janvier 2007 29 / 39
Analyse non-linéaire en composante principale (kernel PCA) Kernel PCA K la matrice N N, K ij := Φ(x i ), Φ(x j ) H On obtient : Les solutions α sont trouvées par : λkα = 1 N K 2 α λα = 1 N Kα Connaître α connaître v Φ Mathieu Fauvel (gipsa-lab) Méthodes à Noyaux 19 janvier 2007 30 / 39
Analyse non-linéaire en composante principale (kernel PCA) Kernel PCA Preuve. α = p a pβ p, solution de λkα = 1 N K2 α Nλ p a pµ p β p = p a pµ 2 pβ p p, Nλ = µ p ou a p = 0 ou µ p = 0 α = p a pβ p, solution de λα = 1 N Kα Nλ p a pβ p = p a pµ p β p p, Nλ = µ p ou a p = 0 α = β p µ p = 0. On a Kα = 0 i : j K ijα j = 0 i : j Φ(xi ), Φ(x j ) H α j = 0 i : Φ(x i ), j α jφ(x j ) H = 0 Le vecteur propre de C Φ(x) associé à β p µ p = 0 n est pas pertinent. Projection : N Φ(x) k kpc = vφ, k Φ(x) H = αi k Φ(x i ), Φ(x) H Mathieu Fauvel (gipsa-lab) Méthodes à Noyaux 19 janvier 2007 31 / 39
Analyse non-linéaire en composante principale (kernel PCA) Kernel PCA Preuve. α = p a pβ p, solution de λkα = 1 N K2 α Nλ p a pµ p β p = p a pµ 2 pβ p p, Nλ = µ p ou a p = 0 ou µ p = 0 α = p a pβ p, solution de λα = 1 N Kα Nλ p a pβ p = p a pµ p β p p, Nλ = µ p ou a p = 0 α = β p µ p = 0. On a Kα = 0 i : j K ijα j = 0 i : j Φ(xi ), Φ(x j ) H α j = 0 i : Φ(x i ), j α jφ(x j ) H = 0 Le vecteur propre de C Φ(x) associé à β p µ p = 0 n est pas pertinent. Projection : N Φ(x) k kpc = vφ, k Φ(x) H = αi k Φ(x i ), Φ(x) H Mathieu Fauvel (gipsa-lab) Méthodes à Noyaux 19 janvier 2007 31 / 39
Analyse non-linéaire en composante principale (kernel PCA) Kernel PCA Preuve. α = p a pβ p, solution de λkα = 1 N K2 α Nλ p a pµ p β p = p a pµ 2 pβ p p, Nλ = µ p ou a p = 0 ou µ p = 0 α = p a pβ p, solution de λα = 1 N Kα Nλ p a pβ p = p a pµ p β p p, Nλ = µ p ou a p = 0 α = β p µ p = 0. On a Kα = 0 i : j K ijα j = 0 i : j Φ(xi ), Φ(x j ) H α j = 0 i : Φ(x i ), j α jφ(x j ) H = 0 Le vecteur propre de C Φ(x) associé à β p µ p = 0 n est pas pertinent. Projection : N Φ(x) k kpc = vφ, k Φ(x) H = αi k Φ(x i ), Φ(x) H Mathieu Fauvel (gipsa-lab) Méthodes à Noyaux 19 janvier 2007 31 / 39
Analyse non-linéaire en composante principale (kernel PCA) Kernel PCA Matrice de Gram : Matrice de tout les produits scalaires possibles. Φ(x 1 ), Φ(x 1 ) H Φ(x 1 ), Φ(x 2 ) H... Φ(x 1 ), Φ(x N ) H Φ(x 2 ), Φ(x 1 ) H Φ(x 2 ), Φ(x 2 ) H... Φ(x 2 ), Φ(x N ) H K =...... Φ(x N ), Φ(x 1 ) H Φ(x N ), Φ(x 2 ) H... Φ(x N ), Φ(x N ) H Matrice noyau (kernel matrix) : k(x 1, x 1 ) k(x 1, x 2 )... k(x 1, x N ) k(x 2, x 1 ) k(x 2, x 2 )... k(x 2, x N ) K =...... k(x N, x 1 ) k(x N, x 2 )... k(x N, x N ) Mathieu Fauvel (gipsa-lab) Méthodes à Noyaux 19 janvier 2007 32 / 39
Analyse non-linéaire en composante principale (kernel PCA) Kernel PCA Algorithme 1 Construire et centrer K 2 Diagonaliser K 3 Normalisation des vecteurs propres : λ k α k, α k = 1 4 Projection sur k ieme KPC : N Φ(x) k kpc = αi k k(x i, x) Mathieu Fauvel (gipsa-lab) Méthodes à Noyaux 19 janvier 2007 33 / 39
Analyse non-linéaire en composante principale (kernel PCA) Application Un autre exemple... 1.5 0.08 0.06 1 0.04 0.5 0.02 0 0 0.02 0.5 0.04 0.06 1 2 1.5 1 0.5 0 0.5 1 0.08 0.05 0.04 0.03 0.02 0.01 0 0.01 0.02 0.03 0.04 0.05 originale 2 premières kpc Mathieu Fauvel (gipsa-lab) Méthodes à Noyaux 19 janvier 2007 34 / 39
Analyse non-linéaire en composante principale (kernel PCA) Application Application aux images hyperspectrales : pc1 pc2 kpc1 kpc2 Mathieu Fauvel (gipsa-lab) Méthodes à Noyaux 19 janvier 2007 35 / 39
Conclusions 1 Présentation Générale Les Données Idée Principale Un exemple linéairement séparable Un exemple non-linéairement séparable 2 Fonctions noyaux Théorème Démonstration Quelques noyaux semi-défini positif 3 Analyse non-linéaire en composante principale (kernel PCA) Analyse en composante principale Kernel PCA Application 4 Conclusions Pour - Contre Autres méthodes Mathieu Fauvel (gipsa-lab) Méthodes à Noyaux 19 janvier 2007 36 / 39
Conclusions Pour - Contre Avantages : Fondement théorique Analyse non linéaire Utilisation d a priori pour les noyaux Implémentation facile Inconvénients : Stockage Kernel Matrice Boîte noire de certain noyaux (RBF) Mathieu Fauvel (gipsa-lab) Méthodes à Noyaux 19 janvier 2007 37 / 39
Conclusions Autres méthodes Kernel ICA Kernel Fisher discriminant analysis Support Vector Machines Kernel Maximum Likelyhood Mathieu Fauvel (gipsa-lab) Méthodes à Noyaux 19 janvier 2007 38 / 39
Conclusions Autres méthodes Méthodes à Noyaux pour L analyse de Données Mathieu Fauvel gipsa-lab 19 janvier 2007 Mathieu Fauvel (gipsa-lab) Méthodes à Noyaux 19 janvier 2007 39 / 39