APPRENTISSAGE AUTOMATIQUE. Réduction de dimension

Transcription

1 APPRENTISSAGE AUTOMATIQUE Réduction de dimension

2 Malédiction de la dimensionalité Beaucoup de méthodes d apprentissage ne passent pas bien à l échelle pour des données de grandes dimensions: c est la malédiction de la dimensionnalité Gaussian Mixture Models : O(D 2 ) Plus proches voisins : O(nD) Beaucoup de méthodes d apprentissage ont leurs performances qui décroissent pour des données de grandes dimensions Pour une base d exemples donnée, il y a un nombre maximum de dimensions au delà duquel cela dégrade les performances de l algorithme

3 Intérêt de la réduction de dimension Identifier les attributs importants Motivations statistiques (e.g., supprimer du bruit) Réduction de la complexité de l algorithme d apprentissage Réduction de la complexité du classifieur : moins de paramètres Des classifieurs plus simples sont plus robustes sur des données moins volumineuses Motivations de visualisation: visualiser les données en 2D ou 3D La dimension intrinsèque des données peut en fait être faible

4 Classification de documents Pages web s Documents D 1 D 2 D M T 1 T 2. T N C Sports Travel Termes Jobs ACM Portal Internet IEEE Xplore Digital Libraries PubMed n n n But : Classifier des documents inconnus dans des catégories Challenge : des milliers de descripteurs Solution : Réduction de dimension 4

5 Gènes et puces à ADN Puce à ADN n n n But : Classer des nouvelles puces selon une maladie Challenge : des milliers de gènes, peu d instances Solution : réduction de dimension Expression de la puce à ADN 5

6 Autres données de grandes dimensions Visages Chiffres

7 Approches de la réduction de dimension La réduction de dimension peut désigner deux processus bien distincts : La sélection d attributs Parmi les D attributs existants, on cherche à sélectionner les D plus informatifs La construction d un espace de dimension réduite par extraction de nouveaux d attributs À partir des attributs existants, on cherche à créer une nouvelle représentation fidèle aux données initales, et dont les premières dimensions sont le plus informatives.! # # # # # # "# x 1 x 2 x D $ &! & # & # & '# & # & "# %& y 1 y 2 y D' (! $ *# & *# & *# & = f *# & *# %& # * )"# x 1 x 2 x D $ + &- &- &- &- &- & %& -,! # # # # # # "# x 1 x 2 x D $ &! & # & # & '# & # & "# %& y 1 y 2 y D' $ & & & & %&

8 Sélection d attributs La sélection d un modèle passe également par la réduction du nombre de ses entrées Ceci consiste en la sélection d attributs pertinents : comment définir la pertinence? Définition : Un attribut est fortement pertinent si sa suppression entraîne la détérioration du taux de reconnaissance Définition : Un attribut X est faiblement pertinent s il n est pas fortement pertinent et s il existe un sous-ensemble d attributs S tel que le taux de reconnaissance du classifieur en utilisant S est plus élevé que celui obtenu en utilisant S {X}.

9 Buts de la sélection de variables Idéal : trouver le sous-ensemble minimal nécessaire et suffisant pour le classifieur Classique : sélectionner un sous ensemble de D attributs parmi un ensemble de D attributs (D <D) tel que la valeur d un critère donné soit optimale pour le sous-ensemble de taille D Augmentation du taux de reconnaissance : sélectionner un sous ensemble minimal d attributs qui augmente le taux de reconnaissance Approximation de la distribution des classes originales : sélectionner un sous ensemble minimal pour lequel la distribution des classes est aussi proche que possible de la distribution originale en utilisant tous les attributs

10 Composants de base Un algorithme de recherche d un sous ensemble (parcourir l espace des sous-ensembles d attributs qui est de taille 2 D -1) Une fonction d évaluation : associe une valeur numérique à un sous-ensemble d attributs (on veut maximiser cette fonction) Un inducteur : un algorithme permettant de générer un classifieur à partir de données d apprentissage Un critère d arrêt : détermine quand l algorithme de recherche doit se terminer Une procédure de validation : permet de déterminer si le sous-ensemble produit est valide.

11 Schéma récapitulatif

12 Les espaces de recherche Recherche exhaustive (à éviter) Recherche heuristique Méthodes séquentielles Forward : ajout de variables Backward : retrait de variables Stepwise : ajout possible après retrait Algorithme branch and bound Recherche aléatoire Procédés d échantillonnages aléatoire par algorithmes génétiques ou autres algorithmes évolutionnaires ou bio-inspirés

13 Les fonctions d évaluation But : fournir une fonction d évaluation qui puisse mesurer la capacité de discrimination d un ensemble d attributs Mesures de distance inter et intra classe Mesure de la théorie de l information Mesure du taux de reconnaissance d un classifieur Méthodes dépendantes du classifieur utilisé

14 Le graphe des sous-ensembles

15 Sélections Forward et Backward Forward Backward

16 Approche Filter et wrapper Suivant que l algorithme de recherche utilise ou non le taux de reconnaissance du classifieur comme fonction d évaluation, on peut répartir les algorithmes de sélection d attributs en deux catégories : Filter : filtrage des attributs avant l induction Wrapper : induction après chaque filtrage des attributs L approche filter est plus rapide, mais la sélection d attributs se fait de façon totalement indépendante du classifieur. L approche wrapper nécessite d effectuer un apprentissage pour chaque sous-ensemble à évaluer

17 Filter et Wrapper

18 Filter : Mesure Wilks lambda On cherche à déterminer le pouvoir discriminant des variables Lambda de Wilks W : matrice de covariance intra-classe g # # j= 1 x! C ( ) ( ) l µ j l µ j W = x " x " B : matrice de covariance inter-classes g j= 1 l j t ( ) ( ) B = " n µ! µ µ! µ j j j t

19 Filter : Mesure Wilks lambda p attributs sélectionnés, g le nombre de groupes, n j le nombre d éléments de la classe C j, µ j la moyenne de la classe C j et µ la moyenne globale Critère d arrêt : D Arrêt si la p-ième variable n est pas significative Autre méthode : maximiser trace B ( ) trace W ( )

20 Méthodes d extraction d attributs Objectif: Détecter des structures de faibles dimensions dans un espace de très grandes dimensions Principe: Etant donné des données x i! " D, chercher une projection y = f (x) :! D "! D' avec D <D La projection y i! " D' doit préserver le plus d information de l espace original dans R D. Méthodes linéaires Analyse en composantes principales, LDA, MDS Non linéaires basées sur une analyse matricielle La structure de faible dimension est révélée par une décomposition en valeurs et vecteurs propres Liées à la théorie spectrale sur graphes Les matrices sont crées à partir de graphes

21 Réduction de dimension linéaire Beaucoup de méthodes réduction de dimension populaires sont linéaires! # # # # # # "# Trouver la transformation y=f(x) est guidé par la recherche d une fonction objectif à minimiser ou maximiser Suivant le critère choisi, on peut distinguer les méthodes linéaires selon un objectif de: Représentation du signal : le but de la réduction de dimension est de réduire efficacement la dimensionalité de la représentation Classification : le but est d augmenter la séparabilité des classes dans un espace de dimension réduit Parmi les méthodes linéaires, on distinguera: L Analyse en Composantes Principales (PCA) Objectif de représentation du signal L Analyse Discriminate Linéaire (LDA) Objectif de classification x 1 x 2 x D $ &! & # & # & '# & # & "# %& y 1 y 2 y D' $! & # & & = # # & # %& "# w 11 w 12 w 1D w D'1 w D'D! $ # &# &# &# &# %& # "# x 1 x 2 x D $ & & & & & & %&

22 L ACP : point de vue variance max L ACP (ou PCA) est une transformation qui préserve le plus possible la variance des données initiales La projection de x est z = w T x Trouver w qui maximise Var(z) Var(z) = Var(w T x) = E[(w T x E[w T x]) 2 ]=E[(w T x w T µ) 2 ] = E[(w T x w T µ)(w T x w T µ)] = E[w T (x µ)(x µ) T w] = w T E[(x µ)(x µ) T ]w = w T w avec E[(x µ)(x µ) T ] =

23 PCA : maximise la variance L ACP Maximise Var(z) s.t. w =1 max w w 1 T 1 Σw 1 α ( T w w 1) qui a un point stationaire si w 1 = αw 1, c-a-d si w 1 est un vecteur propre de La Variance est alors w T w=α La variance est maximisée si α est le vecteur propre de plus grande valeur propre Seconde composante principale : Max Var(z 2 ), s.t., w 2 =1 et orthogonal à w 1 max w 2 w 2 T!w 2 "! w 2 T w 2 "1 ( ) "! ( w T 2 w 1 " 0) w 2 = α w 2 c-a-d, w 2 est un autre vecteur propre de etc. 1 1

24 ACP : point de vue meilleure reconstruction linéaire Les données initiales sont On désire obtenir On peut représenter x comme une combinaison linéaire de D vecteurs orthogonaux! x i " R D avec i =1,...,n z i! R D' avec D' << D Avec les u d tels que où si et 0 sinon Les coefficients z d sont de la forme Ceci est une rotation de x vers les coordonnées z

25 ACP : point de vue meilleure reconstruction linéaire Si l on ne retient que D vecteurs de bases u d, on a L erreur d approximation est alors Que l on peut minimiser

26 ACP : point de vue meilleure reconstruction linéaire Pour trouver les valeurs optimales des b d, on met la dérivée par rapport aux b d à zéro, on obtient avec Ce qui donne, puisque avec la matrice de covariance

27 ACP : point de vue meilleure reconstruction linéaire Pour minimiser E D, relativement aux u d, on peut montrer ensuite que cela revient à avoir une base de vecteurs qui satisfait C-a-d, ce sont des vecteur propres de la matrice de covariance On peut réécrire ensuite E D par Cette erreur est minimale si l on enlève les plus petites valeurs propres Solution: retenir les vecteur propres de plus grandes valeurs propres de la matrice covariance (i.e., même solution que la maximisation de la variance)

28 Exemple On varie le nombre de vecteurs propres utilisés pour la reconstruction de l exemple Original D =1 D =10 D =50 D =250

29 PCA - Résumé 1) Centrer les données à l origine (i.e., enlever la moyenne) 2) Calculer la matrice de covariance 3) Décomposer la matrice de covariance en vecteurs/valeurs propres 4) Retenir uniquement quelques une des premières dimensions D

30 Interprétation/Propriétés Vecteurs propres Axes principaux de variance maximum Valeurs propres Variance projetée des entrées selon les axes principaux Dimension significative Le nombre de valeurs propres élevées et non négatives Pour Méthode de décomposition Pas de paramètres Non itératif Pas de minima local Contre Limité à des projections linéaires

31 Linear Discriminant Analysis - LDA LDA cherche à réduire la dimensionnalité en faisant en sorte que les classes soient bien séparées Il faut disposer d une mesure de séparation: on cherche une projection ou les exemples d une même classe ont une projection proche avec les moyennes des projections des classes qui soient éloignées Le Fisher LDA cherche à maximiser la différence entre entre les moyennes projetées normalisée par une mesure de dispersion intra classe (appelée scattering)

32 Fisher LDA Pour trouver l optimum w*, nous devons exprimer J(w) en fonction de w La dispersion dans l espace initial (within-class scatter) est S w est la matrice de dispersion intra-classe La dispersion de la projection y peut s exprimer en fonction de S w De même pour les moyennes S B est la matrice de dispersion inter-classe On obtient finalement La solution obtenue est alors

33 Fisher LDA multi-classes Au lieu d une projection 1D y, on cherche (C-1) projections par (C-1) vecteurs de projections arrangés dans une matrice W Within-class scatter: Between-class scatter: Trouver W* qui maximise Obtenu par les plus grands vecteurs propres de S W -1 S B 33

34 LDA vs PCA

35 LDA vs PCA

36 Metric Multidimensional Scaling Étant donné une matrice de distance entre des points de l espace de départ, trouver des vecteurs y tels que y i " y j # $ ij

37 MDS Le produit scalaire entre deux vecteurs de l espace initial est On cherche à minimiser une erreur afin de préserver les produits scalaires Solution obtenue par décomposition La projection retenue est alors une version tronquée rescalée des vecteurs propres

38 Problèmes PCA/LDA effectuent une transformation globale sur les données (translation/rotation/rescaling) Ces méthodent supposent que les données vivent dans un sous-espace linéaire Même pour des méthodes métriques comme MDS, cela ne préserve pas forcément bien les distances relativement à la variété sousjacente des données

39 ISOMAP Idées Une solution est de trouver une transformation qui préserve les distances géodésiques mesurées sur un graphe des données initiales Pour des exemples proches, la distance Euclidienne fournit une bonne approximation de la distance géodésique Pour des exemples éloignés, la distance géodésique peut être approximée par un calcul de plus court chemin Principe Utiliser des distance géodésiques à la place de distances Euclidiennes dans MDS Étant donné une matrice de distance entre des points de l espace de départ, trouver des vecteurs y tels que y i " y j # g ( $ ij ) 3 étapes Trouver les plus proches voisins de chaque exemple Trouver les plus courts chemins Appliquer MDS

40 Etapes Etape 1 Déterminer quels exemples de la variété sont voisins à partir d une distance d X (i,j) dans l espace initial Construire un graphe d adjacence (noeud=points, arêtes pour connecter les noeuds) pondéré par d X (i,j) Sélectionner les k plus proches voisins en s assurant que le graphe est connecté Le graphe obtenu est une approximation de la variété sous-jacente Etape 2 Estimer les distances géodésiques d M (i,j) entre toutes les paires d exemples par l algorithme de Dijkstra: D G Etape 3 Trouver la projection qui préserve le mieux les distances géodésiques estimées Effectuer MDS sur la matrice des distances géodésiques D G

41 Isomap - Algorithme

42 ISOMAP on Optdigits Optdigits after Isomap (with neighborhood graph)

43 Examples

44 Exemples

45 Isomap - Propriétés ISOMAP est garanti de découvrir la vraie dimensionnalité et géométrie d une certaine classe de variétés Euclidiennes Cette garantie provient du fait que lorsque le nombre d exemples augmente la distance D G mesurée sur le graphe est une bonne estimation de la distance géodésique D M ISOMAP est très sensible aux courts-circuits Ne necéssite qu un seul paramètre : la taille du voisinage

46 Locally Linear Embedding LLE utilise une stratégie différente d ISOMAP pour trouver la structure globale de la variété sous-jacente LLE exploite des distances mesurées sur des voisinages locaux linéaires Intuition Les exemples sont supposés provenir d un échantillonnage de la variété Si l on dispose de suffisamment de données (i.e., la variété est bien échantillonnée), on peut supposer que chaque exemple et ses voisins vivent sur un patch localement linéaire de la variété Approche LLE résout le problème en deux étapes Une combinaison linéaire approximant chaque exemple de l espace d entrée est calculée Trouver des coordonnées dans un espace réduit qui soient compatibles avec l approximation linéaire

47 Caracatérisation locale de la variété Le graphe doit être connecté Les voisinages locaux (appelés patchs) doivent refléter localement la structure des données Les poids caractérisent la structure locale de chaque voisinage : calculés par reconstruction linéaire des entrées à partir des voisins

48 LLE Partie 1 La géométrie locale des patchs est modélisée par des poids qui permettent de reconstruire chaque exemple par une combinaison linéaire de ses voisins Les erreurs de reconstruction sont mesurées par une fonction d erreur Les poids W ij mesurent la contribution du j ème exemple pour la reconstruction du i ème exemple Les poids W ij sont soumis à deux contraintes Chaque exemple est reconstruit à partir de ses voisins Les lignes de la matrice somment à un : Ces contraintes assurent que, pour chaque exemple, les poids sont invariants par translation, rotation, rescaling Les poids peuvent être obtenus par optimisation d un critère de moindres carrés

49 LLE Partie 2 Les poids de reconstruction reflètent les propriétés de la géométrie locale, ils doivent bien représenter les patchs locaux de la variété On cherche donc une projection Y de dimension d qui minimise la fonction de cout suivante Cette fonction de cout est similaire à la précédente, mais cette fois les poids W ij sont fixés et nous cherchons les Y i Pour que ce problème d optimisation soit bien posé, on ajoute deux contraintes Puisque les Y i peuvent être translatés sans modifier la fonction de cout, les Y i sont centrés Pour éviter des solutions dégénérées, on impose que les vecteurs de projection aient une matrice de covariance unitaire Ce problème de minimisation peut être résolu en retenant les d plus petits vecteurs propres de la matrice (I-W) T (I-W)

50 LLE - Résumé

51 Exemples

52 Exemples

53

54

55 LLE on Optdigits

56 Laplacian EigenMaps Idée Projeter des entrées proches vers des projections proches La proximité (ou similarité) est codée par les poids du graphe

57 LE - Principe Construction du graphe Pondérer le graphe Calculer les projections en imposant que deux exemple x i et x j dans l espace de départ donnent deux exemples y i et y j sont proches dans l espace de projection On cherche à minimiser le critère Ou bien

58 LE - Détails Nous savons que Cela revient donc à

59 LE - Résolution Le calcul de la projection se fait par décomposition et obtention des vecteurs propres Le Laplacien sur graphe est utilisé dans le calcul des poids : On retrouve donc la solution obtenue pour les ratio et Normalized Cuts

60 Comparaisons Voir pour un code matlab de comparaison

61 Comparaisons

62 PCA

63 LDA

64 MDS

65 ISOMAP

66 LLE

67 Kernel PCA Nous avons vu que l ACP permet de définir une projection linéaire des données Les données (M exemples) sont centrées On calcule la matrice de covariance Calculer vecteurs et valeurs propres de C : La projection finale est obtenue en retenant uniquement les D plus grands vecteur propres Le Kernel (Nonlinear) PCA consiste à déterminer la projection dans un espace d attributs implicite obtenu par un noyau de Mercer

68 Kernel PCA Pour définir le Kernel PCA Nous devons tout d abord projeter les données dans un espace de grandes dimensions F Nous devons définir la matrice de covariance dans cet espace Les données sont supposées centrées On calcule ensuite la décomposition de la matrice

69 Kernel PCA - Solution Comme nous l avons vu avec l ACP, les vecteur propres peuvent s exprimer comme une combinaison linéaire des exemples On multiplie par des deux cotés de Ce qui donne, combiné avec l expression précédente: Et après regroupement des termes:

70 Kernel PCA - Solution En définissant une matrice K de dimension M x M L expression précédente devient Ceci peut être résolu par Normalisation Pour assurer que les vecteurs propres sont orthogonaux, ils sont rescalés Comme les α sont des vecteurs propres de K, on a

71 Kernel PCA - Solution Pour trouver la projection d une nouvelle donnée x, on utilisera : Qui exprime une combinaison linéaire des vecteurs propres Ceci est le principe de l extension de Nyström qui permet de déterminer la projection de points qui n étaient pas parmi les exemples (nommé «out of sample extension») Le Kernel PCA généralise toutes les autres méthodes de réduction de dimension avec un noyau particulier

72 Centrer dans l espace F Nous avons supposé que les données étaient centrées dans l espace F: La matrice de covariance est alors et il faut résoudre En combinant les deux expressions, on obtient La matrice du noyau centrée peut donc être calculée à partir du noyau initial

73 Centrer dans l espace F Interprétation

74 Kernel PCA - Exemple Exemple simple avec 3 modes et 20 exemples par mode

75 Résultat de l ACP

76 Résultat du Kernel PCA