Comparaison de différentes techniques d optimisation pour l apprentissage non-supervisé

Transcription

1 Comparaison de différentes techniques d optimisation pour l apprentissage non-supervisé Alexandre Bargeton Benjamin Devèze Université Pierre et Marie Curie Présentation du projet PRREC

2 1 Apprentissage non-supervisé 2 Analyse 3 Recherche locale 4 Implémentation des métaheuristiques Algorithme naïf de clustering Nos résultats Conclusions

3 Apprentissage non-supervisé

4 Problématique Apprentissage non-supervisé Données Un langage de représentation L N exemples x i, décrits dans L Objectif Trouver une fonction ψ qui à chaque description de L associe une classe C i Construire une organisation de l espace de représentation qui soit compatible avec les exemples x i Similarité intra-classe / Dissimilarité inter-classe

5 Formalisme attribut - valeur Notation Chaque exemple x i = (x i1,...,x id ) A, A est l espace des attributs x il A l, A l un attribut Types d attribut Symbolique, catégoriel : ensemble limitativement énumérable de valeurs symboliques avec éventuellement une notion d ordre Numérique : entier ou réel

6 Distances et mesures de similarité Objectif Rendre compte de la similarité / dissimilarité entre 2 exemples. Problème Différences entre attributs numériques / symboliques. Mesures de distances Numériques : Minkowski, Euclidienne, Mahalanobis, corrélation de Pearson, similarité cosinus,... Symboliques : Russel et Rao, Kendall, Sokal et Michener, Jaccard,...

7 Evaluation du clustering Objectif Evaluer la qualité des classes produites mais également la pertinence des représentants de ces classes. Plusieurs méthodes Avec étiquetage connu a priori Conformation de classe (retrouver automatiquement l étiquetage) Entropie des clusters + entropie de classe Sans étiquetage Compacité + séparation Indice de Dunn

8 Classification des méthodes Quelques critères Méthodes agglomératives (ascendantes) / discriminatives (descendantes) Structures produites (partition, recouvrement) Hard Clustering / Fuzzy Clustering Méthodes stochastiques / déterministes Méthodes incrémentales / non incrémentales

9 Clustering hiérarchique Principes Génération d une hiérarchie de clusters Distance entre ensembles de points (minimum, maximum, moyenne,...) Exemple COBWEB Clustering conceptuel, incrémental Mesure heuristique : Category Utility Sensible à l ordre de présentation des données

10 Clustering de partitionnement Principes Construction d une partition de l ensemble de départ Quelques algorithmes EM Maximisation de la vraisemblance des données Optimisation en 2 étapes (Expectation - Maximisation) K-medoids, K-means, K-modes Processus itératif en 2 étapes Minimisation de la somme des carrés des distances entre les exemples et les centroïdes

11 Autres méthodes Apprentissage non-supervisé Clustering basé sur la densité Définition de voisinage connexe par une distance ǫ et un nombre MinPoints Exemple : DBSCAN

12 Limitations Apprentissage non-supervisé Défauts des algorithmes classiques Retourne des optima locaux potentiellement loins de l optimum global (EM, K-means) Donner le nombre de classes à générer (K-means) Sensibilité à l ordre des données en entrée (Cobweb)

13 Analyse

14 Problématique Apprentissage non-supervisé Analyse Données Une fonction objectif à optimiser Un espace de recherche discret combinatoire ou continu ne pouvant raisonnablement être parcouru exhaustivement Des opérateurs de voisinage permettant de passer d un état à un état proche Objectif Trouver une solution approchée de l optimum global en explorant intelligemment l espace de recherche

15 De l optimisation difficile Analyse Difficile (cas discret)? Problèmes combinatoires pour lesquels on ne connaît pas d algorithme exact polynomial Problèmes dits NP-difficiles Résolution Existence d heuristiques produisant des solutions proches de l optimum Mais conçues spécifiquement pour un problème donné

16 Description Apprentissage non-supervisé Analyse Principales caractéristiques stochastiques directes, pas de calcul de gradient sur la fonction objectif inspirées par des analogies avec la nature, la biologie, l éthologie, la physique basées sur un équilibre entre intensification et diversification pour échapper aux optima locaux partagent les même défauts

17 Classification des méthodes Analyse Méthodes de recherche locale Méthodes de descente Recuit simulé, grand déluge, record en record Recherche tabou Méthodes à base de populations Algorithmes évolutionnaires, algorithmes génétiques Colonies de fourmis

18 Réglages des méthodes Analyse Problématique Réglage des nombreux paramètres Choix d un bon voisinage Solution Expériences empiriques et/ou expérience de l utilisateur. Attention : méthodes stochastiques, prévoir plusieurs séries de tests

19 Comparaison des méthodes Analyse Problématique Comparaison des différentes méthodes Solution Attention : Le temps de calcul n est pas une solution convenable Optimiser la qualité des solutions Minimiser l effort de calcul nécessaire pour y parvenir Utiliser des moyennes sur de nombreuses itérations Procédure de rang

20 Bilan Apprentissage non-supervisé Analyse Intérêts Trouver une solution approchée de l optimum global en s extrayant des optima locaux Générique Limitations Sensibilité aux paramètres, nombreux paramètres Réglages empiriques Relativement peu de résultats théoriques Difficulté de choix de la méthode la plus adaptée à un problème Coûteux en temps de calcul

21 Recherche locale

22 Objectifs Apprentissage non-supervisé Recherche locale Pourquoi utiliser les métaheuristiques pour le clustering? Le clustering se ramène souvent à l optimisation d une fonction objectif Explosion combinatoire au niveau de l espace des solutions Les algorithmes classiques (EM, K-means) convergent vers un optimum local (potentiellement loin de l optimum global) Pallier les limitations des algorithmes classiques

23 Recherche locale Recherche tabou et clustering - Exemple 1 Michael K. Ng and Joyce C. Wong. Clustering categorical data sets using tabu search techniques. Pattern Recognition, Description k n l=1 i=1 w li[d n (z (n) l,x (n) i ) + βd c (z (c) l,x (c) i )] Voisinage : déplacement aléatoire d un centroïde Résultats meilleurs que l algorithme classique Coûteux en temps de calcul

24 Recherche locale Recherche tabou et clustering - PRESS J. Velcin and J.G. Ganascia. Stereotype extraction with default clustering Description Clustering conceptuel basé sur la logique des défauts Voisinage : ajout ou retrait d un descripteur d un stéréotype, ajout ou suppression d un stéréotype Trouve tout seul le nombre de classes Traitement des données lacunaires

25 Implémentation des métaheuristiques Algorithme naïf de clustering Nos résultats Conclusions

26 Description Apprentissage non-supervisé Implémentation des métaheuristiques Algorithme naïf de clustering Nos résultats Conclusions Objectif Mettre en pratique les connaissances acquises Pouvoir effectuer des comparaisons empiriques. Ce que nous avons implémenté En mettant l accent sur la généricité et la réutilisation méthodes de descente recuit simulée grand déluge record en record recherche tabou algorithmes génétiques

27 Architecture Apprentissage non-supervisé Implémentation des métaheuristiques Algorithme naïf de clustering Nos résultats Conclusions

28 Validation de l implémentation Implémentation des métaheuristiques Algorithme naïf de clustering Nos résultats Conclusions Nécessité de validation de l implémentation Test sur 2 problèmes classiques où les coûts optimaux sont connus Le placement de composants électroniques Le problème du voyageur de commerce (1000 villes)

29 Description Apprentissage non-supervisé Implémentation des métaheuristiques Algorithme naïf de clustering Nos résultats Conclusions Description de l algorithme Utilisation des métaheuristiques modélisation du problème sous forme : d états (coordonnées des centroïdes dans l espace des attributs) voisinage (bouger aléatoirement un centroïde) fonction objectif à minimiser (compacité - séparation) Chaque exemple est assigné au centroïde qui lui est le plus proche (à la manière de K-means). Les méthodes de distances (Russel Rao, Jaccard,...) sont toutes implémentées et sont au choix de l utilisateur au moment de l exécution, ainsi que le choix de la métaheuristique et de ses paramètres

30 Intégration à Weka Apprentissage non-supervisé Implémentation des métaheuristiques Algorithme naïf de clustering Nos résultats Conclusions Weka Collection of machine learning algorithms for solving data mining problems implemented in Java and open sourced under the GPL. Intérêts Exploiter l interface graphique offerte par Weka, notamment pour l importation et l exportation des fichiers Prétraitement, visualisation des données Support du format de fichier arff et de ses évolutions futures Comparaison aisée de nos résultats avec les algorithmes déjà implémentés (EM, K-means, COBWEB,...) Partager nos développements

31 Description des tests Implémentation des métaheuristiques Algorithme naïf de clustering Nos résultats Conclusions Mode opératoire Moyenne sur 100 tentatives Test instances sur 2 attributs numériques 9 clusters visibles à l oeil Test 2 Description du règne animal 101 instances, 18 attributs dont 17 symboliques, 7 classes

32 Test 1 - Résultats Apprentissage non-supervisé Implémentation des métaheuristiques Algorithme naïf de clustering Nos résultats Conclusions Etats Temps (s) Coût D. Simple , D. Grande , Recuit Simulé , Grand Deluge , Record , Recherche Tabou , AG Population , AG Incremental , Tab.: Résultats du test 1

33 Test 1 - Visualisation Implémentation des métaheuristiques Algorithme naïf de clustering Nos résultats Conclusions

34 Test 2 - Résultats Apprentissage non-supervisé Implémentation des métaheuristiques Algorithme naïf de clustering Nos résultats Conclusions Erreurs % d erreurs Coût EM FarthestFirst Kmeans D. Simple D. Grande Recuit Simulé Grand Deluge Record Recherche Tabou AG Population AG Incremental Tab.: Résultats du test 2

35 Conclusions Apprentissage non-supervisé Implémentation des métaheuristiques Algorithme naïf de clustering Nos résultats Conclusions Métaheuristiques Bonnes solutions Coûteuses en temps de calcul Sensibles aux réglages (nombreux paramètres) Sensibles à la définition du voisinage et de la fonction objectif Choix de la métaheuristique appropriée au problème? A noter Il semble que toutes les méthodes se valent plus ou moins sur les données relativement simples. Algorithmes génétiques incrémentales sont une bonne surprise.

36 Perspectives Apprentissage non-supervisé Implémentation des métaheuristiques Algorithme naïf de clustering Nos résultats Conclusions Perspectives envisageables Améliorer l algorithme de clustering naïf (découverte automatique du nombre de clusters) Comparaison plus poussée des différentes métaheuristiques Configuration automatique des paramètres et de la méthode à utiliser Intégrer complétement PRESS à Weka afin de pouvoir utiliser et comparer d autres métaheuristiques que la recherche tabou Se pencher sur les méthodes hybrides (initialisation par metaheuristique puis exploration par algorithme classique)

37 Implémentation des métaheuristiques Algorithme naïf de clustering Nos résultats Conclusions Questions?