Apprentissage actif pour le clustering semi-supervisé

Transcription

1 Apprentissage actif pour le clustering semi-supervisé Nicolas Labroche Sorbonne Universités, UPMC Univ Paris 06 CNRS, UMR 7606, LIP6 F-75005, Paris, France Atelier Clustering and Co-clustering (CluCo), EGC 2014 N. Labroche (UPMC - LIP6 - CNRS) CluCo / 63

2 Plan de la présentation 1 Problématique du clustering semi-supervisé Motivations Formalisation Bénéfices et limites Apprentissage actif de contraintes 2 Sélection active de contraintes ML et CL Présentation de notre méthode Expérimentations 3 Sélection active de données étiquetées Présentation de nos méthodes Expérimentations 4 Conclusions et perspectives N. Labroche (UPMC - LIP6 - CNRS) CluCo / 63

6 Plan 1 Problématique du clustering semi-supervisé Motivations Formalisation Bénéfices et limites Apprentissage actif de contraintes 2 Sélection active de contraintes ML et CL Présentation de notre méthode Expérimentations 3 Sélection active de données étiquetées Présentation de nos méthodes Expérimentations 4 Conclusions et perspectives N. Labroche (UPMC - LIP6 - CNRS) CluCo / 63

8 Clustering Découvrir les groupes / structures / formes dans un ensemble de données non étiquetées D = {x i } 1 i n But : trouver la meilleure partition P = {C 1 C 2... C k } au sens d une fonction objectif en fonction d une métrique : distance, (dis)similarité Groupes compacts Groupes denses N. Labroche (UPMC - LIP6 - CNRS) CluCo / 63

9 Diversité des méthodes de clustering De très nombreux algorithmes [Jain, 2010] : Centres mobiles K-Means [MacQueen, 1967], FCM [Bezdek, 1981] Hiérarchiques CAH [Sneath and Sokal, 1973], BIRCH [Zhang et al., 1996] Modèles EM [Dempster et al., 1977] Densité DBSCAN [Ester et al., 1996], OPTICS [Ankerst et al., 1999] DENCLUE [Hinneburg and Keim, 1998] Flux de données Clustream [Aggarwal et al., 2003], DenStream [Cao et al., 2006] Clustree [Philipp Kranen and Seidl, 2011], SimpleTS [Angelov, 2011] Co-clustering mais qui possèdent certaines limitations! N. Labroche (UPMC - LIP6 - CNRS) CluCo / 63

10 Limite des algorithmes de clustering Sensibilité à l initialisation (K-Means... ) Choix d une métrique (normes L1, L2, Mahalanobis... ) Lenteur / qualité de la convergence Adéquation entre la partition produite et la partition souhaitée comment transférer la connaissance du domaine? Solution : Intégration de contraintes aux algorithmes non supervisés apprentissage semi-supervisé N. Labroche (UPMC - LIP6 - CNRS) CluCo / 63

12 Apprentissage semi-supervisé Considérer à la fois des données étiquetées et non étiquetées Classification semi-supervisée : semi-supervised learning ajout de données non étiquetées pour améliorer la capacité des classifieurs [Davidson and Basu, 2005] amélioration de l apprentissage de la frontière de décision avec des données non étiquetées N. Labroche (UPMC - LIP6 - CNRS) CluCo / 63

13 Clustering semi-supervisé Contraintes au niveau des instances [Wagstaff and Cardie, 2000] : étiquettes d appartenance à un cluster contraintes must-link : ML(xi, x j ) x i et x j dans le même cluster contraintes cannot-link : CL(x i, x j ) x i et x j dans deux clusters différents N. Labroche (UPMC - LIP6 - CNRS) CluCo / 63

14 Clustering semi-supervisé Contraintes au niveau des clusters : Contraintes δ : séparabilité minimale entre 2 clusters p, q P, x i p, x j q, D(x i, x j ) δ Contraintes ɛ : compacité minimale de chaque cluster p P, p > 1, x i p, x j p D(x i, x j ) ɛ N. Labroche (UPMC - LIP6 - CNRS) CluCo / 63

15 Approches pour le clustering semi-supervisé Modification directe du processus de partitionnement : modification de la fonction objectif [Demiriz et al., 1999] respect des contraintes : COP-KMeans [Wagstaff et al., 2001] Seed-KMeans [Basu et al., 2002] Constrained FCM [Grira et al., 2006] Seed-FCM [Pedrycz and Waletzky, 1997] Constrained HAC [Davidson and Ravi, 2005a] Spectral [Wang and Davidson, 2010] C-DBSCAN [Ruiz et al., 2007] SSDBSCAN [Lelis and Sander, 2009] N. Labroche (UPMC - LIP6 - CNRS) CluCo / 63

16 Approches pour le clustering semi-supervisé Apprentissage de la fonction de distance : les voisins de points liés par une ML (resp. CL) doivent aussi être proches (resp. distants) [Klein et al., 2002] Distance euclidienne et plus court chemin [Klein et al., 2002] Distance de Mahanalobis [Xing et al., 2003] [Bar-Hillel et al., 2003] Divergence de Kullback Leibler [Cohn et al., 2003] Distance d édition [Bilenko and Mooney, 2003] N. Labroche (UPMC - LIP6 - CNRS) CluCo / 63

18 Bénéfices du clustering semi-supervisé Stabilité de convergence [Basu et al., 2002] : Accélération de la vitesse de convergence : clustering hiérarchique [Davidson and Ravi, 2005a] N. Labroche (UPMC - LIP6 - CNRS) CluCo / 63

19 Bénéfices du clustering semi-supervisé Séparation de clusters et détection des densités : I C-DBSCAN [Ruiz et al., 2010] et SS-DBSCAN [Lelis and Sander, 2009] Découverte de clusters : I que les distances standard ne peuvent pas trouver I qui tirent profit des connaissances d un domaine N. Labroche (UPMC - LIP6 - CNRS) CluCo / 63

20 Limites du clustering semi-supervisé Problème de satisfiabilité des contraintes [Davidson and Ravi, 2005b] Détérioration des performances par des contraintes correctes : [Basu et al., 2004, Wagstaff, 2007, Mallapragada et al., 2008] N. Labroche (UPMC - LIP6 - CNRS) CluCo / 63

21 Qualité des contraintes Mesures a posteriori de la qualité de contraintes [Davidson and Basu, 2007] : informativeness : information présente dans les contraintes que l algorithme ne peut pas déterminer seul (a), coherence : accord entre les différentes contraintes (b) Nous nous intéressons aux méthodes de sélection active des contraintes a priori N. Labroche (UPMC - LIP6 - CNRS) CluCo / 63

23 Schéma général Données Clustering semi supervisé Clusters Algorithme d apprentissage actif Connaissances Questions Réponses Utilisateurs (Experts) N. Labroche (UPMC - LIP6 - CNRS) CluCo / 63

24 Méthode existante : MMFFQS Min-Max Farthest-First Query Strategy [Mallapragada et al., 2008] : Explore : exploration en profondeur (farthest-first) et construction de K voisinages disjoints (squelettes de clusters) Consolidate : ajout de points aux squelettes de clusters les plus proches pour une meilleure détermination des centres des clusters N. Labroche (UPMC - LIP6 - CNRS) CluCo / 63

27 Sélection active de contraintes Objectifs : détermination d un ensemble de contraintes C à partir des données D amélioration des performances de tous les types d algorithmes minimisation de l effort d annotation Solution proposée : mesure d utilité basée sur la détermination des zones où les algorithmes font le plus d erreurs d affectation mécanisme de propagation pour minimiser les interactions de l expert N. Labroche (UPMC - LIP6 - CNRS) CluCo / 63

28 Sélection active de contraintes [Vu et al., 2012, Vu et al., 2010a, Vu et al., 2010b] Etapes Déterminer les contraintes candidates Raffiner les contraintes candidates Ordonner lescontraintes candidates Etiqueter les contraintes candidates Propager les contraintes Outils Graphe des k plus proches voisins (GkPPV) Définition de la notion de Chemin Fort Définitiond une mesure d utilité d une contrainte Question à l utilisateur Définition et application de règles N. Labroche (UPMC - LIP6 - CNRS) CluCo / 63

29 Le graphe des k-plus proches voisins (GkPPV) Graphe pondéré : sommet de degré au plus k arête (u, v) si u PPV (v) et v PPV (u) où PPV (u) est l ensemble des k-plus proches voisins de u poids entre u et v : nombre de voisins communs ω(u, v) = PPV (u) PPV (v) k = N. Labroche (UPMC - LIP6 - CNRS) CluCo / 63

30 Identification des contraintes candidates Définition de l ensemble des contraintes candidates : C = {(u, v) ω(u, v) < θ} Illustration : Contraintes candidates k = 5, θ = 2, C = 16 N. Labroche (UPMC - LIP6 - CNRS) CluCo / 63

31 Mécanisme de raffinement des contraintes Objectifs : réduire le nombre de contraintes candidates introduire de la diversité dans les contraintes Définition de la notion de chemin fort CF CF(u, v) : chemin tel que x0 = u,..., x n = v et i : ω(x i, x i+1 ) θ ou (x i, x i+1 ) est un must-link. N. Labroche (UPMC - LIP6 - CNRS) CluCo / 63

32 Mécanisme de raffinement des contraintes Mise en œuvre : Suppression des contraintes candidates (u, v) de C telles qu il existe au moins un chemin fort entre u et v Avant raffinement C = 16 Après raffinement C = Contraintes candidates N. Labroche (UPMC - LIP6 - CNRS) CluCo / 63

33 Mesure d utilité d une contrainte Ability to Separate Clusters (ASC) : ASC(u, v) = k ω(u, v) min{lds(u), LDS(v)} ω(u, v) : proximité entre u et v dans le GkPPV LDS() : Local Density Score [Le and Satoh., 2008] q PPV (u) ω(u, q) LDS(u) = k Mise en œuvre : demander à l utilisateur l étiquette de la contrainte candidate qui maximise ASC N. Labroche (UPMC - LIP6 - CNRS) CluCo / 63

34 Mécanisme de propagation des contraintes Objectif : augmenter la connaissance minimiser les interactions utilisateurs Méthode : créer de nouvelles contraintes à partir de contraintes existantes définition de règles de propagation de contraintes Règles de propagation : Notations : ML must-link ; CL cannot-link ; CF chemin fort ML(u, v) ML(v, w) ML(u, w) ML(u, v) CL(v, w) CL(u, w) CL(u, v) CF(u, t) CF(v, l) CL(t, l) ML(u, v) CF(u, t) CF(v, l) ML(t, l) N. Labroche (UPMC - LIP6 - CNRS) CluCo / 63

36 Protocole expérimental Algorithmes de clustering : hiérarchique AHCC [Davidson and Ravi, 2005a] : repose sur la détection des frontières entre clusters centres mobiles MPCK Means [Bilenko et al., 2004] : détermine des clusters hypersphériques bien séparés Stratégie de sélection des contraintes : MMFFQS [Mallapragada et al., 2008] : favorise k-means Proposé ASC : G-kPPV + ASC Proposé Aléatoire : G-kPPV + tirage aléatoire Aléatoire : utilisation des étiquettes de données Évaluation des résultats : indice de Rand [Rand, 1971] N. Labroche (UPMC - LIP6 - CNRS) CluCo / 63

37 Algorithme AHCC Résultats comparatifs Indice de Rand Proposé ASC Proposé aléatoire MMFFQS Aléatoire Nombre de requêtes Indice de Rand Proposé ASC Proposé aléatoire MMFFQS Aléatoire Nombre de requêtes Indice de Rand Proposé ASC Proposé aléatoire MMFFQS Aléatoire Nombre de requêtes Soybean Iris Breast Proposé ASC > Proposé aléatoire > MMFFQS > Aléatoire ASC permet de détecter les frontières de clusters cohérent avec le principe du clustering agglomératif N. Labroche (UPMC - LIP6 - CNRS) CluCo / 63

38 Algorithme AHCC Influence du mécanisme de propagation MMFFQS + génération aléatoire : 1 requête = 1 contrainte ASC + proposé aléatoire : 1 requête = plusieurs contraintes Nombre de contraintes collectées Proposé ASC Proposé aléatoire MMFFQS, Aléatoire Nombre de contraintes collectées Proposé ASC Proposé aléatoire MMFFQS, Aléatoire Nombre de contraintes collectées Proposé ASC Proposé aléatoire MMFFQS, Aléatoire Nombre de requêtes Nombre de requêtes Nombre de requêtes Soybean Iris Breast Proposé aléatoire propage plus de contraintes que ASC ASC génère des contraintes de meilleure qualité N. Labroche (UPMC - LIP6 - CNRS) CluCo / 63

39 Algorithme MPCK-Means Résultats comparatifs Indice de Rand Proposé ASC Proposé aléatoire MMFFQS Aléatoire Nombre de requêtes Indice de Rand Proposé ASC Proposé aléatoire MMFFQS Aléatoire Nombre de requêtes Indice de Rand Proposé ASC Proposé aléatoire MMFFQS Aléatoire Nombre de requêtes Soybean Iris Breast MMFFQS dédié à méthode de type K-Means Proposé ASC meilleur pour un faible nombre de questions cohérent avec le principe de l apprentissage actif N. Labroche (UPMC - LIP6 - CNRS) CluCo / 63

42 Problématique [Vu et al., 2010c] [Vu, 2011] But : proposer des données étiquetées (graines) qui couvrent l ensemble des clusters Proposition de 3 algorithmes actifs : Deux méthodes basées sur une stratégie Min-Max : Min-Max "simple" Min-Max-D basée sur la densité Une méthode basée sur la densité et utilisant le GkPPV N. Labroche (UPMC - LIP6 - CNRS) CluCo / 63

43 Principe de la stratégie Min-Max Sélection du point y qui maximise la distance minimale aux points déjà choisis Y : ( ) y = arg max x X Y min d(x, y) y Y Génération de l ensemble Y N. Labroche (UPMC - LIP6 - CNRS) CluCo / 63

44 Stratégie Min-Max active S-Min-Max : étiquetage par l utilisateur des points de Y : Étiquetage Seed K-Means N. Labroche (UPMC - LIP6 - CNRS) CluCo / 63

45 Algorithmes actifs basés sur une stratégie Min-Max S-Min-Max-D : variante de S-Min-Max basée sur la densité : ajouter un filtrage à l aide de la mesure de densité LDS remplacer X par X ɛ : X ɛ = {p X : LDS(p) ɛ} où ɛ est un seuil de densité N. Labroche (UPMC - LIP6 - CNRS) CluCo / 63

46 Influence du paramètre ɛ Illustration : X ɛ contient les points rouges Remarque : ɛ = 0, S-Min-Max-D S-Min-Max N. Labroche (UPMC - LIP6 - CNRS) CluCo / 63

47 Méthode de collecte de graines basée sur un GkPPV Idée principale de la méthode S-GkPPV : définition de régions denses (composantes connexes) X δ = {u X : v ω(u, v) δ} ordonnancement des composantes selon leur cardinal sélection aléatoire d une graine candidate dans chaque composante et propagation de l étiquette Illustration : sommets des arêtes en rouge : ω(u, v) 3 N. Labroche (UPMC - LIP6 - CNRS) CluCo / 63

54 Résultats comparatifs Indice de Rand Seed K-Means SSDBSCAN S Random S Min Max S Min Max D S GkPPV Indice de Rand Indice de Rand Thyroid Protein LetterIJL 0 Thyroid Protein LetterIJL S-GkPPV > S-Min-Max-D > S-Min-Max > Random S-GkPPV détecte les graines dans les régions denses cohérent avec SS-DBSCAN N. Labroche (UPMC - LIP6 - CNRS) CluCo / 63

55 Résultats comparatifs Nombre d itérations Nombre d itérations moyen avant convergence pour l algorithme Seed K-means Nombre d itérations S Random S Min Max S Min Max D S GkPPV 2 0 Iris Soybean Zoo Thyroid Protein LetterIJL Meilleures performances : S-Min-Max-D sélection des graines proches des centres des clusters N. Labroche (UPMC - LIP6 - CNRS) CluCo / 63

56 Résultats comparatifs Nombre de requêtes Nombre de questions posées à l utilisateur de façon à garantir qu il y ait au moins une graine par cluster Nombre de questions S Random S Min Max S Min Max D S GkPPV 0 Iris Soybean Zoo Thyroid Protein LetterIJL Meilleures performances : S-GkPPV couverture des clusters plus efficace N. Labroche (UPMC - LIP6 - CNRS) CluCo / 63

58 Conclusions Sélection active de contraintes : première mesure d utilité d une contrainte : ASC règles de propagation des contraintes Sélection active de données étiquetées : 2 méthodes de type Min-Max une méthode basée sur un G-kPPV Autres propositions [Vu, 2011] : algorithme de clustering avec des contraintes : MCLA algorithme de clustering avec des graines : SSGC N. Labroche (UPMC - LIP6 - CNRS) CluCo / 63

59 Perspectives Amélioration des performances du GkPPV Étude de nouvelles mesures d utilité de contraintes Passage à l échelle (big data) Lien fort avec la visualisation de données : solution au problème d interrogation de l expert N. Labroche (UPMC - LIP6 - CNRS) CluCo / 63

60 Perpectives Algorithmes mixtes : contraintes et/ou données étiquetées mesure d utilité mixte pour données étiquetées ou ML / CL mécanismes de propagation N. Labroche (UPMC - LIP6 - CNRS) CluCo / 63

61 Perpectives Contraintes plus expressives : cas où l expert n est pas sûr de sa réponse gradualité : degrés d appartenance, de possibilité, de croyance N. Labroche (UPMC - LIP6 - CNRS) CluCo / 63

62 Perpectives Algorithmes de clustering interactif : récupération des contraintes ou étiquettes pendant le processus de clustering clustering + apprentissage actif + visualisation N. Labroche (UPMC - LIP6 - CNRS) CluCo / 63

63 Apprentissage actif pour le clustering semi-supervisé Nicolas Labroche Sorbonne Universités, UPMC Univ Paris 06 CNRS, UMR 7606, LIP6 F-75005, Paris, France Atelier Clustering and Co-clustering (CluCo), EGC 2014 N. Labroche (UPMC - LIP6 - CNRS) CluCo / 63

64 Références I Aggarwal, C. C., Watson, T. J., Ctr, R., Han, J., Wang, J., and Yu, P. S. (2003). A framework for clustering evolving data streams. In In VLDB, pages Angelov, P. (2011). Fuzzily connected multimodel systems evolving autonomously from data streams. IEEE Transactions on Systems, Man and Cybernetics - Part B : Cybernetics, 41(4) : Ankerst, M., Breunig, M., Kriegel, H., and Sander, J. (1999). Optics : Ordering points to identify clustering structure. In Proc. of the ACM SIGMOD, pages 49 60, Philadenphia, USA. Bar-Hillel, A., Hertz, T., Shental, N., and Weinshall, D. (2003). Learning distance functions using equivalence relations. In In Proceedings of the Twentieth International Conference on Machine Learning, pages Basu, S., Banerjee, A., and Mooney, R. (2004). Active semi-supervision for pairwise constrained clustering. In Proceedings of the SIAM International Conference on Data Mining, pages N. Labroche (UPMC - LIP6 - CNRS) CluCo / 63

65 Références II Basu, S., Banerjee, A., and Mooney., R. J. (2002). Semi-supervised clustering by seeding. In In Proceeding of the 19th International Conference on Machine Learning (ICML), pages Bezdek, J. (1981). Pattern Recognition with Fuzzy Objective Function Algorithms. Plenum Press, New York. Bilenko, M., Basu, S., and Mooney, R. J. (2004). Integrating constraints and metric learning in semi-supervised clustering. In Intl. Conference on Machine Learning, ICML 2004, pages Bilenko, M. and Mooney, R. J. (2003). Adaptive duplicate detection using learnable string similarity measures. In In Proceedings of the Ninth ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD-2003), pages Cao, F., Ester, M., Qian, W., and Zhou, A. (2006). Density-based clustering over an evolving data stream with noise. In In 2006 SIAM Conference on Data Mining, pages Cohn, D., Caruana, R., and Mccallum, A. (2003). Semi-supervised clustering with user feedback. Technical report. N. Labroche (UPMC - LIP6 - CNRS) CluCo / 63

66 Références III Davidson, I. and Basu, S. (2005). Clustering with constraints : Incorporating prior knowledge into clustering. In Tutorial from SIAM 2005 Conference. Davidson, I. and Basu, S. (2007). A survey of clustering with instance level constraints. ACM Transactions on Knowledge Discovery from data, pages Davidson, I. and Ravi, S. (2005a). Agglomerative hierarchical clustering with constraints : Theoretical and empirical results. In Proceeding of European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases, ECML PKDD-2005, pages Davidson, I. and Ravi, S. (2005b). Clustering with constraints : Feasibility issues and the k-means algorithm. In Proceedings of the SIAM International Conference on Data Mining. Demiriz, A., Bennett, K., and Embrechts, M. (1999). Semi-supervised clustering using genetic algorithms. In Proceedings of ANNIE, pages Dempster, A., Laird, N., and Rubin, D. (1977). Maximum likelihood from incomplete data via the em algorithm. Journal of the Royal Statistical Society, Series B (Methodological) 39 (1) :1 38. N. Labroche (UPMC - LIP6 - CNRS) CluCo / 63

67 Références IV Ester, M., Kriegel, H.-P., Sander, J., and Xu, X. (1996). A density-based algorithm for discovering clusters in large spatial databases with noise. In Proc. of 2nd International Conference on Knowledge Discovery and Data Mining, pages , USA. AAAI Press. Grira, N., Crucianu, M., and Boujemaa, N. (2006). Fuzzy clustering with pairwise constraints for knowledge-driven image categorization. IEEE Vision, Image and Processing, 153(3) : Hinneburg, A. and Keim, A. (1998). An efficient approach to clustering in large multimedia databases with noise. In Proc. of Knowledge Discovery and Data Mining, pages Jain, A. K. (2010). Data clustering : 50 years beyond k-means. Pattern Recognition Letters, 31(8) : Klein, D., Kamvar, S., and Manning, C. (2002). From instance-level constraints to space-level constraints : Making the most of priori knowledge in data clustering. In Proceedings of the 22nd International Conference on Machine Learning. Le, D.-D. and Satoh., S. (2008). Unsupervised face annotation by mining the web. In In Proceedings of the IEEE International Conference on Data Mining (IEEE-ICDM). N. Labroche (UPMC - LIP6 - CNRS) CluCo / 63

68 Références V Lelis, L. and Sander, J. (2009). Semi-supervised density-based clustering. In Proceedings of the 2009 Ninth IEEE International Conference on Data Mining, ICDM 09, pages , Washington, DC, USA. IEEE Computer Society. MacQueen, J. B. (1967). Some methods for classification and analysis of multivariate observations. In of California Press, U., editor, Proceedings of 5-th Berkeley Symposium on Mathematical Statistics and Probability, volume 1, pages , Berkeley. Mallapragada, P., Jin, R., and Jain, A. (2008). Active query selection for semi-supervised clustering. In Proceedings of the 19th International Conference on Pattern Recognition, pages 1 4. Pedrycz, W. and Waletzky, J. (1997). Fuzzy clustering with partial supervision. IEEE Transactions on systems, Man, and Cybernetics, 27(5) : Philipp Kranen, Ira Assent, C. B. and Seidl, T. (2011). The clustree : indexing micro-clusters for anytime stream mining. Knowledge and Information Systems, 29(2) : Rand, W. (1971). Objective criteria for the evaluation of clustering methods. Journal of American Statistical Association, vol. 66. N. Labroche (UPMC - LIP6 - CNRS) CluCo / 63

69 Références VI Ruiz, C., Spiliopoulou, M., and Menasalvas, E. (2007). C-dbscan : Density-based clustering with constraints. In Proceedings of the International Conference on Rough Sets Fuzzy Sets Data Mining and Granular Computing, pages Ruiz, C., Spiliopoulou, M., and Menasalvas, E. (2010). Density-based semi-supervised clustering. Data Mining and Knowledge Discovery, 21(3) : Sneath, P. H. A. and Sokal, R. R. (1973). Numerical taxonomy - the principles and practice of numerical classification. Technical report, W. H. Freeman, San Francisco. Vu, V., Labroche, N., and Bouchon-Meunier, B. (2010a). Boosting clustering by active constraint selection. In Proceedings of the 19th European Conference on Artificial Intelligence (ECAI-2010), pages , Lisbon, Portugal. IOI Press. Vu, V., Labroche, N., and Bouchon-Meunier, B. (2010b). An efficient active constraint selection algorithm for clustering. In Proceedings of the 20th International Conference on Pattern Recognition (ICPR-2010), pages , Istanbul, Turkey. IEEE. N. Labroche (UPMC - LIP6 - CNRS) CluCo / 63

Montrer encore