Apprentissage interactif et collaboratif pour la recherche dans les bases multimédia

Transcription

1 Apprentissage interactif et collaboratif pour la recherche dans les bases multimédia Philippe-Henri Gosselin Habilitation à Diriger des Recherches Université de Cergy-Pontoise 10 novembre 2011

2 La recherche interactive multimédia Apprentissage interactif multimédia Philippe-Henri Gosselin 10 novembre / 46

3 Architecture classique Images OFFLINE Features Quantization Query Indexes Dictionary ONLINE Training set User annotation Classification Kernel Active selection Active learning Apprentissage interactif multimédia Philippe-Henri Gosselin 10 novembre / 46

4 Plan 1 Noyaux sur Sacs et Graphes 2 Noyaux Dynamiques 3 Boosting Interactif 4 Conclusion Apprentissage interactif multimédia Philippe-Henri Gosselin 10 novembre / 46

5 Plan 1 Noyaux sur Sacs et Graphes 2 Noyaux Dynamiques 3 Boosting Interactif 4 Conclusion Apprentissage interactif multimédia Philippe-Henri Gosselin 10 novembre / 46

6 Noyaux sur Sacs et Graphes Indexation pour la recherche d objets Étapes hors ligne : 1 Extraction descripteurs visuels Une image = un ensemble (ou sac) de descripteurs 2 Définition métrique entre sacs de descripteurs 3 (Éventuellement) Structures index rapides Apprentissage interactif multimédia Philippe-Henri Gosselin 10 novembre / 46

7 Sacs & Graphes Noyaux Dynamiques Boosting Interactif Conclusion Sacs de descripteurs Sacs de descripteurs 1 Extraction Extraction de primitives Indexation Regions, Points d intérêt,... 2 Métrique Description des primitives Classification Couleurs, textures, HoG, SIFT,... 3 Interaction Sacs de descripteurs Bi = {bri }r bri : descripteur r de l image i Apprentissage interactif multimédia Philippe-Henri Gosselin 10 novembre / 46

8 Métrique entre sacs de descripteurs Méthodes pour la recherche d objets (2005) Systèmes basé vote + Très performants - Coûteux calculs (sans index rapide) - Non compatible classification Dictionnaires visuels + Performants + Rapides - Difficile à régler Fonction noyaux (+MIL) + Très performants (idem vote) + Facile à régler - Coûteux calculs (sans index rapide) Apprentissage interactif multimédia Philippe-Henri Gosselin 10 novembre / 46

9 Comparaison des Sacs Mise en correspondance B i = {b ri } r sac descripteurs image i B j = {b rj } r sac descripteurs image j Système vote S(B i, B j ) = nombre descripteurs communs entre i et j Fonction noyau K (B i, B j ) = idem et Φ : X H t.q. K (B i, B j ) = Φ(B i ), Φ(B j ) H Extraction Indexation Métrique Classification Interaction Apprentissage interactif multimédia Philippe-Henri Gosselin 10 novembre / 46

10 Noyaux sur Sacs Soft maximum (Shawe-Taylor) K softmax (B i, B j ) = b ri B i b sj B j k(b ri, b sj ) k fonction noyau K softmax fonction noyau Compare le barycentre des éléments de chaque sac : Φ(B i ) = φ(b ri ) b ri B i K softmax (B i, B j ) = Φ(B i ), Φ(B j ) = b ri B i b sj B j φ(b ri ), φ(b sj )) Extraction Indexation Métrique Classification Interaction Apprentissage interactif multimédia Philippe-Henri Gosselin 10 novembre / 46

11 Noyaux sur Sacs Noyaux définis Enhanced Soft Maximum (Lyu) : K lyu (B i, B j ) = 1 1 B i B j Power (Gosselin) : K power (B i, B j ) = b ri B i b ri B i b sj B j k(b ri, b sj ) q k(b ri, b sj ) q b sj B j 1 q Extraction Indexation Métrique Classification Interaction 1. Gosselin, Cord and Philipp. Kernel on Bags of Fuzzy Regions for fast object retrieval. ICIP Gosselin, Cord and Philipp. Kernel on Bags for multi-object database retrieval. CIVR Apprentissage interactif multimédia Philippe-Henri Gosselin 10 novembre / 46

12 Noyaux sur Sacs Power (82.6%) Average of Maximum (82.3%) Average of Power (82.1%) Lyu (78.2%) Maximum (74.1%) Mean Average Precision Number of training samples Précision Moyenne(%) sur une base d objets (Columbia) sur fond aléatoire (ANN) avec différents noyaux. Apprentissage interactif multimédia Philippe-Henri Gosselin 10 novembre / 46

13 Représentation par Graphes Représentation par Graphes Intégrer les relations spatiales Graphes relationnels valués Sommet d un graphe : Région Point d intérêt Arête d un graphe : Relation spatiale Gauche/droite Haut/base Extraction Indexation Métrique Classification Interaction Apprentissage interactif multimédia Philippe-Henri Gosselin 10 novembre / 46

14 Noyaux sur Graphes Extraction Indexation Approche par Sacs de chemins Énumération des chemins h H(G) issus du graphe G Mise en correspondance entre chemins : K graphe (G, G ) = K sac (H(G), H(G )) Métrique Classification Interaction Apprentissage interactif multimédia Philippe-Henri Gosselin 10 novembre / 46

15 Noyaux sur Graphes Thèses Justine Lebrun ( ) Allocation ministérielle «Fonctions noyaux sur Graphes pour la recherche d objets dans les bases multimédia» Jean-Emmanuel Haugeard ( ) Projet ANR (itowns) «Extraction et reconnaissance d objets dans les façades de Paris à l aide d appariement de graphes» Apprentissage interactif multimédia Philippe-Henri Gosselin 10 novembre / 46

16 Recherche d objets Mean Average Precision h =3 65 h =2 h = Number of labelled images 1. Lebrun, Gosselin, Philipp. Inexact Graph Matching Based on Kernels for Object Retrieval in Image Databases. IVC Lebrun, Gosselin, Philipp. Image retrieval with graph kernel on regions. ICPR Apprentissage interactif multimédia Philippe-Henri Gosselin 10 novembre / 46

17 Recherche d objets 3D Projet ANR (EROS 3D) 750 objets 3D (maillages sans textures) 1. Philipp, Jordan, Fuzier, Gosselin. Indexing of 3D Models Based on Graph of Surfacic Regions. ACM Multimedia Apprentissage interactif multimédia Philippe-Henri Gosselin 10 novembre / 46

18 Sacs & Graphes Noyaux Dynamiques Boosting Interactif Conclusion Reconnaissance dans les façades de Paris Step 1 Step 2 Step 3 Extraction Training Exploitation Database of Facades Interactive Classifier Training Classifier Database of Facades Graphs True & False Positives Contours Correct Detection & Localisation Projet ANR (itowns) 1. Haugeard, Philipp, Gosselin. Kernel on Graphs based on Dictionary of Paths for Image Retrieval. ICPR Haugeard, Gosselin, Philipp. Kernel on Graphs of Contours for Image Retrieval. Soumis à Pattern Recognition Letters. Apprentissage interactif multimédia Philippe-Henri Gosselin 10 novembre / 46

19 Noyaux sur Sacs et Graphes Avantages Reproduisent bien les systèmes de vote Compatibles avec les machines à noyaux Peu de paramètres Inconvénient Temps de calculs! Apprentissage interactif multimédia Philippe-Henri Gosselin 10 novembre / 46

20 Plan 1 Noyaux sur Sacs et Graphes 2 Noyaux Dynamiques 3 Boosting Interactif 4 Conclusion Apprentissage interactif multimédia Philippe-Henri Gosselin 10 novembre / 46

21 Sacs & Graphes Noyaux Dynamiques Boosting Interactif Conclusion Architecture classique Images OFFLINE Features Quantization Query Indexes Dictionary ONLINE Training set User annotation Classification Kernel Active selection Active learning Apprentissage interactif multimédia Philippe-Henri Gosselin 10 novembre / 46

22 Sacs & Graphes Noyaux Dynamiques Boosting Interactif Conclusion Architecture dynamique Images ONLINE Features Selection Dictionary Kernel Update Classification Kernel OFFLINE Query Training set User annotation Active selection Active learning Apprentissage interactif multimédia Philippe-Henri Gosselin 10 novembre / 46

23 Noyaux Dynamiques Objectif Apprendre combinaison noyaux (MKL) K = t=1 β t k t Contraintes : Adapter la combinaison à la requête utilisateur courante Gérer le faible nombre d annotations Apprendre rapidement Extraction Indexation Métrique Classification Interaction Apprentissage interactif multimédia Philippe-Henri Gosselin 10 novembre / 46

24 Noyaux Dynamiques Approche itérative Extraction avec K t = K t 1 + β t k t βt, k t = argmax β>0,k K A H L (K t 1 + βk) A L (K ) Alignement du Noyau K sur les annotations L K pool de noyaux mineurs Indexation Métrique Classification Interaction 1. Gosselin, Precioso, Philipp. Incremental Kernel Learning for Active Image Retrieval without Global Dictionaries. PR Apprentissage interactif multimédia Philippe-Henri Gosselin 10 novembre / 46

25 Noyaux Dynamiques Noyaux mineurs Un noyau mineur Un mot de dictionnaire Une combinaison de noyaux Un dictionnaire visuel Extraction Indexation Métrique Classification Interaction Apprentissage interactif multimédia Philippe-Henri Gosselin 10 novembre / 46

26 Noyaux Dynamiques Taille Dictionnaire Categorie 64/64 256/256 64/160 Dynamique bicycle bus car cat cow dog horse motorbike person sheep all TABLE: Precision Moyenne(%) sur l ensemble test de VOC2006. Initialisation avec 1 image, 10 bouclages, 5 labels par bouclage. Apprentissage interactif multimédia Philippe-Henri Gosselin 10 novembre / 46

27 Reconnaissance d objets dans les façades de Paris Average Precision Dictionary : triangular kernel with L1 distance Dictionary : triangular kernel with L2 distance Dictionary : triangular kernel with Chi1 distance Dictionary : triangular kernel with Chi2 distance Kernel on graphs: Kproposed Number of labeled images FIGURE: Précision Moyenne(%) avec un noyau sur sac (en rouge) et un noyau dynamique (autres). Apprentissage interactif multimédia Philippe-Henri Gosselin 10 novembre / 46

28 Reconnaissance d objets dans les façades de Paris Nombre de sommets Noyau sur Graphe 40ms 96ms 184ms 511ms Noyau dynamique 5ms 6ms 9ms 48ms TABLE: Temps d exécution pour l évaluation d une valeur de fonction noyau, en fonction de la taille des graphes. Apprentissage interactif multimédia Philippe-Henri Gosselin 10 novembre / 46

29 Noyaux Dynamiques Propriétés Conception à la volée d un dictionnaire/noyau adapté à la requête courante Pas de dictionnaire à cross valider Entraînement rapide avec peu d exemples Classification plus rapide (dictionnaires plus petits) Batch learning Fusion très rapide de sorties de classifieurs Apprentissage interactif multimédia Philippe-Henri Gosselin 10 novembre / 46

30 Plan 1 Noyaux sur Sacs et Graphes 2 Noyaux Dynamiques 3 Boosting Interactif 4 Conclusion Apprentissage interactif multimédia Philippe-Henri Gosselin 10 novembre / 46

31 Boosting Une philosophie très différente Postulat Il est facile de trouver des règles généralement justes......mais il est difficile de trouver des règles toujours justes Principe Construire un ensemble de règles simples Pool de classifieurs "faibles" Combiner ces règles Formation d un classifieur "fort" Apprentissage interactif multimédia Philippe-Henri Gosselin 10 novembre / 46

32 Boosting Thèses Alexis Lechervy ( ) Projet DGA «Apprentissage interactif et collaboratif pour la détection d évènement dans les vidéos» Jefersson Alex dos Santos ( ) Cotutelle avec Université Brésilienne de Campinas «Multi-Scale Classification of Remote Sensing Images» Apprentissage interactif multimédia Philippe-Henri Gosselin 10 novembre / 46

33 Boosting pour les bases généralistes Classifieurs faibles Description Visuelle Découpage en 9 blocs 1 Région = 1 combinaison bloc (511 possibilités) Calcul descripteur dans chaque région Classifieur faible : Généré à partir d un exemple positif Se focalise sur 1 type de région Similarité au descripteur dans la région Extraction Indexation Métrique Classification Interaction Apprentissage interactif multimédia Philippe-Henri Gosselin 10 novembre / 46

34 Boosting pour les bases généralistes Pool dynamique de classifieurs faibles Peu d exemples en recherche interactive Solution : pool dynamique de classifieurs faibles Pour chaque image annotée positive Pour chaque type de région Pour chaque type de descripteur Fabriquer un classifieur faible Extraction Indexation Métrique Classification 1. Lechervy, Gosselin, Precioso. Active Boosting for interactive object retrieval. ICPR Interaction Apprentissage interactif multimédia Philippe-Henri Gosselin 10 novembre / 46

35 Boosting pour les bases généralistes Dictionnaire 32 mots 64 mots Méthode SVM Boosting SVM Boosting bicycle bus car cat cow dog horse motorbike person sheep all TABLE: Precision Moyenne(%) sur l ensemble test de VOC2006. Initialisation avec 1 image, 10 bouclages, 5 labels par bouclage. Apprentissage interactif multimédia Philippe-Henri Gosselin 10 novembre / 46

36 Boosting pour les images satellites Vérité terrain Classification Apprentissage interactif multimédia Philippe-Henri Gosselin 10 novembre / 46

37 Boosting pour les images satellites 1. Santos, Gosselin, Philipp, Torres and Falcao. Multi-Scale Classification of Remote Sensing Images. GRS (Révision). Apprentissage interactif multimédia Philippe-Henri Gosselin 10 novembre / 46

38 Boosting pour les images satellites Méthode Précision(%) Kappa Baseline SVM Boosting Boosting hiérarchique TABLE: Résultats de classification d images satellites (catégorie café). Apprentissage interactif multimédia Philippe-Henri Gosselin 10 novembre / 46

39 Boosting interactif Propriétés Conception plus libre que machines à noyaux Entraînement plus lent Classification plus rapide Fonctionne avec peu d exemples En cours Boosting collaboratif images/vidéos (A. Lechervy) Boosting interactif images satellites (J. Alex) Apprentissage interactif multimédia Philippe-Henri Gosselin 10 novembre / 46

40 Plan 1 Noyaux sur Sacs et Graphes 2 Noyaux Dynamiques 3 Boosting Interactif 4 Conclusion Apprentissage interactif multimédia Philippe-Henri Gosselin 10 novembre / 46

41 Noyaux sur ensembles Bilan Noyaux sur Sacs et Graphes + Performants, compatible SVM - Coûteux en calculs En cours Réduction temps calculs noyaux sur sacs Approche linéarisation avec le formalisme des tenseurs 1 Thèse démarrée 2011 : Romain Négrel «Représentation optimales pour la recherche dans les bases patrimoniales», Labex Patrima Perspectives à moyen terme Extension résultats noyaux sur graphes Passage aux très grandes bases (1 million +) 1. Picard, Apprentissage Gosselin. interactif Improvingmultimédia Image Similarity With VLAT. Philippe-Henri ICIP Gosselin 10 novembre / 46

42 Représentations dynamiques Bilan Noyau dynamique performant mais contraignant Boosting moins contraignant mais moins performant En cours Cadre formel intermédiaire Apprentissage collaboratif Application vidéo Perspectives à moyen terme Classification temps réelle Mise à jour on-line du classifieur Apprentissage interactif multimédia Philippe-Henri Gosselin 10 novembre / 46

43 Perspectives à long terme Apprentissage dans le flux Bases vivantes / flux vidéos Ajout régulier de documents Suppression/archivage régulier de documents Objectifs classification instables Évolution rapide des centres d intérêts Communautés d utilisateurs Données d apprentissage de mauvaise qualité Micro ensembles d apprentissage Beaucoup d erreurs Passage à l échelle Apprentissage interactif multimédia Philippe-Henri Gosselin 10 novembre / 46

44 Publications Revues Année 8 Elsevier Image and Vision Computing Elsevier Pattern Recognition Elsevier Computer Vision and Image Understanding IEEE Transactions on Image Processing, Elsevier Computer Vision and Image Understanding Elsevier Image and Vision Computing Elsevier Pattern Recognition, EURASIP Journal on Applied Signal Processing Conférences internationales Période 17 ICIP, ICPR, ACM ICIP, CIVR, Conférences nationales Période 4 RFIA, EGC RFIA, CAP Apprentissage interactif multimédia Philippe-Henri Gosselin 10 novembre / 46

45 Tenseurs pour la description vidéo Apprentissage interactif multimédia Philippe-Henri Gosselin 10 novembre / 46

46 Tenseurs pour la description vidéo Stages/Thèse Romain Negrel Stage ETIS printemps/été 2011 Virginia Fernandes Mota Collaboration avec Université Brésilienne de Juiz de Fora Stage ETIS printemps/été 2010 Thèse démarrée en 2011 «Tensor based representations for action retrieval in videos» Apprentissage interactif multimédia Philippe-Henri Gosselin 10 novembre / 46