Segmentation interactive pour l annotation de photographies de paysages

Segmentation interactive pour l annotation de photographies de paysages Bérengère Mathieu, Alain Crouzil, Jean-Baptiste Puel Université Toulouse 3, IRIT, TCI Labex CIMI 29 juin 2016 Faculté des Sciences et d Ingénierie 1 / 38 Bérengère Mathieu, Alain Crouzil, Jean-Baptiste Puel Segmentation interactive

Plan 1 Introduction : définitions et enjeux 2 SCIS : une nouvelle méthode de segmentation interactive multiclasse 3 Évaluation sur les données de référence 4 Utilisation dans le cadre des observatoires photographiques du paysage 5 Conclusion 2 / 38 Bérengère Mathieu, Alain Crouzil, Jean-Baptiste Puel Segmentation interactive

Segmentation d une image Segmentation : création d une partition de l image en régions 3 / 38 Bérengère Mathieu, Alain Crouzil, Jean-Baptiste Puel Segmentation interactive

Diversité des contextes d application 4 / 38 Bérengère Mathieu, Alain Crouzil, Jean-Baptiste Puel Segmentation interactive

Segmentation interactive L utilisateur fournit quelques indications visuelles (germes) Ces indications permettent de déterminer le nombre de régions à extraire Ces indications fournissent des informations sur les caractéristiques des régions 7 / 38 Bérengère Mathieu, Alain Crouzil, Jean-Baptiste Puel Segmentation interactive

Mode d interaction orienté contours 8 / 38 Bérengère Mathieu, Alain Crouzil, Jean-Baptiste Puel Segmentation interactive

Introduction SCIS Evaluation OPP Conclusion Mode d interaction oriente re gions 9 / 38 Be renge re Mathieu, Alain Crouzil, Jean-Baptiste Puel Segmentation interactive

Caractéristiques des régions Niveaux de gris Couleurs 10 / 38 Bérengère Mathieu, Alain Crouzil, Jean-Baptiste Puel Segmentation interactive

Caractéristiques des régions Texture Localisation 11 / 38 Bérengère Mathieu, Alain Crouzil, Jean-Baptiste Puel Segmentation interactive

Modélisation et résolution Croissance de régions Germes : points de départ des régions Croissance itérative de ces régions en agglomérant les pixels voisins et similaires Arrêt lorsque les régions forment une partition de l image 12 / 38 Bérengère Mathieu, Alain Crouzil, Jean-Baptiste Puel Segmentation interactive

Modélisation et résolution Minimisation d une énergie E(I, S) = w d E d (I, S) + w l E l (I, S) I : l image S : une segmentation de I E d : terme d attache aux données : les régions sont-elles uniformes et cohérentes avec les germes donnés par l utilisateur? E l : terme de lissage : éviter un morcellement en toutes petites régions ou des contours trop sinueux w d et w l : pondérations 13 / 38 Bérengère Mathieu, Alain Crouzil, Jean-Baptiste Puel Segmentation interactive

Verrous scientifiques Peu de méthodes capables de gérer une segmentation multiclasse Méthodes lentes et / ou coûteuse en terme d espace mémoire 14 / 38 Bérengère Mathieu, Alain Crouzil, Jean-Baptiste Puel Segmentation interactive

Méthode de segmentation interactive : SCIS Objectifs Méthode multiclasse Rapide et peu coûteuse en espace mémoire Caractéristiques Orientée régions : indications données sous forme de traits Une couleur par objet sémantique Nouvelle manière de résoudre le problème de segmentation Simple 15 / 38 Bérengère Mathieu, Alain Crouzil, Jean-Baptiste Puel Segmentation interactive

SCIS Image Sur-segmenter Superpixels 16 / 38 Bérengère Mathieu, Alain Crouzil, Jean-Baptiste Puel Segmentation interactive

SCIS Image Sur-segmenter Superpixels Extraire caractéristiques 17 / 38 Bérengère Mathieu, Alain Crouzil, Jean-Baptiste Puel Segmentation interactive

SCIS Image Sur-segmenter Superpixels Extraire caractéristiques Germes Superpixels avec germes pour une classe Superpixels avec germes pour plusieurs classes Superpixels sans germe 18 / 38 Bérengère Mathieu, Alain Crouzil, Jean-Baptiste Puel Segmentation interactive

SCIS Image Sur-segmenter Superpixels Extraire caractéristiques Germes Superpixels avec germes pour une classe Superpixels avec germes pour plusieurs classes Superpixels sans germe Entraîner classifieur Classer 19 / 38 Bérengère Mathieu, Alain Crouzil, Jean-Baptiste Puel Segmentation interactive

Introduction SCIS Evaluation OPP Conclusion Me thode de sur-segmentation q Me thode de segmentation de Felzenszwalb q Complexite : O(N log(n)) q Peu d erreurs commises q Taille moyenne des superpixels : 100 pixels 22 / 38 Be renge re Mathieu, Alain Crouzil, Jean-Baptiste Puel Segmentation interactive

Caractérisation des superpixels Information de localisation : barycentre du superpixel Information de couleur : couleur moyenne en RGB Rapides à calculer Suffisantes pour obtenir une segmentation précise 23 / 38 Bérengère Mathieu, Alain Crouzil, Jean-Baptiste Puel Segmentation interactive

Méthode de classification Séparateur à vaste marge (SVM) Chaque données est positionnée dans un espace à N dimensions Apprentissage : trouver une frontière entre les données de différentes classes Classification : attribuer une classe à une donnée en fonction de ses coordonnées dans l espace à N dimensions. 24 / 38 Bérengère Mathieu, Alain Crouzil, Jean-Baptiste Puel Segmentation interactive

Méthode de classification Paramètres utilisés Noyau RBF : exp( γ x i x j 2 ) Paramètre du noyau : γ = 4 Paramètres de régularisation : C = 4 25 / 38 Bérengère Mathieu, Alain Crouzil, Jean-Baptiste Puel Segmentation interactive

Algorithme Sur-segmenter l image avec l algorithme de Felzenszwalb Extraire le barycentre et la couleur moyenne de chaque superpixel Tant que L utilisateur modifie les germes Faire Déterminer K le nombre de classes Pour Chaque classe j Faire Créer S j, l ensemble des superpixels contenant uniquement des germes de la classe j Fin Pour Entraîner SVM avec S train = S j j=1,,k Classer les superpixels restants avec SVM Attribuer à chaque pixel la classe de son superpixel Fin Tant que 26 / 38 Bérengère Mathieu, Alain Crouzil, Jean-Baptiste Puel Segmentation interactive

Données de référence Données de référence de McGuinness 96 images de 481x321 pixels 100 segmentations de référence Uniquement des problèmes à 2 classes Données de référence de Santner 243 images de 625x391 262 segmentations de référence Problèmes à N classes 27 / 38 Bérengère Mathieu, Alain Crouzil, Jean-Baptiste Puel Segmentation interactive

Mesure de précision des contours (McGuinness) x ACC boundary = 100 min( B G (x), B M (x)) x max( B G (x), B M (x)) B G contours internes des pixels dans la segmentation de référence B M contours internes des pixels dans la segmentation résultat B G, B M : mêmes ensembles étendus grâce aux sous-ensembles flous 28 / 38 Bérengère Mathieu, Alain Crouzil, Jean-Baptiste Puel Segmentation interactive

Mesure de précision des régions (McGuinness) ACC region = 100 G O M O G O M O G O ensemble des pixels appartenant à la forme dans la segmentation de référence M O ensemble des pixels attribués à la forme par l algorithme S cardinalité de l ensemble S. 29 / 38 Bérengère Mathieu, Alain Crouzil, Jean-Baptiste Puel Segmentation interactive

Mesure DICE (Santner) DICE(I result, I groundtruth ) = 100 I result : segmentation résultat I groundtruth : segmentation de référence N nombre de classes N i=1 2 R i G i R i + G i R i ensemble des pixels de i ème classe dans I result G i ensemble des pixels de la i ème classe dans I groundtruth 30 / 38 Bérengère Mathieu, Alain Crouzil, Jean-Baptiste Puel Segmentation interactive

Compétiteurs M 1 : méthode ayant obtenu les meilleurs scores quantitatifs dans l évaluation de McGuinness M 2 : méthode ayant obtenu les meilleurs scores qualitatifs dans l évaluation de McGuinness S : méthode proposée par Santner A : méthode proposée par Arbelaez 31 / 38 Bérengère Mathieu, Alain Crouzil, Jean-Baptiste Puel Segmentation interactive

Résultats avec données de McGuinness Algorithme ACC boundary ACC region M 1 78 % 92 % M 2 77 % 92 % A 70 % 91 % SCIS 82 % 94 % 32 / 38 Bérengère Mathieu, Alain Crouzil, Jean-Baptiste Puel Segmentation interactive

Résultats avec données de Santner Algorithme DICE S 93 % A 95 % SCIS 98 % 33 / 38 Bérengère Mathieu, Alain Crouzil, Jean-Baptiste Puel Segmentation interactive

Observatoires photographiques du paysage Convention européenne du paysage : utilité sociale du paysage Mise en place d observatoires photographiques du paysage analyser les mécanismes et facteurs de transformation d un espace fonds photographiques conçus à partir de re-photographie régulière d un même lieu SCIS : permet d annoter rapidement les photographies rechercher des éléments particuliers identifier des dynamiques particulières 34 / 38 Bérengère Mathieu, Alain Crouzil, Jean-Baptiste Puel Segmentation interactive

Introduction SCIS Evaluation OPP Conclusion Exemple 35 / 38 Be renge re Mathieu, Alain Crouzil, Jean-Baptiste Puel Segmentation interactive

Bilan Une nouvelle manière d appréhender la segmentation interactive d une image Validation du SVM pour des données d apprentissage en nombre restreint (au minimum 0.09 %) Importance de l information de localisation Mise à disposition de SCIS sous forme de greffon pour Gimp http://image.enfa.fr/scis/ 36 / 38 Bérengère Mathieu, Alain Crouzil, Jean-Baptiste Puel Segmentation interactive

Ouverture Étape bloquante : la sur-segmentation en terme de temps de calcul en terme de précision 37 / 38 Bérengère Mathieu, Alain Crouzil, Jean-Baptiste Puel Segmentation interactive

Questions Références McGuinness et al., A comparative evaluation of interactive segmentation algorithms, Pattern Recognition, 2010 J. Santner et al., Interactive multi-label segmentation, Asian Conference on Computer Vision, 2011 Achanta et al., SLIC superpixels compared to state-of-the-art superpixel methods, Transactions on Pattern Analysis and Machine Intelligence, 2012 38 / 38 Bérengère Mathieu, Alain Crouzil, Jean-Baptiste Puel Segmentation interactive