Normalized cuts and image segmentation J. Shi and J. Malik IEEE PAMI, 2000

Dimension: px

Commencer à balayer dès la page:

Download "Normalized cuts and image segmentation J. Shi and J. Malik IEEE PAMI, 2000"

Frédéric Renaud
il y a 7 ans
Total affichages :

1 Classification spectrale pour la segmentation d images couleur et de signaux audio réunion du 10 janvier 2008 Normalized cuts and image segmentation J. Shi and J. Malik IEEE PAMI, 2000

2 Hypothèse de la méthode Problématique de la segmentation d images La segmentation d images doit être vue comme un processus proche de celui de la perception humaine, basé sur des mesures globales et non pas sur des propriétés locales Ce processus global doit conduire à une représentation hiérarchique de l image La théorie des graphes est un moyen de parvenir à cette représentation Le problème de la segmentation d images peut être ramené à un problème et de groupement et de partition de graphes

3 Hypothèse de la méthode L image et le graphe L image peut être un vue comme un graphe G = (V,E) où les pixels représentent les nœuds du graphe et leur similarité (affinité, adjacence, ressemblance) conditionne les poids w des arcs du graphe. Segmenter une image hiérarchiquement revient donc à partitionner récursivement le graphe correspondant.

4 Hypothèse de la méthode Problème Nécessité d un critère permettant d évaluer la «meilleure» partition du graphe Nécessité d un algorithme efficace pour déterminer cette partition

5 Solution adoptée Critère proposé La coupure normalisée (normalized cut) Critère à minimiser (w, poids des arcs) Problème NP-complexe

6 Solution adoptée Classification spectrale Définir la matrice d affinité W et la matrice des degrés D Résoudre le système : Laplacien : Laplacien normalisé : Le vecteur propre avec la seconde plus petite valeur propre du Laplacien permet de regrouper «au mieux» des nœuds similaires et couper le graphe en deux Les autres «plus petit» vecteurs propres peuvent être utilisés pour obtenir d autres regroupements

7 Solution adoptée Algorithme utilisé Construction du graphe G à partir des adjacences entre les pixels (ou groupe de pixels) selon l équation : Calcul de la matrice d affinité W, de la matrice des degrés D et du laplacien L Calcul du vecteur propre associé à la seconde plus petite valeur propre

8 Solution adoptée Utiliser ce vecteur propre pour : Diviser le graphe en deux parties. Le seuil de séparation est défini par Le zéro La médiane La plus petite valeur du Ncut Réitérer l algorithme sur chacune des deux parties si nécessaire (seuil sur la valeur de Ncut) Utiliser plusieurs vecteurs propres pour : Obtenir plusieurs regroupements simultanément

9 Jeux de données Des images De synthèse

10 Jeux de données De vraies images

11 Jeux de données De vraies images avec pleins de contours

12 Jeux de données Des images en couleur (je sais, ça ne se voit pas!) Les composantes du vecteur d attributs sont des composantes couleur

13 Jeux de données Des images avec des textures Les composantes du vecteur d attributs sont le résultat de la convolution de l image avec des filtres de DOOG

14 Jeux de données Et même des séquences d images

15 Perspectives pour ClasSpec Application directe de la classification spectrale à la segmentation d images Segmentation en groupements proches de la perception humaine Permet une représentation hiérarchique des groupements déterminés Approfondir l approche proposée spécifiquement à la segmentation d images couleur en appliquant différents attributs de textures couleur

Documents pareils

Dan Istrate. Directeur de thèse : Eric Castelli Co-Directeur : Laurent Besacier

Dan Istrate. Directeur de thèse : Eric Castelli Co-Directeur : Laurent Besacier Détection et reconnaissance des sons pour la surveillance médicale Dan Istrate le 16 décembre 2003 Directeur de thèse : Eric Castelli Co-Directeur : Laurent Besacier Thèse mené dans le cadre d une collaboration