Classification spectrale pour la segmentation d images couleur et de signaux audio réunion du 10 janvier 2008 Normalized cuts and image segmentation J. Shi and J. Malik IEEE PAMI, 2000
Hypothèse de la méthode Problématique de la segmentation d images La segmentation d images doit être vue comme un processus proche de celui de la perception humaine, basé sur des mesures globales et non pas sur des propriétés locales Ce processus global doit conduire à une représentation hiérarchique de l image La théorie des graphes est un moyen de parvenir à cette représentation Le problème de la segmentation d images peut être ramené à un problème et de groupement et de partition de graphes
Hypothèse de la méthode L image et le graphe L image peut être un vue comme un graphe G = (V,E) où les pixels représentent les nœuds du graphe et leur similarité (affinité, adjacence, ressemblance) conditionne les poids w des arcs du graphe. Segmenter une image hiérarchiquement revient donc à partitionner récursivement le graphe correspondant.
Hypothèse de la méthode Problème Nécessité d un critère permettant d évaluer la «meilleure» partition du graphe Nécessité d un algorithme efficace pour déterminer cette partition
Solution adoptée Critère proposé La coupure normalisée (normalized cut) Critère à minimiser (w, poids des arcs) Problème NP-complexe
Solution adoptée Classification spectrale Définir la matrice d affinité W et la matrice des degrés D Résoudre le système : Laplacien : Laplacien normalisé : Le vecteur propre avec la seconde plus petite valeur propre du Laplacien permet de regrouper «au mieux» des nœuds similaires et couper le graphe en deux Les autres «plus petit» vecteurs propres peuvent être utilisés pour obtenir d autres regroupements
Solution adoptée Algorithme utilisé Construction du graphe G à partir des adjacences entre les pixels (ou groupe de pixels) selon l équation : Calcul de la matrice d affinité W, de la matrice des degrés D et du laplacien L Calcul du vecteur propre associé à la seconde plus petite valeur propre
Solution adoptée Utiliser ce vecteur propre pour : Diviser le graphe en deux parties. Le seuil de séparation est défini par Le zéro La médiane La plus petite valeur du Ncut Réitérer l algorithme sur chacune des deux parties si nécessaire (seuil sur la valeur de Ncut) Utiliser plusieurs vecteurs propres pour : Obtenir plusieurs regroupements simultanément
Jeux de données Des images De synthèse
Jeux de données De vraies images
Jeux de données De vraies images avec pleins de contours
Jeux de données Des images en couleur (je sais, ça ne se voit pas!) Les composantes du vecteur d attributs sont des composantes couleur
Jeux de données Des images avec des textures Les composantes du vecteur d attributs sont le résultat de la convolution de l image avec des filtres de DOOG
Jeux de données Et même des séquences d images
Perspectives pour ClasSpec Application directe de la classification spectrale à la segmentation d images Segmentation en groupements proches de la perception humaine Permet une représentation hiérarchique des groupements déterminés Approfondir l approche proposée spécifiquement à la segmentation d images couleur en appliquant différents attributs de textures couleur