Segmentation d'images et détection de contours

Segmentation d'images et détection de contours (Transparents grace à Yves Goussard) Lecture: Jennifer Campbell ELE8812 29-31 mars 2016 Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 1 / 49

La segmentation Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 2 / 49

Plan 1 Introduction 2 Détection de contours Formulation du problème Méthodes élémentaires : gradient et laplacien Méthode de Canny Détection de frontières 3 Segmentation de régions Position du problème Techniques de seuillage global Techniques de seuillage local ou adaptatif Autres méthodes Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 3 / 49

Introduction Introduction Qu'est ce que la segmentation? Partitionnement d'une image en régions R i connexes (en un sens à préciser) Segmentation en régions Chaque région doit satisfaire une propriété P(R i ) Deux régions voisines ne doivent pas satisfaire la même propriété Dualité contour région c 1992-2008 R. C. Gonzalez & R. E. Woods Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 4 / 49

Introduction Contours ou régions? Formulations équivalentes? Réponse théorique : oui Réponse pratique : non Distinction des deux formulations Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 5 / 49

Détection de contours Formulation du problème Détection de contours Position du problème Contour et détection Contour : discontinuité dans l'intensité de l'image Contenu hautes fréquences Détection de contour : ltrage passe-haut Cadre 1D Filtrage passe haut en temps continu : dérivée première ou seconde Filtrage passe haut en temps discret : diérences premières ou secondes Diérences premières : d 1 (x) = f (x) f (x 1) ou d 1 (x) = f (x + 1) f (x 1) Diérences secondes : d 2 (x) = f (x + 1) 2f (x) + f (x 1) Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 6 / 49

Détection de contours Formulation du problème Diérences premières et secondes Comportement fréquentiel Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 7 / 49

Détection de contours Formulation du problème Types de contours et détection Types de contours c 1992-2008 R. C. Gonzalez & R. E. Woods Eet des opérateurs de diérences premières et secondes c 1992-2008 R. C. Gonzalez & R. E. Woods Diérences premières : opérateur standard non centré, contours épais Diérences secondes : double réponse détection des passages par zéro Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 8 / 49

Détection de contours Formulation du problème Sensibilité au bruit Eet de diérents niveaux de bruit sur les détecteurs par diérences c 1992-2008 R. C. Gonzalez & R. E. Woods Synthèse Diérences premières : opérateur standard non centré, contours épais Diérences secondes : double réponse passages par zéro Forte sensibilité au bruit Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 9 / 49

Détection de contours Méthodes élémentaires : gradient et laplacien Méthodes élémentaires de détection de contours Gradient de l'image Dénition et propriétés élémentaires ( ) f / x Dénition : f (x, y) = f / y Magnitude : rapidité des variations de f Direction : plus grande pente Le gradient est orthogonal aux lignes de niveau et aux discontinuités fortes (contours) Approximations numériques Opérateurs centrés exacts : f x = ( 1 0 1) f ; f y = 1 0 1 f Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 10 / 49

Détection de contours Méthodes élémentaires : gradient et laplacien Détection par gradient Approximations numériques Exemple d'opérateur utilisé : Prewitt 1 0 1 f = 1 0 1 f ; x 1 0 1 ( ) t f = f y x Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 11 / 49

Détection de contours Méthodes élémentaires : gradient et laplacien Détection par gradient Approximations numériques Exemple d'opérateur utilisé : Sobel 1 0 1 1 f 2 0 2 f = 2 ( 1 0 x 1 0 1 1 1) f ; ( ) t f = f y x Justication : interprétation fréquentielle Autres approximations possibles (Roberts,...) Détection directionnelle des contours Magnitude : norme du gradient Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 12 / 49

Détection de contours Méthodes élémentaires : gradient et laplacien Opérateurs de gradient Interprétation fréquentielle Operateur de Sobel Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 13 / 49

Détection de contours Méthodes élémentaires : gradient et laplacien Méthodes élémentaires de détection de contours Laplacien de l'image Dénition et propriétés élémentaires Dénition : 2 f (x, y) = 2 f x 2 + 2 f y 2 Isotrope : pas d'indication de direction des variations Magnitude : rapidité des variations de f Approximations numériques 2 = 0 1 0 1 4 1 0 1 0 Somme d'opérations 1D 2 = 1 1 1 1 8 1 1 1 1 Meilleure isotropie Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 14 / 49

Détection de contours Méthodes élémentaires : gradient et laplacien Méthodes élémentaires de détection de contours Synthèse Laplacien Isotrope Très sensible au bruit (diérences secondes) Possibilité limitée de mise en uvre par opérateurs 1D Double réponse aux discontinuités = détection des passages par zéro Gradient Directionnel Moins sensible au bruit (diérences premières) Possibilité de mise en uvre par opérateurs 1D Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 15 / 49

Détection de contours Méthodes élémentaires : gradient et laplacien Application pratique Utilisation du gradient Détection par la magnitude du gradient (norme L 1 ou L 2 ) Opérateurs de Sobel : lissage partiel Possibilité de lissage préalable supplémentaire Possibilité de détection directionnelle Mise en uvre ecace par opérateurs 1D Exemple : voir demo_grad.m Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 16 / 49

Détection de contours Méthodes élémentaires : gradient et laplacien Application pratique Exemple : Gradient - corpus callosum Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 17 / 49

Détection de contours Méthodes élémentaires : gradient et laplacien Application pratique Utilisation du laplacien Nécessité de Faire un ltrage préalable au moins aussi ecace que pour le gradient Détecter les passages par zéro Méthode de Marr-Hildreth laplacien de la gaussienne (LoG) (gaussienne 2D et laplacien) Paramètre : écart-type σ (support : valeur impaire, 4 ou 6 σ) assurer la nullité de la somme des coecients Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 18 / 49

Détection de contours Méthodes élémentaires : gradient et laplacien Application pratique Méthode de Marr-Hildreth : mise en uvre Détection des passages par 0 : opération délicate Filtrage gaussien : séparable ; laplacien : somme d'opérateurs 1D = Mise en uvre par opérateurs 1D Approximation séparable du ltre LoG par la diérence de deux gaussiennes 2D d'écart-type diérent ; séparabilité préservée c 1992-2008 R. C. Gonzalez & R. E. Woods Exemple : voir demo_lap.m Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 19 / 49

Détection de contours Méthodes élémentaires : gradient et laplacien Application pratique Exemple : Sobel (centre) et Marr-Hildreth (droit) Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 20 / 49

Détection de contours Méthode de Canny Détection de contours : méthode de Canny Démarche Objectifs Faible taux d'erreurs Localisation précise des contours Contours ns (1 pixel) Pour certains modèles de contours (1D) (step) Détecteur optimal : dérivée première de la gaussienne Extension 2D : gradient d'une gaussienne 2D g x (x, y) = x x2 2 +y σ e 2σ 2 g y (x, y) = y x2 2 +y 2 σ e 2σ 2 2 Approximation numérique : gradient numérique d'un masque gaussien (voir méthode de Marr-Hildreth) Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 21 / 49

Détection de contours Méthode de Canny Détection de contours : méthode de Canny Anage des contours Seuillage de la magnitude de la sortie du détecteur Évaluation de la direction du gradient (orthogonal aux contours) Suppression du point s'il n'est pas un maximum local dans la direction du gradient c 1992-2008 R. C. Gonzalez & R. E. Woods Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 22 / 49

Détection de contours Méthode de Canny Détection de contours : méthode de Canny Réduction des fausses détection et connexion des contours Approche : seuillage avec hystérésis Double seuil Conservation des pixels faibles seulement s'ils vérient certaines propriétés (connexité) relativement à des pixels forts ou précédemment conservés Exemple : voir demo_canny.m Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 23 / 49

Détection de contours Détection de frontières Détection de frontières Position du problème Contours détectés : représentation incomplète des frontières présentes dans l'image Nécessité de joindre entre eux les éléments d'une même frontière Approches Approche locale Seuillage avec hystérésis (Canny) Méthodes empiriques : magnitude semblable et angle du gradient correct Approche par régions (exemple : approximations polygonales) voir manuel Approche globale : transformée de Hough Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 24 / 49

Détection de contours Détection de frontières Transformée de Hough (1) Démarche Détection de l'ensemble des points de contour appartenant à une même courbe paramétrée Cas typique : les points appartiennent à une même droite Illustration : droite paramétrée selon y = ax + b c 1992-2008 R. C. Gonzalez & R. E. Woods Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 25 / 49

Détection de contours Détection de frontières Transformée de Hough (2) Mise en uvre Paramétrisation plus générale d'une droite : x cos θ + y sin θ = ρ Extension possible à d'autres types de courbes paramétrées En général, détection des échantillons de plus forte amplitude dans le domaine transformé (contours les plus longs) Nécessité de post-traitements (connexion des éléments de frontière) c 1992-2008 R. C. Gonzalez & R. E. Woods Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 26 / 49

Détection de contours Détection de frontières Transformée de Hough (3) Exemple c 1992-2008 R. C. Gonzalez & R. E. Woods Exemple : voir demo_hough.m Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 27 / 49

Segmentation de régions Position du problème Segmentation de régions (1) Position du problème Objectif : partitionnement de l'image Cas courant : chaque région caractérisée par son intensité moyenne certaines variations Introduction Types de variations bruit variations lentes Importance de l'histogramme Autres eets (exemple : taille des régions) Eet signicatif sur les propriétés de l'histogramme Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 28 / 49

Segmentation de régions Position du problème Segmentation de régions (2) Exemple : eet du bruit c 1992-2008 R. C. Gonzalez & R. E. Woods Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 29 / 49

Segmentation de régions Position du problème Segmentation de régions (3) Exemple : eet de variations lentes de l'intensité c 1992-2008 R. C. Gonzalez & R. E. Woods Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 30 / 49

Segmentation de régions Position du problème Segmentation de régions (4) Exemple : eet de la taille des régions c 1992-2008 R. C. Gonzalez & R. E. Woods Limitation de l'approche par histogramme Perte des caractéristiques propres aux images (2D, voisinage,...) Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 31 / 49

Segmentation de régions Techniques de seuillage global exemple : EM Approche empirique Choix des seuils par inspection de l'histogramme Exemple : voir manuel, pages 742 et 743 Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 32 / 49

Segmentation de régions Techniques de seuillage global Techniques de seuillage global Estimation du ou des seuils : méthode de Otsu Deux régions Critère de type information : maximisation de la dispersion entre classes Dispersion : η = σ2 B σ 2 G σ 2 B = P 1(m 1 m G ) 2 + P 2 (m 2 m G ) 2 Pour un seuil k donné : η(k) = (m(k) P 1(k)m G ) 2 P 1 (k)(1 P 1 (k)) Calcul facile, mais maximisation par calcul de η(k) pour tous les k Possibilité d'extension pour plusieurs niveaux Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 33 / 49

Segmentation de régions Techniques de seuillage global Méthode de Otsu Exemple de résultat c 1992-2008 R. C. Gonzalez & R. E. Woods Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 34 / 49

Segmentation de régions Techniques de seuillage global Méthode de Otsu Eet du bruit et de la taille des régions Approche Calcul de l'histogramme dans une partie de l'image rétablissant l'équilibre entre taille des régions Étapes du traitement Voisinage de la frontière Détection des contours et seuillage par une méthode vue précédemment Calcul de l'histogramme sur les pixels des contours ou un voisinage de ceux-ci Méthode de Otsu sur l'histogramme ainsi obtenu Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 35 / 49

Segmentation de régions Techniques de seuillage global Méthode de Otsu Exemple : histogramme sur les pixels des contours c 1992-2008 R. C. Gonzalez & R. E. Woods Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 36 / 49

Segmentation de régions Techniques de seuillage local ou adaptatif Techniques de seuillage local ou adaptatif Seuillage global Simple Caractéristiques propres aux images non prises en compte Seuillage local Division en sous-images (vignettes) Traitement indépendant des vignettes avec les techniques précédentes Ecace pour des variations lentes de l'intensité Taille des vignettes? Notion de voisinage? Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 37 / 49

Segmentation de régions Techniques de seuillage local ou adaptatif Seuillage adaptatif Segmentation de texte manuscrit c 1992-2008 R. C. Gonzalez & R. E. Woods Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 38 / 49

Segmentation de régions Autres méthodes Autres méthodes (1) Approches précédentes Simplicité Forte composante empirique Prise en compte très partielle des caractéristiques propres aux images Approches par régions Croissance de région, division et agrégation, morphologie mathématique (voir manuel, pages 763 à 778) Meilleure prise en compte des caractéristiques propres aux images Composante empirique signicative Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 39 / 49

Segmentation de régions Autres méthodes Autres méthodes (2) Autres algorithmes : modèles déformables (snakes contours actifs) modèle markovien modèle non-locale segmentation supervisé ; entrainement manuel segmentation avec information a priori : atlas Level Sets extended minima k-means autres méthodes spéciques... Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 40 / 49

Segmentation de régions Autres méthodes Exemple : segmentation par modèle markovien Modèles utilisés Modèle de régions : champ de Markov à valeurs discrètes Estimation du modèle non observé (MAP) Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 41 / 49

Segmentation de régions Autres méthodes Exemple : segmentation du cerveau avec information a priori et modèle non-locale Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 42 / 49

Segmentation de régions Autres méthodes Exemple : segmentation du cerveau avec information a priori et modèle non-locale Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 43 / 49

Segmentation de régions Autres méthodes Exemple : segmentation des vaisseaux sanguins avec gradient et Level Sets Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 44 / 49

Segmentation de régions Autres méthodes Exemple : segmentation du corpus callosum avec gradient et Watershed Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 45 / 49

Segmentation de régions Autres méthodes Exemple : segmentation avec tractography Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 46 / 49

Segmentation de régions Autres méthodes La segmentation Lecture: Jennifer Campbell (ELE8812) Segmentation d'images 29-31 mars 2016 47 / 49