1/39
Introduction 2/39
Introduction 3/39
Introduction Approches GLOBALES: Approches LOCALES: Approches HYBRIDES: histogrammes region growing, contours split & merge, CSC 4/39
Histogrammes Zone «vert» teinte => Segmentation dans un espace dérivé de l image 5/39
Recursive Histogram Splitting (RHS) Ohlander (1975); Ohta, Kanade,Sakai (1980) Chaque pixel est décrit selon certains channels: R,G,B,H,S,V, => L algorithme travaille sur plusieurs histogrammes, un par channel H R H G H B MAX Image initiale Réinjection des régions de taille suffisante voisinage Retroprojection de la fenêtre de l histogramme Suppression de la région extraite 6/39
Recursive Histogram Splitting (RHS) 7/39
Croissance de région (Region Growing) amorce croissance région finale Le point amorce peut être choisi soit par un humain, soit de manière automatique en évitant les zones de fort contraste (gradient important) => méthode par amorce. Si le critère d homogénéité est local (comparaison de la valeur du pixel candidat et du pixel de la frontière) => méthode linéaire. 8/39
Croissance de région (Region Growing) Seuil S: P 1 == P 2 ssi Diff(Col(P 1 ),Col(P 2 )) < S 1 1 2 2 3 y x val=? x==y: x<>y: val = x mettre à jour l index Extremité(x) y 1 1 1 1 1 y y x val=? x val=? val = y val = Z (nouvel index) 1 1 2 2 3 31 while (swap[x]!=x) x = swap[x]; 9/39
Croissance de région (Region Growing) Test local (pixels voisins) ou statistique global (calcul sur la couleur moyenne de R) 10/39
Croissance de région (Region Growing) 11/39
Split & Merge Horowitz, Pavlidis (1976), Dubuisson, Jain (1993) Phase 1 : Créer les zones homogènes = SPLIT Phase 2 : Les regrouper = MERGE SPLIT: L image est stockée dans un arbre. Initialement, arbre racine = image complète Récursivement, chaque feuille F est subdivisée en quatre si elle n est pas assez homogène, et les quatre sous images sont ajoutée en tant que feuilles de F. L algorithme poursuit tant qu il reste des feuilles non homogènes à diviser. 12/39
Split & Merge Homogénéité = critère sur la variance Image initiale Split 1 Split 2 Split 3 13/39
Split & Merge Construction du RAG Region Adjacancy Graph Quadtree Connecte les régions adjacentes Arrêtes = mesures de différence d homogénéité RAG 14/39
Split & Merge MERGE: Chaque nœud du Region Adjacency Graph est examiné. Si un des voisins de ce nœud est à une distance inférieure à un seuil de regroupement, les deux nœuds fusionnent dans le RAG. Lorsque plus aucun nœud ne peut fusionner avec l un de ses voisins, STOP. La distance en terme d homogénéité de régions est portée par l arrête valuée qui les relie dans le RAG 15/39
Split & Merge Original Split & Merge 16/39
Algorithme CSC (Color Structure Code) Rehrmann (1994) pixel shift Ilot niveau 1 17/39
Algorithme CSC (Color Structure Code) Ilot de niveau 1 Ilot de niveau 0 Pixel Ilot de niveau 2 Structure sous-jacente: arbre 18/39
Algorithme CSC (Color Structure Code) PHASE 1 : INITIALISATION Localement pour chaque îlot de niveau 0, on construit une partition en éléments (de niveau 0). élement = région de couleur homogène élement (niveau 0) pixel îlot (niveau 0) 19/39
Algorithme CSC (Color Structure Code) PHASE 2 : REGROUPEMENT Élément niveau 1 (n+1) On Les se considère éléments place dans les de éléments niveau un ilôt de n sont de niveau regroupés n+1 (ici n en contenus n=0, éléments pour dans de l exemple) niveau les îlots n+1 de si: niveau n Ils sont de couleur proche Ils se touchent Élément niveau 0 (n) Propriété: deux éléments de niveau n se touchent ssi ils possèdent au moins un élément de niveau n-1 en commun. Îlot de niveau 1 (n+1) 20/39
Algorithme CSC (Color Structure Code) PHASE 2 : REGROUPEMENT Les éléments sont structurés sous forme d arbre, tout comme les îlots Elements de niveau n: n+1: 21/39
Algorithme CSC (Color Structure Code) PHASE 2bis : DECOUPAGE Le problème du chaînage d éléments localement identiques n est pas résolu à ce stade (Problème du gradient) L algorithme CSC permet de gérer ce problème dans la phase de découpage, qui a lieu en parallèle de la phase de regroupement. Découpage: Que se passe-t-il dans la phase de regroupement lorsque deux éléments de niveau n sont connectés mais de couleurs incompatibles?? 22/39
Algorithme CSC (Color Structure Code) DECOUPAGE îlot niveau n îlot niveau n+1 élément E2 (n+1) élément S1 (n) élément S2 (n) élément S (n) élément E1 (n+1) S n est pas encore complètement séparé => découpage S appartient récursif à la fois à E1 et E2 (sont S attribué de E1 existence à car E1 ou il reste est garantie E2? une Attribution intersection par à celui avec dont les propriétés du réseau de recouvrement la couleur S1 et est S2 hexagonal) la plus proche (ici E2) 23/39
Algorithme CSC (Color Structure Code) Original Split Algorithme & Merge CSC 24/39
Contours Actifs (snakes) Kass, Witkin, Terzopoulos (1987) Un exemple classique Le «snake» se contracte et s adapte à la forme de l horloge 25/39
Contours Actifs (snakes) P 9 P 8 P 10 P 7 P 11 P 6 P 3 P 1 P 2 P 4 P 5 Propriétés intrinsèques Longueur, courbure Propriétés locales de l image autour du snake 26/39
Contours Actifs (snakes) Comportement dynamique du snake? Minimiser l énergie totale (interne + externe) Calculer les forces à appliquer à chaque point de contrôle de telle sorte que l énergie soit minimisée 27/39
Contours Actifs (snakes) Exemple d énergie INTERNE: Energie de contraction élastique Force élastique sur le point de contrôle i Comportement: tend à rétrécir le snake, tout en maintenant une répartition homogène des espaces entre les points de contrôle. Forme limite: le point. 28/39
Contours Actifs (snakes) Exemple d énergie INTERNE: Energie de courbure Tend à redresser le snake et à limiter la courbure. Forme limite: le cercle Exemple d énergie EXTERNE (Image): Zones brillantes ou sombres: Contours en tant que maxima de la norme du gradient: Répulsion d une zone: 29/39
Contours Actifs (snakes) Energie élastique Energie de courbure Zones brillantes 30/39
Algorithme «ConDensAtion» Condensation = Conditional Density Propagation (algorithme de type contours actifs ) Algorithme probabiliste intégrant: des informations contextuelles des connaissances a priori une intégration temporelle (tracking) 31/39
Algorithme «ConDensAtion» X = espace de description des contours (=> connaissances a priori sur la forme à segmenter) Z = espace de description des observations Approche probabiliste bayesienne pour les contours actifs: Prior: modélisation a priori des contours possibles Likelihood of X ou modèle observationel: modélisation des observations attendues pour un contour donné. Choix de X: 32/39
Algorithme «ConDensAtion» Factored Sampling algorithm (approche du type «Filtrage Particulaire»): Principe général: on construit itérativement un ensemble de points dans l espace de recherche, tels que leur répartition corresponde à la densité de probabilité recherchée. Un des avantages: modélisation utilisable pour des densités quelconques et pas uniquement gausiennes. Exemple dans le cas de la segmentation par contours actifs: 1. A partir d un prior p (X), générer une population de points {s (1),,s (N) } 2. Associer à chaque s (i) un poids donné par π (i) et échantillonner selon (s (k),π (k) ) 33/39
Algorithme «ConDensAtion» Condensation = Conditional Density Propagation Entrée: l échantillon au temps t k-1 soit : Sortie: un nouvel échantillon au temps t k Itérer Construction de la sortie: 0 1. Sélectionner un échantillon de la façon suivante: a. Générer un nombre aléatoire r dans [0,1] b. Trouver le plus petit j tel que c. Choisir 2. Prédire en échantillonnant sur pour choisir les. Par exemple, pour une dynamique Auto Regressive linéaire, utiliser: 3. Mesurer et pondérer les nouveaux échantillons selon: Puis, normaliser de telle sorte que Avec et stocker sous la forme 34/39
Algorithme «ConDensAtion» Exemple simple de modèle d observation, dans un cas monodimensionnel: z 1 z 2 z 3 z 4 P(Z/X) x 35/39
Algorithme «ConDensAtion» Condensation : Schéma de fonctionnement 36/39
Autres Approches Algorithmes spécialisés: Segmentation de visages, segmentation sur des patterns de mouvement (détection du profil de mouvement d un piéton qui marche), détection par la chaleur, le mouvement, etc 37/39
Autres Approches L une des grandes révolution de ces dernières années: les algorithmes de détection d image dans l image; SIFT(1999), SURF(2006) 38/39
SIFT 39/39
SIFT 39/39
SIFT 39/39
Conclusion Existe-t-il une meilleure technique de segmentation? Non, tout dépend du contexte, de l application Dans sa catégorie (segmentation région selon couleur à base de merge/split), CSC est souvent le meilleur Existe-t-il une «super technique», peut être encore inconnue, qui obtienne de très bon résultats en segmentation? Non, en l absence de contexte, la quantité d information disponible est limitée. Les algorithmes du type CSC ne sont probablement pas loin de l optimum. Mais le cerveau obtient de bien meilleurs résultats Quelle est le secret? Problème très difficile (50 ans de recherche et pas de solution) Pistes crédibles: - utilisation du contexte, vision liée aux objectifs, apprentissage, énorme bibliothèque d algorithme spécifiques (reco visages par exemple) 42/39