Morpologie matématique 2D et 3D Application en analyse d image Morpologie matématique : introduction Téorie de traitement non linéaire de l information introduite en France dans les années 60 par G. Materon et J. Serra Ecole des Mines de Paris, aujourd ui largement utilisée en analyse d images. Contrairement au traitement linéaire des images, la morpologie matématique repose sur la téorie des ensembles, ce qui en fait une discipline relativement «auto-contenue» et formant un tout coérent. Offre un cadre algébrique naturel pour l analyse et le traitement t d images binaires et numériques Outil puissant pour l extraction de l information géométrique dans les images 1
Morpologie matématique : introduction L approce morpologique consiste à extraire de la connaissance de l image à partir des réponses fournies à différents tests transformations ns Élément structurant «sonde» Transformations non-linéaires critères de taille forme orientation connexité... Morpologie matématique : introduction L approce morpologique consiste à extraire de la connaissance de l image à partir des réponses fournies à différents tests transformations ns Exemple Élément structurant test «contient» taille, forme, orientation, > analyse quantitative, spatiale, 2
Morpologie matématique : introduction La morpologie matématique trouve un large panel d applications allant dès plus concrètes aux plus ludiques Contrôle nonnon-destructif par gammagamma-radiograpie soudures dans une centrale nucléaire EDF Suivi du taux de croissance des cellules d E. d E. coli Morpologie matématique : introduction La morpologie matématique trouve un large panel d applications allant dès plus concrètes aux plus ludiques Segmentation d objets vidéos pour la compression et transmission à bas débit du langage des signes Séquence «Austerlitz» Séquence «J adore mes enfants» Compression de formes par squelette 3
Morpologie matématique : introduction La morpologie matématique trouve un large panel d applications allant dès plus concrètes aux plus ludiques Segmentation et analyse des voies respiratoire en TDM volumique analyse granulométrique Morpologie matématique : introduction La morpologie matématique trouve un large panel d applications allant dès plus concrètes aux plus ludiques Imagerie médicale au sens large 4
Morpologie matématique : introduction La morpologie matématique est définie aussi bien dans l espace continu que dans l espace discret En analyse d image, c est le cadre discret qui s applique Pour commencer, quelques notions de géométrie discrète seront présentées. Du continu au discret : pavages, maillages et images discrètes Pavages de l espace Un pavage est une partition de l espace R n en une famille de parties { P i } ii tel que : U P i i I R n Rome, III s. ap.. JC i,j I x I, P i P j P i s appellent tesselles pixels en R 2, voxels en R 3 Musée national du Palazzo Massimo, Rome 5
Du continu au discret : pavages, maillages et images discrètes Pavages du plan - pavages réguliers Dans le cadre du plan R 2, il n existe n que 3 pavages réguliers, r i.e. respectant les conditions suivantes : P i sont tous identiques, P i sont des polygones réguliers i.e. convexes, côtés et angles égaux caque sommet de P i est en contact avec d autres sommets Pavé triangulaire Pavé carré Pavé exagonal Du continu au discret : pavages, maillages et images discrètes Pavages et maillages A tout pavage on peut associer un grape dont les sommets représentent les tesselles, et dont les arêtes représentent la relation d'adjacence entre tesselles 2 tesselles sont adjacentes si elles ont un côté en commun. Un tel grape est un maillage du plan. Les pavages et les maillages réguliers sont des représentations duales du plan discret : 6
Du continu au discret : pavages, maillages et images discrètes Propriétés des pavages réguliers Le coix du type de pavage régulier en analyse d'images se fonde sur certaines propriétés du pavage : Conformité à la géométrie du capteur Récursivité multi multi-résolution Nombre de directions représentées Extension aux dimensions supérieures Représentation dans Z n Du continu au discret : pavages, maillages et images discrètes Propriétés des pavages réguliers Pour ces raisons, la maille carrée en 2D, ou cubique en 3D est la plus utilisée en analyse d'image L'espace discret est alors représent senté par Z n Donc, un pixel 2D ou un voxel 3D est un élément de Z n 7
Du continu au discret : pavages, maillages et images discrètes Image binaire Soit Z n l'espace discret Une image binaire I est définie d comme un sous-ensemble de Z n : I Z n Représentation «pavages» Le pixel p Z n sera représente en noir ci-contre contre ssi pi Représentation «maillages» Du continu au discret : pavages, maillages et images discrètes Image numérique Soit Z n l'espace discret Une image numérique F est définie d comme une fonction de Z n à valeurs entières : F : Z n Z ou N Le pixel p Z n sera représente avec un niveau de gris proportionnel à Fp 8
Du continu au discret : Topologies dans la maille carrée La topologie dans les images discrètes est construite à partir de la relation de connexité induite par le grape du maillage,s, oùo représente les sommets et S les arêtes : Z 2 ; S Z 2 Deux points x et y de sont appelés adjacents si : x y x, y S Dans la maille carrée, deux types de relations d'adjacence peuvent être considérées : Dans la maille cubique, trois types de relations d'adjacence peuvent être considérées : 6-c 18-c 26-c Du continu au discret : Cemins et composantes connexes La clôture transitive de la relation d'adjacence est une relation d'équivalence : «il existe un cemin connexe entre x et y» : x ~ y { x 1,.,x n } tels que x x 1,, x i x i1, x n y Les classes d'équivalence de la relation «~» s'appellent les composantes connexes de 11 composantes 4-c4 10 composantes 8-c8 1 composante 4-c c / 8-c8 9
Du continu au discret : Trous et téorème de Jordan Une courbe de Jordan est une courbe simple fermée arc Γ injectif sur [0,1 et tel que Γ0 Γ1 Téorème de Jordan Une courbe de Jordan sépare le plan en deux parties : l intérieur et l extérieur de la courbe Relation d entourage : On dit qu une composante de l ouvert resp. du complémentaire entoure une composante Y du complémentaire resp. de l ouvert s il existe une courbe de Jordan Γ incluse dans telle que Y est inclus dans l intérieur de Γ Y Γ Du continu au discret : Trous et téorème de Jordan Le téorème de Jordan n est pas valide dans la maille carrée... C 8-connexité objet courbe fermée et pas de séparation de l espace 4-connexité objet 2 composantes connexes et la relation d entourage n est pas respectée pour le fond 10
Du continu au discret : Trous et téorème de Jordan...sauf si l on considère des topologies différentes pour l objet t et pour le complémentaire 8,4-connexité 4,8-connexité objet courbe fermée 8-c avec séparation de l espace 4-c objet 2 composantes connexes 4-c et la relation d entourage est respectée pour le fond 8-c Du continu au discret : Trous et téorème de Jordan Exemple : combien de composantes connexes et de trous y a-t-il a 1 pour la 8-4 4-connexité? 2 pour la 4-8 8-connexité? 11
Structures de base Traitement linéaire du signal Morpologie matématique La structure fondamentale dans le cas linéaire est l espace vectoriel ensemble de vecteurs V ensemble de scalaires K tel que : 1 V muni de l addition est un groupe commutatif, 2 K est un corps, 3 il existe une loi de multiplication externe entre scalaires et vecteurs La structure fondamentale est le treillis complet,, ou l ensemble L tel que: 1 L est muni de l ordre partiel : a a réflexivit flexivité a b, b a > a b anti-sym symétrie a b, b c > a c transitivité 2 Pour toute famille d éd éléments { i } de L, il existe dans L un supremum et un infimum,, i.e. Inf le plus grand minorant { i } Sup le plus petit majorant { i } Morpologie matématique Opérateurs Ψ définis d sur des ensembles R n, image binaire, f : R n {0, 1} treillis ensembliste Morpologie numérique Opérateurs ψ f définis d sur des fonctions f : R n R treillis des fonctions 12
Morpologie matématique : construction Construction des nouveaux opérateurs par composition Γx ΦΨx par différence complexité, ricesse des propriétés Λx Φx Ψx Morpologie matématique : construction Opérations de Minkowski dans R n Définitions : Soit R n et b R n On appelle b {x x b x } b le translaté de par b b b b On note le transposé de { x x } N : Si est symétrique, 13
Morpologie matématique : construction Opérations de Minkowski dans R n Définitions : Soit, R n. L addition de Minkowski de et est définie par : U b b La soustraction de Minkowski de par est définie par : Θ I b I b b b Construction élément structurant relation d ordre E E R n, Ζ n, etc Opérateurs binaires croissants 1 Ψ Ψ 1 1 2 Ψ 1 Ψ 2 invariants aux translations 2 Ψ 2 Ψ Ψ Ψ Ψ 14
Dilatation Ψ δ 1 2 Ψ δ 1 Ψ δ 2 - croissant Dilatation invariante aux translations addition de Minkowski Ψ δ U b b - implantation sous-optimale optimale o b N.. La définition suivante est également rencontrée, en littérature ture française, mais nous utiliserons la précédente : Ψ b δ U b Dilatation Ψ δ 1 2 Ψ δ 1 Ψ δ 2 - croissant Dilatation invariante aux translations : addition de Minkowski Ψ δ { E } { b b } transposé o 15
Dilatation Ψ δ { E } Dilatation Ψ δ { E } 16
Dilatation Ψ δ { E } Exercice : calculez le résultat Dilatation Ψ δ { E } { b b } Ψ δ - opérateur extensif, Ψ δ, si contient l originel n ρ { x R, x, } 0, ρ ρ 17
Dilatation Ψ δ { E } { b b } Ψ δ - opérateur extensif, Ψ δ, si contient l originel O Erosion Ψ ε 1 2 Ψ ε 1 Ψ ε 2 - croissant Erosion invariante aux translations : soustraction de Minkowski Ψ ε I b b Θ - implantation sous-optimale optimale o Θ - b 18
Erosion Ψ ε 1 2 Ψ ε 1 Ψ ε 2 - croissant Erosion invariante aux translations : soustraction de Minkowski ε Θ { E } Ψ o Θ Erosion ε Θ { E } Ψ 19
Erosion ε Θ { E } Ψ Erosion ε Θ { E } Ψ Exercice : calculez le résultat 20
Erosion ε Θ { E } Ψ Erosion ε Θ { E } Ψ Ψ ε - opérateur anti-extensif, Ψ ε, si contient l originel n ρ { x R, x, } Θ 0, ρ 21
Erosion ε Θ { E } Ψ Ψ ε - opérateur anti-extensif, Ψ ε, si contient l originel O Propriétés algébriques des opérateurs de base Polyèdres de Steiner dans R n Exploitent la composition en série : 1 2 1 2 Θ 1 Θ 2 Θ 1 2 Possibilité de construction des ES convexes à partir de segments : en R 2 en R 3 Avantage implantation informatique! 22
Implantation des opérateurs de base Ex. dilatation Y Implantation triviale : carré de côté c Initialisation : p Y, Yp 0 alayage dilatation : p Y b Yp Yp p - b c 2 tests complexité Implantation des opérateurs de base 1 1 1 c/2 fois 1 8 x c/2 tests 4c4 complexité 23
Implantation des opérateurs de base Décomposition en segments 1 2 2c tests 2c2 complexité Conclusion sur les opérateurs de base La dilatation et l érosion sont des opérations non réversibles! Elles sont des opérations duales, pas inverses! dilatation Ψ δ δ Ψ complément complément C érosion Ψ ε ε C Ψ 24
Transformées en tout ou rien «Hit or Miss» transform Ψ m A, { E A et C } A, éléments structurants tels que A A A, A, Θ A C Θ Transformées en tout ou rien «Hit or Miss» transform A, Θ A C Θ Détection de configurations géométriques spécifiques A 25
Transformées en tout ou rien «Hit or Miss» transform A, Θ A C Θ Détection de configurations géométriques spécifiques A Transformées en tout ou rien «Hit or Miss» transform Exercice : trouver A et afin de détecter les structures verticales et obliques d épaisseur unitaire A,? 26
Ouvertures et fermetures par adjonction Problème de filtrage inverse : étant donné un ensemble E, il peut provenir de plusieurs ensembles Y par érosion avec le même ES,. Trouver le plus petit ensemble Y. Y i Y min Ouverture morpologique Ψ Ψ δ Ψ Y ε i Y min Ψ δ Ψ δ Ouverture En général, une ouverture est un opérateur : croissant anti-extensif idempotent 1 2 Ψ Ψ Ψ Ψ Ψ 1 Ψ 2 L ouverture est fermée par rapport à la réunion : Ψ i ouvertures UΨ i est une ouverture i 27
Ouverture invariante aux translations o Θ - idempotent, invariant aux translations o { E et } Ouverture o Θ o { E et } o anti-extensif o 28
Ouverture o Θ Exercice : dessinez le résultat Ouverture o Θ Exercice : dessinez le résultat 29
Ouverture o Θ o { E et } o anti-extensif 0, ρ Ouverture o Θ o { E et } o anti-extensif O 30
Fermeture En général, une fermeture est un opérateur : croissant extensif idempotent 1 2 Ψ Ψ Ψ Ψ Ψ 1 Ψ 2 La fermeture est fermée par rapport à l intersection : Ψ i fermetures IΨ i est une fermeture i Fermeture Θ - idempotent, invariant aux translations { u E tel que u } u u 31
Fermeture Θ { u E tel que u } Fermeture Θ { u E tel que u } 32
Fermeture Θ Exercice : dessinez le résultat Fermeture Θ Exercice : dessinez le résultat 33
Fermeture Θ extensif { u E tel que u } 0, ρ Fermeture Θ extensif { u E tel que u } O 34
Opérateurs de base Effets de bord : exemple fermeture Utiliser un ES de taille décroissante près des bords perte de l invariance l aux translations Opérateurs de base Effets de bord : exemple fermeture Étendre le support de l image 35
Granulométrie, anti-granulométrie et mesures L analyse granulométrique est l étude de la taille des objets fondée sur le principe du tamisage : sélection des objets par un ensemble de tamis de différentes tailles. Les objets «refusés» par des tamis de taille λ seront «refusés» par des tamis de taille µ< λ Une granulométrie peur être définie par une famille d ouvertures de taille croissante γ λ λ > 0 tel que 0 λ 1 λ 2 γ γ γ γ γ γ γ γ γ 1 λ2 λ2 λ1 λ 2 λ Ex. Ouvertures par des ES disques Granulométrie - exemple La famille des opérateurs duaux fermetures de taille croissante est une anti-granulométrie : 36
Granulométrie, anti-granulométrie et mesures Représentation visuelle Granulométrie, anti-granulométrie et mesures Représentation visuelle Algoritme : Initialisation : I gran 0 Mise à jour progressive : I λ 0 gran I [ λ 1 γ ] gran λ avec - l ensemble initial 37
Fonction de distribution granulométrique Soit µ une mesure bornée sur un treillis E aire, intégrale Pour x E,, on note x λ resp. x -λ l image de x par l opérateur de granulométrie resp.d anti-granulométrie d indice λ. On note µ x λ F x λ 1 la fonction de distribution sur x de la granulométrie γ γ λ λ µ x 0 F λ F x λ Spectre granulométrique Le spectre granulométrique est la dérivée de la fonction de distribution granulométrique : f λ F ' λ x x Dépendance de l élément structurant 38
Spectre granulométrique Le spectre granulométrique est la dérivée de la fonction de distribution granulométrique : f λ F ' λ x x Dépendance de l élément structurant Spectre granulométrique Le spectre granulométrique est la dérivée de la fonction de distribution granulométrique : f λ F ' λ x x Dépendance de l élément structurant 39
Spectre granulométrique Transformée de Fourier Parallèle avec le traitement linéaire du signal Analyse granulométrique spectre granulométrique spectre de Fourier amplitude analyse des fréquences spatiales de l image analyse de la «granularité» des objets - décomposition en une famille de «boules» de tailles différentes Opérateurs morpologiques par différence Gradients et laplacien morpologiques Traitement linéaire de l image Gradient 2 I I I u, v u, v u, v x y 2 Laplacien 2 2 I I I u, v u, v u, v 2 2 x y 0 1 0 1-4 1 0 1 0 1 1 1 1-8 1 1 1 1 40
Gradients morpologiques Gradient centré Ψ grad \ Θ el. str.. contenant l origine 4-c4 8-c8 Gradients morpologiques Gradient latéral extérieur Ψ grad \ el. str.. contenant l origine 4-c4 8-c8 41
Gradients morpologiques Gradient latéral intérieur Ψ - grad \ Θ el. str.. contenant l origine 4-c4 8-c8 Ψ grad toujours positif! Laplacian morpologique Λ Ψ grad -Ψ - grad el. str.. contenant l origine Ψ grad Ψ - grad Λ 42
Filtres morpologiques Ψ - filtre morpologique si opérateur : croissant idempotent 1 2 Ψ Ψ Ψ Ψ 1 Ψ 2 Si Ψ 1, Ψ 2 filtres, etψ 1 Ψ 2 ou Ψ 2 Ψ 1 alors Ψ 1 Ψ 2, Ψ 2 Ψ 1, Ψ 1 Ψ 2 Ψ 1, Ψ 2 Ψ 1 Ψ 2 sont également des filtres o et sont des filtres morpologiques, o Construction d une classe de filtres à partir des ouvertures et fermetures! Filtres morpologiques Filtres alternés open-close et close-open open : FA oc, k Π k o k k FA oc FA co, k Φ k k o k FA co k { origine }, k0, k 1 k-1 1 fois Filtres alternés s séquentiels s open-close et close-open open : FAS oc, k Π k Π k-1 Π k-2. Π 1 FAS co, k Φ k Φ k-1 Φ k-2. Φ 1 43
Filtres alternés open-close et close-open open FA oc, k o k k FA oc FA co, k k o k FA co FA oc, 3 FA co, 3 Filtres alternés open-close et close-open open FA oc, k o k k FA oc FA co, k k o k FA co o o 44
Filtres alternés séquentiels open-close et close-open open FAS oc, k FAS co, k FAS oc, 1 2 3 FAS co,, 1 2 3 Filtres alternés séquentiels open-close et close-open open Comparatif FA vs.. FAS FA oc, 3 FAS oc, 3 FA co, 3 FAS co, 3 45
Dilatation conditionnelle Ψ δ M M N est pas invariant aux translations! Utile pour la définition des opérateurs géodésiques M M Reconstruction conditionnellement à un marqueur opérateur géodésique Reconstruction image marqueur 46
Reconstruction conditionnellement à un marqueur opérateur géodésique Ψ δ Y Y Si el. str.. de taille unitaire, H 0, ρ 1 dilatation géodésique de taille 1 : 1 Y Y H dilatation géodésique de taille n : n 1 n 1 Y Y R reconstruction binaire : Y Y Y oucage de trous opérateur géodésique Qu est qu un un trou? Influence de la connexité - téor orème de Jordan Algoritme 8-connexité 4-connexité 47
Suppression des particules toucant le bord Soustraction des composantes connexes aux bords Etiquetage de particules Calcul du nombre de composantes connexes dans l image Tri de composantes par rapport à une mesure ex. surface 48
Erodées ultimes Utile pour identifier les composantes connexes qui disparaîtront lors des érosions successives avec un ES donné ult n 0 U[ \ n R ] n n 1 E avec et Θ n 0 n 1 n Erodées ultimes Utile pour identifier les composantes connexes qui disparaîtront lors des érosions successives avec un ES donné Correspondance avec les maxima régionaux de la fonction distance 49