Extraction de Contours

Transcription

1 Extraction de Contours Michèle Gouiès À quoi ça sert? Réduction d'information / matrice d'intensité. Déscription de forme (courbure, points particuliers) en vue d'une reconnaissance. Atout des contours : bonne robustesse/ variations d'éclairage.

2 Première partie I Contours : théorie et généralités

3 Contours dans l'image Pixels de contour = Pixels situés dans des zones locales de forte discontinuité d'intensité, de couleur ou de texture. Rechercher les contours rechercher des régions (les approches sont duales) Images et gradients Prols d'intensité

4 Contours : leurs origines

5 Approches dérivatives Hypothèse : l'image numérique = échantillonnage d'une fonction continue à support borné et continument dérivable. Les dérivées dans les deux directions (x, y) dénissent la courbure de la surface 2D représentée par l'intensité Dérivées premières : <0 ou >0 dans le voisinage d'un contour et 0 dans des régions homogènes Dérivées secondes : passage par 0 à proximité d'un contour

6 Dérivées Dérivée première Approximation : développement en série de Taylor I I (x 0 + h x, y 0 + h y ) = I (x 0, y 0) + h x I x + h y x 0,y 0 y x 0,y 0 I (x, y) x I (x, y) y I (x + h x, y) I (x, y) = lim h x 0 h x = lim h y 0 I (x, y + h y ) I (x, y) h y

7 Dérivée de l'image : le vecteur gradient Gradient d'une fonction à deux variables (x,y) (d'autres directions peuvent être considérées) I Le gradient : I =, I x y Le gradient dénit l'orientation d'un contour au pixel considéré (x, y) : dirigé selon la direction de plus fort changement d'intensité (perpendiculaire au contour) Module du r gradient : = force du contour 2 2 G = I = I x + I y Argument du gradient = orientation : φ = arctan I y I x!

8 Dérivées secondes Laplacien Dérivées secondes de l'image =0 au niveau des contours 2 I = 2 I x I y 2 Laplacien nul lorsque les deux dérivées secondes (en x et y) sont nulles Opérateur linéaire et symétrique en rotation Exemple

9 Remarque sur le bruit de la dérivation L'utilisation des dérivées secondes mène à des résultats plus bruités que les dérivées premières Exemple Soit une image I bruit le résultat de la somme d'une image non-bruitée I lisse avec un bruit de fréquence spatiale donnée et d'amplitude ɛ, de sorte que : I bruit = I lisse + ɛ sin(ωx) Dérivée première I bruit = I lisse + ɛω cos(ωx) Dérivée seconde I bruit = I lisse + ɛω 2 sin(ωx) Dans cet exemple, plus l'ordre de la dérivée augmente, plus l'amplitude du bruit croît. Lissage nécessaire avant utilisation des dérivées secondes

10 Filtrage Filtrer avant de dériver? Si l'opérateur de dérivation est linéaire opérateur associatif et commutatif (convolution) Soit I (x, y) (l'image) et f (x, y) (un ltre de lissage) deux fonctions L 2 dérivables avec l'opérateur O x,y (dérivation) alors : O x,y (I (x, y) f (x, y)) = O x,y (I (x, y)) (x, y) = I (x, y) O x,y (f (x, y)) Filtrage linéaire : L'ordre dans lequel se font le lissage et la dérivation n'a pas d'importance (convolution) Filtrage non-linéaire : Filtrage avant dérivation.

11 Deuxième partie II Calcul des dérivées de l'image Approche naïve Approche par convolution Détecteurs basés sur le gradient Détecteurs basés sur le Laplacien : LOG, DOG Méthodes avancées : gradients adaptatifs de Canny, Shen et Castan.

12 Gradient : passage du continu au discret Dérivée d'une fonction continue f (1D) f (x) = lim h 0 f (x + h) f (x) h Dérivée d'une fonction discrète I : h vaut au minimum 1 (discrétisation). f [i] = f [i + 1] f [i] Image noir-blanc de 0 à 255 Diérence des intensités I(i,j)-I(i-1,j) image de -255 à 255. Normalisation, valeur absolue. Les pixels du bord ne sont pas traités.

13 Gradient : Approche simpliste Contours horizontaux Nécessité de composer avec des contours verticaux I(i,j)-I(i,j-1) Norme euclidienne entre les deux directions Les + : Détecteur facile à mettre en uvre, rapide Les - : Peu robuste au bruit, détecte trop de contours

14 Gradient : Approche par convolution Convolution Convolution d'une fonction dicrète f par une fonction discrète g : + X + X f g(i, j) = f (i, j)g(u i, v j) u= v= Exemple : convolution d'une image I 1 par un noyau K de taille k k k 1 X k 1 X I 2 (i, j) = I 1 (i + u k 2, j + v k )K(u, v) 2 u=0 v=0 Remplacer chaque pixel par la somme des produits des éléments du masque avec les pixels correspondant, en centrant le masque sur (i, j).

15 Gradient : Approche par convolution Illustration Détecteur naïf horizontal

26 Gradient : Détecteur de Roberts (1965) Dérivées selon les directions horizontale/verticale. « K x = K y = «I x = I K x et I y = I K y Module du contour (force) : soit la norme du vecteur [I x, I y ] T soit max(i x, I y ) Orientation du contour = arctan Iy I x «. Inconvénient Bruits de hautes fréquences ampliés. Solution : au préalable un ltrage passe-bas (lissage) : gaussien ou moyenneur.

27 Gradient : Détecteur de Sobel (1970) Combinaison lissage + dérivée. Masque antisymétrique. La somme des coecients est nulle. Noyaux de convolution Noyau de détection de contours verticaux K x et horizontaux K y : K x = A Ky = A Facteurs 1/4 : obtenir la même dynamique en sortie et en entrée Filtre 3 3 un peu moins précis (contours moins bien localisés, contours épais) MAIS : contours localisés sur un pixel (et non entre 2 pixels)

28 Gradient : Détecteur de Prewitt (1970) Utilise d'autres directions / Sobel Valeur absolue maximale des convolutions obtenues avec les noyaux suivants (4 directions) : A A A A

29 Gradient : Détecteur de Kirsch (1971) Convolution 0 par 8 noyaux 1 diérents 0 (4 paires 1 de 2 noyaux symétriques) A A G , φ A A A A G 2,φ 2 1 A G 3, φ 3 1 A G 4, φ 4 Calcul de 4 modules de gradient (G 1 à G 4). Le module du gradient de Kirsch= module maximum. Orientation du gradient = orientation du gradient de module maximum.

30 Gradient de Sobel : exemple Image Originale Détecteur de Sobel

31 Gradient de Prewitt : exemple Image Originale Détecteur de Prewitt

32 Gradient couleur Méthode marginale Calcul du gradient sur chaque plan couleur : G R (x, y), G G (x, y), G B (x, y) (x, y). Recherche du gradient maximum : G(x, y) = max(g R (x, y), G G (x, y), G B (x, y)). La direction du gradient est donnée par la direction du gradient maximal. Méthode vectorielle (DiZenzo) Recherche de la direction dans laquelle les variations sont les plus élevées par calcul d'une diérence vectorielle. Méthode basée sur l'hypothèse que l'image est de classe C 2 (lissage gaussien nécessaire). Soient deux pixels voisins p et q. La variation couleur est donnée par C(p, q) = C(q) C(p).

33 Gradient couleur Méthode vectorielle (suite) Distance couleur pour un déplacement innitésimal (dx, dy) : dc = C C dx + dy x y Distance exprimée par son module : d C 2 = C x 2 dx C x C y dxdy + C y 2 dy 2 Forme quadratique : dc 2 = adx 2 + 2b.dx.dy + cdy 2 avec : a = (G x R ) 2 + (G x G ) 2 + (G x B ) 2 b = (G x R )(G y R ) + (G x G )(G y G ) + (G x B )(G y B ), c = (G y R ) 2 + (G y G ) 2 + (G y B ) 2 Gradient vectoriel. Recherche de la direction (dx, dy) de plus fort gradient et calcul du module associé (résoudre l'éq. quadratique). Amplitude «du gradient donnée par la plus grande valeur propre de a b λ = 0, 5(a + c + p (c a) b c 2 + 4b)). Argument donné par la direction du vecteur propre associé à λ : θ + = 0.5atan. 2b a c

34 Dérivées secondes : Laplacien Méthode de Laplace Pour exemple, calcul de la dérivée seconde selon x : I x I x I x 1 (I (x + 1) I (x)) (I (x) I (x 1)) = I (x + 1) 2I (x) + I (x 1) 4-connexité A 8-connexité A

35 Laplacien : exemples 4-connexite 8 connexite Dérivée seconde très bruitée (détection de faux contours) nécessité de ltrer

36 Lissage-dérivation : LOG Méthodes proposées par Marr et Hildreth en 1980 (inspirés des systèmes biologiques) Objectif La convolution est associative : (I g) f = I (g f ) Lissage et dérivation eectués à l'aide d'un même ltre Filtrage de l'image avec la dérivée du ltre de lissage Moins de complexité algorithmique Le Laplacien de la gaussienne peut être précalculé Compromis Entre la réduction du bruit et la perte d'information ltrage optimal, déterminé par un paramètre de régulation

37 Lissage-dérivation : LOG et DOG Filtrage moyen Filtrage moyen aecte le même poids à tous les pixels de la fenêtre Filtrage gaussien Filtrage gaussien aecte des poids plus importants aux pixels situés à proximité du pixel central (Méthode Laplacien Of the Gaussian LOG) Gaussienne 1D : Gaussienne 2D : G(x) = 1 (x m)2 e 2σ 2 2πσ 2 G(x, y) = G(x)G(y) = 1 (x mx ) 2 +(y my ) 2 2πσ 2 e 2σ 2 Le degré de lissage est contrôlé par σ. Il est requis de choisir un masque de telle sorte qu'il couvre l'intervalle [ 3σ, 3σ].

38 Lissage-dérivation : LOG et DOG LoG (Laplacian of Gaussian) [Marr] Le laplacien de la gaussienne centrée sur 0 et d'écart-type σ : LoG(x, y) = 1» (x mx ) + (y my ) πσ 4 1 σ 2 exp (x mx )2 + (y m y ) 2 2σ 2 Opérateur anisotropique on ne peut pas calculer la direction du gradient DoG (Dierence of Gaussians) Approximer le ltre LoG par la diérence de deux gaussiennes de tailles diérentes

39 Lissage-dérivation : LOG et DOG Laplacian of Gaussian pour deux σ diérents Propriétés intéressantes : ltre invariant en rotation Gaussienne = invariante en rotation.

40 Lissage-dérivation : LOG et DOG Prol du ltre LOG (2 σ diérents)

41 LOG : exemples W = 7 et σ = 1 W = 13 et σ = 2 W = 19 et σ = 3 W = 25 et σ = 4

42 Lissage-dérivation : méthode de Canny (gradient) L'idée de Canny Modéliser le contour comme un échelon noyé dans un bruit gaussien. Rechercher (par optimisation sous contraintes) l'opérateur de convolution θ permettant d'assurer : 1. Une bonne détection des contours (exhaustivité) 2. Une bonne localisation (précision) 3. La non multiplicité des réponses. Résultat La dérivée première d'une gaussienne est une bonne approximation du noyau de convolution attendu : «φ(x) x exp x2 2σ 2 Mise en uvre du détecteur 1) Filtrage gaussien de l'image 2) Gradient de Sobel 3) Détection des maxima locaux du gradient 4) Seuillage par hystérésis

43 Lissage-dérivation : méthode de Shen et Castan Modéliser le contour comme un échelon noyé dans un bruit blanc stationnaire additionnel. Meilleure robustesse de la détection (par rapport à Canny) et une localisation plus précise. Principe du lissage-dérivation Lissage eectué avec le noyau : f 1(x) = β 2 e β x Dérivation : - soit l'image (une fois ltrée) est dérivée (Sobel, Prewitt, etc) - soit l'image (non ltrée) est directement convoluée par le ltre d 1(x) = (dérivée de f 1(x)) : j β d 1(x) = 2 e β x si x 0 β 2 e β x si x 0 β = π/σ dénit la largeur du ltre : plus β est faible (σ fort) et plus le lissage est important.

44 Gradient adaptatif : méthode de Shen et Castan β = 0.1 β = 0.5 β = degrés 45 degrés 90 degrés 135 degrés

45 Gradient adaptatif : méthode de Shen et Castan Détecteur de Shen et Castan β = 0.1 β = 0.5 β = 0.9 Moyenne sur les quatre directions

46 Troisième partie III Localisation des contours Seuillage (et seuillage par hysteresis) de l'image de gradient Détection des maxima dans la direction du gradient Localisation des passages par 0 du Laplacien

47 Localisation des contours : seuillage du gradient Éliminer les points pour lesquels les contours ne sont pas signicatifs : élimination des faux contours Binariser l'image : 1= pixel contour, 0= non contour Binarisation Éliminer pixels dont le module du gradient est < seuil Problèmes : ne prend pas en compte la topologie et contours de largeur > 1 pixel squelettisation ; Diculté de déterminer un seuil unique pour toute l'image Seuillage par hysterésis Utilisation de 2 seuils : Seuil Haut SH et Seuil Bas SB Pixels de gradient > SH sont sélectionnés comme contour Pixels de gradient < SB sont éliminés SB< gradient < SH =contour si il possède un voisin > SH

48 Localisation des contours : seuillage par hystérésis

53 Localisation des contours : seuillage par hystérésis (exemple) Gradient (Shen et Castan α = 0.5) Binarisation (seuil= 30) Binarisation (seuil= 50) Hystérésis (30,50)

54 Localisation des contours : seuillage par hystérésis (exemple) Gradient (Shen et Castan α = 0.9) Binarisation (seuil= 4) Binarisation (seuil= 10) Hystérésis (4,10)

55 Localisation des contours : seuillage par hystérésis (exemple) Détecteur de Shen et Castan, α = 0.5 Seuillage de chaque direction puis fusion par OU logique

56 Localisation des contours : maxima du gradient Contours Lieux du contour=maxima dans la direction du gradient. Recherche en 2 étapes : 1) en chaque point, calcul de la direction du gradient. 2) recherche le long de la direction du gradient Dérivée directionnelle Passage du repère de l'image {x, y} au repère local déni par la tangente t au contour et le gradient g

57 Localisation des contours : maxima du gradient Dérivée directionnelle Passage du repère de l'image {x, y} au repère local (déni par la tangente t au contour et le gradient g) Angle φ entre les deux repères I (x 0 + h cos φ, y 0 + h sin φ) I (x 0, y 0) + h cos φ I x + h sin φ I x 0,y 0 y I g cos φ I x 0,y 0 x + sin φ I x 0,y 0 y x 0,y 0 x 0,y 0 Maximum local g : direction du gradient, G : module du gradient G = g. G = 0 : maximum du module du gradient G le long de l'axe de g direction g. 2 G g 2 < 0 : pour s'assurer qu'il s'agit d'un extremum.

58 Localisation des contours : utilisation du laplacien Généralités Passages par zéro du Laplacien : mettent en évidence les extrema de la dérivée première. Les zéros constituent un réseau de lignes fermées : permet d'éviter des post-traitements de fermeture de contours Deux méthodes (parmi d'autres) 1) Parcourir l'image suivant lignes, colonnes, et déterminer le pixel correspondant à un changement de signe. p 0 p 1 p 2 p 3 Changement de signe en p 0 si (p 0.p 1 < S) ou (p 0.p 2 < S) ou (p 0.p 3 < S) (avec seuil S 0). 2) Seconde technique : morphologie mathématique : détecter zones de laplacien <0 et zones de laplacien >0.

59 Localisation des contours : utilisation du Laplacien Localisation des passages par 0 du laplacien (seconde méthode) Binarisation de l'image : I I b (1 si le laplacien est>0, 0 sinon) Érosion de I b avec un élément structurant 3 3 obtention de I e Soustraction I s = I b I e Pour éviter les faux contours : ignorer les passages par zéro pour lesquels la pente n'est pas assez importante (seuil). Localisation des contours : cas du LOG Après LoG : plus le ltrage gaussien est important (σ grand) : -plus les contours détectés correspondent à des contours importants. -moins la détection est précise.

60 Localisation des contours : utilisation du laplacien I : image du LoG W = 7 et σ = 1 I b : Image binarisation (seuil=0) I e : érosion de I b I s = I b I e puis seuillage

61 Quatrième partie IV Post-traitements des contours Fermeture des contours ouverts Transformée de Hough Morphologie mathématique Description des contours Codage de Freeman Descripteurs de Fourier

62 Fermeture de contours En général, les détecteurs de contours fournissent des contours ouverts (les exceptions : contours actifs, passage par 0 du Laplacien) Or, les traitements en aval (reconnaissance de formes) nécessitent des contours étiquetés. Fermeture de contours Méthodes très nombreuses, en général très coûteuses en temps de calcul : Recherche par graphe. Utilisation d'automate. Détection de formes par transformation de Hough. Prolonger le contour suivant la tangente (jusqu'à ce qu'il intersecte un autre contour) Par morphologie mathématique : fermeture par dilatation-érosion. identier toutes les congurations possibles de pixels contour à fermer.

63 Fermeture de contours : utilisation de la transformée de Hough Détection de droites (principalement) et de formes paramétrées Passage des variables d'espace x, y (dans l'image I ) à un espace de paramètres (espace de Hough H). Détection d'une droite : y = ax + b deux paramètres {a, b}, ou paramétrisation angulaire {ρ, θ}. Cas de la droite

64 Fermeture de contours Algorithme Utilisation de la transformée de Hough Initialiser la matrice H à 0. Pour tout couple de pixels {p i, p j } (étiquetés) : déterminer les paramètres a ij et b ij de la droite (p i, p j ) ajout d'un vote dans la matrice H aux coordonnées {a ij, b ij }. Recherche dans H des nuages de points les plus denses. Déterminer les centres (=caractéristiques des droites détectées dans l'image) Problèmes de mise en uvre a ij et b ij doivent être bornés et quantiés. Précision du calcul des centres.

65 Fermeture de contours Utilisation de la transformée de Hough

66 Description des contours par des polygones Polygones On suppose que les contours ont été détectés et seuillés À partir des pixels détectés : formation de polygones Simplier les polygones (ne retenir que les points pertinents) Fusionner les polygones qui se suivent Outil : Codage de Freeman Codage de Freeman Permet de coder un contour en ne codant que les déplacements relatifs au lieu d'une liste de points : un point puis un code de Freeman

67 Description des contours : codage de Freeman P0 : point initial Code obtenu : Une permutation circulaire aboutit au même résultat Choix : code minimal Compression du code en comptant les occurrences successives (valable pour les segments longs) : (6 zéros puis 9 septs)

68 Description des contours : codage de Freeman Propriétés utiles pour la reconnaissance Agrandissement du contour de k en répétant k fois chaque descripteur. Rotation de k 2π/n (n-connexité) en ajoutant ou retranchant k modulo n à la chaîne initiale. Longueur du descripteur : en 4 connexité (=nb. de descripteurs) et en 8 connexité (nb descripteurs pairs + 2 nb descripteurs impairs). Inversion d'un chemin : inversion des descripteurs (j inv = n/2 + j modulo n) puis inversion de la séquence. Simplication d'un chemin : remplacer p descripteurs consécutifs par des descripteurs équivalents reliant les mêmes points. Autres propriétés : tester la fermeture d'un contour (boucle), changement d'origine, etc...

69 Descripteurs de Fourier Principe Contour considéré comme une courbe continue. Forme du contour décrite par un ensemble N de points M j avec j = 1..N. Plan complexe M j z j = x j + iy j. Descripteurs de Fourier Coecients de la TF de z : Z k = NX z j exp( 2πijk) avec k [ N/2 + 1, N/2] j=1 (Attention i correspond au complexe!!). Z 0 : centre d'inertie de la forme. Z 1 : facteur d'échelle. Si tous les Z k sont =0 sauf pour k = 1 la forme décrite par les contours est un cercle ou un polygone régulier. Plus les coecients sont nombreux, plus la forme est complexe.

70 Descripteurs de Fourier