Traitement de l'information pour la vision articielle Traitement basique des images, débruitage, détecteur de Canny

Transcription

1 Traitement de l'information pour la vision articielle Traitement basique des images, débruitage, détecteur de Canny Pascal Monasse IMAGINE, École des Ponts ParisTech

2 Plan L'image numérique Pixels Changement de contraste Débruitage Détecteur de Canny Lissage gaussien Gradient Suppression des non-maximaux Seuillage par hysteresis Conclusion

4 Pixels Modèle continu : u : R 2 R ou R 3 Modèle discret : u : {0... w 1} {0... h 1} { }( 3 ) Discrétisation en espace : les pixels ("picture elements") Quantication : 0=noir, 128=gris, 255=blanc (8 bits/pixel) Couleur : mélange de rouge, vert et bleu (255, 0, 0) : rouge (0, 255, 255) : cyan (0, 255, 0) : vert (255, 0, 255) : magenta (0, 0, 255) : bleu (255, 255, 0) : jaune

5 Histogramme On recense les occurences des niveaux de gris : H u (i) = #{x : u(x) = i}. Changement de contraste : soit une fonction g(i) = j avec g croissante, g u est u aectée du changement de contraste g. Eet sur l'histogramme : H g u = H u g 1. Une image bien équilibrée en contraste H u (i) = w h 255 Pour équilibrer en contraste u, il sut d'appliquer le changement de contraste correspondant à l'histogramme cumulé : g(i) = 255 w h H u (j) j i

6 Changement de contraste Changement des niveaux en conservant l'ordre u(x) g u(x), avec g croissante. Exemple : g γ (x) = x 1/γ γ = 1 γ = 3 γ = 0.3

7 Changement de contraste Changement des niveaux en conservant l'ordre u(x) g u(x), avec g croissante. Exemple : g γ (x) = x 1/γ γ = 1 γ = 3 γ = 0.3 Egalisation d'histogramme : on rend l'histogramme plat, de manière à répartir uniformément les niveaux de gris

9 Bruits dans les images Bruit additif : on observe v = u + η où η est une image avec pixels iid de loi gaussienne N (0, σ). Bruit impulsionnel : chaque pixel a une probabilité p de prendre une valeur arbitraire tirée uniformément entre 0 et 255. Quels sont les ltres adaptés à ces bruits, qui vont atténuer le bruit? Image originale Gaussien σ = 10 Impulsionnel p = 30%

10 Un ltre simple Moyennage des pixels sur les fenêtres k k Adapté pour le bruit additionnel. Notez la linéarité et l'invariance par translation Médian des pixels sur les fenêtres k k ,47,48,49,50,50,51,52, Adapté pour le bruit impulsionnel Notez l'invariance par changement de contraste et par translation, et la non-linéarité!

11 Convolution Au lieu de faire des moyennes, on peut faire des moyennes pondérées (classiquement avec poids gaussien) Interprétation en termes de convolution u k(x) = u(y)k(x y)dy avec k = 1 Notez la linéarité de l'opérateur. k et l'invariance par translation Element neutre pour la convolution : le Dirac δ, en discret l'image δ(x, y) = 1(x = y = 0) Théorême : tout ltre T linéraire et invariant par translation s'écrit T (u) = u k avec k = T (δ). Preuve : écrire u comme combinaison linéaire de δ et de ses translatés.

12 Eet de la convolution Le bruit est atténué mais l'image devient oue

13 Eet de la convolution Le bruit est atténué mais l'image devient oue Ne préserve pas l'inclusion La linéarité est-elle vraiment nécessaire? Une image n'est pas formée par addition mais par occultation, les objets plus proches cachent les plus lointains.

14 Autres moyennages Problème : on ne veut pas moyenner des pixels avec ceux qui n'ont rien à voir, typiquement au bord des objets Filtre bilatéral : on ne moyenne dans un voisinage qu'avec les pixels de niveau de gris proche u(y)e x y 2 /σ 2 s e u(x) u(y) 2 /σ 2 c dy/w Moyennes non locales : moyenne pondérée par similarité des voisinages Image originale Bruitée σ = 10 NL-means Orig.-NL means

15 Le ltre de grains Seuils à diérents niveaux λ A chaque niveau, on enlève les petits morceaux, les grains (composantes connexes de petite aire) On reconstruit l'image

16 Le ltre de grains Seuils à diérents niveaux λ A chaque niveau, on enlève les petits morceaux, les grains (composantes connexes de petite aire) On reconstruit l'image Image bruitée Après ltre de grain Diérence

18 Détection de bords But : trouver des caractéristiques invariantes d'une image. Le plus naturel : on segmente l'image en "objets", mais le problème est dicile. Plus simple : détecter les bords, localisés aux discontinuités de niveau de gris (Canny, 1986).

19 Convolution On va calculer des dérivées de l'image. Pour cela, il faut s'assurer qu'elle est dérivable! Une bonne solution est de convoler l'image avec une fonction "lisse" g. u g(x) = R u(y)g(x y) dy 2 En discret : v ij = k,l u kl g i k,j l g est à support compact et g ij = 1. extrait de Kandinsky σ = 0.5

25 Lissage gaussien Un bon choix est la fonction gaussienne (bien qu'elle soit de support inni) : g σ (x, y) = x +y 2πσ 2 e 2σ 2. σ 2 est la variance, donc on peut contrôler la concentration, c'est-à-dire l'intensité du lissage. C'est un noyau séparable : e x2 2 +y 2σ 2 En discret, plusieurs adaptations : = e x2 2σ 2 e y2 2σ 2 1. On calcule les valeurs g i = e i 2 /2σ 2 pour i = 0, 1,..., 4σ et on symmétrise g i = g i 2. On normalise en divisant par la somme des g i 3. On fait la convolution séparément en ligne puis en colonne. 4. Mais attention près du bord de l'image...

26 Gradient d'une fonction numérique Dérivées partielles : u x u y u(x + h, y) u(x, y) (x, y) = lim h 0 h (x, y) = lim h 0 u(x, y + h) u(x, y) h (1) (2) Dérivée directionnelle, suivant une direction n = (n x, n y ) : u n Le calcul montre que u n u(x + hn x, y + hn y ) u(x, y) (x, y) = lim h 0 h u (x, y) = x (x, y)n x + u y (x, y)n y = u(x, y) n avec u = ( u x, u y ) = (u x, u y ). En discret : u x (i, j) = u i+1,j u ij, u y (i, j) = u i,j+1 u ij.

27 Amplitude et direction Il est intéressant de représenter le gradient en polaire : u = ( u 2 x + uy) 2 1/2 n u = u/ u Changement de contraste : g u = g (u) u n g u = n u n u donne la direction de plus grande variation de u : u n u = arg max n: n =1 n Son orthogonal est une direction de non-changement de u, c'est un vecteur tangent à la ligne de niveau de u. u x u y u

28 Suppression des non-maximaux Les bords sont aux points de forte amplitude du gradient. Mais ces bords présentent souvent une part de ou. Pour éviter des bords épais, on ne prend que les points où l'amplitude du gradient est localement maximale dans sa direction. Pour cela, on quantie l'angle de la direction du gradient avec l'horizontale : 0, π/4, π/2, 3π/4. 0 π/2 3π/4 π/4 π/4 π/2 On compare l'amplitude du gradient au centre avec celle aux 2 0 3π/4 voisins dans la direction discrétisée.

29 Seuillage Les points de bord sont ceux pour lesquels l'amplitude du gradient est susante. Il est dicile de savoir quel est le bon seuil. u 8 u 8, NMS u 1, NMS

30 Seuillage par hysteresis On peut utiliser en fait deux seuils : seuils haut S et bas s : (S) u S : bord ; sinon (s) u s : bord ssi l'un des 8 voisins est un bord. Notez la récursivité de la condition (s). Algorithme : 1. Une passe sur l'image où on marque les points vériant (S). 2. On met les points dans une pile (LIFO) ou une le (FIFO). 3. Tant que la pile n'est pas vide, on dépile et pour chaque voisin P non marqué vériant (s), on marque P et on l'empile. Autre manière de voir : on conserve les composantes 8-connexes de pixels passant le seuil s et contenant un pixel passant le seuil S. Avant hysteresis Après hysteresis

31 Discussion Les limitations de cette approche sont diciles à surmonter : Les paramètres, qui devraient varier d'une image à l'autre : Variance du noyau gaussien de lissage σ Seuil haut de gradient S Seuil bas de gradient s En n de compte, nous n'obtenons que des points, pas des courbes, et il n'est pas simple de les chainer.

33 Conclusion Nous avons vu : Le changement de contraste des images. Quelques techniques de débruitage. Un détecteur de bords (Canny) et ses limitations.

34 TP : Détecteur de bords de Canny 1. Partir du programme initial, disponible sur la page web du cours : 2. Calcul de Ix, Iy et NG, images des dérivées partielles (calculées par diérences nies) et de la norme du gradient. 3. Seuillage simple en fonction de la norme du gradient, achage. 4. Suppression des non-maximaux, avec en gris les maximaux passant le seuil bas. On met dans un tableau ceux passant le seuil haut (marqués en noir). 5. Seuillage par hysteresis : pour chaque pixel du tableau, on met en noir les voisins gris et on les ajoute au tableau. On continue tant que le tableau n'est pas vide.