Analyse et Indexation d images par L.Chen, J.Y.Auloge

Transcription

1 Analyse et Indexation d images par L.Chen, J.Y.Auloge REHAUSSEMENT D IMAGES. INTRODUCTION 2. DEFINITIONS 3. VISION HUMAINE ET SYSTEMES DE COULEURS 4. ECHANTILLONNAGE ET QUANTIFICATION 5. TRANSFORMATIONS D IMAGES 6. REHAUSSEMENT D IMAGES 7. ANALYSE D IMAGES. Introduction 2. Rehaussement dans le domaine spatial 3. Rehaussement dans le domaine fréquentiel 4. Rehaussement de contraste 5. Transformation géométrique 2 AMELIORATION D IMAGES AMELIORATION D IMAGES. Introduction 2. Amélioration dans le domaine spatial 3. Amélioration dans le domaine fréquentiel 4. Amélioration de contraste 5. Transformation géométrique Pourquoi pré -traiter une image? Pour corriger les effets de la chaîne d acquisition Correction radiométriques et/ou géométriques Réduire le bruit : Restauration, Déconvolution Améliorer la visualisation Améliorer les traitements ultérieurs (segmentation, compression ) 3 4

2 AMELIORATION D IMAGES. Introduction 2. Rehaussement dans le domaine spatial 3. Rehaussement dans le domaine fréquentiel 4. Rehaussement de contraste 5. Transformation géométrique Rehaussement dans le domaine spatial Histogramme Manipulations d'histogrammes Opérations arithmétiques Opérations logiques Procédé par masque Filtre spatial 5 6 Distribution des niveaux de gris Histogramme Histogramme Fonction discrète dans l'intervalle [,L-] h(r k )=n k r k = k th ton de gris n k = nombre de pixel de ton r k Histogramme normalisé p(r k )=n k /n n = nombre total de pixels p(r k ) ~ probabilité d'avoir le ton r k Σ p( r k ) = 7 8

3 Histogramme Types d'images et leurs histogrammes Image sombre Image à bas contraste Manipulations d'histogrammes Étirement (stretching) Une image à hauts contrastes aura un histogramme bien répartie Un histogramme bien répartie résultera en une image à hauts contrastes! Image brillante Image à fort contraste 9 Manipulations d'histogrammes Étirement f ( x, y) f ( x, y) g( x, y) = f ( x, y) max f ( x, y) min min [ MAX MIN ] + MIN Manipulations d'histogrammes Étirement f ( x, y) f ( x, y) max min = plus grand ton de gris = plus petit ton de gris MIN et MAX sont les limites de ton de gris dans f ( x, y) ( et) 2

4 Manipulations d'histogrammes Étirement Manipulations d'histogrammes Étirement - (valeurs hors zones) Élimination des tons de gris extrêmes image après étirement d histogramme après éliminination de 3% de valeurs basses et hautes de l hitogramme 3 Image (e) 4 Histogramme de l image e Manipulations d'histogrammes Compression (shrinking) Manipulations d'histogrammes Compression MAX MIN g( x, y) = f ( x, y) max f ( x, y) min [ f ( x, y) f ( x, y) min] + MIN f ( x, y) max = plus grand ton de gris f ( x, y) min = plus petit ton de gris MIN et MAX sont les limites de ton de gris désirés dans g( x, y) Compression d histogramme 5 6

5 Manipulations d'histogrammes Compression Manipulations d'histogrammes Glissement (sliding) 7 Glissement d histogramme 8 Manipulations d'histogrammes Glissement g( x, y) = f ( x, y) + compensation Manipulations d'histogrammes Glissement 9 2

6 Manipulations d'histogrammes Égalisation (equalization) Détermination automatique d'une transformé pour obtenir un histogramme uniforme Histogramme normalisé p(r k )=n k /n p(r k ) ~ probabilité d'avoir le ton r k Σ p( r k ) = Fonction de densité de probabilité de r Manipulations d'histogrammes Égalisation f(x,y) -> r et g(x,y) -> s Fonction de distribution cumulative de r est uniforme r sk = T( rk) = pr( w) dw sk = T( rk) = pr( rj) = k j= j= k nj n 2 k =,, 2,, L- 22 Manipulations d'histogrammes Égalisation (la recette!) Tons Nombre Cumulatif Cumulatif Valeurs Tons de gris de pixels des tons normalisé étalonnées de gris dans f(f,x) dans f(x,y) dans f(x,y) de f(x,y) dans [, 7] dans g(x,y) Manipulations d'histogrammes Égalisation s = k j = nj n 23 24

7 Manipulations d'histogrammes Égalisation Opérations arithmétiques Procédé par point (région de x pixel) La soustraction et l'addition d'images sont les opérations les plus utiles La division de f(x,y) par h(x,y) est la multiplication de f(x,y) par la réciproque de h(x,y) Donc, ces opérations se limitent à: Soustraction Addition Multiplication Opérations arithmétiques Soustraction: g(x,y) = f(x,y)-h(x,y) Différence entre toutes les paires de pixels correspondants de deux images La valeur de g(5,7) est la différence entre les valeurs des pixels dans les 2 images au points f(5,7) et h(5,7) Très utile pour faire ressortir les différences entre deux images Le résultat est le "changement" Note: le point p(5,7) est un exemple 27 Opérations arithmétiques Soustraction (radiographie masquée) Très utile pour visualiser le changement Image avant = masque Deuxième image après injection Deuxième image - masque 28

8 Opérations arithmétiques Addition: g(x,y) = f(x,y)+h(x,y) La valeur de g(5,7) est simplement la somme des valeurs des pixels dans les 2 images au points f(5,7) et h(5,7) Opérations arithmétiques Multiplication: g(x,y) = f(x,y)*h(x,y) La valeur de g(5,7) est simplement le produit des valeurs des pixels dans les 2 images au points f(5,7) et h(5,7) Division: g(x,y) = f(x,y)/h(x,y) La valeur de g(5,7) est simplement le produit des valeurs des images f(x,y) et [h(x,y)] - 29 Note: le point p(5,7) est un exemple 3 Opérations arithmétiques Ajustement des tons de gris L'intervalle des tons de gris doit être entre et Les résultats d'opérations arithmétiques peuvent donner des résultats hors intervalle Besoin de réajuster les valeurs dans l'intervalle Opérations arithmétiques Ajustement après soustraction [- et ] g(x,y) = ( f(x,y) + ) / 2 Peut ne pas couvrir tout l'intervalle Possibilités d'erreurs d'arrondissement : h(x,y) = ( g(x,y) - MIN ) -> glissement) 2: g(x,y) = h(x,y) * /MAX -> ~étirement (zéro est déjà zéro) MIN est la plus petite différence dans f(x,y) MAX est la valeur maximum dans h(x,y) 3 32

9 Opérations arithmétiques Moyennes d'un ensemble d'images Addition d'images "bruitées" pour générer une image de meilleur qualité Une image bruitée g( x, y) = f ( x, y) + n( x, y) Sommation de K images bruitées K g( x, y) = gi( x, y) K i= Bruit non- corrélé et moyenne de zéro 33 Opérations arithmétiques Moyennes d'un ensemble d'images Si nous avons suffisamment d'images Variance Écart type { } E g( x, y) = f ( x, y) σ σ = σ K 2 2 g( x, y) n( x, y) = σ K g( x, y) n( x, y) 34 Opérations arithmétiques Moyennes d'un ensemble d'images (exemple) (a) (b) (c) Opérations arithmétiques Moyennes d'un ensemble d'images (exemple2) (d) (e) (f) 35 Image (a) du galaxy Pair NGC 334 Image corrompue par ajout d un bruit gaussien à moyenne nulle et écart type de 64 niveaux de 36 gris

10 Opérations arithmétiques Moyennes d'un ensemble d'images b d c e Opérations arithmétiques Moyennes d'un ensemble d'images a-b a-c a-d a-e 37 Résultat de la moyenne avec K=8,6,64 et 28 images bruités Histogrammes des images différences 38 Opérations logiques Procédé par point (région de X pixel) Opérateurs logiques: ET, OU, NON (PAS) Rappel: A ET b est si a et b sont, sinon A OU b est si a et b sont, sinon Si a est, NONa est, et vice versa 39 Opérations logiques Appliqués à des images en tons de gris, les opérations logiques s'effectuent sur des chaînes de bits. Ex: a = 3 -> NONa -> -> 24 Notez que = Ex: a = 9 -> b = 89 -> a ET b -> -> 73 4

11 Procédé par masque Masque de 3X3 pixels Nous utilisons donc les valeurs de f dans le voisinage de (x,y) pour définir la valeur de g(x,y) Masque, filtre, fenêtre, noyau, gabarit "Masque de convolution" On applique le masque de pixel en pixel au travers de l'image Opérations logiques 4 42 Masque de 3 X 3 w(-,-) w(-,) w(-,) w(,-) w(,) w(,) w(,-) w(,) w(,) w w 2 W 3 w 4 w 5 w 6 w 7 w 8 w 9 Masque de 3X3 pixels g(x,y) = w(-,)f(x-,y-)+w(-,)f(x-,y)+ +w(,)f(x,y)+ +w(,)f(x+,y)+w(,)f(x+,y+) Pour un masque impairs de taille mxn a b g( x, y) = w( s, t) f ( x + s, y + t) s = a t = b 43 m=2a+ et n=2b+ a=(m-)/2 et b=(n-)/2 44

12 Généralement pour un masque de mxn La réponse R au filtre est simplifié par: R = WZ + W2Z 2 + W3Z WmnZ R = mn i= Wi Zi R = 9 i = Wi Zi mn W i = coefficient de masque Z i = valeur du pixel à la position i 45 Masque de 3X3 pixels Problème de contour de l'image? Ne pas traiter les pixels de contour Image résultante est moins bonne! Masque partiel Les pixels de contour sont traités avec un plus petit nombre de voisins Tamponnage Ajout de "" en périphérie de l'image On enlève ce tampon ensuite 46 Filtre de lissage (smoothing) Filtre linéaires Filtre moyennant (averaging) Remplace chaque pixel par la valeur moyenne de ses voisins Réduit le bruit Réduit les détails non-important Crée du brouillage (blur edges) Filtre moyennant Moyenne standard ou moyenne pondérée R = 9 Zi 9 i= R = 9 Zi 6 i= 47 48

13 Filtre moyennant - implémentation Pour un masque normal g( x, y) = w( s, t) f ( x + s, y + t) s = a t = b Pour un filtre moyennant g( x, y) = a a s= a b b t = b a w( s, t) f ( x + s, y + t ) s= a b t = b w( s, t) 49 Filtre moyennant - implémentation g( x, y) = a s= a b t = b a w( s, t) f ( x + s, y + t ) s= a t = b w( s, t) L'image complète s'obtient par l'application de cette équation à tous les pixels de l'image originale: x=,, 2,, M- et y=,, 2,, N- b 5 (a) Image originale de taille 5x5 (b) Image résultat avec masque de taille 3 (c) Image résultat avec masque de taille 5 (d) Image résultat avec masque de taille 9 (e) Image résultat avec masque de taille 5 (f) Image résultat avec masque de taille 35 Filtre de lissage (smoothing) Filtre non-linéaires Remplace chaque pixel par la valeur sélectionnée par un critère Réduit le bruit Excellent contre le "sel & poivre" Moins de brouillage Le filtre médian est le plus populaire 5 52

14 Filtre médian La médiane d'un ensemble est une valeur tel que la moitié des éléments sont plus petit, et la moitié sont plus grands Le procédé consiste à ordonner les valeur de l'ensemble et à choisir une valeur au milieu Force les valeurs de pixel à être plus comme leurs voisins 53 Filtre médian (a) Image d un circuit imprimé abimé par un bruit de type «salt-and-pepper» (b) Réduction de bruit avec un filtre moyenneur de taille de masque 3x3 (c) Réduction de bruit avec un filtre médian de taille de masque 3x3 54 Filtre max Filtre max R = max{zk k=,2,,9} Pour trouver les points les plus brillants Utile pour éliminer le "poivre" Filtre max 55 56

15 Filtre min Filtre min R = min{zk k=,2,,9} Pour trouver les points les plus pâles Utile pour éliminer le "sel" Filtre min Lissage (blur) C est un filtre intuitif, permettant de faire la convolution avec un masque: g = 4 F(x,y)=f g=( f(x-,y-) + f(x,y-) + f(x-,y) + f(x,y) )/ 4 u= v= g = 9 F(x,y)=f g Fxy (, ) = f ( x+ v, y+ u) 9 u= v= Lissage d ordre supérieur (blur) g = 25 Interprétation : plus la taille de g est grand plus la convolution augmente le lissage Image originale Image lissée (masque 5x5) Image originale Image lissée (masque 3x3) Problème du coût de calcul exorbitant

16 (plus doux) Filtrage Gaussien Approximation discrète de la Gaussienne 2D (doux) 2 g = g5 = Filtrage passe-bas plus doux (soften) 2 2 x y + G( x, y) = x y e 2 σ σ Gaussienne centrée réduite 2πσ xσy Moyenne pondérée où les pixels proche de (x,y) sont plus importants Comparaison Blur et Soften 62 Image originale Filtre Blur Filtre Soften Rehaussement (sharpen) Filtrage Passe Haut = Image Originale - Filtrage Passe Bas Image Originale= Filtrage Passe Bas + Filtrage Passe Haut Image originale 9 8 = + g= Autres Filtres de rehaussement = 6 + g 2= Un rehaussement = image originale + filtrage passe haut Image rehaussée avec G Image rehaussée avec G2

17 ATTENTION : Plus vous rehausser l image plus son bruit intrinsèque apparaît! Un autre filtre : Filtre de Médian - Filtre le bruit ponctuel : corrige le niveau d un pixel si celui-ci est très différent des niveaux voisins - Classe les valeurs des pixels d un voisinage dans l ordre croissant puis choisit la valeur centrale (médiane) 4 remplacé par 25 Apparition du bruit de fond du scanner Filtre efficace contre le bruit, évite l effet flou et conserve les transitions de couleurs autour des objets Ce filtre n est pas linéaire, il n est pas le produit d une conv olution! AMELIORATION D IMAGES. Introduction 2. Amélioration dans le domaine spatial 3. Amélioration dans le domaine fréquentiel 4. Amélioration de contraste 5. Transformation géométrique Image bruitée Bruit type «poivre et sel» Imagedébruitée par un filtre médian 68

18 Filtre spatial vs fréquentiel Correspondance entre filtres spatial et fréquentiel? Pour deux fonctions f(x,y) et h(x,y) de dimension M X N, la convolution discrète est définie comme suit: f ( x, y) * h( x, y) = M N f ( m, n) h( x m, y n) MN m= n= (pour une fonction h(x,y) symétrique à l'origine) 69 Filtre spatial vs fréquentiel *** Théorème de convolution *** Domaine spatial f ( x, y)* h( x, y) F( u, v) H( u, v) Convolution f ( x, y) h( x, y) F( u, v)* H( u, v) Multiplication Domaine fréquentiel Multiplication Convolution 7 Filtre spatial vs fréquentiel *** Théorème de convolution *** Connaissant une fonction filtre dans le domaine fréquentiel, on peut obtenir un filtre correspondant dans le domaine spatial en calculant la transformé de Fourier inverse de cette fonction filtre Et vice-versa! L'approche générale 7 72

19 La transformé de Fourier présente: Moyenne au centre (composante DC) Les basses fréquences - niveau de gris des surfaces douces (smooth) Les hautes fréquences - les détails, tels les arrêtes et le bruits (sharp) Il est possible de créer des filtres dédiés à l'atténuation de fréquences spécifiques Filtre coupe-bande, passe-bas, passe-haut, Gaussien, 73 Filtre coupe bande Élimination ponctuelle Filtres passe-bas (lowpass-smoothing) Idéal Butterworth Gaussien Filtres passe-haut (highpass-sharpening) Idéal Butterworth Gaussien 74 Filtre coupe-bande (notch filter) ->Moyenne des tons de gris = Fonction filtre (pour transformé centrée) Élimine ce qui est à l'origine M N F(, ) = f ( x, y) MN x= y= si( u, v) = ( M / 2, N / 2) H( u, v) = pour autresconditions 75 Filtre coupe-bande (moyenne = ) 76

20 Filtres passe-bas (lowpass-smoothing) Idéal Butterworth Gaussien 77 Filtres passe-bas idéal Coupe toutes les hautes fréquences après une distance D du centre H( u, v) = si D( u, v) D si D( u, v) > D Distance du centre (M/2, N/2) M N 2 2 D( u, v) = ( u ) + ( v ) 2 2 / 2 78 Filtres passe-bas idéal D est la fréquence de coupure (cutoff) Filtre passe-bas idéal ou 3-D 2-D Section radiale 79 8

21 Filtres passe-bas idéal ou /2 Coupe /2 hautes fréquences après une distance D du centre H( u, v) = si D( u, v) D / 2 si D( u, v) > D Distance du centre (M/2, N/2) M 2 N 2 D( u, v) = ( u ) + ( v ) 2 2 / 2 8 Filtre passe-bas idéal ou /2 82 Effet de la fréquence de coupure D Évalué en fonction de l'énergie comprise dans le cercle de rayon D P( u, v) = F( u, v) = R ( u, v) + I ( u, v) P T M N u = v= = P( u, v) % puissance= u P( u, v) v P T 83 Pour les (u,v) dans le cercle (a) Image de taille 5x5 pixels (b) Sa transformée de Fourier (cercles de rayon 5,5,3,8,23 donnent Respectivement 92%,94.6%,96.4%,98%,99.5% de l énergie de 84 l image

22 Image originale Phénomène de réverbération (contour) Rayon : 5, 5, 3, 8 et 23 pixels 85 Énergie enlevée : 8, 5.4, 3.6, 2, et.5% 86 Phénomène de réverbération H(u,v) Filtre idéal rayon = 5 pixels h(x,y) 87 Filtre Butterworth passe-bas Coupe graduellement les hautes fréquences selon la sélection de D et de l'exposant n H( u, v) = 2 + D u v D n [ (, ) / ] / M N D( u, v) = ( u ) + ( v )

23 Filtre Butterworth passe-bas H( u, v) = 2 + D u v D n [ (, ) / ] Image originale Rayon : 5, 5, 3, 8 et 23 pixels, n = D est choisie pour H(u,v) =.5 Phénomène de réverbération (contour) Filtre Butterworth d'ordre, 2, 5, et 2 9 Filtre Gaussien passe-bas Coupe graduellement les hautes fréquences selon la sélection de l'exposant s H( u, v) e D u v σ = D (, ) / = 2 2σ 2 H u v e D ( u, (, ) v ) / 2 D =

24 Filtre Gaussien passe-bas H u v e D ( u, (, ) v ) / 2 D = 2 2 Image originale D(u,v) = D quand H(u,v) =.67 Rayon : 5, 5, 3, 8 et 23 pixels, n = 2 Filtre Gaussien passe-bas Pas de phénomène de réverbération Moins agressif que le filtre idéal ou le filtre Butterworth Moins de contrôle sur la sélection précise de D Mais présente une garantie contre la réverbération! Filtre Gaussien passe-bas 95 96

25 Filtre Gaussien passe-bas Filtres passe-haut (highpass-sharpening) Idéal Butterworth Gaussien Filtre passe-haut Exactement la fonction contraire des filtres passe-bas : H ( u, v) = H ( u, v) hp Filtre Passe-haut lp Filtre Passe-bas 99 Filtre passe-haut idéal Coupe toutes les basses fréquences après une distance D du centre H( u, v) = si D( u, v) D si D( u, v) > D Distance du centre (M/2, N/2) / M N D( u, v) = ( u ) + ( v ) 2 2

26 Filtres passe-haut idéal D est la fréquence de coupure (cutoff) Filtre passe-haut idéal ou 3-D 2-D Section radiale 2 Filtres passe-haut idéal ou /2 Coupe /2 basses fréquences après une distance D du centre H( u, v) = / 2 si D( u, v) D si D( u, v) > D Distance du centre (M/2, N/2) M N 2 2 D( u, v) = ( u ) + ( v ) 2 2 / 2 3 Filtre passe-haut idéal ou /2 4

27 Filtre passe-haut idéal Phénomène de réverbération (contour) Rayon : 5, 3, et 8 pixels 5 6 Filtre Butterworth passe-haut Coupe graduellement les basses fréquences selon la sélection de D et de l'exposant n H( u, v) = + [ D / D ( u, v) ] 2n M 2 N 2 D( u, v) = ( u ) + ( v ) 2 2 / 2 7 Filtre Butterworth passe-haut H( u, v) = + D / D ( u, v) [ ] 2n D est choisie pour H(u,v) =.5 8

28 Filtre Butterworth passe-haut Phénomène de réverbération (contour) Rayon : 5, 3, et 8 pixels, n = 2 9 Filtre Gaussien passe-haut Coupe graduellement les basses fréquences selon la sélection de l'exposant s 2 2 H( u, v) = e D u v σ = D (, ) / 2σ H u v e D ( (, ) u, v ) / 2 = D 2 2 Filtre Gaussien passe-haut H u v e D ( (, ) u, v ) / 2 = D D(u,v) = D quand H(u,v) =

29 Filtre Gaussien passe-haut Phénomène de réverbération (contour) Aucun! Rayon : 5, 3, et 8 pixels 3 4 Filtre Gaussien passe-haut AMELIORATION D IMAGES. Introduction 2. Amélioration dans le domaine spatial 3. Amélioration dans le domaine fréquentiel 4. Amélioration de contraste 5. Transformation géométrique 5 6

30 Amélioration du contraste Transformation linéaire Transformation linéaire avec saturation Transformation linéaire par morceau Transformation non-linéaire Égalisation de l histogramme Amélioration du contraste Opérations pixel à pixel Modification d'un pixel indépendamment de ses voisins Histogramme des niveaux de gris Comptage des pixels ayant un niveau de gris (NG) donné Histogramme densité de probabilité des niveaux de gris 7 Niveau de gris 8 Amélioration du contraste Modification d histogramme Transformation des niveaux de gris : z v=z(u) avec u niv. gris de départ, v niv.gris d'arrivée z peut prendre une forme quelconque v u v u 9 Transformation linéaire f (x,y) min Amélioration du contraste max f '( x, y) = ( f ( x, y) min) max min f(x,y) ( f ( x, y) min) max min [,] 2

31 Transformation linéaire Transformation linéaire min max % min max Transformation linéaire avec saturation f ' ( x, y ) = ( f ( x, y ) S S S f ' ( x, y ) f ' ( x, y ) max f '( min x, y ) = f' ( x, y ) = min ) FIGURE 2-3 [rf. SCHOWENGERDT, p. 62] min( f ( x, y )) S S min < S max min < S max max( f ( x, y )) 22 Transformation linéaire avec saturation Transformation linéaire par morceau % % min max min max min max Smin Smax FIGURE 2-3 [rf. SCHOWENGERDT, p. 62] FIGURE 2-4 [rf. Smin SCHOWENGERDT, Smax S 2 p. 64]

32 Seuillage Autres 28 f (x,y) = si f(x,y) > seuil f (x,y) = sinon AMELIORATION D IMAGES Transformation géométrique. Introduction 2. Amélioration dans le domaine spatial 3. Amélioration dans le domaine fréquentiel 4. Amélioration de contraste 5. Transformation géométrique Objectif Corriger les déformations dues au système de prise de vue f(x,y) = f (x,y ) avec x =h (x,y) et y =h 2 (x,y) Exemple : transformation affine (translation, rotation) x' a = y' c b x + e d y f 27 Remarque : les paramètres a,b,c,d peuvent ne pas être les mêmes pour toutes les régions d une image 28

33 Transformation géométrique Transformation géométrique Problème x,y,sont des valeurs discrètes (image échantillonnée) x=k x, y=l y et x =h (k x, l y) et y =h 2 (k x, l y) ne seront pas nécessairement des multiples entiers de x et y l l+ k k+ x y m m+ x n P P2 y n+ P4 P 3 29 Solution: Interpolation f (Q)=f ( m x,n y) = G[f(P ),f(p 2 ),f(p 3 ),f(p 4 )] avec f(p )=f (k x, l y) f(p 2 )=f ((k+) x,l y) f(p 3 )=f ((k+) x,(l+) y) n f(p 4 )=f (k x, (l+) y) Plus proche voisin: f(q)=f(p k ), k : d k =min{d,d 2,d 3,d 4 } Interpolation linéaire f ( Q) k = = P P4 f ( P )/ d k k / d Interpolation bilinéaire, fonctions spline, Moindre ², = k k Q d 4 m P 2 P 3 3 y y x = x+.5 y y = y 28x28 x x Warping Placage de texture animation... 3