Opérations de base et améliorations Matthieu Cord Transparents de cours préparés par S. Dubuisson, D. Béréziat, N. Thome 2016 1 / 73
Plan du cours 1 Types d opérations sur une image 2 Transformations géométriques 3 Opérations entre images 4 Améliorations 2 / 73
Opérations sur une image Comment transformer une image? Chaque pixel de l image est défini par sa position (i, j) et son amplitude (intensité) k dans l image Il existe deux types de transformations sur les pixels de l image : les transformations géométriques qui modifient les positions des pixels les transformations radiométriques qui modifient les intensités des pixels Possibilité d effectuer des opérations entre images, qui utilisent ces deux types de transformation 3 / 73
Transformations géométriques d image Transformation affine Transformation directe sur les coordonnées spatiales d un pixel exprimée de manière générale par : ( ) ( ) i i = T + V j j où T est une matrice de transformation, et V un vecteur Transformation inverse sur les coordonnées spatiales d un pixel (sans V) : ( ) ) i j = T 1 ( i j On construit alors l image J à partir de I par : J(i, j ) = I (i, j) 4 / 73
Transformations géométriques d image Translation La translation d un pixel (i, j) de vecteur (t i, t j ) t s exprime : ( i j ) = ( 1 0 0 1 ) ( i j ) ( ti + t j ) 5 / 73
Transformations géométriques d image Changement d échelle Le changement d échelle d un pixel (i, j) de cœfficients α i et α j s exprime : ( ) ( ) ( ) i αi 0 i j = 0 α j j 6 / 73
Transformations géométriques d image Rotation La rotation d un pixel (i, j) d angle θ (dans un repère au centre de l image) s exprime : ( ) ( ) ( ) i cos θ sin θ i j = sin θ cos θ j 7 / 73
Transformations géométriques d image Déformation linéaire La déformation linéaire d un pixel (i, j) de cœfficients β i1, β i2, β j1 β j2 s exprime : ( ) ( ) ( ) i βi1 β j = i2 i β j1 β j2 j et 8 / 73
Transformations géométriques d image Les coordonnées homogènes Système de coordonnées défini dans les "espaces projectifs" espaces euclidiens espaces affines espaces projectifs Avec les mains : une coordonnée supplémentaire (x, y) affine (x, y, 1) (x w, y w, w) projectif Toutes les transformations géométriques sont exprimées matriciellement : Les translations de R 2 deviennent des transformations linéaires dans R 3 Idem pour les projections (orthogonales ou non) 9 / 73
Transformations géométriques d image Les coordonnées homogènes Ex : déformation linéaire en coordonnées homogènes : i β i1 β i2 0 i j = β j1 β j2 0 j 1 0 0 1 1 Déformation affine (linéaire + translation) : i j = β i 1 β i2 T x β j1 β j2 T y i j 1 0 0 1 1 10 / 73
Transformations géométriques d image Problème Une transformation directe n implique pas que tous les pixels de l images destination auront une couleur phénomènes de trous dans les images Deux solutions : Appliquer une transformation inverse (mais la matrice doit être inversible!) Boucher les trous Dans les deux cas, il faut interpoler 11 / 73
Transformations directe et inverse Transformation directe : on part des pixels de l image initiale et on calcule leur transformé : génération de trous ou de superpositions Transformation inverse : on part des pixels de l image résultat et on détermine à quel pixel ils correspondent dans l image initiale par transformation inverse. 12 / 73
Interpolations Deux modes d interpolation principaux : Plus proche voisin : le pixel est de la même couleur que celle de son plus proche voisin Interpolation bilinéaire : prise en compte des 4 voisins du pixel pour faire une combinaison bilinéaire des intensités Il en existe beaucoup d autres : B-splines, polynômes d Hermitte,... 13 / 73
Interpolation bilinéaire P = (1 v)a + vb Q = (1 v)d + vc R = (1 u)p + uq = (1 v)(1 u)a + (1 u)vb + uvc + u(1 v)d 14 / 73
Opérations entre images Les images ne sont pas des matrices (une matrice est une application linéaire), les images sont des tableaux (ou des vecteurs en la rangeant ligne par ligne ou colonne par colonne) Bien faire la différence entre une opération matricielle et une opération pixel par pixel En image, on fait en général des opérations pixel par pixel : addition, soustraction, multiplication, division, combinaison linéaire,... 15 / 73
Quelques exemples d opérations entre images 16 / 73
Quelques applications d opérations entre images Soustraction et réduction de bruit On a 2 images identiques (au bruit près) et recalées L image différence des deux images permet de détecter le bruit Pixel noir : aucune différence Pixel non noir : différence dont l amplitude est celle du bruit Attention : à des temps différents, l image de différence donne la variation en temps de la valeur du pixel, on approxime la dérivée partielle par rapport au temps 17 / 73
Quelques applications d opérations entre images Image de différence pour la détection de changement 18 / 73
Quelques applications d opérations entre images Image de différence pour la détection de mouvement 19 / 73
Quelques applications d opérations entre images Image de différence pour la détection de mouvement Attention : la différence d image n est pas suffissante pour la détection du mouvement Généralement, les conditions d éclairage, les phénomènes d occultation, le bruit d acquisition induisent un gradient temporel Il est impossible d estimer la direction ni l intensité du vecteur vitesse à partir de la différence d images 20 / 73
Quelques applications d opérations entre images Suivi multi-camera Pouvoir suivre un/des objets des selon différentes vues d une même scène 21 / 73
Quelques applications d opérations entre images Suivi multi-camera Une solution : transformation homographique 22 / 73
Quelques applications d opérations entre images Recalage rigide d images pour la cartographie Données : une carte et une image satellite (IKONOS) 23 / 73
Quelques applications d opérations entre images Recalage d images pour la cartographie Une solution : détecter des points d intérêt et les faire correspondre avec ceux de la carte à l aide d une transformation homogène linaire (translation, homothétie, rotation, projection). 24 / 73
Quelques applications d opérations entre images Recalage d images pour la surveillance des crûes 25 / 73
Quelques applications d opérations entre images Recalage d images médicales multimodales pour la fusion Données : différentes modalités (CT, ultra-son, IRM) But : les recaler pour pouvoir les fusionner ensuite et disposer d une information plus complète 26 / 73
Quelques applications d opérations entre images Recalage d images médicales multimodales pour la fusion 27 / 73
Quelques applications d opérations entre images Prédiction par compensation de mouvement pour la compression vidéo Données : deux images d une séquence But : prédire d une image vers l autre la position de blocs, et ne transmettre que des vecteurs mouvement pour ces blocs 28 / 73
Quelques applications d opérations entre images Prédiction par compensation de mouvement pour la compression vidéo Partitionnement de l image 1 en blocs 29 / 73
Quelques applications d opérations entre images Prédiction par compensation de mouvement pour la compression vidéo Chercher la position de chaque bloc de l image 1 dans l image 2 30 / 73
Quelques applications d opérations entre images Prédiction par compensation de mouvement pour la compression vidéo Transférer le contenu du bloc de l image 1 dans sa cible dans l image 2 31 / 73
Améliorations d images But de l amélioration Rendre les images plus aptes à l interprétation humaine ou à celle de la machine Aucune théorie générale Manipulation dans le domaine spatial : accès direct aux valeurs de pixels Manipulation dans le domaine fréquentiel : modification de la transformée de Fourier de l image 32 / 73
Améliorations d images Types d amélioration Amélioration ponctuelle : f (i, j) = T (f (i, j)) Modification de la brillance ou du contraste d une image. L arrangement spatial (position) des pixels n intervient pas : aucune relation de voisinage étudiée. Travail sur les histogrammes, les valeurs de pixels,... Amélioration locale : f (i, j) = T (f (V )), où V est un voisinage du pixels (i, j) Utilisation de filtres (sera étudié dans le cours sur le filtrage). Amélioration fréquentielle : f = T (f ) Utilisation de la transformée de Fourier (sera étudié dans le cours sur la TFD). 33 / 73
Améliorations d images Pourquoi améliorer une image? Régions à faire apparaître Image trop claire ou trop foncée Nécessité de modifier ses niveaux de gris afin de rendre visibles certains détails 34 / 73
Améliorations d images Pourquoi améliorer une image? Modifier la brillance. Augmenter le contraste. 35 / 73
Améliorations d images Rappels - définitions Opérations d améliorations d images modifient l histogramme Qu est-ce qu un histogramme? Un histogramme cumulé A quoi correspond le contraste d une image? 36 / 73
Histogramme Définition Fonction décrivant la répartition des niveaux de gris de l image Fournit des informations propres à l image, telles que : La distribution statistique des niveaux de gris Les bornes de répartition des niveaux de gris Mais aucune information spatiale! À chaque image f de taille N M, on peut associer le nombre H d apparition des valeurs contenues dans cette image par : H(k) = Card{0 i N 1, 0 j M 1 : f (i, j) = k} = n k 37 / 73
Remarque sur l histogramme Il ne code pas d information spatiale Deux images différentes (en termes de contenu sémantique) peuvent aussi avoir le même histogramme 38 / 73
Histogramme normalisé Définition Fonction H n donnant la probabilité (en termes de fréquence d occurrence) qu un pixel ait pour niveau de gris k H n (k) = H(k) N M où N et M sont respectivement le nombre de colonnes et de lignes de l image Les valeurs de H sont normalisées En supposant que les valeurs en chaque pixel d une image sont la réalisation d une variable aléatoire I, H n approxime sa loi de probabilité : H n (k) P(I = k) 39 / 73
Histogramme cumulé Définition L histogramme cumulé est donné par : H c (k) = H(i) i k L histogramme cumulé normalisé est donné par : H c (k) = i k H n (i) H c (k) représente la probabilité d avoir un niveau de gris inférieur ou égal à k (fonction croissante qui tend vers 1), ou fonction de répartition de la loi de probabibilité de I : H c (k) = P(I k) 40 / 73
Contraste Propriétés de l image Définition 1 : variation maximale entre valeurs de niveaux de gris min et max dans l image : C = max i,j[f (i, j)] min i,j [f (i, j)] max i,j [f (i, j)] + min i,j [f (i, j)] Définition 2 : écart-type des variations de niveaux de gris dans l image : C = 1 N 1 M 1 (f (i, j) B) NM 2 i=0 j=0 Deux images totalement différentes peuvent avoir le même contraste 41 / 73
Améliorations d images Modifications d histogrammes Modification de la luminance k f : k k = f (k). Diffèrentes fonctions f vont avoir des impacts différents sur l image 42 / 73
Inversion d image Définition Inversion de l intervalle des niveaux de gris de f par la formule : k = (L 1) k où L est la dynamique de l image f Ne change pas la dynamique 43 / 73
Seuillage Définitions et principe Seuillage (tresholding) : traitement ramenant l image à deux ou quelques niveaux d intensité Binarisation (binarization) : traitement ramenant l image à deux niveaux seuillage binaire Le seuillage binaire est défini par : k = { k1 si k S k 2 si k > S où k 1, k 2 et S (seuil) sont des niveaux de gris Met en avant des régions mais n améliore pas l image 44 / 73
Exemples de seuillages (k 1 = 0 et k 2 = 255) 45 / 73
Variantes autour du seuillage Seuillage adaptatif : L(s) = 1 I (s)>ti,s : Diviser l image en sous-images Seuiller chaque sous-image avec un seuil propre Inconvients : Difficulté des choix des seuils et du découpage des sous-images Problème de discontinuité dans L Seuillage en bande : L(s) = 1 I (s) D : extraction d isolignes Seuillage multiple : L(s) = i=1...n Semi seuillage : L(s) = I (s)1 I (s) T i1 I (s) Di Seuillage sur d autres informations que les niveaux de gris : norme du gradient, seuillage dans le domaine de Fourier,... 46 / 73
Seuillage : choix du seuil À la main... parfois possible :,,, (a) 4 plans de coupe (b) Seuillage à 80 (c) Seuillage à 500 47 / 73
Seuillage : choix du seuil Survey over image thresholding techniques and qualitative performance evaluation, Sezgin and Sankur, 2004 : 40 méthodes en classées 6 catégories : 1 histogram shape-based methods, where, for example, the peaks, valleys and curvatures of the smoothed histogram are analyzed 2 clustering-based methods, where the gray-level samples are clustered in two parts as background and foreground object, or alternately are modeled as a mixture of two Gaussians 3 entropy-based methods result in algorithms that use the entropy of the foreground and background regions, the cross-entropy between the original and binarized image,... 4 object attribute-based methods search a measure of similarity between the gray-level and the binarized images, such as fuzzy shape similarity, edge coincidence,... 5 the spatial methods use higher-order probability distribution and/or correlation between pixels 6 local methods adapt the threshold value on each pixel to the local image characteristics. 48 / 73
Seuillage Soit h l histogramme de l image, h hull, enveloppe convexe de h. Prendre : t = argmax h(g) h hull (g) g 49 / 73
Seuillage Trouver le seuil t qui minimise la variance intraclasses Deux classes : C 1 = {g 0 g < t} et C 2 = {g t g < L}, avec 0 g < L Soit p(g) = n(g) N N = S avec n(g) = nombre de pixels de niveau g et t 1 L 1 Remarquons que α(t) = p(g) et 1 α(t) = p(g) g=0 Variance intraclasses, définie par : g=t σ 2 intra(t) = α(t)σ 2 1(t) + (1 α(t))σ 2 2(t) (1) où σ 2 1 et σ2 2 sont les variances des deux classes 50 / 73
Seuillage Minimiser la variance intraclasses : elle est d autant plus petite que les variances σ 2 1 et σ 2 2 sont petites (en proportion de leur taille) c est-à-dire que la variance intraclasses est d autant plus petite que les deux classes sont homogènes. Théorème (Admis) Le seuil qui minimise la variance intraclasse est la valeur stationnaire de l algorithme numérique suivant : t 0 = µ 0, t k+1 = 1 2 (µ 1(t k ) + µ 2 (t k )) En pratique : on itère jusqu à ce que t k t k+1 < ɛ, l algorithme converge en une dizaine d itérations. 51 / 73
Seuillage Figure Image IRM. 52 / 73
Améliorations d images Revenons à notre problème Des images trop claires ou trop foncées D une manière générale : l histogramme est trop concentré Méthodes ponctuelles travaillant sur les niveaux de gris ou sur les histogrammes mais, en général, ne modifiant pas l information contenue dans les images 53 / 73
Rehaussement logarithmique de contraste Définition Formule : k = log(k) L intervalle des intensités sombres est augmenté (éclaircissement global de l image) : utilisé pour traiter des images trop sombres Remettre l intervalle de variation des k entre 0 et (L 1) 54 / 73
Rehaussement logarithmique de contraste 55 / 73
Rehaussement exponentiel de contraste Définition Formule : k = e k L intervalle des intensités claires est augmenté (assombrissement global de l image) : utilisé pour traiter des images trop claires Remettre l intervalle de variation des k entre 0 et (L 1) 56 / 73
Rehaussement exponentiel de contraste 57 / 73
Translation d histogramme Définition Permet de faire varier la luminosité de l image sans en changer le contraste On obtient une image plus claire ou plus sombre S applique sur des images à faible dynamique On a donc : k = k + t, où t R 58 / 73
Translation d histogramme 59 / 73
Changement de contraste Définition On effectue une transformation affine sur les niveaux de gris La transformation s exprime : k = ak + b, où a, b R Diminution de contraste a < 1 et b > 0 Augmentation de contraste a > 1 et b < 0 Un exemple : l étirement d histogramme 60 / 73
Étirement d histogramme Définition Cas où l intervalle de variation des niveaux de gris est réduit : on le remet entre 0 et (L 1) Si les niveaux de gris de I appartiennent à [k min, k max ], et qu on l étire à l intervale [0, L 1], alors on a : k = L 1 k max k min (k k min ) 61 / 73
Étirement d histogramme 62 / 73
Étirement d histogramme Un cas particulier : la transformation linéaire avec saturation On choisit deux seuils S min et S max tels que k min S min < S max k max On a : k = L 1 S max S min (k S min ) On peut obtenir des valeurs pour k en dehors de l intervalle de variation maximale des niveaux de gris. Exemple : image codée sur 8 bits (valeurs entre 0 et 255) : k < 0 k = 0 k > 255 k = 255 63 / 73
Étirement d histogramme Et dans le cas général? La dynamique de l image n est pas forcément maximale On peut choisir un intervalle cible [f min, f max ] quelconque C est une simple changement d intervalle, de [k min, k max ] vers [f min, f max ] On a donc : k = f min + f max f min k max k min (k k min ) 64 / 73
Égalisation d histogramme Définition Homogénéisation de la répartition des intensités des pixels Amplification des fluctuations dans les zones où elles sont faibles étalement des détails concentrés dans un petit intervalle de niveaux de gris 65 / 73
Égalisation d histogramme Définition Formule : ( ) L 1 k = Int N M H c(k) où L est la dynamique de l image, N et M respectivement le nombre de lignes et de colonnes de l image et H c (k) l histogramme cumulé du niveau de gris k. Int est la fonction qui arrondit à l entier le plus proche. 66 / 73
Égalisation d histogramme : exemple 1 67 / 73
Égalisation d histogramme : exemple 2 68 / 73
Étirement et égalisation : le même combat? Deux effets différents L étirement va changer la répartition spatiale des entrées (bins) de l histogramme, mais pas leur taille L égalisation va changer la répartition spatiale des entrées (bins) de l histogramme, et leur taille 69 / 73
Plan Types d opération Transformation géométriques Opérations entre images Amélioration Quelques applications de modification d histogrammes La mosaïque d images I Donnée : une image cible et une base d imagettes 70 / 73
Quelques applications de modification d histogrammes L apprentissage sur une base d images Donnée : une base de visages 71 / 73
Quelques applications de modification d histogrammes L apprentissage sur une base d images Un problème : des variations d illumination au sein de la base normaliser l ensemble des histogrammes pour que les images aient la même dynamique 72 / 73
Quelques applications de modification d histogrammes Segmentation Histogramme dans les espaces de couleurs (très grosse table!) Méthodes de clustering : k-moyennes (généralisation de Otsu à k seuils), mean-shift. 73 / 73