Organisation du module. Partie 1: Introduction. Plan du cours. Plan de la séance

Transcription

1 Organisation du module Traitement d images Partie 1: Introduction Thomas Oberlin Cours et TP : 1.25 ECTS 12h15 de cours (7 séances) 14 de TD/TP (8 séances) Objectifs : Connaître les techniques de bases du traitement des images numériques Pouvoir implémenter les principaux algorithmes en Matlab Signaux et Communications, IRIT/ENSEEIHT thomas.oberlin@enseeiht.fr 1 / 64 Projet : 2.5 ECTS 12 séances encadrées, 2 séances finales de présentation (total : 24h30) Travail en groupe Objectifs : Approfondir un aspect Comprendre un article de recherche, une problématique scientifique Implémenter, tester et analyser une technique avancée de TI 2 / 64 Plan du cours Plan de la séance I Introduction TP 1 : Matlab pour le TI II Transformée de Fourier III Échantillonnage, filtrage des images TP 2 : TF, échantillonnage, filtrage IV Restauration TP 3 : Restauration V Représentation, approximations, compression TP 4 : Approximation et compression VI Segmentation TP 5 : Segmentation VII Détection des contours TP 6 : Contours 1 Qu est-ce que le traitement d images? Généralités Applications Quelques exemples 2 L image numérique De l analogique au numérique Images couleurs et espaces colorimétriques 3 Histogramme Définition Exemples Égalisation d histogramme 4 Autres transformations Transformations géométriques Réduction du nombre de couleurs 3 / 64 4 / 64

2 TI : traitement du signal en dimension > 1 Contexte notion de signal : observation de phénomène. quantités dépendantes du temps, de l espace ou de la fréquence. modélisation sous forme de fonction d une ou plusieurs variables. 1D : variable le temps t (exemple : le son) 2D : les images, variables l espace (x, y) 3D : images 3D (x, y, z),, vidéos ((x, y), t) 4D : volumes 3D évoluant dans le temps 6 / 64 7 / 64 Domaines d application... Depuis les années 60 Astronomie (images spectrales, télescopes terrestres et spatiaux) Imagerie médicale (radios, échographie, angiographie, IRM, etc.) Imagerie biologique (microscopie, spectroscopi) Image satellite (météo, climato, océano, surveillance, ressources) défense, sécurité, surveillance (bio-métrie : iris, veines, empreintes, visages, plaques, etc.) Robotique, vision artificielle Contrôle non-destructif (qualité de production, intégrité des structures)... Plus récemment Capture et analyse du mouvement humain (prothèses, geste sportif, interfaces gestuelles) Réalité augmentée, réalité virtuelle Tatouage numérique (Watermarking) Assistance à la conduite Reconnaissance et classification dans de grandes bases de données... 8 / 64 Quelques problématiques... Analyses Calcul de mesures globales (statistiques, distributions, contenu fréquentiel), locales (dérivées, statistiques locales) Segmentation : partitionnement en régions "homogènes" (texture, couleur) Extraction de "primitives" (contours, coins, blobs, lignes) Reconnaissance d objets (visages, texte, etc) Classification intra et inter-images Transformations Compression Transformations géométriques, recalage Changement de contraste, de couleurs, etc. Débruitage, restauration et rehaussement Édition, complétion 9 / 64

3 Exemples Amélioration et restauration Exemples imagerie médicale (IRM) 10 / 64 Exemples imagerie médicale 2008 : Cobzas, Birkbeck, Schmidt, Jagersand, Murtha A. 3D Variational Brain Tumor Segmentation using a High Dimensional Feature Set 12 / / 64 Exemples assistance à la conduite 13 / 64

4 Exemple complétion d images (inpainting) Exemples Imagerie hyperspectrale P Goyal, S Diwakar, Fast and enhanced algorithm for exemplar based image inpainting, Image and Video Technology (PSIVT) GPGPU Hyperspectral Imaging, GE Intelligent Platforms 14 / / 64 Exemples Géophysique, sismologie Plan de la section 1 Qu est-ce que le traitement d images? 2 L image numérique De l analogique au numérique Images couleurs et espaces colorimétriques 3 Histogramme 4 Autres transformations 16 / / 64

5 L image numérique image = signal bidimensionnel image analogique : image formée sur la rétine de l oeil, image obtenue par la photo argentique classique Échantillonnage et quantification Une image continue = une fonction à deux variables réelles R 2 R+ d Image numérique : f : [[1, M ] [[1, N ] I, où MN est le nombre de pixels, et I est un ensemble discret de valeurs. image numérique : signal numérique composé d unités élémentaires (pixels) qui représentent chacun une portion de l image. Caractérisée par : le nombre de pixels (largeur, hauteur) étendue des teintes de gris ou des couleurs que peut prendre chaque pixel dynamique de l image. Rappel en 1D 18 / / 64 Images binaires (noir ou blanc) Images en niveau de gris cas où I = {0,..., P 1} (souvent P = 2 8 = 256 : codage sur 8 bits) Cas où I = {0, 1} 0=noir, 255=blanc, les autres=teintes de gris 20 / / 64

6 Images couleurs RVB Espace RVB I = {0,..., P 1} {0,..., P 1} {0,..., P 1} }{{}}{{}}{{} Rouge Vert Bleu basé sur la synthèse additive des couleurs mélange de 3 composantes Souvent, chaque couleur sur 8bits donc I = {0,..., 255} 3 Utilisé par les écrans d ordinateurs 22 / / 64 Images couleurs (0, 0, 0) (128, 0, 0) (255, 0, 0) (0, 128, 0) (128, 128, 128) (255, 128, 0) (0, 255, 0) (128, 255, 0) (255, 255, 255) Images couleurs Onde lumineuse : superposition d une infinité d ondes pures Système visuel tout signal lumineux est bien approché, visuellement, par une combinaison linéaire de trois primaires Constat empirique (mélange en peinture et imprimerie) Explication anatomique : trois types de cônes sur la rétine sensibles sur trois plages différentes de longueurs d onde grossièrement associées au rouge, vert et bleu. ou encore , , / / 64

7 Capteur CCD (coupled-charge device) Espaces colorimétriques grille de photo-senseurs : chacun convertit les photons en courant électrique sur un petit intervalle de temps fixe ; la réponse peut dépendre de la longueur d onde des photons réponses "récoltées" et numérisées (quantifiées sur un nombre fini de valeurs) images couleurs : trois types de capteurs, spécialisés sur le vert, le bleu et le rouge (mosaïque de Bayer [Kodak, 1976]) ; interpolation pour avoir autant de pixels que de cellules Tri-chromie Red-Green-Blue : RGB Cyan-Yellow-Magenta : CYM (synthèse soustractive) Espaces luminance-chrominance : une composante de luminance plus 2 de chrominance. Ex : xyy, YUV (linéaires), CIE Lab (non linéaire) Mais : peu conformes à la perception psycho-visuelle la teinte est une dimension " fermée " (roue des couleurs) distances dans un espace linéaire et dissimilarités perçues ne sont pas en bon accord Hue(teinte)-Saturation-Value : HSV (TSV en français). Non-linéaire, représentation circulaire de la teinte représentation conique de l espace des couleurs. 26 / / 64 Espaces colorimétriques : RGB {}}{ Espaces colorimétriques : Yuv [ [ [ Y U V ] 0, 299 0, 587 0, 114 0, , , 436 0, 615 0, , ] [ R 1 0 1, G B = 1 0, , , {}}{ ][ ][ R G B Y U V = ] ] R G B Y u v 28 / / 64

8 Espaces colorimétriques : HSV Espaces colorimétriques CIE-XYZ CIE-Lab CIE-HSV (Transformation non linéaire) {}}{ H S V 30 / / 64 Images spectrales Plan de la section 1 Qu est-ce que le traitement d images? 2 L image numérique Image hyperspectrale : jusqu à quelques centaines de longueurs d ondes, couvrant le visible, l infrarouge et parfois d autres plages de longueurs d onde. 3 Histogramme Définition Exemples Égalisation d histogramme 4 Autres transformations 32 / / 64

9 Histogramme d une image en niveaux de gris Définition Histogramme d une image f : fonction discrète qui associe à chaque valeur d intensité le nombre de pixels prenant cette valeur. h f : {0,..., 255} N v Card{(x, y) f (x, y) = v} Histogramme d une image Si f est de taille M N à valeurs dans {0,..., 255}, v h f (v) = MN Pour f =, on a h f =. Pour f =, h f =? idem Deux images différentes peuvent avoir le même histogramme, ce n est pas une caractéristique de l image f h f 34 / / 64 Histogramme d une image Histogramme d une image Que peut-on dire d une photo ayant pour histogramme? Il s agit d une image sur-exposée 36 / / 64

10 Histogramme d une image Histogramme d une image Utile pour changer le contraste d une image. On construit une image g ainsi : g(x, y) = φ(f (x, y)), avec φ fonction croissante Renforcement du contraste Édition manuelle, exple : avec GIMP 38 / / 64 Normalisation/étirement d histogrammes Normalisation/étirement d histogrammes Si l image f n utilise pas l ensemble de la dynamique possible : Image originale Image "normalisée" On peut "étirer" l histogramme. On cherche φ linéaire et croissante telle que min (φ (f (x, y))) 0 et max (φ (f (x, y))) 255 (par exemple) φ(v) = 255 v min(i ) max(i ) min(i ) 40 / / 64

11 Normalisation/étirement d histogrammes Égalisation d histogramme Image originale ajustement automatique du contraste but : "étaler" les valeurs de l image pour mieux répartir sur l ensemble des valeurs possibles Exemple (wikipédia) Image "normalisée" Dans le cas où l histogramme initial occupe déjà toute la plage de dynamique, aucun changement n est visible. 42 / / 64 Égalisation d histogramme Égalisation d histogramme Principes de l algorithme image à valeurs dans {0,..., L 1} intensités des pixels (f [n, m]) : réalisations d une variable aléatoire F à valeurs dans [0, L 1] (continue) p f (f ) = P f (F = f ) : sa densité de probabilité Quelle transformation φ doit on appliquer à f pour que p g, la densité de probabilité associée à l image g = φ(f ), soit uniforme? On peut montrer qu il faut prendre φ(f ) = (L 1) f 0 p f (w) dw Fonction de répartition de F En pratique : histogrammes discrets. Impossible d obtenir un histogramme n plat mais on suit la même idée φ(n) = (L 1) p(f = k), avec p(f = k) la probabilité empirique, ie la proportion de pixels de valeur k dans l image. C est l histogramme cumulé. k=0 Résultats : avant après histogramme (rouge) et histogramme cumulé (noir) 44 / / 64

12 Égalisation d histogramme Plan de la section Résultats : avant après 1 Qu est-ce que le traitement d images? 2 L image numérique 3 Histogramme 4 Autres transformations Transformations géométriques Réduction du nombre de couleurs 46 / / 64 Transformations géométriques Exemples d applications 1/3 But Déformer une image (sans modifier ses valeurs) Création de panoramas Retouche d images Création de panoramas, fusion d images Recalage d images (déformer une image I pour qu elle se "superpose" sur une image J) Définition Une transformation T : R 2 R / / 64

13 Exemples d applications 2/3 Exemples d applications 3/3 Images satellitaires Recalage d images (indispensable en traitement des images médicales) Cible T = 0 Source T = 3 mois abs(source - Cible) Init Télédétection : Carte de végétation et image satellitaire Recalé évolution de lésions (images IRM-T2 d un patient atteint de sclérose en plaques à quelques mois d intervalle) 50 / / 64 Transformations affines Transformations projectives Définition T(x, y) = a b c d } {{ } A x y + e f. Caractérisation Préserve les droites, plans, etc Obtenue lorsqu on change de point de vue très utilisée en vision par ordinateur Exemple : translations (A = I 2 ), rotations, (A orthogonale), changement d échelle (A diagonale). Conserve le parallélisme. 52 / / 64

14 Transformations non-linéaires Utilisées en recalage non-rigide Cas d images discrètes W (x, y) n est généralement pas à coordonnées entières Interpolation d intensités Attribuer une intensité raisonnable à une position physique tombant entre des positions où l intensité est connue (donc une position à coordonnées non entières) 54 / / 64 Interpolation d images Interpolation d images Approches plus sophistiquées On cherche une fonction "simple" qui passe par les différents points connus, et on regarde la valeur de cette fonction au point qui nous intéresse fonctions possibles : Bicubique (spline) : I(x, y) = 3 i=0 3 j=0 a ijx i y j Deux approches "basiques" interpolation au plus proche voisins : I (x, y) = I (round(x), round(y)) interpolation bi-linéaire Plus proche voisin Bilinéaire Bicubique basée sur sinc(x) = sin(πx) πx Lanczos3 56 / / 64

15 Réduction du nombre de couleurs (quantification) Réduction du nombre de couleurs (quantification) But Compression ou adaptation au système d affichage 8 bpp (256 couleurs) 4 bpp (16 couleurs) 24 bits par pixel (bpp) 16 millions de couleurs 58 / 64 2 bpp (4 couleurs) 1 bpp (2 couleurs) 59 / 64 Réduction du nombre de couleurs (quantification) Réduction n.d.g. images binaires Utilité de la binarisation : imprimantes, fax Binarisation par seuillage Réduction du nombre de couleurs (quantification) Réduction n.d.g. images binaires Binarisation par tramage 60 / / 64

16 Réduction du nombre de couleurs (quantification) Réduction n.d.g. images binaires Réduction du nombre de couleurs (quantification) Réduction n.d.g. n.d.g. Quantification scalaire uniforme : Binarisation par propagation de l erreur (Floyd-Steinberg) Wikipedia Quantification scalaire non uniforme : on peut souhaiter que chaque classe soit utilisée par le même nombre de pixels en utilisant l histogramme cumulé 62 / / 64 Réduction du nombre de couleurs (quantification) Réduction RGB RGB On peut appliquer une quantification scalaire sur chaque composante (R, G et B) séparément pas optimal Optimal au sens de l erreur quadratique moyenne : appliquer les k-means dans R 3. On cherche des représentants de chaque classe directement dans RGB. 64 / 64