Traitement et analyse d'images -ANIMAG
Juste au cas où. Qui suis je? Et comment me joindre? Carole Frindel, CREATIS carole.frindel@creatis.insa lyon.fr Si vous avez des difficultés : Références à des ouvrages tout au long du cours Internet est vaste : soyez autonomes. Si ça ne répond pas à vos questions : Envoyez un mail à votre enseignant Page : 2/15
Programme du cours Introduction Qu est ce qu une image? Traitements de base d une image Convolution Numérique Traitements fréquentiels Détection des contours Segmentation Opérations sur les images binaires Reconnaissance des formes Page : 3/15
Calendrier Page : 4/15
Fonctionnement du cours Séance de 2 ou 4h (exceptionnellement). Alternance entre séance de cours et de TP Travaux pratiques Utilisation de Fiji sous Linux Programmation de macros sous Fiji Evaluation du cours Travaux pratiques (5%) + projet (5%) Page : 5/15
https://planete.insa-lyon.fr/scolpeda/f/ects?id=22193&_lang=fr Page : 6/15
Fiji Logiciel de traitement et analyse d'images, surcouche de ImageJ ImageJ : logiciel multi plateforme et open source de traitement et d'analyse d'images développé par les National Institutes of Health Il est écrit en Java et permet l'ajout de nouvelles fonctionnalités via des plugins et macros Téléchargeable sur http://fiji.sc/fiji Utilisé pour les travaux pratiques Page : 7/15
Attention : accent mis sur les TP Ne surtout pas commencer à la dernière minute Travaillez en plusieurs fois Se laisser du temps pour réfléchir aux problèmes Du temps est donné en classe pour les TP Profitez en pour avancer votre travail! Evitez de surfez le web dans les cours et relisez votre cours avant de venir en TP Page : 8/15
Attention : accent mis sur les TP C est un cours de traitement d images! Découvrez le logiciel Fiji et ses fonctionnalités Ecrivez votre rapport en français Mais expliquez et démontrez le traitement d images! Montrez des résultats sur les images Choisissez les images et expliquez vos résultats Faites le lien avec ce qui est vu en cours Page : 9/15
Ouvrages en Traitement d images Diane Lingrand. Introduction au Traitement d Images, Vuibert, Paris, 24. Alain Trémeau, Christine Fernandez Maloigne & Pierre Bonton. Image Numérique Couleur, Editions Dunod, 24. Rafael C. Gonzalez & Richard E. Woords. Digital Image Processing, 2nd edition, Prentice Hall, 22. Wilhelm Burger & Mark J. Burge. Digital Image Processing: An Algorithmic Introduction using Java, Springer, 27. Page : 1/15
Vision artificielle (Computer Vision) Qu'est ce que c'est? connaissances et technologies qui permettent de concevoir des machines qui peuvent «voir» Premier niveau : vision acquiert une image grâce à une chaîne intégrant des éléments optiques et un capteur Deuxième niveau : traitement de l'image modifie le contenu de l'image afin de mettre en évidence des éléments d'intérêt (objets, contours) Troisième niveau : reconnaissance utilise des techniques d'intelligence artificielle pour identifier des formes connues dans l'image Page : 11/15
Extension de la perception humaine? Oui Capteurs meilleurs que l'oeil humain voient ce que nous ne voyons pas directement, du fait de la limitation de notre système visuel Autres propriétés optiques problème d'échelle, de résolution, de point de vue (ex : images satellitaires) Autres gammes de longueurs d'onde caméras multi spectrales, infrarouge proche, thermiques (infrarouge lointain) Autres cadences caméras à haute cadence, plusieurs milliers d'images par seconde. Page : 12/15
Mieux que la perception humaine? Non Moins «intelligent» que l'humain même si les images initiales sont parfois très riches, le résultat de leur traitement par un système de VA reste souvent basique Puissance de calcul les systèmes de VA ont une capacité de calcul infiniment plus limitée que celle du cerveau humain, ou de celui des animaux évolués Connaissance et reconnaissance nous exploitons nos connaissances pour interpréter le contenu de l'image : on reconnaît parfois des objets alors qu'ils ne sont pas visibles Page : 13/15
Exemple d'application de la VA : imagerie médicale Objectifs aider le médecin lors du diagnostic, le chirurgien lors de la réalisation d'un geste opératoire Amélioration des images rehaussement du contraste, élimination du bruit, mise en évidence des détails Détection et localisation positionnement des organes, détection des tumeurs, mesure de dimensions et de volumes Imagerie interventionnelle assistance en ligne au praticien : opérations réalisées sur les images en temps réel Page : 14/15
Vision industrielle : contrôle de la qualité, de l'aspect,... Objectifs éviter le contrôle visuel par un opérateur (tâche répétitive peu valorisante) Contrôle dimensionnel le système de vision détermine la dimension, la forme, la position de l'objet qu'il observe Contrôle d'aspect le système détermine la couleur, la texture des objets observés Contrôle de la qualité à partir des données précédentes, le système détermine la qualité d'un produit Page : 15/15
Carole Frindel, CREATIS
Qu'est-ce qu'une image? Niveaux de gris - 8 bits: - noir 255 - blanc 64 6 69 1 149 151 176 182 179 65 62 68 97 145 148 175 183 181 65 66 7 95 142 146 176 185 184 66 66 68 9 135 14 172 184 184 66 64 64 84 129 134 168 181 182 59 63 62 88 13 128 166 185 18 6 62 6 85 127 125 163 183 178 62 62 58 81 122 12 16 181 176 63 64 58 78 118 117 159 18 176 Source : Tal Hassner. Computer Vision. Weizmann Institute of Science (Israel). 2
Qu'est-ce qu'une image? Une image est avant tout un signal 2D (x,y) Souvent, cette image représente une réalité 3D (x,y,z) D'un point de vue mathématique : Une image est un matrice de nombres représentant un signal Plusieurs outils permettent de manipuler ce signal D'un point de vue humain : Une image contient plusieurs informations sémantiques Il faut interpréter le contenu au-delà de la valeur des nombres 4
Images naturelles et artificielles Image naturelle Plusieurs moyens d'acquisition caméra, microscope, tomographie, infra-rouge, satellite, Image artificielle Plusieurs outils de représentation synthèse d'images, réalité virtuelle, visualisation scientifique, Image naturelle Image artificielle Image artificielle 5
Trois principaux types d'images Images en niveaux de gris I(x,y) [..255] Images binaires I(x,y) {, 1} Images couleurs I R (x,y) I G (x,y) I B (x,y) et plus encore (image 3D, image réelle, ) Source : Tal Hassner. Computer Vision. Weizmann Institute of Science (Israel). 6
Image couleur dans l'espace RVB Mais il existe aussi d autres codages de la couleur que RVB CVIPTools : File>View Band>{Red,Green,Blue} / Utilities>Convert>Color to Gray Source : Tal Hassner. Computer Vision. Weizmann Institute of Science (Israel). 7
Acquisition des images 8
Acquisition d'une image Monde Caméra Numériseur Image numérique Source : Tal Hassner. Computer Vision. Weizmann Institute of Science (Israel). 9
Capteur Principe général Principe général (ex: photodiode) L'énergie incidente est convertie en signal électrique Sortie est proportionnelle à la lumière Filtre pour augmenter la sélectivité 1
Capteurs Matrice 2D KAF-16 - Kodak. 11
Capteur CCD Caméras numériques CCD Matrice CCD (Charged Coupled Devices) Système d'acquisition numérique 2D le plus utilisé La réponse est proportionnelle à l'intégrale de l'énergie lumineuse qui atteint chaque élément Pour la couleur, on utilise trois capteurs par pixel réagissant à des longueurs d'ondes différentes (rouge, vert et bleu) 12
Image numérique Les valeurs de f (x,y) sont la réponse du capteur au phénomène observé Les valeurs de f (x,y) sont des valeurs de «voltage» continu Les valeurs de f (x,y) doivent être converties vers le domaine numérique Conversion Analogique/Numérique (A/N) Deux procédés sont impliqués pour numériser une image : Numérisation = Échantillonnage + Quantification 13
Echantillonnage et quantification Source : Gonzalez and Woods. Digital Image Processing. Prentice-Hall, 22. 14
Echantillonnage et quantification L échantillonnage est limité par la capacité du capteur, donc le nombre de pixels disponible (ou autre limite imposée) La quantification est limitée par la quantité de tons (de gris) définie dans l intervalle Source : Gonzalez and Woods. Digital Image Processing. Prentice-Hall, 22. 15
Echantillonnage et quantification Avec un capteur à matrice : Source : Gonzalez and Woods. Digital Image Processing. Prentice-Hall, 22. 16
Echantillonnage et quantification CVIPTools : Utilities>Size>Spatial Quant / Utilities>Convert >Gray Level Quantization 17
Représentation des images Matrice de dimension M X N Chaque élément à une valeur entière dans l'intervalle [L min, L max ] Le nombre de «bits» requis pour représenter les niveaux de gris dans l intervalle «L» est «K» La relation entre «K» et «L» est : L = 2 K Le nombre de bits pour entreposer un image est donc : b = M X N X K 18
Résolutions des images Résolution spatiale Le plus petit détail discernable Résolution tonale (de tons de gris) Le plus petit changement discernable Une image a donc une résolution spatiale de M X N pixel et une résolution de tons de gris de K bits ou de L niveaux ou tons 19
Résolutions spatiale et tonale Résolution spatiale : échantillonage Résolution tonale : quantification Source : Antoine Mazanera. Introduction et filtrage. ENSTA (France). 2
Profils d intensité dans une image 25
Profil d'intensité d'une image Un profil d intensité d une ligne dans une image est représenté par des signaux 1D. 26
Lectures suggérées Introduction au Traitement d Images (Lingrand) : chapitre 1 Digital Image Processing: An Algorithmic Introduction using Java (Burger & Burge) : chapitre 2 Wikipédia : Traitement d'images, Image numérique, Image matricielle, Image resolution, Niveaux de gris, Quantification
Histogramme d'une image Nombre de pixels Niveau de gris L'histogramme représente la distribution des niveaux de gris (ou de couleurs) dans une image H(k) = nombre de pixels de l'image ayant la valeur k. CVIPTools : File>Show Histogram 2
Histogramme d'une image PI(k) 1 k PI(k) 1.5 k PI(k).1 k Dynamique d'une image = [valeur_min,valeur_max] Source : Tal Hassner. Computer Vision. Weizmann Institute of Science (Israel). 3
Luminance ou brillance d'une image La luminance (ou brillance) est définie comme la moyenne de tous les pixels de l'image. Dans les deux images suivantes, seule la luminance est différente : CVIPTools : Utilities>Stats>Image Statistics (Mean) Source : Eric Favier. L'analyse et le traitement des images. ENISE (France). 4
Contraste d'une image Le contraste peut être défini de plusieurs façons : Ecart-type des variations des niveaux de gris Variation entre niveaux de gris min et max CVIPTools : Utilities>Stats>Image Statistics (S.D.) 5
Contraste d'une image Les deux images suivantes possèdent un contraste différent : Source : Eric Favier. L'analyse et le traitement des images. ENISE (France). 6
Exemples de contrastes d une image Source : Gonzalez and Woods. Digital Image Processing. Prentice-Hall, 22. 7
Amélioration du contraste Plusieurs méthodes possibles : Transformation linéaire Transformation linéaire avec saturation Transformation linéaire par morceau Transformation non-linéaire Égalisation de l histogramme CVIPTools : Enhancement>Histograms Source : Caroline Rougier. Traitement d'images (IFT273). Univ. de Montréal. 8
Transformation linéaire I max min 255 = I i, j min I ' i, j Alors : 255 I ' i, j = I i, j min max min 255 I (i,j) min I(i,j) max I min) 255 ( I ( i, j ) [,1] I ' (i, i) = ( I (i, j ) min) avec max min max min CVIPTools : Enhancement>Histograms>Linear Modification Source : Caroline Rougier. Traitement d'images (IFT273). Univ. de Montréal. 9
Transformation linéaire % 255 255 255 min max 255 min max 255 Source : Caroline Rougier. Traitement d'images (IFT273). Univ. de Montréal. 255 1
Implémentation Pour i=1 à nblig Pour j=1 à nbcol I (i,j) = 255*(I(i,j)-minI) /(maxi-mini); Pas optimal Utilisation d une LUT (Look Up Table) /* Initialisation de la LUT */ Pour i= à 255 LUT[i]=255*(i-minI)/(maxI-minI); /* Initialisation de la LUT */ Pour i=1 à nblig Pour j=1 à nbcol I (i,j) =LUT[I(i,j)]; Source : Caroline Rougier. Traitement d'images (IFT273). Univ. de Montréal. 11
Transformation linéaire avec saturation % 255 255 255 Smin Smax 255 min Smin max 255 Smax Source : Caroline Rougier. Traitement d'images (IFT273). Univ. de Montréal. 255 12
Transformation linéaire avec saturation 255 I ' (i, j ) = ( I (i, j ) Smin ) Smax Smin I ' (i, j ) I ' (i, j ) = I ' (i, j ) 255 I ' (i, j ) = 255 min(i (i, j )) Smin < Smax max(i (i, j )) Source : Caroline Rougier. Traitement d'images (IFT273). Univ. de Montréal. 13
Transformation linéaire par morceaux % 255 255 255 Smin Smax 255 255 min max Smin Smax S Source : Caroline Rougier. Traitement d'images (IFT273). Univ. de Montréal. 255 14
Transformation linéaire par morceaux Exemple d une fonction ad-hoc de modification du contraste de l image. Source : Gonzalez and Woods. Digital Image Processing. Prentice-Hall, 22. 15
Correction de la dynamique de l'image Image originale Image restaurée CVIPTools : Utilities>Stats>Image Data Range + Enhancement>Histograms>Histogram Stretch Source : www.crans.ens-cachan.fr/~genest/histogramme.pdf 18
Correction de la dynamique de l'image Dans le cas où l'histogramme initial occupe toute la plage de dynamique, aucun changement n'est visible. Source : www.crans.ens-cachan.fr/~genest/histogramme.pdf 19
Egalisation de l'histogramme 3 5 3 5 3 3 2 5 2 5 2 2 1 5 1 5 1 1 5 5 5 1 1 5 2 Image originale 2 5 5 1 1 5 2 2 5 Image plus contrastée CVIPTools : Enhancement>Histograms>Histogram Equalization Source : Tal Hassner. Computer Vision. Weizmann Institute of Science (Israel). 2
Egalisation de l'histogramme Pour améliorer le contraste, on cherche à aplanir l histogramme h ideal k h k k k h i i [, 255] Etape 1 : Calcul de l'histogramme Etape 2 : Normalisation de l'histogramme (Nbp : nombre de pixels de l image) Etape 3 : Densité de probabilité normalisé h i h n i = Nbp i [, 255] C i = h n j i [, 255] i j= Etape 4 : Transformation des niveaux de gris de l'image f ' x, y =C f x, y 255 Note : voir ImAnalyse pour des exemples d'histogrammes cumulés 21
Egalisation de l'histogramme L'égalisation d'histogramme peut améliorer une image là où la correction de dynamique de l'histogramme est inefficace. 22
Egalisation de l'histogramme Si on prend la même image avec des contrastes différents, l égalisation d histogramme donne le même résultat pour toutes les images. Source : Gonzalez and Woods. Digital Image Processing. Prentice-Hall, 22. 23
Egalisation (locale) de l'histogramme Image originale Egalisation globale Egalisation locale L égalisation locale de l histogramme est faite en prenant une fenêtre de 7x7 autour de chaque pixel. CVIPTools : Enhancement>Histograms>Local Equalization Source : Gonzalez and Woods. Digital Image Processing. Prentice-Hall, 22. 24
Opérations sur les images (ET,OU) Les opérations logiques fonctionnent aussi sur les images. ET = OU = CVIPTools : Utilities>Arith/Logic>{AND,OR} Source : Gonzalez and Woods. Digital Image Processing. Prentice-Hall, 22. 25
Opérations sur les images (ET,OU) Source : Gonzalez and Woods. Digital Image Processing. Prentice-Hall, 22. 26
Addition d images Si f et g sont deux images, on peut définir l addition R pixel à pixel de ces deux images par : R(x,y) = Min( f(x,y)+g(x,y) ; 255 ) L addition d images peut permettre De diminuer le bruit d une vue dans une série d images D augmenter la luminance en additionnant une image avec elle-même CVIPTools : Utilities>Arith/Logic>Add Source : Eric Favier. L'analyse et le traitement des images. ENISE. 27
Soustraction d images On peut définir la soustraction S pixel à pixel de deux images f et g par : S(x,y) = Max( f(x,y)-g(x,y) ; ) La soustraction d images peut permettre Détection de défauts Détection de mouvements CVIPTools : Utilities>Arith/Logic>Substract Source : Eric Favier. L'analyse et le traitement des images. ENISE. 28
Multiplication d images La multiplication S d une image f par un ratio (facteur) peut se définir par : S(x,y) = Max( f(x,y)*ratio ; 255) La multiplication d images peut permettre d améliorer le contraste ou la luminosité x1,5 = CVIPTools : Utilities>Arith/Logic>Multiply Source : Eric Favier. L'analyse et le traitement des images. ENISE. x1,2 = 29
Opérations sur les images (+,-) F(x,y).5*F(x,y) +.5*G(x,y) G(x,y) G(x,y) F(x,y) Source : www.nte.montaigne.u-bordeaux.fr/suppcours/5314/dai/traitimage1-2.ppt F(x,y) G(x,y) 3
Lectures suggérées Introduction au Traitement d Images (Lingrand), chapitre 4 Digital Image Processing: An Algorithmic Introduction using Java (Burger & Burge) : chapitres 4 et 5 Wikipédia : Histogramme, Brightness (luminance), Contrast, Lookup table, Color balance (amélioration du contraste), Egalisation d'histogramme