8TRD147: Animation et images par ordinateur

Transcription

1 8TRD147: Animation et images par ordinateur Introduction au traitement numérique des images Y. Chiricota Département d informatique et de mathématique Université du Québec à Chicoutimi / Certaines des illustrations de ce document proviennent du livre rouge d OpenGL, des sites developer.apple.com ; opengl.org ; khronos.org ; nvidia.org 8TRD147 UQAC Y. Chiricota(2014) 1

2 Les figures de cette présentation proviennent du site (Gonzalez & Woods) 8TRD147 UQAC Y. Chiricota(2014) 2

3 Qu est-ce qu une image? Une image (monochrome) est une fonction à deux variables f : D R où D = [a, b] [c, d] R 2. Les valeurs f (s, t) correspondent à l intensité de l image au point (s, t). Si on remplace le domaine continu D par une grille" de points (un ensemble de la forme D = [0,..., m] [0,..., n]), on parle d image numérique. Chaque valeur f (i, j) (avec (i, j) D ) d une image numérique correspond à un pixel. La numérisation d une image (continue) f consiste à restreindre f à un domaine discret (de type grille). 8TRD147 UQAC Y. Chiricota(2014) 2

4 Qu est-ce que le traitement numérique des images? C est la branche de l informatique concernée par le développement et l application de méthodes pour améliorer, restaurer, segmenter, compresser, analyser, etc. les images numérisées. 8TRD147 UQAC Y. Chiricota(2014) 3

5 Bref historique Les premières applications du traitement des images numériques proviennent de l industrie du journalisme. Bartlane a mis au point un système de transmission par codage de cinq niveau de gris. 8TRD147 UQAC Y. Chiricota(2014) 4

6 Le système a été amélioré à quinze niveau de gris en Notons qu aucun ordinateur n était impliqué dans le traitement... 8TRD147 UQAC Y. Chiricota(2014) 5

7 Il faut attendre le début des années soixante pour que l ordinateur soit utilisé pour le traitement des images. L industrie aérospatiale représente un des premiers champs d application. 8TRD147 UQAC Y. Chiricota(2014) 6

8 Aujourd hui, les applications du traitement numérique des images sont nombreuses : Imagerie médicale Jeux vidéo Astronomie Usinage Météorologie etc. Voici quelques exemples... 8TRD147 UQAC Y. Chiricota(2014) 7

9 Spectre 8TRD147 UQAC Y. Chiricota(2014) 8

10 8TRD147 UQAC Y. Chiricota(2014) 9

23 Les principales étapes du traitement d images Acquisition Amélioration (relativement à une finalité spécifique) Restauration Traitement de la couleur Compression Segmentation Reconnaissance de formes (ex. : Kinect). 8TRD147 UQAC Y. Chiricota(2014) 22

24 Composantes d un système de traitement d images 8TRD147 UQAC Y. Chiricota(2014) 23

25 Peu importe la méthode d acquisition et le spectre du signal à la source, les images sont destinées à la visualisation humaine. Le dispositif" final vers lequel toutes les images sont acheminées est l oeil humain. Cette partie du processus est sujette à subjectivité et à des effets optiques. 8TRD147 UQAC Y. Chiricota(2014) 24

29 Partie visible du spectre. 8TRD147 UQAC Y. Chiricota(2014) 28

30 Dans la plupart des cas, l acquisition d image numérique s effectue à l aide de capteurs qui accumulent l énergie électromagnétique. 8TRD147 UQAC Y. Chiricota(2014) 29

31 Exemple de procédé d acquisition. Le système d acquisition peut-être une caméra numérique, un système tomographique, etc. 8TRD147 UQAC Y. Chiricota(2014) 30

32 Illustration de la numérisation du signal. Remarquons le bruit inhérent à la plupart des capteurs. 8TRD147 UQAC Y. Chiricota(2014) 31

33 En résumé. 8TRD147 UQAC Y. Chiricota(2014) 32

34 Nous avons vu qu une image est une fonction à deux variables (continues) f (s, t). Une image numérique est obtenue de f en échantillonnant et en numérisant les valeurs échantillonnées. Par convention, l image échantillonnée est de la forme I(x, y) [0, 1] avec x = 0, 1,..., N et x = 0, 1,..., M, où N, M N. Notons que I n est pas nécessairement la restriction de la fonction f aux entiers. Si I = 0, le pixel est noir et si I = 1, nous avons affaire à un pixel blanc. Par abus de notation, nous poserons f (x, y) = I(x, y). f (x, y) est la valeur d un pixel (x, y). (x, y) sont des coordonnées spatiales. 8TRD147 UQAC Y. Chiricota(2014) 33

35 Représentations d une image échantillonnée. 8TRD147 UQAC Y. Chiricota(2014) 34

36 Représentations vectorielles et matricielles Une image f (x, y) correspond à une matrice A de taille M N en posant a ij = f (x, y) x=i,y=j. On peut de plus considérer l image f (x, y) sous la forme d un vecteur V R MN. 8TRD147 UQAC Y. Chiricota(2014) 35

37 Caractéristiques des images La gamme dynamique est le rapport entre les intensités maximale et minimales des pixels d une image. Le contraste est la différence entre ces deux intensités. Une partie d une image est dite saturée lorsque la valeur des pixels dans celle-ci est près de 1. L intensité minimale d une image est limité par le bruit associé au dispositif de captation. 8TRD147 UQAC Y. Chiricota(2014) 36

38 Gamme dynamique et bruit. 8TRD147 UQAC Y. Chiricota(2014) 37

39 La résolution spatiale d une image numérique est le nombre de pixel/distance. On expire la résolution spatiale en dpi. À titre d exemple, un journal a une résolution spatiale d environ 75 dpi, une revue sur papier glacé est à 130 dpi, une photographie noir et blanc sur film 100 ASA près de 6000 dpi. 8TRD147 UQAC Y. Chiricota(2014) 38

40 Une image à diverses résolution. 8TRD147 UQAC Y. Chiricota(2014) 39

41 Réduction du nombre d intensité par pixels (profondeur). Les images suivantes représentent le même cliché numérisé à 2 8, 2 7,..., 2 1 bits/pixels. 8TRD147 UQAC Y. Chiricota(2014) 40

42 Cette section présente certains outils mathématiques nécessaire au traitement des images numériques. 8TRD147 UQAC Y. Chiricota(2014) 41

43 Interpolation de pixels Il est souvent nécessaire de ré-échantillonner une image numérique I(x, y) (x, y N) lorsque certaines opérations sont appliquées (tels que zoom, rotation, etc.) à celle-ci. Il est alors nécessaire d interpoler les pixels de la nouvelle image I (x, y). Voici deux méthodes : Interpolation par le voisin le plus près : l intensité de I au point (x, y) est celle du pixel de I le plus près de ce point. Interpolation linéaire et bi-linéaire : On fait une somme pondérée des intensités à partir du voisinage du pixel en position (x, y). 8TRD147 UQAC Y. Chiricota(2014) 42

44 Opérations arithmétiques sur les images. On peut munir l ensemble des images de taille M N d opérations arithmétiques pixel à pixel. On définit ainsi la somme, la différence, le produit et la division des pixels. 8TRD147 UQAC Y. Chiricota(2014) 43

45 Application à la réduction du bruit. Le bruit est inhérent aux dispositifs de captation d images. La situation correspond à l équation g(x, y) = f (x, y) + η(x, y), où f est l image sans bruit et η représente le bruit non-corrélé (i.e. de covariance est nulle) et d espérance nulle. Supposons que la fonction de bruit η satisfait les deux conditions précédentes. Supposons que les images g i (i = 1, 2,..., K ) représentent l image f avec bruit 1. Définissons ḡ(x, y) = i g i (x, y). 1. On peut imaginer que chaque g i est une photographie numérique du même sujet prise avec les mêmes paramètres 8TRD147 UQAC Y. Chiricota(2014) 44

46 Sous les hypothèse précédentes, on peut montrer que E[ḡ(x, y)] = g(x, y) et σ 2 ḡ = 1 K σ2 η. Si K augmente, on déduit que la variance (et l écart type) diminue. Une application de ce résultat est le filtrage du bruit dans une image. Cette approche est utilisée en photo-astronomie (où les images sont obtenues de plusieurs clichés sur CCD d une même portion du ciel). 8TRD147 UQAC Y. Chiricota(2014) 45

47 Paire de galaxies NGC3314. Bruit Gaussien. Moyenne de 1, 5, 10, 20, 50 et 100 images. 8TRD147 UQAC Y. Chiricota(2014) 46

48 Soustraction d images : La soustraction d images peut servir à mettre en relief les différences entre les images. 8TRD147 UQAC Y. Chiricota(2014) 47

49 Soustraction d images : Radiographie. 8TRD147 UQAC Y. Chiricota(2014) 48

50 Multiplication d images : correction de l ombrage. 8TRD147 UQAC Y. Chiricota(2014) 49

51 Multiplication d images : masques. 8TRD147 UQAC Y. Chiricota(2014) 50

52 Opérations ensemblistes et logiques. On définit ces opérations sur des images binaires (profondeur = 1) et de taille identique. Pour les opérations ensemblistes, on définit pour chacune des images, l ensemble des pixels dont la valeur vaut 1. Les opérations d union, intersection, etc. se font sur ces ensembles. En ce qui concerne les opérations logiques (et, ou, etc.), la valeur des pixels est interprétée comme "vrai" ou "faux" selon qu ils valent 1 ou 0. Évidemment, les deux types opérations correspondent à deux manière de dire la même chose... 8TRD147 UQAC Y. Chiricota(2014) 51

53 Opérations ensemblistes. 8TRD147 UQAC Y. Chiricota(2014) 52

54 Il est possible de définir les opérations ensemblistes sur des images à plusieurs niveaux de gris. Cependant, la difficulté consiste à déterminer le niveau de gris des pixels résultants des opérations. Pour ces images, une possibilité est de poser pour deux pixels p et q ayant les mêmes coordonnées et représentés sur k bits : p q = min(p, q) ; p q = max(p, q) ; p c = 2 k 1 p. Remarquons que si k=1, on retrouve les opérations usuelles. 8TRD147 UQAC Y. Chiricota(2014) 53

55 Exemple d application des opération ensembliste. 8TRD147 UQAC Y. Chiricota(2014) 54

56 Opérations logiques 8TRD147 UQAC Y. Chiricota(2014) 55

57 Opérations spatiales Ces opérations sont directement appliquées aux pixels d une image donnée. On les classifie en trois types : Opération sur les pixels isolés ; Opérations basées sur le voisinage ; Transformation des coordonnées. 8TRD147 UQAC Y. Chiricota(2014) 56

58 Opérations sur les pixels Ce type d opération prend la forme de fonctions appliquées à la valeur (intensité) des pixels. 8TRD147 UQAC Y. Chiricota(2014) 57

59 Opérations basées sur le voisinage 8TRD147 UQAC Y. Chiricota(2014) 58

60 Transformation des coordonnées Il s agit d appliquer une transformation aux coordonnées de l image de la forme T (x, y) = (u, v). La transformation peut être linéaire ou non. Il s en suit une déformation de l image initiale (translation, rotation, étirements, etc.). Cette approche est utilisé pour aligner deux ou plusieurs images. Il est nécessaire d effectuer le ré-échantillonnage lorsqu on applique de telles transformations. 8TRD147 UQAC Y. Chiricota(2014) 59

61 Transformation affines 8TRD147 UQAC Y. Chiricota(2014) 60

62 Filtrage par convolution Le filtrage par convolution d une image consiste essentiellement à faire créer une nouvelle image dont chaque pixel est obtenu de l image de départ en faisant la moyenne des pixels avec un masque. Un masque est une fonction h(u, v) de support [ k, k] [ k, k] (i.e. h(u, v) = 0 si la condition k u, v k n est pas vérifiée) et telle que u v h(u, v) = 1. Soit f (i, j) une image et h(u, v) un masque, l image obtenue par convolution est g(i, j) = k k u= k v= k h(u, v)f (i u, j v). Par exemple, si h(u, v) = 1 (2k+1) 2, chaque pixel de g en position (i, j) est obtenu en faisant la moyenne arithmétique des pixels au centre du carré de taille 2k 2k centré en (i, j) dans l image f. On utilisera aussi un masque de Gauss, h aura la forme de la célèbre cloche... 8TRD147 UQAC Y. Chiricota(2014) 61

63 Filtrage par convolution Masque de Gauss avec 30 pixels de rayon. 8TRD147 UQAC Y. Chiricota(2014) 62

64 Filtrage par convolution Masque de Gauss avec 2, 10 et 10 pixels de rayon. 8TRD147 UQAC Y. Chiricota(2014) 63

65 Filtrage par convolution Masque de Gauss avec 3 pixels de rayon. 8TRD147 UQAC Y. Chiricota(2014) 64

66 8TRD147 FIN... 8TRD147 UQAC Y. Chiricota(2014) 65