Bases du traitement des images. La couleur

Transcription

1 La couleur Séverine Dubuisson 22 octobre / 70

2 Plan du cours 1 Perception humaine 2 Notions de base sur la couleur 3 l œil humain 4 La colorimétrie 5 Traitement des images couleur 2 / 70

3 Perception de la couleur Plusieurs paramètres la (les) source(s) lumineuse(s) ; la géométrie d observation (angles d éclairement et d observation) ; la scène et ses caractéristiques physiques ; l œil de l observateur ; le cerveau de l observateur (âge, expérience,...). 3 / 70

4 Perception humaine 4 / 70

5 Rôle du cerveau : une petite expérience Quel est le carré le plus clair? A ou B? 5 / 70

6 Rôle du cerveau : une petite expérience Quel est le carré le plus clair? A ou B? 6 / 70

7 Rôle du cerveau : une petite expérience Quel est le carré le plus clair? A ou B? 7 / 70

8 Rôle du cerveau : une petite expérience Quel est le carré le plus clair? A ou B? 8 / 70

9 Rôle du cerveau : une petite expérience Les carrés ont la même couleur!! Réalisé sans trucage! Le cerveau se force à imager les carrés tels qu ils devraient être : l un sombre et l autre clair peu lui importe qu ils soient de la même couleur, les carrés contigus étant supposés être de couleur différente, le cerveau fait en sorte qu on les voit ainsi. L important n est pas dans ce qui compose le monde qui nous entoure, mais plutôt la manière dont on le perçoit. À MEDITER... 9 / 70

10 Autres perceptions de l œil Illusions optiques 10 / 70

11 Autres perceptions de l œil Illusion de mouvement 11 / 70

12 Autres perceptions de l œil Illusion de Titchener 12 / 70

13 Définition La lumière La lumière est fondamentale pour la vision des couleurs Même s il y a une source de lumière, il n y a rien à voir! Que voit-on? On ne voit pas les objets mais la lumière qu ils reflètent ou transmettent La perception de la lumière est propre à chaque être humain La lumière est une onde electro-magnétique Les longueurs d onde du spectre visible s étendent de 400 à 700 nm 13 / 70

14 La lumière Définition Une source est caractérisée par : 1 son rayonnement, mesurable dans un système de grandeur correspondant à l action visuelle, et 2 le mélange des longueurs d onde de cette énergie, produisant une couleur. La lumière est une distribution d énergies émises à certaines fréquences ayant une certaine intensité Pour caractériser une lumière monochromatique, qui peut être détectée par l œil humain, on doit connaître sa longueur d onde λ et sa luminance L 14 / 70

15 Les objets et la lumière Définition Deux types d objets : 1 les objets qui produisent de la lumière (soleil, lampes,...) ; 2 les objets qui ne sont visibles que s ils sont éclairés (invisibles dans l obscurité) : diffusent dans toutes les directions la lumière qu ils reçoivent (émission atomique ou moléculaire) C est la perception de cette diffusion, éclairement lumineux, qui nous intéresse, qui fait intervenir : 1 les couleurs ; 2 l œil. 15 / 70

16 L œil humain La fovea est la région où la vision est la plus précise et sensible L œil se déplace pour aligner la fovea, l axe optique et l objet désiré 16 / 70

17 L œil humain Deux types de photorécepteurs dans la rétine (répartition différente) Les cônes : réponse photométrique et chromatique, grâce à des pigments absorbant le bleu, le vert ou le rouge base de la vision des couleurs trichromatiques. Les bâtonnets : responsables de la vision nocturne (vision photopique). 17 / 70

18 Les cônes Rôle 3 types de photo-pigments différents Ils sont responsables de la vision des couleurs 64% rouges, 32% verts et 2% bleus Peu nombreux (6 à 7 millions), ils sont responsables de la vision haute résolution : densité importante dans la fovea Moins sensibles à la lumière que les bâtonnets, ils fonctionnent en vision photopique, mais s adaptent aux changements d intensité Vision photopique : aptitude à utiliser ses habilités visuelles lorsque les yeux sont adaptés à des conditions de luminance 18 / 70

19 Rôle Les cônes Les cônes sont activés par une longueur d onde λ différente selon leur variété Les cônes bleus (ou short wavelength) : λ 420 nm Les cônes verts (ou medium wavelength) : λ 530 nm Les cônes rouges (ou long wavelength) : λ 660 nm 19 / 70

20 Rôle Les cônes Un objet dont la couleur se situe dans le spectre visible va exciter à divers degrés les 3 types de cône Exemple : un objet vert va surtout stimuler les cônes verts, mais aussi les rouges à un moindre degré et très légèrement les bleus Notre perception des couleurs dépend de la superposition des différents spectres d absorption des trois types de cônes Cas particulier des cônes bleus Peu nombreux (2%) Situés hors de la fovea Plus sensibles à la lumière La vision du bleu est donc particulière : perception moins distincte des objets à dominance bleue 20 / 70

21 Rôle : pour synthétiser Les cônes Mesurent, point par point, sur l image oculaire, le contenu énergétique de la lumière qu ils captent et le traduisent en amplitude Les champs récepteurs collectent ces signaux échantillonnées L information contraste de lumière est transmise par le nerf optique au cerveau par des comparaisons chromatiques : opposition vert/rouge (M vs. L) ; opposition jaune/bleu (S vs. L+M) ; voie achromatique : différence entre le clair et le sombre. 21 / 70

22 Les bâtonnets Rôle Très nombreux et plus sensibles à la lumière que les cônes Leur sensibilité est liée à un colorant, la rhodopsine, qui blanchit à la lumière du jour, expliquant par là leur insensibilité la journée Leur temps d adaptation aux changements de condition est plus long Un seul type de pigment : ne peuvent distinguer les couleurs Très sensibles au mouvement Répartis hors de la fovea : responsables de la vision périphérique 22 / 70

23 Définition La colorimétrie Ensemble des techniques qui permettent la définition, la comparaison et d une manière générale, l étude des couleurs Plusieurs paramètres pour la couleur : Teinte (Hue) : déterminée par la longueur d onde dominante (rouge, jaune, pourpre,...) Saturation : proportion de couleur chromatiquement pure contenue dans la couleur Luminance (Lightness) ou clarté : intensité de la lumière que la couleur réfléchit/transmet, ou brillance (brightness) pour émission Dépend des paramètres physiques de la lumière (longueur d onde, composition spectrale), et de l environnement (nuit jour,...). 23 / 70

24 Définition La colorimétrie L apparition des couleurs s obtient par une décomposition spectrale de la lumière appelée dispersion Historiquement : étude des possibilités de reproduire une couleur quelconque, par le mélange additif de trois couleurs préalablement choisies et dites primaires effet trichrome 24 / 70

25 La colorimétrie La trichromie Le cercle de Newton se résume en un triangle de primaires 25 / 70

26 La trichromie La colorimétrie On remplit le triangle de primaires pour obtenir le triangle de Maxwell 26 / 70

27 Les espaces de couleur Définition Comment représenter ces couleurs dans un espace qui soit à la fois facile à manipuler et qui soit pertinent en termes d analyse d images couleur? Toute couleur peut être représentée comme une combinaison linéaire de trois primaires c 1, c 2, c 3 Deux types de synthèse : synthèse additive : mélange de sources lumineuses colorées ; synthèse soustractive : mélange des pigments colorés. Beaucoup d espaces de couleur : espaces définis par la CIE (Commission Internationale de l Éclairage) : RGB, XYZ CMJN, YUV, Lab, / 70

28 Synthèses additives/soustractives 28 / 70

29 Définition Espace RGB Trois couleurs primaires : rouge, vert et bleu Synthèse additive Utilisé en éclairage afin d obtenir toutes les couleurs visibles par l homme. Difficile de se faire une idée de la luminosité dans ce mode colorimétrique : L = 0.3R G B 29 / 70

30 Espace RGB Séparation des plans de couleur 30 / 70

31 Espace RGB Séparation des plans de couleur 31 / 70

32 Espace RGB Mélange de plans 32 / 70

33 Les limites Espace RGB Toutes les couleurs perceptibles par l œil ne peuvent être définies à l aide des trois composantes r, v et b Ce système ne code pas de manière homogène les couleurs que l on perçoit : certaines variations de valeurs (ex. dans les verts vifs) provoquent peu de variation de la couleur perçue, ou des variations de même amplitude dans d autres secteurs de l espace provoquent de grandes variations de couleurs perçues 33 / 70

34 Les limites Espace RGB Les composantes y sont souvent fortement corrélées. Difficile d y interpréter la notion de couleur. Différence perceptuelle entre deux couleurs ne coïncide pas avec la distance dans l espace RVB. Trouver une meilleure base de représentation de la couleur Base où les composantes sont décorrélées, par analyse statistique (ACP, ACI) Espace couleur perceptuel contenant les attributs tels que la teinte, la saturation et l intensité. Espace dans lequel les distances euclidiennes entre couleurs sont proches des différences perçues par un œil humain 34 / 70

35 Les limites du système RGB 35 / 70

36 Les limites du système RGB 36 / 70

37 Espace XYZ Définition Défini à partir d une transformation linéaire sur l espace (rgb) telle que toutes les couleurs du spectre visible soient contenues dans le triangle (xyz) par : x y z = r g b 37 / 70

38 Espace XYZ Les limites Espace non uniforme : on perçoit plus de nuances en x et z qu en y couleurs que l œil ne peut distinguer (ellipse de Macadam) Certaines dimensions descriptives de couleur : clair/foncé, pure/délavé ne sont pas accessibles directement. 38 / 70

39 Espace HSV Définition La perception de couleur et de notre façon de parler d elle dans la vie quotidienne n est pas bien servie par les espaces RGB et XYZ Trois composantes : Hue (teinte), Saturation, Value (luminance) Plus intuitif pour le choix d une couleur 39 / 70

40 Définition Espace HSV Un point x de coordonnées (r, g, b) se décompose en deux composantes (c, a). Soit y, la la projection orthogonale de x sur l axe achromatique : composante chromatique c : vecteur yx, et composante achromatique a : vecteur Oy. valeur : a, saturation : c, teinte : arg(c). 40 / 70

41 Exemple Espace HSV 41 / 70

42 Définition Espace YUV Représenter les couleurs en utilisant une composante de luminance Y, et 2 composantes de chrominance (u, v) correspondant aux composantes bleue et rouge dans les coordonnées chromatiques réduites Y u v = 0, , , , , , , , , 0817 r g b Y : moyenne pondérée par la sensibilité humaine relative des primaires u et v : différence normalisée entre la composante primaire et la luminance 42 / 70

43 Espace YUV 43 / 70

44 Pré-traitement des images couleur Définition Les prétraitements d images permettent d améliorer la qualité de l image en vue de traitements ultérieurs Ces prétraitements peuvent classiquement être décomposés en plusieurs grandes familles : les manipulations d histogrammes pour : mettre en relief telle ou telle partie de l image augmenter la dynamique de celle-ci ; les opérations de filtrages (linéaires ou non) pour réduire le bruit présent dans l image ; les réhaussements d images pour augmenter les contrastes entre les différentes régions de l image. 44 / 70

45 Définition Spécificités des images couleur Un pixel peut prendre beaucoup plus de valeurs possibles! image sur 3 octets : > 16 millions de valeurs possibles Un espace de couleur peut se voir comme un sous-ensemble de R 3, non ordonné Les méthodes utilisant l ordre des niveaux de gris doivent être modifiées Il existe beaucoup d espaces de couleur : transformation d un espace vers l autre pour appliquer une méthode 45 / 70

46 Comment traiter les pixels d une image couleur? Deux approches Approche marginale : travailler sur chaque composante et fusionner le résultat implique une indépendance des composantes, ce qui est faux la plupart du temps 46 / 70

47 Comment traiter les pixels d une image couleur? Deux approches Approche vectorielle : la couleur est vue comme un vecteur 3D traitement plus complexes 47 / 70

48 Structures de données Histogrammes Méthode naïve : tableau de taille taille de stockage trop importante et risque de matrices creuses Méthode de Thomas (1991) : quantification, tableau de taille Méthode de Xiang (1994) : stocker le nombres d occurrences de chaque couleur de l image dans un tableau h(r, g) de listes de taille chaque liste h(r, g) code les différentes valeurs de bleu prises par les pixels de l image dont les composantes rouges et vertes sont r et g Trouver le structure de données adéquat et l utiliser à bon escient 48 / 70

49 Histogrammes 3D 49 / 70

50 Quantification des couleurs Définition Hypothèse : on se place dans l espace RVB But : réduire le nombre de couleurs de l image en minimisant la différence de sensation visuelle afficher une image dont les couleurs sont choisies parmi 16 millions, avec au plus 256 couleurs bien choisies. On désire quantifier une image avec uniquement p couleurs. Les étapes de la quantification sont : 1 déterminer l ensemble des couleurs de l image originale, 2 choisir les p couleurs les plus représentatives, en minimisant la dégradation, 3 recoder l image de départ avec les p couleurs. Difficulté : choix des p couleurs les plus représentatives 50 / 70

51 Quantification des couleurs Définition Exemple : on veut passer de 16 millions de couleurs à p = 256 On doit définir deux transformations : 1 Trouver une palette de 256 couleurs D : [ ] [ ] 3 2 Trouver, pour chaque point de l image originale, le point de la palette qui en est le plus proche E : [ ] 3 [ ] On définit ainsi la transformation Q = D E 51 / 70

52 Méthodes Quantification des couleurs Quantification uniforme Quantification par découpage selon la médiane Quantification par octrees 52 / 70

53 Quantification des couleurs Illustration 53 / 70

54 Quantification des couleurs Illustration 54 / 70

55 Quantification des couleurs Illustration 55 / 70

56 Quantification uniforme Principe Découper régulièrement le cube des couleurs en 256 cases. La racine cubique de 256 n est pas entière : le découpage va être plus grossier pour une couleur celle pour laquelle l œil humain est le moins sensible : le bleu. On découpe : le rouge en 8 quantiles, le vert en 8 quantiles, le bleu en 4 quantiles. 56 / 70

57 Quantification uniforme Exemple : image originale 57 / 70

58 Quantification uniforme Exemple : quantification (2 : 2 : 1) 58 / 70

59 Quantification uniforme Exemple : quantification (3 : 3 : 2) 59 / 70

60 Quantification par découpage selon la médiane Principe 1 Rétrécire le volume pour en éliminer les bords qui ne contiennent aucune couleur de l image. 2 Couper le volume en deux petits volumes contenant chacun le même nombre de points selon la médiane 3 Réitérer les étapes 1 et 2 sur les volumes obtenus à la fin de l étape 2 jusqu à obtenir autant de volumes que de couleurs désirées. 4 Assigner une couleur représentative par volume obtenu. 60 / 70

61 Quantification par découpage selon la médiane Illustration 61 / 70

62 Quantification par octree Principe L espace des couleurs est représenté par un octree : arbre dont chaque nœud possède 8 fils : la racine de l arbre représente l ensemble des couleurs, chaque fils est créé en découpant le cube des couleurs en 8 parties égales. Dans chaque nœud de l arbre, on stocke : la moyenne des couleurs que le nœud contient, la somme des distances des couleurs contenues dans le nœud au centre du nœud. L arbre est trop grand : dès qu on trouve un nœud avec étiquette petite, on supprime ses descendants on répéte jusqu à avoir p couleurs (ou nœuds) 62 / 70

63 Quantification de couleur Comparaison 1 : image originale 63 / 70

64 Quantification de couleur Comparaison 1 : quantification uniforme 64 / 70

65 Quantification de couleur Comparaison 1 : quantification par la médiane 65 / 70

66 Quantification de couleur Comparaison 1 : quantification par octree 66 / 70

67 Quantification de couleur Comparaison 2 : image originale 67 / 70

68 Quantification de couleur Comparaison 2 : quantification uniforme 68 / 70

69 Quantification de couleur Comparaison 2 : quantification par la médiane 69 / 70

70 Quantification de couleur Comparaison 2 : quantification par octree 70 / 70