Imagerie couleur Imagerie couleur. Représentation numérique des couleurs Nicolas Vandenbroucke

Transcription

1 Imagerie couleur Imagerie couleur Représentation numérique des couleurs Nicolas Vandenbroucke

2 Sommaire Introduction Espaces de primaires Espaces luminance-chrominance Espaces perceptuels Espaces d axes indépendants Espaces hybrides Conclusion Imagerie Couleur Représentation numérique des couleurs 2

3 Introduction Vision humaine de la couleur L œil Corps vitré Rétine Cornée Iris Macula Nerf optique Cristallin Conjonctive Imagerie Couleur Représentation numérique des couleurs 3

4 Introduction Vision humaine de la couleur Composition de l œil La conjonctive : c'est une solide membrane blanche, opaque aux rayons lumineux, servant à attacher l'œil dans son orbite. La cornée : il s'agit d'une membrane transparente et résistante située sur la face avant de l'œil. Son rôle est de protéger le globe oculaire sur la face avant. L'iris : il fonctionne comme un diaphragme en dosant la quantité de lumière qui pénètre dans l'œil. Son ouverture centrale est la pupille. Le cristallin : il fonctionne comme une lentille à focale variable, grâce à sa capacité de modifier sa courbure. Imagerie Couleur Représentation numérique des couleurs 4

5 Introduction Vision humaine de la couleur La rétine C'est sur elle que viennent se projeter les images de la scène que nous observons. Elle contient deux types de cellules photosensibles : les cônes et les bâtonnets. Cônes : ils permettent la vision diurne (vision photopique) Bâtonnets : ils permettent la vision nocturne (vision scotopique) Imagerie Couleur Représentation numérique des couleurs 5

6 Introduction Vision humaine de la couleur La rétine Les cônes sont de trois types : cônes S (short) sensibles aux longueurs d'onde courtes (bleu), cônes M (medium) sensibles aux longueurs d'onde moyennes (vert), cônes L (long) sensibles aux longueurs d'onde longues (rouge). La macula est également appelée tache jaune. Elle contient en son centre une petite dépression, la fovéa. Cette dernière est la zone d'acuité maximum de l'œil qui se distingue par une concentration maximale de cônes pour une très faible concentration en bâtonnets. Imagerie Couleur Représentation numérique des couleurs 6

7 Absorption (sans unité) Introduction Vision humaine de la couleur Longueur d'onde (nm) Répartition des cônes Fonctions d'absorption relative des cônes Imagerie Couleur Représentation numérique des couleurs 7

8 Sensibilité lumineuse (sans unité) Introduction Vision humaine de la couleur Sensibilité lumineuse de l'œil L œil humain est plus sensible aux couleurs verte ou jaune qui nous apparaissent plus claires que les couleurs bleu ou rouge plus sombres Longueur d'onde (nm) Fonction d'efficacité lumineuse relative spectrale de l'œil Imagerie Couleur Représentation numérique des couleurs 8

9 Introduction Vision humaine de la couleur Théorie trichrome Tout stimulus de couleur peut être reproduit par le mélange de trois autres stimuli : le rouge, le vert et le bleu, appelées primaires. Rouge + Vert = Jaune Vert + Bleu = Cyan Bleu + Rouge = Magenta Synthèse additive Imagerie Couleur Représentation numérique des couleurs 9

10 Introduction Chaîne d analyse d images couleur Défaut Acquisition d images couleur Représentation numérique de la couleur Segmentation Classification Identification Imagerie Couleur Représentation numérique des couleurs 10

11 Introduction Acquisition d'images couleur Les caméras mono-capteur Réseau de filtres colorés entrelacés sur les photorécepteurs (ou photosites) d un capteur Capteur Filtres colorés Imagerie Couleur Représentation numérique des couleurs 11

12 Introduction Acquisition d'images couleur Caméras mono-capteur Différents réseaux de filtres Filtre colonne Filtre de Bayer Réseau de filtre de Bayer réel Filtre de Rockwell Imagerie Couleur Représentation numérique des couleurs 12

13 Introduction Acquisition d'images couleur Caméras mono-capteur L information couleur est obtenue par plusieurs photorécepteurs localisés à des sites différents, ce qui entraîne des aberrations chromatiques et une perte de résolution compensée par un traitement appelé «dématriçage» visant à restituer les informations couleurs manquantes le plus fidèlement possible. Imagerie Couleur Représentation numérique des couleurs 13

14 Introduction Acquisition d'images couleur Caméras tri-capteurs Utilisation de trois capteurs photosensibles Système à base de prismes et de filtres dichroïques permettant de répartir la lumière selon des longueurs d ondes courtes, moyennes et grandes Capteurs Prismes Capteur tri-ccd Imagerie Couleur Représentation numérique des couleurs 14

15 Absorption (sans unité) Introduction Acquisition d'images couleur Caméras tri-capteurs Longueur d'onde (nm) Sensibilité spectrale de la caméra tri-ccd Sony DXC-755P Imagerie Couleur Représentation numérique des couleurs 15

16 Introduction Acquisition d'images couleur Caméras tri-capteurs La couleur d un élément est fournie par la réponse de trois photorécepteurs, ce qui permet une meilleure qualité d image que celle fournie par les caméras mono-capteur. Cette technologie peut engendrer un phénomène de «shading» qui se manifeste par l apparition d un dégradé de couleur sur l image d un fond blanc lorsque les rayons lumineux frappant les filtres dichroïques ne sont pas parfaitement parallèles, ce qui limite l utilisation de capteurs de grandes tailles. Imagerie Couleur Représentation numérique des couleurs 16

17 Introduction Acquisition d'images couleur Gamut Tout dispositif d acquisition ou de reproduction d images couleur est caractérisé par l ensemble des couleurs qu il est capable de restituer. Cet ensemble, appelé «gamut», diffère d une caméra à l autre. Pour que les couleurs soient représentées de la même manière par apport à une référence, les caméras couleur nécessitent donc d effectuer des opérations de calibrage permettant d obtenir un rendu correct des couleurs, notamment pour les applications de colorimétrie. Imagerie Couleur Représentation numérique des couleurs 17

18 Introduction Acquisition d'images couleur Balance des blancs Idéalement, un objet blanc (ou noir) dans la scène réelle doit donner un objet blanc (ou noir) dans l image correspondante indépendamment de l éclairage utilisé. Ainsi, la balance des blancs est une opération qui permet d atteindre cet objectif en agissant indépendamment sur les gains à appliquer sur chaque composante couleur. Elle peut être réalisée manuellement ou automatiquement en utilisant par exemple une mire avec un blanc de référence. Imagerie Couleur Représentation numérique des couleurs 18

19 Introduction Acquisition d'images couleur Autres technologies Capteur Fovéon Caméras linéaires couleur Caméras multispectrales Imagerie Couleur Représentation numérique des couleurs 19

20 Introduction Image numérique couleur Une image numérique couleur est un ensemble de pixels organisés sous la forme d une matrice. Chaque pixel est caractérisé par : Ses coordonnées dans l image Ses niveaux de composantes couleur Autres caractéristiques Attributs calculés dans un voisinage défini du pixel (moyenne, variance, attribut statistiques, attributs de texture) Imagerie Couleur Représentation numérique des couleurs 20

21 Introduction Représentation de la couleur Les images numériques couleur sont acquises par des dispositifs qui codent la couleur dans l espace (R,G,B). Les pixels de l'image donnent naissance à des points qui sont représentés dans un espace tridimensionnel et dont les coordonnées sont les niveaux des trois composantes couleur correspondantes. L image numérique couleur donne naissance à des nuages de points dans cet espace. Imagerie Couleur Représentation numérique des couleurs 21

22 Introduction Représentation de la couleur B Image couleur numérique R G Imagerie Couleur Représentation numérique des couleurs 22

23 Introduction Représentation de la couleur Image couleur numérique Imagerie Couleur Représentation numérique des couleurs 23

24 Introduction Les espaces couleur Il existe un grand nombre d espaces couleur autres que l espace d acquisition (R,G,B). Le choix d un espace couleur est une étape importante dans la réussite d une application. Aucun espace ne permet d obtenir toujours les meilleurs résultats. La multitude et la diversité des espaces couleur impliquant des présentations différentes rend difficile le choix d un espace. Imagerie Couleur Représentation numérique des couleurs 24

25 Introduction Les familles d espaces couleur Espaces de primaires Espaces luminance-chrominance Espaces perceptuels Espaces d axes indépendants Modèles d apparence colorée Espaces hybrides Imagerie Couleur Représentation numérique des couleurs 25

26 Espaces de primaires Théorie trichrome de Young-Helmotz La perception de la couleur est réduit à la synthèse de trois stimuli Synthèse additive Imagerie Couleur Représentation numérique des couleurs 26

27 Espaces de primaires Deux types d espace de primaires Espaces de primaires réelles Les espaces (R,G,B) Dépendant du dispositif d acquisition ou de reproduction des images Espace de primaires virtuelles (ou imaginaires) L'espace (X,Y,Z) Espace de référence indépendant du système d acquisition ou de reproduction des images mais nécessitant une maitrise des conditions d éclairage et d observation Composantes normalisées ou coordonnées trichromatiques (ou réduites) Chaque composante trichromatique est divisée par la somme des 3 afin d obtenir des composantes qui ne tiennent compte que de la chrominance Imagerie Couleur Représentation numérique des couleurs 27

28 Espaces de primaires réelles Inconvénients des espaces (R,G,B) Valeurs négatives des composantes Valeurs des composantes corrélées et liées à la quantité de lumière reçue Multitude d'espaces (R,G,B) Pour les écrans (tubes cathodiques, LCD, plasma, ) Pour la colorimétrie (observateur de référence) Pour les caméras Pour les scanners Pour les imprimantes (modèle CMYK) Imagerie Couleur Représentation numérique des couleurs 30

29 Espaces de primaires imaginaires Espace (X,Y,Z) Espace de référence colorimétrique créé en 1931 par la CIE (Commission Internationale de l Eclairage) Changement de primaires à l aide d une matrice de passage P qui dépend des primaires R, G et B et du blanc de référence : Y représente la fonction d efficacité (sensibilité) lumineuse relative spectrale de l œil humain. C est une grandeur photométrique appelé facteur de luminance lumineuse. Imagerie Couleur Représentation numérique des couleurs 31

30 Espaces de primaires imaginaires y FCC D C E A EBU CIE x Imagerie Couleur Représentation numérique des couleurs 33

31 Espaces de primaires imaginaires Matrices de passage P (exemples) Imagerie Couleur Représentation numérique des couleurs 34

32 Espaces luminance-chrominance Remarques importantes Le terme «luminance» ne correspond en aucun cas, ni à la luminance énergétique (grandeur radiométrique), ni à la luminance lumineuse (grandeur photométrique) mais reflète une quantité de lumière. Le terme «luminance» désigne ici le caractère achromatique de la couleur. Le terme «chrominance» désigne ici le caractère chromatique de la couleur. Imagerie Couleur Représentation numérique des couleurs 35

33 Espaces luminance-chrominance Différents types d espaces Les espaces «perceptuellement uniformes» Les espaces de télévision Les espaces antagonistes D autres espaces Imagerie Couleur Représentation numérique des couleurs 36

34 Les espaces perceptuellement uniformes La non uniformité des espaces de primaires Dans le diagramme de chromaticité (x,y), une même distance entre deux couleurs ne sera pas perçue de la même façon par l'être humain selon la zone du diagramme considérée. Les espaces «perceptuellement uniformes» possèdent une métrique permettant d'établir une correspondance entre une différence de couleurs telle qu'elle est perçue par l'homme avec une distance dont la mesure reflète cette différence. Ces espaces sont pas complètement uniformes mais sont dits pseudo-uniforme : L'espace (L*,u*,v*) ou CIELUV (1976) L'espace (L*,a*,b*) ou CIELAB (1976) Imagerie Couleur Représentation numérique des couleurs 37

35 Les espaces de télévision Origines Les téléviseurs noir et blanc doivent pouvoir recevoir en noir et blanc les émissions en couleur. Les téléviseurs couleurs doivent pouvoir recevoir en noir et blanc les émissions en noir et blanc. Nécessité de séparer l'information de chrominance de l'information de luminance (énergétique) pour la transmission des signaux de télévision. Utilisation d une matrice de passage Q spécifique : L'espace (Y,I,Q ) : norme américaine NTSC pour les signaux analogiques L'espace (Y,U,V ) : norme européenne PAL pour les signaux analogiques L espace (Y,D r,d b ) : norme française SECAM pour les signaux analogiques L espace (Y,C b,c r ) : standard international de l ITU pour le codage numérique Imagerie Couleur Représentation numérique des couleurs 41

36 Les espaces de télévision Matrices de passage (exemple) Imagerie Couleur Représentation numérique des couleurs 46

37 Les espaces antagonistes Origines Modéliser le système visuel humain en se basant sur la théorie de Hering. Décomposition du signal couleur en trois composantes : Une composante achromatique, A : Elle intègre les signaux fournis par les trois types de cônes de la rétine humaine et représente une opposition noir-blanc Deux composantes chromatiques, C 1 et C 2 : C 1 correspond à un signal d'opposition vert-rouge C 2 correspond à un signal d'opposition jaune-bleu Exemples : Espace de Faugeras (1976), Espace visuel hypothétique (Garbay, 1979) Imagerie Couleur Représentation numérique des couleurs 47

38 Les espaces antagonistes Espace de Ballard (1982) Imagerie Couleur Représentation numérique des couleurs 50

39 Espaces perceptuels Ils représentent la couleur selon des entités psychovisuelles plus subjectives mais plus naturelles pour l homme : La luminosité indique si une surface émet plus ou moins de lumière (clair, foncé, lumineux, sombre, ). Elle correspond à la quantité d énergie lumineuse. La teinte donne la dénomination de la couleur (rouge, vert, bleu, jaune, ). Elle correspond à la longueur d onde dominante de la lumière. La saturation estime le niveau de coloration d une teinte indépendamment de sa luminosité et représente la pureté d une couleur (vive, pâle, terne, ). La chroma dépend de la luminosité. Imagerie Couleur Représentation numérique des couleurs 52

40 Espaces perceptuels Espaces perceptuels évalués à partir d'espaces luminance-chrominance : Les espaces de coordonnées polaires (ou cylindriques) Espaces perceptuels évalués à partir d'espaces de primaires : Modèle triangulaire Modèle de cône hexagonal Modèle de cône hexagonal double Modèle de la CIE Imagerie Couleur Représentation numérique des couleurs 53

41 cylindre d'iso-chroma Les espaces de coordonnées polaires L P L correspond à la composante achromatique du système luminancechrominance utilisé (Y, L*, A, ). Chr 2 O C H P' cercle d'iso-chroma Chr 1 Exemples : Espace (L * ab, C * ab, h ab ) de la CIE Espace (L * uv, C * uv, h uv ) de la CIE Imagerie Couleur Représentation numérique des couleurs 54

42 Espaces de coordonnées perceptuelles Exemple du modèle triangulaire Axe achromatique Blanc Cyan b Jaune P O' Magenta g Bleu Vert P' T M Rouge Triangle de Maxwell Noir O a I est une grandeur radiométrique représentant la quantité de lumière reçue par un système d acquisition ou émise par un système de reproduction Imagerie Couleur Représentation numérique des couleurs 55

43 Espaces d axes indépendants Différents types d espaces Espaces basés sur une analyse en composantes principales L'espace d Ohta Expérience menée en 1980 sur une série de huit images Une ACP est effectuée sur cette série et les résultats de segmentation sont observées L analyse de ces résultats donne naissance à un espace unique, l'espace (I1,I2,I3) Espaces basés sur une analyse en composantes indépendantes Imagerie Couleur Représentation numérique des couleurs 59

44 Espaces couleur hybrides (I,S,T) Espaces perceptuels espaces de coordonnées (L,C,H) perceptuelles espaces de coordonnées polaires Espaces d axes indépendants (I1,I2,I3) espace d Ohta (I,r,g) (L,Ch 1,Ch 2 ) autres espaces luminancechrominance (R,G,B) espaces de primaires réelles (R F,G F,B F ) (R E,G E,B E ) (R C,G C,B C ) (r *,g *,b * ) (X,Y,Z) (x,y,z) espaces espaces de primaires normalisés virtuelles Espaces de primaires (Y,I,Q ) (Y,U,V ) (A,C 1,C 2 ) (bw,rg,by) (L *,a *,b * ) (L *,u *,v * ) espaces de télévision espaces antagonistes espaces perceptuellement uniformes Espaces luminance-chrominance Imagerie Couleur Représentation numérique des couleurs 61

45 Espaces couleur hybrides (I,S,T) Espaces perceptuels espaces de coordonnées (L,C,H) perceptuelles espaces de coordonnées polaires Espaces d axes indépendants (I1,I2,I3) espace d Ohta (I,r,g) (L,Ch 1,Ch 2 ) autres espaces luminancechrominance (R,G,B) espaces de primaires réelles (R F,G F,B F ) (R E,G E,B E ) (R C,G C,B C ) (r *,g *,b * ) (X,Y,Z) (x,y,z) espaces espaces de primaires normalisés virtuelles Espaces de primaires (Y,I,Q ) (Y,U,V ) (A,C 1,C 2 ) (bw,rg,by) (L *,a *,b * ) (L *,u *,v * ) espaces de télévision espaces antagonistes espaces perceptuellement uniformes Espaces luminance-chrominance Imagerie Couleur Représentation numérique des couleurs 62

46 Influence du choix de l espace couleur Image à segmenter Image segmentée dans l espace (R,G,B) Sélection automatique d espaces couleur Image segmentée dans l espace (L*,a*,b*) Imagerie Couleur Représentation numérique des couleurs 63

47 Influence du choix de l espace couleur Images traitées Pré-traitement Imagerie Couleur Représentation numérique des couleurs 65

48 Influence du choix de l espace couleur Vérité terrain Classification dans l espace (R,G,B) Seulement 77 % des pixels sont bien classés. Imagerie Couleur Représentation numérique des couleurs 66

49 G I3 Influence du choix de l espace couleur Représentation de l échantillon d apprentissage Imagerie Couleur Représentation numérique des couleurs 67

50 Influence du choix de l espace couleur Exemple (vérité terrain) Classification dans l espace (x,ch 2,I3) 89 % des pixels sont bien classés. Imagerie Couleur Représentation numérique des couleurs 68

51 Conclusion Beaucoup d autres espaces existent Contexte du traitement d image Les espaces couleur sont vus comme des transformations linéaires ou non permettant une représentation différente des couleurs et conduisant à une amélioration des résultats des traitements Les espaces couleur ne sont pas toujours exploités de façon rigoureuse et repose souvent sur des hypothèses simplificatrices permettant leur utilisation Imagerie Couleur Représentation numérique des couleurs 69

52 Conclusion Quelques précautions d utilisation Respecter les règles d utilisation (matrices de passage, illuminant, primaires, correction gamma, ). Pas nécessaire de coder ces espaces si on analyse directement les valeurs transformées. Lorsqu un codage est nécessaire (mémorisation, affichage, histogramme, ), il faut l effectuer tout en respectant les propriétés de ces espaces. Imagerie Couleur Représentation numérique des couleurs 70