Espaces de couleur Perception de la couleur

Transcription

1 L intensité au coeur de la perception humaine Manipulation et Compression d images fixes L oeil humain percoit une large gamme d intensités Depuis une pièce faiblement eclairée, à la lumière du soleil L energie lumineuse varie dans cette game de 1 à plus de 10^6. Correspondance avec une image? [ex: 256 niveaux de gris] Réponse humaine non-linéaire L oeil est sensible de manière proportionelle aux variation d intensités. Passer de 0.1 à 0.11 compte autant que de 0.50 à 0.55 (pas de.5 à.51) Espace d intensité reparties geometriquement 0.02, , , , [pour 100 valeurs] 1 Espaces de couleur Perception de la couleur! 3 types de cones: base pour le modèle RGB! Les cones reagissent différement à chaque type d onde! Reactivité à l intensité lumineuse: vert > rouge > bleu! Le plus courant: RGB! Specification intuitive: Hue, Saturation, Lightness 2 Cone hexaedrique Conversion possible entre RGB et HSV Nombreux autres espaces de couleurs! Relation RGB - décomposition spectrale (puissance négative!!)! Modèle couleur CIE 3 Réponse cônes Perception intensité RGB Couleurs CIE 4

2 Ex. De manipulation d intensité: correction gamma! Moniteurs: reponse non-linéaire Réference web: Problème: images trop sombres ou trop lumineuses Avec!=2.5+! Pour le NTCS,!=2.2! Compensation linéaire: Correction Gamma 5 6 Autre exemple de manipulation de base Exemple! Luminosité: multiplication des composantes RGB par un scalaire entre 0 et ! Tronquer les intensités pour s interesser à une zone d interet donnée 7 8

3 Autre exemple de manipulation de base Autre exemple de manipulation de base! Saturation [0 est l image en niveau de gris, 1 est l image de couleur originale]! Contraste [0 est une image de gris constant, 1 est l original] Calcul du niveau de gris moyen Interpolation entre ce niveau et l image originale Interpolation entre l image en niveau de gris et l original Les valeurs négatives correspondent à une inversion de teinte Quantification uniforme Sources de modifications visuelle lors de la compression! Quantification: precision sur l intensité insuffisante (trop peu de bits) méthodes de dithering pour améliorer le visuel! Problèmes d aliasing Controle de l echantillonage et de la reconstruction 11 1 bit/canal 8 bits/canal 2 bits/canal 4 bits/canal 12

4 Conversion en noir et blanc! Conversion en niveau de gris: I=0.299R+0.587G+0.114B Le vert est la composante la plus sensible, le bleu la plus négligeable! Sans perte de généralité, on peut considérer les niveaux de gris comme éléments de [0, 1.0) new_image[i] = old_image[i] / (float)256; Pour revenir à l image initiale: output[i]=(unsigned char)floor(new_image[i]*256) 2 bits/canal : Pb d artefacts aux contours Images test Dithering par seuil! Pour chaque pixel: si intensité < 0.5, alors attribué à noir, sinon blanc 0.5 est le seuil Algorithme trés naïf! Pour conserver la luminosité globale de l image: 15 Calcul de l intensité moyenne Déterminer un seuil préservant cette moyenne Ex: si l intensité moyenne est 0.6, on utilise un seuil supérieur à 40% des pixels, et inférieurs aux 60% restant. 16

5 Seuillage simple: exemples Préservation de la luminosité Seuillage bruité Ex de seuillage bruitée! Ajout d un réel aléatoire à chaque pixel avant le seuillage Classiquement, distribution uniforme dans un interval [-a,a]! Addition de bruit blanc à l image Qualité du résultat dépend de la qualité du bruit Ex: bruit Gaussien (loi de distribution normale)! Choix du seuil: même processus qu auparavant! Mauvais résultat pour N&B, mais OK pour la couleur Ajout d une couleur aléatoire à chaque pixel avant d appliquer la regle de seuillage 19 20

6 Seuillage par bloc : matrice 1 Seuillage par bloc Bloc image! Image décomposée en blocs! Définition d une matrice de seuil Seuil différent pour chaque pixel d un bloc Chaque pixel est comparé au seuil qui le concerne! Seuils reguliers: aspect journal! Matrice aléatoire: meilleur résultat visuel Matrice de seuil Resultat 21 Seuillage par bloc: matrice 2 22 Comparaison Matrice 1 23 Matrice 2 24

7 Seuillage avec motif! Chaque sous-bloc a une intensité moyenne, correspondant à un motif Seuillage avec motif! Cas différent du cas précédent Chaque sous-bloc a un seul motif correspondant le pixel est uniquement déterminé par la valeur à l endroit correspondant du motif Dans le seuillage par bloc, on compare avec la matrice de seuil! Utile quand la résolution d affichage est supérieure à celle de l image assez fréquent pour l impression Pour chaque pixel: un motif 3x Seuillage avec motif Seuillage de Floyd-Steinberg! Processus itératif depuis un coin de l image Généralement de haut en bas, en zig-zag! Seuillage de chaque pixel! Calcul de l erreur commise: pixel original nouvelle valeur! Répartition de l erreur sur les pixels voisins, non-encore parcourus Coefficients donné par un masque! Plus facile en coefficients non-entiers e 7/16 3/16 5/16 1/

8 Seuillage de Floyd-Steinberg Autre exemple de seuillage Quantification avec diffusion d erreur: exemple Quantification avec diffusion sur image couleur! L esprit de la technique peut être conservé! Exemple : Floyd-Steinberg Table de couleur (LUT) calculé par quantification Erreur sur chaque pixel: distance entre la couleur, et la couleur la plus proche dans la LUT Propagation de l erreur similaire à celle en niveau de gris Chaque canal de couleur traité independamment 31 32

9 Autre exemple Comparaison avec quantification uniforme Même LUT Original 8 bits/canal 2 bits/canal sans diffusion 2 bits/canal avec diffusion FS 2 bits/canal avec seuillage aleatoire 33 Manipulation d image 34 Zoom sur une image! Comment maitriser l echantillonage sur une image?! Quels sont les implications d un zoom, d une rotation, etc! Au sens de la compression, comment représenter la régularité, et ignorer les pixels des zones lisses?! Il faut trouver de nouvelles valeurs à ajouter aux pixels! Comment choisir la valeur?!quelques éléments de traitement du signal sont utilisés 35 36

10 Rotation d une image Image et signal! Les pixels de la nouvelle image proviennent de leur position dans l image origine! Les positions origines ne sont pas, dans le cas général, aux emplacements discrets.! Une image est une discrétisation d une fonction continue! Si l on connait cette fonction, alors un zoom sur l image est un simple re-echantillonage de la fonction! A defaut, reconstruction puis reechantillonage reconstruction Re-echantillonage Original Ces pixels sont à évaluer pour la nouvelle image 37 Ce que le traitement du signal peut apporter ici 38 Un exemple d echantillonage difficile! Outils pour l echantillonage et la reconstruction! Echantillonage: Combien de pixels sont requis, où les placer?! Reconstruction: Qu arrive-t-il en convertissant un ensemble discret de point en une image continue? Comment zoomer, reduire, tourner, lisser ou augmenter le contraste d une image? Un échantillon par pixel, différentes fréquences de variation d echantillon 39 40

11 Sur-echantillonage: mieux mais pas parfait comment contrôler cette erreur? Fonctions périodiques! Une fonction peut être représentée en sommation d harmoniques (de fréquence de référence la fréquence du signal)! Ex: signal creneau 100 échantillons aléatoires par pixel 41 Ex: creneau 42 Dans le cas général 1,35 1,35 1,35 1,15 1,15! Une fonction non-périodique se represente comme une somme infinie, continue, de fonctions oscillantes: 1,15 0,95 0,95 0,75 0,75 0,95 0,75 0,55 0,55 0,55 0,35 0,35 0,15 0,15-0,05 0,35 0,15-0,05-0,25-0,05-0,25-0,25 1,35 1,35! F() est le spectre de f(x) 1,15 1,15 0,95 0,95 0,75 0,75 0,55 0,35 0,15-0,05-0,25 0,55 0,35 Il indique, pour chaque fréquence, la puissance présente dans le signal Dans le cas d image, f(x) est un niveau de gris 0,15-0,05-0,

12 Transformée de Fourier Exemple: fonction boite! Deux représentations equivalents!f() se calcule à partir de f(x) par la transformée de Fourier f(x) domaine spatial F(x) domaine fréquentiel Fonction boite et sa transformée Cosinus et sa transformée 1,50 # 1,25 1,00 1,5 1,5 1,3 1,3 1,1 1,1 0,9 0,9 0,7 0,7 0,5 0,5 0,3 0,3 0,1 0,1-0,1-0,1-0,3-0,3-0,5-0,5 0,75 0,50 0,25 0-0, ,50-0,75-1,00-1,25-1,50 47 f(x) est paire, F() aussi 48

13 Sinus et sa transformée Fonction constante et sa transformée 1,50 1,25 1,00 # 0,75 0,50 0,25 0-0,25-0, ,75-1,00-1,25-1,50 -# Si f(x) est impair, F() aussi Aucune approximation: uniquement la fréquence nulle La fonction delta et sa transformée Fonction peigne et sa transformée Similarité de structure entre la transformée de Fourier et son inverse: connaitre la transformée vous permet de connaitre aussi la transformée inverse

14 Gaussienne et sa transformée Elements qualitatifs 0,23 0,18 0,13 0,08 0,03-0,02 identiques 0,23 0,18 0,13 0,08 0,03-0,02!Le spectre d une fonction nous renseigne sur la repartition de son energie: Les aretes vives génèrent des hautes fréquences Les degradés génèrent des basses fréquences!la plupart des fonctions réelle en compression ne sont pas limitées en fréquence De la fonction vers l image! Images: fonction 2D, discrete! La transformée de Fourier 2D se génère par produit tensoriel! La transformée de Fourier d une fonction discrete et quantifiée ne contient que des fréquences discrètes, à des puissances quantifiées.! On peut stocker la transformée de Fourier d une image dans la même quantité de données que l image.! La transformée de Fourier rapide (FFT) permet de calculer la transformée de Fourier discrete d une image 55 Les normes de representation enjeux économiques pour les industriels (Imposition d un standard, manipulation de mêmes données, conception de «chips») Par qui : organismes de normalisation UIT (Union Internationales de Télécom.) ISO (International Standard Organisation) CCITT (Comité Consultatif International Télégraphique et Téléphonique) CCIR (Comité Consultatif International pour la Radiodiffusion), Groupes de travail réunissant des : administrations (France serics, UK-DFI, Germany-DBPT, ITAlIA,...) opérateurs (France Telecom, NTL, TERACOM Scandinavia, ) industriels (Thomson, Philips, Grunding, Sony, Nokia, ) diffuseurs (RTL, TF1, RAI-ARD, BBC-RTVE, SDT Sweden, ) 56

15 Historique de la norme image Cycle de normalisation : analyse du besoin appels d offres => compétitions entre industriels et laboratoires analyse des résultats par les commissions => sélection + décision Ex. calendrier pour MPEG2 : Image fixe 1980 : Recommandation pour le fac similé 1992 : JPEG «Joint Photographic Expert Group» images couleurs et N&B (Ex : satellite, médicales, ) plusieurs modes (Ex : séquentiel, sans perte, progressif, hiérarchique) format image < (768x576) débits : de 8 M bit/s à 40 M bit/s 2000 : JPEG 2000 (débits inférieurs, haute robustesse aux erreurs de transmission, description basé contenu, large gamme d images, interface avec MPEG4, ) DCT JPEG Notion de fréquences : 1D crêtes 2D horizontales verticales diagonales 59 60

16 ! DCT («Discrete Cosine Transformation»)! Définition de la DCT sur matrice 8x8 Transformation Discrète en Cosinus changement de l espace de représentation : passage du DCT DCT inverse domaine spatial au domaine fréquentiel 64 pixels 64 coefficients 61! DCT (suite)! DCT (suite) une décomposition sur 64 fonctions de base implémentation des algorithmes rapides de calcul transformation 2D ~~> 2 x transformations 1D (ou sous-images de base) bloc 62 sous-images 63 64

17 Quantification Quantification uniforme : tous les q(u,v) égaux Quantification non-uniforme : tables des q(u,v) L œil humain est moins sensible aux hautes fréquences! Utiliser moins de bits pour ces données Vers les htes. Fréq. Quantification : sur l image F, on définit un facteur de quantification q Reconstruction : Possibilité de quantification non-uniforme Quantification introduit de l erreur pour la Luminance 65 Balayage en zig-zag (du bloc) Coeff. DC Coeff. AC des Basses fréq.! Intérêt : former un vecteur où les coeff. relatifs aux basses fréq. sont regroupés 67 pour les Chrominances q(u,v) grand => quantification grossière tables peuvent-être transmises dans l en-tête («header») de l image 66 Codage DPCM des Coeff. DC Méthode : regroupement des coeff. DC balayage sous-image : gche->dte, haut->bas X : valeur à prédire P(X) : prédiction de X Ex. P(X)=A (cas le plus simple, mode de base) P(X)=(A+C)/2 transmission de X-P(X) Pourquoi : niveau de gris des pixels voisins sont souvent proches 68

18 Codage des coefficients AC!Constat : apparition de longues plages de 0 après quantification!méthode : codage de ces plages («Run Length Coding») un ensemble de paires (Coeff., Nb. de 0) fin d un bloc : paire (0, 0) : Codage entropique avec JPEG! Coeff. DC : mise en correspondance : valeurs coeff. / taille du mot représentant [bit] Ex. : si DC=-9 => 4 bits transmission de la paire : (Taille, Valeur) # Coeff. AC : codage de Huffman des paires (Coeff., Nb. de 0) 69 # Table de Huffman (cad l alphabet des mots de code ) : $pré-existante ou $construite (transmission dans l entête) 70 Les 4 modes d utilisation de JPEG Mode séquentiel : le mode de base chaque plan est codé directement par un balayage (gche->dt, haut->bas) Mode sans perte : un codage sans perte utilisation d un prédicteur pour coder les coefficients taux de compression de 1,5 à 2 71 Les 4 modes d utilisation de JPEG Mode progressif : idée : transmettre d abord une image de basse qualité, puis l améliorer par des ajouts successifs 2 façons : sélection spectrale : transmettre d abord les coeff. DC et quelques coeff. AC, puis d autres coeff. AC approximations successives : transmettre d abord des coeff. grossièrement quantifiés, puis les quantifier plus finement et transmettre cette nouvelle information Mode hiérarchique : répond aux besoins de «scalabilité» de certains décodeurs (dans un même flot binaire : plusieurs résolutions, plusieurs modes, ) par l imbrication d opérations d échantillonnages / codages / décodages / interpolations 72

19 Exemples Image originale (300 Ko) Image compressée (10 ko) Problème : effets de blocs 73