Multimédia et Signaux Numériques : Image

Multimédia et Signaux Numériques : Image Plan des cours «images et multimédia» 1 Images et représentations 2 Images, capteurs, Fourier, TCD 3 Compression d images : JPEG 4 Filtrage numérique des images 5 Séquences et mouvements 6 Codage de vidéo : MPEG2 Multimédia et Signaux NumériquesMultimédia et Signaux Numériques

1/ Images et représentations Plan du cours 1 1 Images et représentations 1.1 Introduction : image et information 1.2 Quel type de signal est une image? - image noir et blanc - image couleur 1.3 Images numériques 1.4 Image et temps : vidéo Multimédia et Signaux Numériques 2

1/ Images et représentations Introduction 1.1 Introduction : image et information Comme tout signal, une image transporte des informations Car Car avantage sur le texte : l image ne se traduit pas Multimédia et Signaux Numériques 3

1/ Images et représentations Introduction Le sens de l interprétation des images = la vision Vision = moyen de percevoir le monde pour la plupart des animaux (en particulier les humains, mais pas les taupes ) Multimédia et Signaux Numériques 4

1/ Images et représentations Introduction Depuis 1 siècle, l image est devenue un des principaux moyens de communication entre les humains Ex : photo, BD, TV, internet Extrait de l Ile Noire, BD de Hergé Image de l éruption du volcan Aso au Japon (publiée sur www.liberation.com 14/01/04) Image France 2 Multimédia et Signaux Numériques 5

1/ Images et représentations Introduction On utilise aussi des images artificielles pour «voir» des phénomènes physiques invisibles à l œil Meilleure image possible Image fabriquée à partir d observations partielles par les sondes Image de ganymède (satellite de Jupiter) vue depuis la Terre (image ONERA/ASO) Image de ganymède (satellite de Jupiter) reconstituée par le JPL (NASA) à partir des observations de sondes spatiales (et on essaie d avoir les plus belles images possibles) Multimédia et Signaux Numériques 6

1/ Images et représentations Introduction Phénomènes physiques invisibles à l œil : Image au microscope de cellules On utilise des filtres de couleur pour mieux voir Echographie ultrasonore = imagerie des couches de tissus internes au corps humain On envoie des ultra-sons et on mesure ce qui est réfléchi Multimédia et Signaux Numériques 7

1/ Images et représentations Introduction Image aérienne Copenhague (Quickbird) Site digitalglobe.com Image recoloriée pour donner un aspect naturel Multimédia et Signaux Numériques 8

1/ Images et représentations Image : type de signal? 1.2 Quel type de signal est une image? Image noir et blanc Zone contrastée apporte de l information Multimédia et Signaux Numériques 10

1/ Images et représentations Image : type de signal? Image noir et blanc Zone homogène pas d information Multimédia et Signaux Numériques 11

1/ Images et représentations Image : type de signal? Image noir et blanc = des contrastes Zone claire Zone sombre Multimédia et Signaux Numériques 12

1/ Images et représentations Image : type de signal? Image noir et blanc = distribution d intensité 2D : x(u, v) (0, 0) v Intensité éclairage Zone claire x(u,v) = valeur élevée Zone sombre u x(u,v) = valeur faible Multimédia et Signaux Numériques 13

1/ Images et représentations Image : type de signal? Image noir et blanc Les différences d intensité ne sont pas toujours des différences d éclairage (0, 0) v Zone claire x(u,v) = valeur élevée Tissu Osseux u Zone sombre x(u,v) = valeur faible Liquide Multimédia et Signaux Numériques 14

1/ Images et représentations Image : type de signal? Image couleur Couleurs = lumières de longueurs d ondes différentes Contrastes de couleur = associations de plusieurs couleurs de base en proportions différentes codage RGB : proportions de Rouge/Vert/Bleu Il faut 3 valeurs en chaque point de l image Multimédia et Signaux Numériques 15

1/ Images et représentations Image : type de signal? Image couleur : Codage RGB pixels : Rouge Vert Bleu (R(u, v), G(u, v), B(u, v)) : intensité des couleurs (R, G, B) au point (u, v) Red 3 canaux = 3 composantes : Green Blue Multimédia et Signaux Numériques 16

1/ Images et représentations Image : type de signal? Espaces de couleurs équivalents : changement de base depuis RGB avec des coefficients spécifiques Y, U, V ou Y, Db, Dr TV PAL ou SECAM Y, I, Q TV NTSC Principe de YUV et YDbDr : Y = 0,299 R + 0,587 G + 0,114 B : intensité U = 0,493 (B-Y) : variation de bleu V = 0,877 (R-Y) : variation de rouge Multimédia et Signaux Numériques 17

1/ Images et représentations Image : type de signal? Espaces de couleurs équivalents : changement de base depuis RGB avec des coefficients spécifiques Y, U, V ou Y, Db, Dr TV PAL ou SECAM Y, I, Q TV NTSC Principe de YUV et YDbDr : Y = 0,299 R + 0,587 G + 0,114 B : intensité Db= 1,505 (B-Y) : variation de bleu Dr=-1,902 (R-Y) : variation de rouge Principe de YIQ : Y représente l intensité teinte I la teinte Q la saturation saturation I et Q représentent la chrominance (info de couleur) Multimédia et Signaux Numériques 18

1/ Images et représentations Images numériques 1.3 Images numériques Tableau à deux dimensions de valeurs discrètes Résulte de 2 opérations (déjà vues en Signal) Echantillonnage 2D : x(k,l) = x(kδu, lδv) Quantification Exemple : image sur 8 bits x(k,l) entier compris entre 0 et 255 Multimédia et Signaux Numériques 20

1/ Images et représentations Images numériques Image noir et blanc = distribution d intensité 2D : x(u, v) (0, 0) v 111 1 pixel : valeur entre 0 et 255 (image 8 bits) entre 0 et 65535 (image 16 bits) Zone sombre x(u,v) = valeur faible Zone claire x(u,v) = valeur élevée u Multimédia et Signaux Numériques 21

1/ Images et représentations Images numériques Image couleur : tableau à deux dimensions de 3 valeurs discrètes - Exemple : image sur 24 bits r(k,l), g(k,l), b(k,l) 3 entiers compris entre 0 et 255 r(k,l ) g(k,l ) Pixels b(k,l ) Multimédia et Signaux Numériques 22

1/ Images et représentations Images numériques Codage RGB (96, 47, 40) Niveau de rouge sur 8 bits : entre 0 et 255 Multimédia et Signaux Numériques 23

1/ Images et représentations Images numériques Codage RGB (96, 47, 40) Niveau de vert sur 8 bits : entre 0 et 255 Multimédia et Signaux Numériques 24

1/ Images et représentations Images numériques Codage RGB (96, 47, 40) Niveau de bleu sur 8 bits : entre 0 et 255 Image sur 3x8=24 bits Multimédia et Signaux Numériques 25

1/ Images et représentations Images numériques Espace de couleurs Y, Cb, Cr : MPEG, vidéo numérique Principe de YCbCr : Y représente l intensité Cb la variation de bleu / référence Cr la variation de rouge / référence Y = 0,299 R + 0,587 G + 0,114 B + 16 Cb = 0,564 (B-Y) + 128 Cr = 0,713 (R-Y) + 128 Y, Cb et Cr codés sur moins de 8 bits 16 < Y < 235 16 < Cb,Cr < 240 laisse de la place pour info en + dans le flux vidéo Multimédia et Signaux Numériques 26

1/ Images et représentations Images numériques Une image transporte beaucoup d information 2500 x 2500 x 3 = 19028400 octets = 7600 pages! (avec 2500 caractères par page) Multimédia et Signaux Numériques 27

1/ Images et représentations 1.4 Image et temps : vidéo Vidéo Film couleur Les lascars + le son : x(t)! Luminance Chrominance bleue Chrominance rouge (Y(u, v, t ), C b (u, v, t ), C r (u, v, t )) intensité de chaque (Y, C b, C r ) au point (u, v) à l instant t Luminance Chrominance bleue Chrominance rouge Multimédia et Signaux Numériques 29

Images et Multimédia Plan des cours «images et multimédia» 1 Images et représentations 2 Images, capteurs, Fourier, TCD 3 Compression d images : JPEG 4 Filtrage numérique des images 5 Séquences et mouvements 6 Codage de vidéo : MPEG2 Multimédia et Signaux Numériques 30

Images, capteurs, fréquences, cosinus discret Plan du cours 2 2 Images, capteurs, fréquences (Fourier) et cosinus discret 2.1 Capteur optique 2.2 Échantillonnage 2.3 Bruit et dynamique 2.4 Histogramme 2.5 Résolution des images 2.6 Fréquences : représentation de Fourier d une image 2.7 Transformation en cosinus discret Multimédia et Signaux Numériques 31

Formation d image = Projection du monde 3D sur un plan 2D Plan image 2.1/ Capteurs optiques numériques Modèle sténopé (trou d épingle) Point focal Capteur tri-ccd Sony Intégration = moyenne sur la surface pendant Δt Lentille Distance focale Détecteurs Multimédia et Signaux Numériques 32

2.1/ Capteurs optiques numériques Imperfections du capteur Défauts dans les images Résolution limitée - par la lentille d entrée - par l intégration des détecteurs Échantillonnage par la grille de détecteurs pixellisation (souvent avec repliement/aliasing) Quantification et bruit électronique dynamique limitée niveaux de gris (ou couleurs) inexacts Multimédia et Signaux Numériques 33

2.2/ 2/ Échantillonnage 2. Échantillonnage pixellisation Zoom d une zone de 18x18 pixels Multimédia et Signaux Numériques 34

2.2/ 2/ Échantillonnage Échantillonnage Repliement de fréquences (aliasing) Les stores ont changé de direction! Multimédia et Signaux Numériques 35

2.3/ Bruit et dynamique Bruit et dynamique des images La dynamique est le contraste maximal que peut enregistrer un capteur exemple : capteur numérique 8 bits = dynamique de 256 niveaux Le niveau de bruit est relatif à la dynamique des images Il doit être inférieur au bruit de quantification le niveau de bruit total dépend du pas de quantification Multimédia et Signaux Numériques 36

2.3/ Bruit et dynamique Bruit Image correcte Image bruitée Multimédia et Signaux Numériques 37

2.4/ Histogramme Histogramme d une image C est la répartition des valeurs d une image sur la dynamique du capteur Nombre de pixels qui valent 0, 1, 2,, 255 pour un capteur numérique 8 bits Exemple : image 8 bits et histogramme Une image N&B 8 bits Histogramme de ses valeurs Multimédia et Signaux Numériques 38

2.4/ Histogramme L histogramme d une image dépend de l éclairage Exemple : image de tableau 8 bits et flash Dynamique réelle 80 Fond gris Flash Multimédia et Signaux Numériques 39

2.4/ Histogramme Égalisation d histogramme Modifier les intensités d une image pour mieux les répartir sur la dynamique Utilise la fonction de répartition : cumul de l histogramme divisé par le nombre total de pixels Bonne répartition = bonne dynamique Fonction de répartition mauvaise répartition = mauvaise dynamique Multimédia et Signaux Numériques 40

2.4/ Histogramme Égalisation d histogramme Modifier les intensités d une image pour mieux les répartir sur la dynamique Utilise la fonction de répartition : cumul de l histogramme divisé par le nombre total de pixels Objectif : obtenir une fonction de répartition la plus proche possible de la fonction de répartition idéale = linéaire A cette fonction de répartition idéale correspond un histogramme plat Multimédia et Signaux Numériques 41

Calcul de la fonction de répartition 2.4/ Histogramme fonction de répartition = cumul de l histogramme divisé par le nombre total de pixels Exemple d une image 256x256 ayant un histogramme plat fonction de répartition linéaire histogramme plat Nombre de pixels : 256x256 = 65536 Fonction linéaire etc 3x(256/65536) (256+ 256)/65536 = 2x(256/65536) 256/65536 Multimédia et Signaux Numériques 42

2.5/ Résolution R des images Résolution des images : images bien ou mal résolues Flou associé à une mauvaise mise au point Image correcte (bien résolue) Image floue (mal résolue) Multimédia et Signaux Numériques 43

2.5/ Résolution R des images Résolution des images : Bougé de la prise de vue Image obtenue par un appareil numérique avec un éclairage insuffisant Multimédia et Signaux Numériques 44

2.5/ Résolution R des images Résolution des images : Bougé de la prise de vue Image correcte (bien résolue) Image floue (mal résolue) Multimédia et Signaux Numériques 45

Images périodiques 2.6/ Représentation de Fourier d une d image x(u + T vert, v + T horiz ) = x(u, v) T vert = période verticale, T horiz = période horizontale Exemples d images (pseudo)-périodiques Multimédia et Signaux Numériques 46

2.6/ Représentation de Fourier d une d image TFD d une image pseudo-périodique Les pics des périodes apparaissent dans le module de la TFD f u f v image Module de la TFD Plus hautes fréquences Plus basses fréquences Multimédia et Signaux Numériques 47

2.7/ Représentation de Fourier d une d image TFD d une image pseudo-périodique Les pics des périodes apparaissent dans le module de la TFD f u f v image Module de la TFD Période 1 Période 2 Multimédia et Signaux Numériques 48

2.7/ Transformation en cosinus 300 300 discret d une d image TCD d une image On décompose l image en une somme 100 100 d images simples affectées d un coefficient : 300 200 200 0 0 1 2 3 4 5 6 7 10-10.9 4.5-0.3 0-0.7 0.3 0.3 Multimédia et Signaux Numériques 49

2.7/ Transformation en cosinus discret d une d image Base de la TCD en 2 dimensions La base est composée de la multiplication des cosinus : pour chaque u, v = 0,, N - 1 on calcule tous les c u c N v cos( π f k u)cos( π f l v) pour tous les couples k, l possibles 2 k +1 f k = 2N c u = 2 si u = 1 sinon 0 Exemple de la base de la TCD pour une image 8x8 Multimédia et Signaux Numériques 50

2.7/ Transformation en cosinus discret d une d image Intérêt de la TCD Énergie de l image concentrée sur peu d éléments de la base Un petit nombre de coefficients suffisent en général pour représenter l image correctement Image d arc-en-ciel Coefficients de la TCD en 20log10(valeur absolue coeffs) Multimédia et Signaux Numériques 51

Plan du cours Image 3 : Compression d images d : JPEG 1. Introduction à la compression d image 2. Compression JPEG 3. Redondances et blocs 4. Codage par TCD Matrice de quantification psycho-visuelle Codage sans perte (run-length coding et Huffman) 5. Performances de JPEG sur un exemple Multimédia et Signaux Numériques 53

Compression d images d : JPEG 1/ Introduction Système de communication : son Message sonore Message décodé qui contient des erreurs de transmission et de décodage Message décodé Codeur Canal de transmission Décodeur Message codé (Codage parole, MP3) Liaison filaire ou pas Débit limité et erreurs Multimédia et Signaux Numériques 54

Compression d images d : JPEG 1/ Introduction Système de communication : image fixe Message = 1 image = 960x1280x3 octets Image décodée qui contient des erreurs de transmission et de décodage Message décodé = 1 image = 960x1280x3 octets Codeur Canal de transmission Décodeur Fichier image JPEG Copie, transfert par le web, par téléphone, etc. Débit limité et erreurs Multimédia et Signaux Numériques 55

Compression d images d : JPEG 1/ Introduction Exemple de compression JPEG C est quoi c binz? Codage en JPEG (très compressé) 26000 octets Un truc de ouf! Image de départ : 2764800 octets Image décodée Multimédia et Signaux Numériques 56

Compression d images d : JPEG 1/ Introduction Comprimer un message = le coder de façon plus compacte Codage sans perte : on peut faire un décodage parfait aucune perte d information Ex : six-cent-quatre-vingt-trois 683, gzip/gunzip mais sensibilité aux erreurs dix-cent-quatre-vingt-trois/783 Codage avec perte : le message décodé est imparfait on perd de l information Ex : codage JPEG des images Principes du codage pour la compression : 1. Éviter les répétitions (les redondances) 2. Éliminer les termes peu utiles à la compréhension (penser à MP3) 3. Utiliser des codes courts pour les termes qui reviennent le plus souvent (Huffman, ) Multimédia et Signaux Numériques 57

Compression d images d : JPEG 2/ Compression JPEG JPEG = «Joint Picture Expert Group» Commission issue de l Organisation des Standards Internationaux (ISO) chargée de définir une norme de format d image comprimée Début d activité 1982 1986 : Rejoint par le CCITT 1988 : sélection de la DCT (TCD : transformée en Cosinus Discrets) 1991-92 : JPEG est un standard international Depuis cette norme s est répandue dans tous les domaines du multimédia JPEG = algorithmes de compression sans et avec pertes JPEG le plus utilisé : algorithme de compression avec pertes Le codage JPEG enchaîne plusieurs opérations : 1.Découpage en blocs 8x8 2.Codage avec perte des blocs coefficients TCD-Q 3.Codage sans perte des coefficients TCD-Q Multimédia et Signaux Numériques 59

Compression d images d : JPEG 3/ Redondances et blocs Les images contiennent beaucoup de redondances Une image = zones homogènes séparées par des ruptures Les pixels d une image on souvent la même valeur que leurs voisins les plus proches Pourcentage de pixels voisins dont la différence de niveau est < 2 : 52% Pourcentage de pixels séparés de 4 pixels avec diff niveau < 2: 20% Multimédia et Signaux Numériques 61

Compression d images d : JPEG 3/ Redondances et blocs Les images sont localement très redondantes Les valeurs des pixels d une image sont souvent presque égales à celles de leurs voisins Cette tendance diminue lorsque l on considère des pixels de plus en plus éloignés Découpage des images par blocs 8x8 puis codage compact de chaque bloc Multimédia et Signaux Numériques 62

Compression d images d : JPEG 4/Codage blocs par TCD La transformée en cosinus discret (TCD) Permet de concentrer l énergie sur peu de coefficients Transformée en cosinus discret de bloc 8x8 Décomposition du bloc sur 64 fonctions de base 8x8 Fournit les 64 coefficients de la transformée du bloc Calcul du coefficient (k,l) : Multiplication du bloc par la fonction de base (k,l) terme à terme puis somme des 64 valeurs obtenues Fonctions de base La 1 e fonction de base est constante, donc le premier coefficient est la moyenne du bloc. On l appelle coeff DC en anglais Multimédia et Signaux Numériques 64

Compression d images d : JPEG 4/Codage blocs par TCD Il existe des algorithmes rapides de calcul de la TCD Pour chaque coefficient du bloc 8x8 : 64 opérations 64x64 = 4096 opérations TCD séparable 1024 opérations TCD rapide 550 opérations Codage par TCD : 64 coefs x x x x Bloc 8x8 TCD somme Bloc 8x8 etc Multimédia et Signaux Numériques 65

Compression d images d : JPEG 4/Codage blocs par TCD Découpage en blocs 8x8 Tableau des coefs TCD TCD + - Image d erreur de codage Image codée 1 coef TCD par bloc 8x8 Multimédia et Signaux Numériques 66

Compression d images d : JPEG 4/Codage blocs par TCD Découpage en blocs 8x8 Tableau des coefs TCD TCD + - Image d erreur de codage Image codée 13 coefs TCD par bloc 8x8 Multimédia et Signaux Numériques 67

Compression d images d : JPEG 4/Codage blocs par TCD Quels coefficients conserver? Voir TP Matrice de quantification psycho-visuelle Q 1. TCD du bloc - 128 2. Division terme à terme des coefs par la matrice Q 3. Seuillage et arrondi Coefs TCD [185/16]x16 11,6 [1/14]x14 [32/11]x11 2,9 Bloc 8x8 Coefs TCD-Q Matrice de quantification psycho-visuelle Résultat : 64 coefficients quantifiés TCD-Q (dont beaucoup Multimédia de et Signaux coefficients Numériques nuls) 68

Compression d images d : JPEG 4/Codage blocs par TCD Codage sans perte Ordre de rangement des 64 coefs TCD-Q = Parcours en zig-zag Coefficient DC (1er coefficient = moyenne du bloc) On code la différence entre le coef DC du bloc et le coef DC du bloc précédent Image des coefs DC : valeurs voisines souvent proches Multimédia et Signaux Numériques 69

Compression d images d : JPEG 4/Codage blocs par TCD Les coefs sont répartis en 16 catégories de valeurs 0 1 2 3 4 {1} {2, 3} {4,, 7} {8,, 15} {16,, 31} {-1} {-3,-2} {-7,,-4} {-15,,-8} {-31,,-16} Codage «run-length» = 3 nombres Nb de zéros avant le coef Catégorie du coef Valeur du coef dans sa catégorie (en binaire) et on ne code pas les coefs nuls Exemple : 30, 14, 0, 0, 0, 6 (0/4/1110), (0/3/110), (3/2/10) Enfin, codage de Huffman des 2 premiers nombres Utilise des codes courts pour les valeurs les plus fréquentes Multimédia et Signaux Numériques 70

Compression d images d : JPEG 5/Performances de JPEG Compression classique couleur : de 10:1 à 20:1 sans dégradation visible, soit 1 à 2 bits/pixel Compression classique noir et blanc : à partir d un taux de compression de 5:1, on voit les pertes Mesure de «qualité» JPEG : un indice de qualité arbitraire compromis entre qualité visuelle et taille de fichier Non standardisé (dépend du logiciel), par exemple : Apple : indice de 0 à 4 Adobe Photoshop : qualité basse/moyenne/haute Images couleur et noir et blanc 100 : codage inutile 75 : en général bonne qualité, bonne compression Images noir et blanc compression moins importante que pour la couleur Multimédia et Signaux Numériques 72

Compression d images d : JPEG 5/Performances de JPEG Indice de qualité de 100 à 0 norme de l erreur au carré Multimédia et Signaux Numériques 73

Compression d images d : JPEG 5/Performances de JPEG Indice de 100 à 0 Multimédia et Signaux Numériques 74

Plan du cours Image 4 : Filtrage numérique des images 1. Mise en œuvre d un filtrage 2D 2. Filtrage passe-bas d une image 3. Réduction d images 4. Filtrage dérivateur Exemple : DoG Détection de contours Multimédia et Signaux Numériques 76

Filtrage numérique des images 1/ Mise en œuvre en 2D Exemple de filtrage numérique d un signal Signal en entrée Signal en sortie Filtre passe-bas Signal en entrée Moyenne sur 5 échantillons Signal filtré = plus lisse = composantes BF Signal en sortie Filtre passe-haut Différence/2 entre 2 échantillons Signal filtré = oscillations = composantes HF Multimédia et Signaux Numériques 77

Filtrage numérique des images 1/ Mise en œuvre en 2D Réponse impulsionnelle : sortie du filtre quand l entrée est une impulsion Réponse impulsionnelle Impulsion en entrée Filtre passe-bas Moyenne sur 5 échantillons Réponse impulsionnelle Impulsion en entrée Filtre passe-haut Différence/2 entre 2 échantillons Multimédia et Signaux Numériques 78

Filtrage numérique des images 1/ Mise en œuvre en 2D Extension 2D du filtrage numérique en signal Image en entrée Image en sortie Filtre 2D Réponse impulsionnelle (=fonction d étalement de point, FEP) Entrée = impulsion = point Sortie = FEP Filtre 2D Multimédia et Signaux Numériques 79

Filtrage numérique des images 1/ Mise en œuvre en 2D Fitre gaussien passe-bas 2D Réponse du filtre 2D à une impulsion = image d un point = Fonction d Etalement de Point (FEP) FEP : vue en surface Image d un point ou FEP du filtre Le filtre gaussien remplace un point par une tache FLOUE Nous verrons qu il s agit d un filtre passe-bas (exemple : verre dépoli) Multimédia et Signaux Numériques 80

Filtrage numérique des images 1/ Mise en œuvre en 2D Mise en œuvre d un filtre : convolution avec un masque On note X l image d entrée et Y l image de sortie La FEP du filtre est une image souvent non nulle uniquement sur une petite zone, appelée masque et notée H Chaque pixel Y(k,l) de l image en sortie est la somme des pixels de l image d entrée multipliés par le masque positionné en (k,l) Y(k,l) = Σ Σ X(i,j) H(i-k,j-l) On recommence pour tous les pixels en parcourant toute l image Image en entrée Image en sortie Multimédia et Signaux Numériques 81

Filtrage numérique des images 2/ Filtre passe-bas Fitrage passe-bas : filtre gaussien Image en entrée et zoom Image filtrée et zoom Élimine des composantes hautes-fréquences de l image Multimédia et Signaux Numériques 83

Filtrage numérique des images 2/ Filtre passe-bas Fitrage passe-bas : illustration en Fourier v Image en entrée Image filtrée u Echelle log10 f u f u f v f v Module de la TF Multimédia et Signaux Numériques 84

Filtrage numérique des images 2/ Filtre passe-bas Sur une image naturelle Filtrages passe-bas plus ou moins accentués Multimédia et Signaux Numériques 85

Filtrage numérique des images 3/ Réduction R d imagesd Idée : utiliser des images de taille réduite permettant la visualisation des principales structures d une grande image Exemple : Aperçus des images sous windows Première méthode : sous-échantillonnage Image 8x8 Imagette 3x3 Chaque groupe de 3x3 pixel est remplacé par un seul Problèmes de repliement de fréquences : cf. exemple Solution : filtrage passe-bas puis souséchantillonnage Multimédia et Signaux Numériques 87

Filtrage numérique des images 3/ Réduction R d imagesd Image sous-échantillonnée (1 pixel remplace 10x10 pixels) De nombreux détails pixelliques sont apparus! C est un pb de repliement de fréquences Multimédia et Signaux Numériques 88

Filtrage numérique des images 3/ Réduction R d imagesd Multimédia et Signaux Numériques 89

Filtrage numérique des images 3/ Réduction R d imagesd Multimédia et Signaux Numériques 90

Filtrage numérique des images 3/ Réduction R d imagesd Pyramide de Burt et Adelson (1984) Multimédia et Signaux Numériques 91

Filtrage numérique des images 4/ Filtre dérivateurd Filtre dérivateur Exemple : DoG (Dérivée d une Gaussienne) Multimédia et Signaux Numériques 93

Filtrage numérique des images 4/ Filtre dérivateurd Dérivation d une image en ligne et colonne Multimédia et Signaux Numériques 94

Filtrage numérique des images 4/ Filtre dérivateurd Gradient = dérivées en ligne et en colonne en chaque pixel Norme du gradient 2 2 + Détection de contours Détection de maximum locaux de la norme du gradient puis Seuillage Carte des contours = 1 si il y a un contour = 0 sinon Seuillage Filtre passe-bas avant dérivation = contours plus lisses Multimédia et Signaux Numériques 95

Séquences et mouvements Plan du cours 5 1. Introduction : video Définition, acquisition, restitution 2. Mouvements dans les vidéos Mouvement d objets, d ensemble Différence inter-image 3. Estimation de mouvement Recherche de bloc («block matching») Méthodes d estimation de mouvement image 4. Exemples Multimédia et Signaux Numériques 97

Séquences et mouvements 1/ Introduction : vidéo Vidéo Suite d images (frames) + son Acquisition Caméra analogique/numérique Même principe que l appareil photo (cf. Cours 2) Refait une image toutes les Te secondes Fréquence d acquisition : Fe=5hz (surveillance), Fe=24Hz (film), Fe=1000Hz (caméra ultra-rapide) Stockage des images (pellicule/mémoire) Multimédia et Signaux Numériques 98

Séquences et mouvements 1/ Introduction : vidéo Restitution Projection des images sur un support (écran) Fréquence de rafraîchissement min : 24Hz (liée à la durée de rémanence rétinienne) Multimédia et Signaux Numériques 99

Séquences et mouvements 2/ Mouvements 1. Introduction : video Définition, acquisition, restitution 2. Mouvements dans les vidéos Mouvement d objets, d ensemble Différence inter-image 3. Estimation de mouvement Recherche de bloc («block matching») Méthodes d estimation de mouvement image 4. Exemples Multimédia et Signaux Numériques 100

Séquences et mouvements 2/ Mouvements 2. Mouvements dans les vidéos C est le gain du cinéma par rapport à la photo Lié à la fréquence d acquisition et de restitution Ex : caméra rapide et ralenti sur les mouvements Multimédia et Signaux Numériques 101

Séquences et mouvements 2/ Mouvements Exemple 1 : carrefour et caméra fixe Multimédia et Signaux Numériques 102

Séquences et mouvements 2/ Mouvements Principe de l animation Multimédia et Signaux Numériques 103

Séquences et mouvements 2/ Mouvements Principe de l animation Série d images Contenu très proche Éléments fixes Cadre Décor Éléments en mouvement Mouvement rigide Déformation Masquage Zone en mouvement relatif au cadre Zone de décor masquée Multimédia et Signaux Numériques 104

Séquences et mouvements 2/ Mouvements Exemple 2 : traveling sur un bateau Mouvement d ensemble La caméra suit le mouvement Le décor défile par rapport au cadre Objet fixe par rapport au cadre Image 1 Image 14 Décor en mouvement par rapport au cadre Multimédia et Signaux Numériques 105

Séquences et mouvements 2/ Mouvements Exemple 3 Extrait 1 : dé-zoom Video KissCool Extrait 2 : dialogue Multimédia et Signaux Numériques 106

Séquences et mouvements 2/ Mouvements Exemple 4 Mouvement d ensemble + objets en mouvement Multimédia et Signaux Numériques 107

Séquences et mouvements 2/ Mouvements Différence inter-image Valeur absolue de la différence entre image 1 et image 2 Valeur absolue de la différence entre image 1 et image 6 Multimédia et Signaux Numériques 108

Séquences et mouvements 2/ Mouvements Différence inter-image Valeur absolue de la différence entre image 1 et image 2 Multimédia et Signaux Numériques 109

Séquences et mouvements 3/ Estimation de mouvement 1. Introduction : video Définition, acquisition, restitution 2. Mouvements dans les vidéos Mouvement d objets, d ensemble Différence inter-image 3. Estimation de mouvement Recherche de bloc («block matching») Méthodes d estimation de mouvement image 4. Exemples Multimédia et Signaux Numériques 110

Séquences et mouvements 3/ Estimation de mouvement La plupart des détails d une image sont présents dans d autres images (avant et après) Entre deux instants, on cherche où se déplace une zone = On estime le mouvement de la zone Multimédia et Signaux Numériques 111

Séquences et mouvements 3/ Estimation de mouvement Recherche de bloc «block matching» bloc image 1 Zone de recherche du bloc Multimédia et Signaux Numériques 112

Séquences et mouvements 3/ Estimation de mouvement Recherche du bloc bloc image 1 1er Bloc candidat Zone de recherche Valeur absolue de la différence Moyenne = 46,2 Multimédia et Signaux Numériques 113

Séquences et mouvements 3/ Estimation de mouvement Recherche du bloc bloc image 1 Zone de recherche Valeur absolue de la différence Déplacement correct Moyenne = 25,82 bloc optimal Multimédia et Signaux Numériques 114

Séquences et mouvements 3/ Estimation de mouvement Recherche du bloc Zone de recherche Déplacement faux Image de score = moyenne de la valeur absolue des différences entre le bloc image 1 et le bloc de la zone de recherche Déplacement correct Multimédia et Signaux Numériques 115

Séquences et mouvements 3/ Estimation de mouvement Compromis sur la taille du bloc Trop petit : facile a confondre Trop grand : déformations internes Pas de taille idéale, il y aura toujours des blocs impossibles à localiser Compromis sur la taille de la zone de recherche Trop petite : l objet peut sortir de la zone Trop grande : coût de calcul important Multimédia et Signaux Numériques 116

Séquences et mouvements 3/ Estimation de mouvement Algorithme de recherche de bloc Recherche dans toute la zone pour minimiser le score Zone de recherche Position de départ Déplacement optimal Multimédia et Signaux Numériques 117

Séquences et mouvements 3/ Estimation de mouvement Algorithme rapide de recherche de bloc Recherche logarithmique 2D : exemple Zone de recherche 1. Recherche sur sous-grille Localisation du min Multimédia et Signaux Numériques 118

Séquences et mouvements 3/ Estimation de mouvement Algorithme rapide de recherche de bloc Recherche logarithmique 2D : exemple Zone de recherche 1. Recherche sur sous-grille Localisation du min 2. Recherche sur sous-grille Localisation du min Multimédia et Signaux Numériques 119

Séquences et mouvements 3/ Estimation de mouvement Algorithme rapide de recherche de bloc Recherche logarithmique 2D : exemple Zone de recherche 1. Recherche sur sous-grille Localisation du min 2. Recherche sur sous-grille Localisation du min 3. Recherche au ½ pixel Interpolation des images Localisation du min mvt subpixellique Multimédia et Signaux Numériques 120

Séquences et mouvements 3/ Estimation de mouvement Algorithme rapide de recherche de bloc Recherche logarithmique 2D : exemple Zone de recherche 1. Recherche sur sous-grille Localisation du min 2. Recherche sur sous-grille Localisation du min Déplacement final 3. Recherche au ½ pixel Interpolation des images Localisation du min mvt subpixellique Multimédia et Signaux Numériques 121

Séquences et mouvements 3/ Estimation de mouvement Méthodes de flot optique Recherche du minimum du score en suivant la pente de la surface Utilise les dérivées de l image Utilise souvent une pyramide d images Score Chemin de descente Zone de recherche Multimédia et Signaux Numériques 122

Séquences et mouvements 4/ Exemples 1. Introduction : video Définition, acquisition, restitution 2. Mouvements dans les vidéos Mouvement d objets, d ensemble Différence inter-image 3. Estimation de mouvement Recherche de bloc («block matching») Méthodes d estimation de mouvement image 4. Exemples Multimédia et Signaux Numériques 123

Séquences et mouvements 4/ Exemples Séquence Bus : mouvements estimés Images 1 et 2 Multimédia et Signaux Numériques 124

Séquences et mouvements 4/ Exemples Séquence Bus : mouvements estimés Multimédia et Signaux Numériques 125

Séquences et mouvements 4/ Exemples Séquence Bus : compensation de mouvement Multimédia et Signaux Numériques 126

Séquences et mouvements 4/ Exemples Séquence Bus : compensation de mouvement Multimédia et Signaux Numériques 127

Séquences et mouvements 4/ Exemples En couleurs Multimédia et Signaux Numériques 128

Séquences et mouvements 4/ Exemples En couleurs Multimédia et Signaux Numériques 129

Exemple d estimation d de mouvement En couleurs Multimédia et Signaux Numériques 130

Codage de vidéo o : MPEG2 Cours Image 6 : Plan 1. Historique MPEG 2. Principe M-JPEG MPEG 3. Codage prédictif de bloc 4. Codage bidirectionnel de bloc 5. Structure de codage MPEG02 6. Exemples 7. Et MPEG4? Multimédia et Signaux Numériques 132

Codage de vidéo o : MPEG2 1/ Historique MPEG MPEG = «Moving Pictures Expert Group» Commission issue de ISO chargée de définir une norme de format vidéo numérique et de compression audio Début d activité 1988 1991 : définition du format MPEG01 d audio/vidéo Format non entrelacé, contrairement aux formats classiques de vidéo (PAL, SECAM, NTSC) Mode de travail : MPEG spécifie la norme de décodage, mais laisse les industriels partenaires choisir les solutions de codage 1990 : début des travaux d amélioration de MPEG01, qui donneront le standard MPEG02 en 1993 MPEG02 est utilisé pour le codage haute qualité des DVD Doit permettre la compression, des fonctionnalités comme l accès direct à une scène, le ralenti, etc. 1994 : début des travaux sur les normes MPEG04 et MPEG07 Multimédia et Signaux Numériques 133

Codage de vidéo o : MPEG2 2/ Principe M-JPEGM 1ère idée : succession d images codées en JPEG = M-JPEG (Multiple-JPEG) Rappel sur le codage JPEG Découpe l image en blocs 8x8 Code avec perte chaque bloc par DCT et quantification Codage sans perte (de Huffmann) des coefficients retenus On note ce codage : I = intra-codage car utilise uniquement l image courante Flux vidéo Codage M-JPEG I I I I I I Multimédia et Signaux Numériques 134

Codage de vidéo o : MPEG2 2/ Principe MPEG Le codage M-JPEG n est pas efficace car il n utilise pas le fait que les images successives se ressemblent Rappel cours 5 : Une séquence vidéo Valeur absolue de la différence entre image 1 et image 2 Multimédia et Signaux Numériques 135

Codage de vidéo o : MPEG2 2/ Principe MPEG Exemple de compensation de mouvement : séquence Bus (cf. cours 5) Multimédia et Signaux Numériques 136

Codage de vidéo o : MPEG2 2/ Principe MPEG Exemple de compensation de mouvement : séquence Bus (cf. cours 5) Mouvement des blocs différence image 1/image 2 compensée = résidus En ne codant que le mouvement d un bloc et les résidus, on gagne de la place Multimédia et Signaux Numériques 137

Codage de vidéo o : MPEG2 3/ Codage prédictif de bloc On introduit un second type d images : P Les images P sont codées à partir de l image I précédente par : Intérêt Codage beaucoup plus compact Accès direct aux images I 1. Prédiction 2. Codage de l erreur de prédiction Flux vidéo Codage prédictif I P P I P P Multimédia et Signaux Numériques 138

Codage de vidéo o : MPEG2 3/ Codage prédictif de bloc Utilisation de «macroblocs» 16x16 On recherche les macroblocs similaires dans une zone de l image I précédente Méthode identique à l estimation de mouvement vue au cours 5 Zone de recherche Macrobloc correspondant Image I précédente Image P Multimédia et Signaux Numériques 139

Codage de vidéo o : MPEG2 3/ Codage prédictif de bloc La recherche de bloc se fait sur l image de luminance Le déplacement trouvé est utilisé pour les 3 canaux Structure d un macrobloc 4-2-0 : Macrobloc 16x16 4 blocs 8x8 de luminance (Y) 2 blocs 8x8 Cb et Cr (1 pixel sur 2) Multimédia et Signaux Numériques 140

Codage de vidéo o : MPEG2 3/ Codage prédictif de bloc Mise en concurrence de deux types de codage pour chaque macrobloc Macrobloc Codage JPEG - Macrobloc différence Code I Code P Sélection du code le plus court Code I P Codage JPEG Multimédia et Signaux Numériques 141

Codage de vidéo o : MPEG2 4/ Codage bidirectionnel Problème des occultations : Il vaut parfois mieux prédire le bloc par un bloc FUTUR Image I précédente Image I suivante Prédiction arrière : peu efficace «Prédiction inverse» : bien meilleure sur ce détail Multimédia et Signaux Numériques 142

Codage de vidéo o : MPEG2 4/ Codage bidirectionnel Image codée bidirectionnel : type B Mise en concurrence de 4 codages pour chaque macrobloc On choisit le codage le plus court Code interpolatif = moyenne A et I - - I Code prédictif arrière (A) B Code simple du macrobloc I Code prédictif inverse (I) Multimédia et Signaux Numériques 143

Codage de vidéo o : MPEG2 5/ Structure de codage MPEG2 Trois types d images : I, P et B image P : codée à partir de la I précédente image B : codée avec I ou P précédentes et suivantes Intérêt Codage encore plus compact Accès direct aux images I Ordre du groupe d images codées (GoP = Group of Pictures) Par exemple : IBBPBBPBI Flux vidéo 1 2 3 4 5 6 7 8 9 Codage MPEG I B B P B B P B I Multimédia et Signaux Numériques 144

Codage de vidéo o : MPEG2 5/ Structure de codage MPEG2 Trois types d images : I, P et B image P : codée à partir de la I précédente image B : codée avec I ou P précédentes et suivantes Intérêt Codage encore plus compact Accès direct aux images I Flux vidéo Codage MPEG 1 4 2 3 7 5 6 9 8 I P B B P B B I B Multimédia et Signaux Numériques 145

Codage de vidéo o : MPEG2 5/ Structure de codage MPEG2 Structure d une vidéo MPEG02 Séquence vidéo Group of Pictures Gop Image P Image B Slice (tranche) Macrobloc 16x16 I P I B 6 Blocs 8x8 Multimédia et Signaux Numériques 146

Codage de vidéo o : MPEG2 6/ Exemple Exemple sous VirtualDubMod Multimédia et Signaux Numériques 147

Codage de vidéo o : MPEG2 7/ et MPEG4 et? MPEG-4 = Travaux depuis 1994 Orienté vers le multimédia et non plus simplement la vidéo Objectifs : compression, interactivité, «scability» du contenu audio et vidéo, possibilité de gérer des vidéos ou des sons de synthèse MPEG-2 gère des images et de l audio MPEG-4 gère des objets audio/vidéo et leurs relations spatio-temporelles premiers formats 1998 Formats compressés nommés MPEG-4, DivX Multimédia et Signaux Numériques 148

Un regard général g sur le cours Signal Signal, bruit Énergie, puissance, RSB Signaux périodiques Echantillonnage Théorème de Shannon Problème du repliement Quantification Conversion N/A et A/N Capteurs Sensibilité, dynamique, Représentation fréquentielle, spectre Filtrage, gabarit Mp3 pour la compression du son Images numériques en niveaux de gris Tableau de valeurs Niveau de gris = luminance Codage sur 8 bits : 256 valeurs possibles Exemples Images numériques en couleur Formats : RGB, YCbCr, YUV, 3 tableaux de valeurs Luminance + informations de chrominance Chrominance rouge Chrominance bleue Codage sur 24 bits = 3x8 bits, chaque couleur est codée sur 8 bits Multimédia et Signaux Numériques 149

Un regard général g sur le cours Images n&b, couleur Images numériques en niveaux de gris Tableau de valeurs Niveau de gris = luminance Codage sur 8 bits : 256 valeurs possibles Exemples Images numériques en couleur Formats : RGB, YCbCr, YUV, 3 tableaux de valeurs Luminance + informations de chrominance Chrominance rouge Chrominance bleue Codage sur 24 bits = 3x8 bits, chaque couleur est codée sur 8 bits Multimédia et Signaux Numériques 150

Un regard général g sur le cours Images n&b, couleur Images numériques en niveaux de gris Tableau de valeurs Niveau de gris = luminance Codage sur 8 bits : 256 valeurs possibles Exemples Images numériques en couleur Formats : RGB, YCbCr, YUV, 3 tableaux de valeurs Luminance + informations de chrominance Chrominance rouge Chrominance bleue Codage sur 24 bits = 3x8 bits, chaque couleur est codée sur 8 bits Multimédia et Signaux Numériques 151

Un regard général g sur le cours Images n&b, couleur Histogramme, fonction de répartition Égalisation Réhaussement de contraste Résolution Représentation fréquentielle, fréquences spatiales Transformée en cosinus discret JPEG Filtrage d images Imagettes Contours Multimédia et Signaux Numériques 152

Un regard général g sur le cours Vidéo Séquence vidéo Mouvement Redondance Estimation de mouvement Par bloc Flot optique Compensation de mouvement MPEG Macro-blocs Images I, P, B Multimédia et Signaux Numériques 153