Compression vidéo, ENSTA, 15 février 2006
Codage Vidéo, ENSTA, 15 février 2006 Introduction Traitement du signal => codage audio, codage de la parole, codage des images, Images = images fixes et vidéos Images fixes : sujet abordé la semaine dernière Transformées, quantification, codage entropique, La vidéo apporte une 3ème dimension : le temps. Cela se traduit par beaucoup de changements en termes de codage 2
Sommaire Le monde de la vidéo Applications, nécessité, organismes de normalisation Notions de base Vocabulaire, formats vidéo Techniques élémentaires Réductions spatiale et temporelle, estimation et compensation de mouvement, codage basé trames, contrôle de débit, schéma classique d un codeur vidéo Estimation et compensation de mouvement: détails Codage Vidéo, ENSTA, 15 février 2006 But : acquérir assez de notions pour pouvoir ensuite approfondir le domaine si nécessaire Normes MPEG Généralités, bitstream, images I, images B&P, codeursdécodeurs MPEG-1, MPEG-2, MPEG-4 Zoom sur MPEG-4 AVC Introduction à MPEG-4 SVC Conclusion 3
Le monde de la vidéo Codage Vidéo, ENSTA, 15 février 2006 Exemples d applications utilisant la vidéo Visioconférence, visiophone Caméscopes Télévision : informations, pubs, reportages, clips Films (cinéma, DVDs) Jeux vidéo Ordinateurs : Internet, CD-ROMs Les contraintes de ces applications sont toutes différentes (codage rapide pour caméscopes, décodage rapide pour CD-ROMS, qualité parfaite pour cinéma, etc.) 4
Le monde de la vidéo Applications de la vidéo numérique Effets spéciaux Objets virtuels, décors, Terminator 2, The Matrix, etc. DVD (Digital Versatile Disc) Qualité supérieure à une cassette VHS Télévision numérique Plus de chaînes grâce à la compression Pay-Per-View, View-On-Demand Caméscopes numériques Codage Vidéo, ENSTA, 15 février 2006 5
Le monde de la vidéo Pourquoi la compression est-elle nécessaire? Codage Vidéo, ENSTA, 15 février 2006 Exemple de la télévision numérique haute définition (HDTV) aux USA 1920 pixels par 1080 lignes à 30 trames/seconde, 8 bits pour chaque pixel dans chacune des 3 composantes => 1920 x 1080 x 30 x 8 x 3 = 1.5 Giga bit/s Bande passante des canaux alloués: 6MHz => 19.2Mb/s Nécessité de transporter d autres infos (audio, etc.) => 18Mb/s disponibles Taux de compression nécessaire (1500/18): 1:83!!! Et pour une excellente qualité! 6
Le monde de la vidéo Contexte Codage Vidéo, ENSTA, 15 février 2006 Codage source Restitution Acquisition 00110101001010010010010101010100011010 Enregistrement et/ou transmission Objet du cours Décodage source 7
Le monde de la vidéo Codage Vidéo, ENSTA, 15 février 2006 Vidéo et normalisation : surtout ITU et ISO ITU-T ISO-IEC JTC1 SG15 WG1 (JPEG) WG11 (MPEG) WG12 (MHEG) H.261 MPEG-1 H.263 H.262 = MPEG-2 H.264 MPEG-4 (Partie 2) MPEG-4 (Partie 10) JVT H.264 = MPEG-4 (Partie 10) 8
Le monde de la vidéo Codage Vidéo, ENSTA, 15 février 2006 Chaque réunion MPEG rassemble environ 300 experts, représentant quelques 200 compagnies et 20 pays MPEG-1: Coding of Moving Pictures and Associated Audio for Digital Storage Media at up to about 1.5 Mbit/s Qualité VHS sur CD-ROM (320x240 pixels + CD audio à 1,5Mbits/s => d où provient le format MP3 ) MPEG-2 : Generic Coding of Moving Pictures and Associated Audio DVDs, télévision numérique, TVHD (US et Europe) (MPEG-3 : à l origine, TVHD num, mais inclus dans MPEG-2) 9
Le monde de la vidéo Codage Vidéo, ENSTA, 15 février 2006 MPEG-4 : Generic Coding of Audio-Visual Objects A l origine très bas débits, mais finalement tous débits + nouvelles fonctionnalités (objets, etc.) : multimédia et interactivité MPEG-7 : Content Description Interface Description du contenu Ne concerne pas seulement la vidéo MPEG-21 : Multimedia Framework Identifier toutes les parties mises-en-jeu lors de transactions, de l échanges de documents multimédia pour voir si tout est normalisé de façon suffisante Lancer des travaux de normalisation des parties manquantes Ne concerne donc là aussi finalement plus seulement la vidéo 10
Sommaire Le monde de la vidéo Applications, nécessité, organismes de normalisation Notions de base Vocabulaire, formats vidéo Techniques élémentaires Réductions spatiale et temporelle, estimation et compensation de mouvement, codage basé trames, contrôle de débit, schéma classique d un codeur vidéo Estimation et compensation de mouvement: détails Codage Vidéo, ENSTA, 15 février 2006 But : acquérir assez de notions pour pouvoir ensuite approfondir le domaine si nécessaire Normes MPEG Généralités, bitstream, images I, images B&P, codeursdécodeurs MPEG-1, MPEG-2, MPEG-4 Zoom sur MPEG-4 AVC Introduction à MPEG-4 SVC Conclusion 11
Codage Vidéo, ENSTA, 15 février 2006 Notions de base Notions de base Vocabulaire: Séquence = ensemble d images successives Cut, shot, plan = segment de séquences correspondant à un nouveau plan Trame = image Mais parfois trame = 2 images ou champs entrelacé(e)s Blocs, macroblocs Débit En bits/seconde (bitrate) = information à transmettre par seconde En images par seconde (framerate) : fréquence d affichage Mouvements de la scène : ACTION (personnages qui bougent) de caméra EFFET (zoom, panoramique) 12
Codage Vidéo, ENSTA, 15 février 2006 Notions de base Représentation en espaces de couleur R R V B Y U V Y Matriçage Scène originale V Y = 0,299R+0,597V+0,114B U = R -Y V = B -Y U Numérisation B Y = E(219Y )+16 U = E(160U )+128 V V = E(126V )+128 13
Codage Vidéo, ENSTA, 15 février 2006 Notions de base Sous-échantillonage Couleur définie par 3 composantes A chaque pixel est associé un triplet (r, g, b) => rouge, vert, bleu (y, c1, c2) => espaces type luminance-chrominance L oeil est moins sensible aux composantes de chrominance que de luminance On va donc éliminer de l information dans les espaces de chrominance par des techniques de sous-échantillonage, puis travailler composante par composante et non pas pixel par pixel Définition des systèmes 4:2:0 et 4:2:2 14
Codage Vidéo, ENSTA, 15 février 2006 Notions de base 4:4:4 4:2:2 4:2:0 4:1:1 Y Cb Cr 15
Codage Vidéo, ENSTA, 15 février 2006 Notions de base Streaming Fait de décoder «à la volée» ce que l on reçoit plutôt que d avoir tout le fichier décompressé Taux de compression : De 100:1 à 200:1 => incluent souvent sous-échantillonage et divers traitements pré-compression Entrelacement Le 1er champ contient toutes les lignes de n s impairs, le 2ème de n s pairs D un champ à l autre, quasiment la même chose, mais le 2ème étant acquis 20ms après le 1er, le mouvement peut déjà être perceptible 16
Codage Vidéo, ENSTA, 15 février 2006 Notions de base Combiner 2 champs pour faire une seule trame peut donc amener à un effet visuel gênant Entrelacement fréquent dans les applications de TV Vidéo non entrelacée = vidéo progressive 17
Codage Vidéo, ENSTA, 15 février 2006 Notions de base Entrelacement Format progressif Format entrelacé TRAME 1 y y Image 1 Image 2 x TRAME 2 Image 1 Image 2 x Temps Temps 18