Compression vidéo I MPEG1, MPEG2, H261, H263. Alain Mérigot. Université Paris sud. A. Mérigot (am@ief.u-psud.fr) Compression vidéo I 1 / 30

Compression vidéo I MPEG1, MPEG2, H261, H263 Alain Mérigot Université Paris sud A. Mérigot (am@ief.u-psud.fr) Compression vidéo I 1 / 30

Compression vidéo Codage de séquence en suite d images JPEG : 25 * 720 * 572 * 1.5 bit/pel = 15.5 Mbit/s (Motion-JPEG ou MJPEG) On doit encore gagner un ordre de grandeur. Utilisation de la corrélation temporelle entre images successives dans une séquence vidéo. On code la différence entre un bloc et ce bloc de l image précédente par DCT+Quantification+codage à longueur variable Ce principe est utilisé par la plupart des normes de vidéo. A. Mérigot (am@ief.u-psud.fr) Compression vidéo I 2 / 30

Historique des normalisations ITU-T H.261 1990 ISO 1172-2 MPEG-1 1993 ITU-T H.262 ISO 13818 MPEG-2 1995 ITU-T H.263 1996 ITU-T H.263+ 1998 ISO 14496-2 MPEG-4 1999 ITU-T H.263++ 2000 Visiophonie CD-ROM DVD, DTV Visiophonie Streaming, télévision intéractive ITU-T H.264 / ISO 14496 MPEG-4/AVC (ou MPEG-4 part 10) 2003 Toutes ces normes définissent la syntaxe d un flot de bits valide (bitstream) et la manière dont il doit être décodé. La norme ne définit pas ce que doit être le codeur. A. Mérigot (am@ief.u-psud.fr) Compression vidéo I 3 / 30

Principe de codage Décomposition de l image en blocs Calcul de la différence entre le bloc courant et un bloc de l image précédente (exploitation de la redondance temporelle). Transformation en cosinus du bloc résiduel, quantification et codage entropique C est un codage par prédiction de l image. Pour éviter les accumulations d erreurs (dues à la quantification), on incorpore un décodeur dans le codeur, et on compare à l image décodée. A. Mérigot (am@ief.u-psud.fr) Compression vidéo I 4 / 30

Principe de codage MPEG CODEUR Controle quantif + - DCT Q VLC Buffer Est. mvt Comp. mvt Vecteurs mvt. Mém. trame Mém. trame + + -1-1 DCT Q Mém. trame Comp. mvt Vecteurs mvt + + -1-1 -1 DCT Q VLC Buffer A. Mérigot (am@ief.u-psud.fr) Compression vidéo I 5 / 30

Prise en compte du mouvement En cas (probable!) de mouvement dans la séquence, la prédiction se fait en deux temps : estimation du mouvement des blos d une image à l autre : On cherche pour chaque bloc dans son voisinage (± 16 pixels) le bloc le plus semblable. compensation de mouvement : calcul de la différence entre le bloc courant et le bloc le plus semblable de l image précédente. A. Mérigot (am@ief.u-psud.fr) Compression vidéo I 6 / 30

Compensation de mouvement A 1ère frame B 2ème frame Différence brute A B Différence A B après compensation de mouvement A. Mérigot (am@ief.u-psud.fr) Compression vidéo I 7 / 30

Problèmes : il faut pouvoir redémarrer régulièrement, même si l image de départ manque. l estimation de mouvement est très couteuse (recherche exhaustive du voisinage). Pour cela, on distingue trois types d images : images Intra (I) avec codage non différentiel (à la JPEG images prédites (P). Une image toutes les M sera prédite avec compensation de mouvement images interpolées (B) obtenues par interpolation linéaire des déplacements Valeurs typiques : une image I toutes les 12-16 une image P toutes les 3-4 images les autres sont interpolées A. Mérigot (am@ief.u-psud.fr) Compression vidéo I 8 / 30

Trames MPEG Trames H261/H263 Trames MPEG1/2 Trames Intra I Trames Prédites P Trames interpolées B A. Mérigot (am@ief.u-psud.fr) Compression vidéo I 9 / 30

Estimation de mouvement L estimation de mouvement se fait à partir du déplacement des blocs de l image précédente. A. Mérigot (am@ief.u-psud.fr) Compression vidéo I 10 / 30

Estimation de mouvement (suite) Pour les images interpolées, l estimation est bidirectionnelle. On peut estimer par MVp, MVf ou une iterpolation des deux, suivant ce qui produit la plus faible erreur d interpolation. L avantage des images B est double : réduction du temps de calcul pas d envoi des vecteurs mouvement (réduction du débit) Par contre, augmentation de la latence... A. Mérigot (am@ief.u-psud.fr) Compression vidéo I 11 / 30

La syntaxe d une séquence vidéo Niveaux hiérachiques de codage : Séquence : définition d une séquence vidéo entière Groupe d images (GOP Group of Pictures) : correspond à une séquence d images IBBPBBP... Image Tranche (slice) : regroupe un nombre quelconque de MB. Sert essentiellement pour resynchroniser et récupérer les erreurs. Macrobloc (MB) (16x16) : unité pour l estimation et la compensation de mouvement. Un MB regroupe 4 blocs pour la luminance (Y), et deux blocs de chrominance (Cr Cb) pour le codage 411. D autres codages sont aussi possibles. Bloc (8x8) : unité pour codage et DCT A. Mérigot (am@ief.u-psud.fr) Compression vidéo I 12 / 30

Les GOPs Un GOP regroupe un ensemble d images. Il commence toujours par une image I. Ordre des GOPs : à l entrée de l encodeur : 1 2 3 4 5 6 7 8 9 A B C I B B P B B B P B B P B à la sortie de l encodeur : 1 4 2 3 8 5 6 7 B 9 A C I P B B P B B B P B B B à la sortie du décodeur 1 2 3 4 5 6 7 8 9 A B C A. Mérigot (am@ief.u-psud.fr) Compression vidéo I 13 / 30

Types d images et de MB Il y a 5 types de MB : I Intra P prédit B bidirectionel soit forward, backward ou interpolé Zero MV Aucun vecteur mouvement associé. La compensation est faite avec le même MB de l image précédente SKIP (aussi appelé FIX). Aucun codage. On recopie les données du même MB de l image précédente. Suivant le type d images, differents types de MB sont autorisés: I MB P MB B MB ZeroMV SKIP image I x image P x x x x image B x x x x A. Mérigot (am@ief.u-psud.fr) Compression vidéo I 14 / 30

Les slices Les slices regroupent un nombre quelconque de MB. Leur emplacement peut changer d une image à l autre. Le premier et le dernier MB d un slice doivent être dans la même rangée de MB. L intérêt essentiel des slices est la récupération d erreurs. Les MB d un slice sont envoyé séquentiellement, avec un incrément dans l entête (ce qui permet de ne pas coder certains MB). Dans ce cas, on reprend le MB de l image précédente. A. Mérigot (am@ief.u-psud.fr) Compression vidéo I 15 / 30

Syntaxe de codage d une séquence Video sequence Seq. header Seq. extension GOP header and picture Seq. extension GOP header and picture... Sequence end code GOP header User data picture... picture... picture Picture header Pict. Coding extension Extension & User data slice slice... slice Slice header macroblock macroblock macroblock macroblock... macroblock macroblock header Block 0 Block 1 Block 2 Block 3 Block 4 Block 5 Diff. DC coef (intra MB) Run-level VLC Run-level VLC Run-level VLC...... End of block A. Mérigot (am@ief.u-psud.fr) Compression vidéo I 16 / 30

Codage des blocs Après DCT, les blocs sont quantifiés. La quantification est contrôlée par un paramètre MQUANT. Ce paramètre peut être changé pour chaque MB entre 1 et 31. Une quantification basse augmente la qualité (et le débit). Cas des blocs intra Utilisation d une table de quantification W. Le coefficient AC C(u, v) est quantifié C(u,v) 8 MQ W (u,v) par Q(u, v) = Le coefficient DC est codé par prédiction. Cas des blocs intra 08 16 19 22 26 27 29 34 16 16 22 24 27 29 34 37 19 22 26 27 29 34 34 38 22 22 26 27 29 34 37 40 22 26 27 29 32 35 40 48 26 27 29 32 35 40 48 58 26 27 29 34 38 46 56 69 27 29 35 38 46 56 69 83 La quantification est uniforme pour tous les coefficients. A. Mérigot (am@ief.u-psud.fr) Compression vidéo I 17 / 30

Effets de la quantification sur le débit et la qualité 512kb/s 180kb/s 75 kb/s A. Mérigot (am@ief.u-psud.fr) Compression vidéo I 18 / 30

Interlace tools Pour gérer l entrelacement, on définit deux types d images: Les images de trames (frame pictures) contiennent une image complète Les images de champs (field pictures) sont formées de deux champs successifs : les champs supérieurs et inférieurs suivant le schema d entrelacement Egalement deux types de DCT : DCT par trame DCT par champs on regroupe ensemble les lignes paires et les lignes impaires pour réaliser la DCT (sauf pour Cr, Cb). Les images de champs utilisent toujours la DCT par champs. Les images de champs peuvent utiliser un des deux mécanismes. Si la DCT par champs est utilisée, le motif de parcours zig-zag est modifié. A. Mérigot (am@ief.u-psud.fr) Compression vidéo I 19 / 30

Interlace tools (suite) La prédiction et la compensation de mouvement peuvent être basées sur les trames ou les champs. La prédiction par champs cherche un déplacement qui corresponde au champs courant 16x8. Les images de trame peuvent utiliser les deux schémas de prédiction. Pour la prédiction par champs deux vecteurs mouvement sont dérivés. Les images de champs peuvent : utiliser la prédiction par champs. L estimation de mouvement est faite avec les deux champs précédents (par exemple, en traitant le champs inférieur au temps t, on considèrera le champs supérieur du temps t, et le champs inférieur du temps t 1). faire une compensation 16x8 (pour les parties inférieure et supérieure du MB) A. Mérigot (am@ief.u-psud.fr) Compression vidéo I 20 / 30

Autres aspects MPEG system : fourni des outils pour multiplexer et synchroniser les images, le son, le texte, pour gérer des pistes multiples, protéger les données, etc. Gestion des profils : les profils décrivent les fonctionnalités supportées par un codec donné. Codage scalable : permet de décrire une séquence vidéo comme un flux de base et une ou des couches d amélioration. 3/2 pulldown (pour convertir un film à 24 im/s en NTSC à 30 im/s) etc... A. Mérigot (am@ief.u-psud.fr) Compression vidéo I 21 / 30

Principales normes MPEG1, MPEG2 : ISO, applications vidéo, TV numérique, DVD H261, H263, H263+ : ITU, application visiophonie Le principe de base similaire : découpage de l image en macroblocs 16 16 (4 blocs 8 8 de luminance et 2 de chrominance). estimation de mouvement sur ces blocs compensation de mouvement éventuelle transformée en cosinus quantification parcours en zig-zag, codage par plage, codage de Hufman. A. Mérigot (am@ief.u-psud.fr) Compression vidéo I 22 / 30

Differences MPEG1 MPEG2 H261 H263 Debit typique de 1.1 Mbit/s px64 kbit/s < 64 kbit/s 768x576 Résolution élevée CIF, QCIF CIF, QCIF, 4CIF, possible SQCIF Aspect variable Aspect fixe 4:3 Groupe d images (GOP) Pas de GOP Notion de tranche (slice) Images I, B, P Pas d images B Images I, B, P Saut d images qq Saut d images < 3 Saut d images qq. Deplac. ±15 au Deplac. ±15 au Deplac. ±15 au Deplac. ±15 au pix. 1/2 pix. pix. 1/2 pix. La latence n est pas critique La latence est critique A. Mérigot (am@ief.u-psud.fr) Compression vidéo I 23 / 30

Etude de la norme H263 H261 ISDN H263 Tres bas debits (< 64 kbit/s) 4 modes optionnels H263 vers2 (H263+, H263++) 12 modes optionnels Scalable A. Mérigot (am@ief.u-psud.fr) Compression vidéo I 24 / 30

Les normes H26[13] sont la partie video de normes couvrant tout les aspect de visiophonie (H320, H323,...). H261 Equip. vidéo Codec vidéo H200 Structure des trames Equip. Audio Equip. telematique Codec audio +délai MUX/ DEMUX Interface réseau H242, H230, H221 Controle système Signisation réseau H320 A. Mérigot (am@ief.u-psud.fr) Compression vidéo I 25 / 30

La norme H263 Format d images standardisés : CIF, QCIF, SQCIF, 4CIF, 16CIF. Format 4:1:1 (1 pixel de chrominance au centre de 4 pixels de luminance) Quatre niveaux hiérarchiques : image groupe de blocs (GOB) de k 16 lignes Macrobloc 16 16. Comprend 4 blocs de luminace et 2 blocs de chrominance Bloc 8 8 Chaque niveau contient un entête avec des informations (Q, depl, etc) A. Mérigot (am@ief.u-psud.fr) Compression vidéo I 26 / 30

Compensation de mouvement par bloc, avec un vecteur déplacement par MB Précision du 1/2 pixel [-16,+15.5] Le déplacement est prédit par la valeur mediane de 3 voisins (N,NE,O) DCT sur des blocs 8 8 Quantification : Même valeur pour tout le MB, matrice uniforme Quantification paire de 2 à 62. le coefficient DC est divisé par 8 pour un bloc Intra A. Mérigot (am@ief.u-psud.fr) Compression vidéo I 27 / 30

Informations d entête Picture Layer PSC (22): Picture Start Code TR (8): Temporal Reference PTYPE (13): Picture Type Info. PQUANT (5): Picture Quantizer CPM (1): Continuous Presence Multipoint PSBI (2): Picture Sub-Bitstream Indicator TRB (3): Temp. Ref. for B-picture DBQUANT (2): DQUANT for B-pic. PEI (1): Extra Insertion Information PSPARE (8): Spare Information ESTUF (V<8): Stuffing EOS (22): End of Sequence PSTUF (V<8): Stuffing Macroblock Layer COD (1): Coded Macroblock Indic. MCBPC (V): Macroblock type & Coded Block Pattern for Chrominance MODB (V): MB Mode for B-blocks CBPB (6): Coded Block Pattern for B- blocks CBPY (V): Code Block Pattern for Y DQUANT (2): Differential QUANT MVD (V): Motion Vector Difference MVD2-4 (V): MVDs in Adv. Pred. MVDB (V): MVD for B-blocks GOB Layer GSTUF (V<8): Stuffing GBSC (17): GOB Start Code GN (5): Group Number GSBI (2): GOB Sub-Bitstream Indica. GFID (2): GOB Frame ID GQUANT (5): GOB QUANT Info. Block Layer INTRADC (8): DC coefficient for INTRA blocks TCOEF (V): Transform Coefficients

Modes optionnels : vecteur déplacement non-restreints : déplacements possible [ 31.5,+31.5], déplacements hors de l image. codage arithmétique : amélioration d environ 5%. Prédiction avancée : 4 vecteurs déplacement par MB Trames doublement interpolées : (PB frames) des trames intermédiaires ont un mouvement interpolé sur les trames prédites A. Mérigot (am@ief.u-psud.fr) Compression vidéo I 29 / 30

Extensions H263+ extension du déplacement non restreint [-256,+255.5] amélioration du codage intra (par prédiction du coefficient DC) et nouvelles tables spécifiques DC. filtre de suppression des blocs dans la boucle de codage. groupement de blocs de taille varaible (slice) informations spécifiques sur l image : gel de régions, etc. sélection de l image de référence échelabilité temporelle et spatiale à posteriori. mise à jour en résolution réduite amélioration de la quantification (non limitée à des variations de ±2) A. Mérigot (am@ief.u-psud.fr) Compression vidéo I 30 / 30