Compression Vidéo Novembre 2006 1 Notes sur la compression de signaux video. Numérisation des signaux video Le CCIR (Comité Consultatif International des Radiotélécommunications) publie en 1982 le standard CCIR-601, qui est un système de numérisation des signaux video. Le système se veut le plus universel possible, notamment en offrant une compatibilité avec les systèmes européen (PAL) et américain (NTSC). Fréquence d échantillonnage En particulier, la fréquence d échantillonnage choisie est 13.5 MHz (respect du théorème de Shannon). Cette fréquence est à la fois multiple de la fréquence de ligne pour les deux systèmes précités : 864*625*25 = 13.5 MHz = 858*525*29.97 (pour des raisons de battement avec leur porteuse son de 4.5 MHz, les américains sont passés de 30 à 29.97 images par seconde). La conséquence du choix de la fréquence d échantillonnage du signal vidéo composite, ou de chaque signal composant (r,g,b) ou (Y, Cr, Cb), est que d une ligne à l autre la position horizontale des «pixels» échantillonnés est exactement identique : on obtient donc une grille rectangulaire de pixels (orthogonal sampling). Orthogonal sampling Système numérique composant Lorsque chaque composante du signal est échantillonnée à la même fréquence (13.5 MHz), on parle de format numérique (4 : 4 : 4). Le taux d information correspondant (bitrate) est de : 3 signaux * 13.5 MHz * 8bits/éch. = 324 Mbits/s. Le standard CCIR-601 (1982) permet d économiser un tiers de ce bitrate en ne codant qu un pixel sur deux dans le sens horizontal, et ce pour les composantes de chrominance uniquement. Dans la figure suivante, seuls les pixels noirs sont codés en chrominance. On parle alors de format numérique (4 : 2 : 2).
Compression Vidéo Novembre 2006 2 La qualité de l image codée reste sensiblement la même, car la résolution de notre système visuel est moins fine pour la chrominance que pour la luminance. Le nouveau bitrate est de : - 13.5 MHz * 8 bits/échantillon pour la luminance Y, - la moitié pour Cb, - et la moitié pour Cr, soit au total 216 Mbits/s. Parmi ces bits, seule une partie correspond à des informations «visibles» sur l écran : ainsi, seules 576 lignes sur les 625 (en Europe) correspondent à des pixels visibles. De même, 720 pixels sur les 864 dans le sens horizontal. Le bitrate effectif (actif, visible) est donc de 720*576*25*8 = 83 Mbits/s pour la luminance et 83 Mbits/s pour la chrominance, soit au total 166 Mbits/s dans le format (4 : 2 : 2). Ce taux d information est beaucoup trop élevé pour des applications grand public, ce qui nécessite l emploi d algorithmes de compression normalisés. Notes - il existe aussi un format (4 : 2 : 0), dans lequel la chrominance n est codée qu un pixel sur deux dans le sens horizontal et dans le sens vertical de l image ; - l avantage d un système composant (par rapport à un système composite) est la possibilité d éditer les composantes (r,g,b) sans devoir démoduler le signal pour en extraire la chrominance. Un autre avantage est la compatibilité immédiate des systèmes américain et européen. Compression des signaux video (source coding) Joint Photographic Expert Group (JPEG) Ce comité d expert a édité un standard pour la compression des images fixes. Dans sa version avec pertes (JPEG lossy), l algorithme JPEG offre des facteurs de compression supérieurs à 10. Les algorithmes MPEG pour la compression vidéo ont été largement inspirés par le standard JPEG. Motion Pictures Expert Group (MPEG) Le standard MPEG-1 (1992) vise à reproduire un programme vidéo (incluant le son stéréo) sur un support de type CD (videodisc, CD-I), c est-à-dire à réduire le taux global d information (audio stereo + video) à 1.5 Mbits/s maximum! Cette réduction drastique de l information ne peut se faire qu au détriment de la qualité de l image.
Compression Vidéo Novembre 2006 3 Le standard MPEG-2 (1994) vise une qualité meilleure, à des bitrates de 4 à 9 Mbits/s. Les applications visées sont le DVD (Digital Versatile Disc) et le DVB (Digital Video Broadcasting). Algorithme MPEG-1 Les images sont tout d abord numérisées dans un format SIF (format de moindre résolution que le 4 : 2 : 2 utilisé dans JPEG). Ce format consiste en fait à ne conserver : - qu un pixel sur deux en luminance, dans le sens horizontal ET vertical (résolution 360x288 pixels utiles au lieu de 720x576), - qu un pixel sur quatre en chrominance (180x144). Elles sont ensuite classées selon trois types : - I (intra-coded) : en noir sur la figure suivante, - P (predicted) : en gris, - B (bi-directional predicted) : en blanc. Voici une séquence typique d images : I B B P B B P B B P B B I Les images I, comme leur nom l indique, sont codées indépendamment des autres, à la manière d une image fixe (proche de JPEG). Une image P est prédite à partir de l estimation du mouvement entre l image I précédente et cette image, ou entre l image P précédente et cette image. On a besoin pour cela d un algorithme prédisant les mouvements d une image à l autre (Motion estimator). Les images B sont prédites à partir d une interpolation bidirectionnelle entre images I et P, ou P et P voisines. Pour les images P et B, on codera les informations de déplacements (motion vectors) et la différence entre l image prédite et l image réelle. Codage intra L image en format SIF est tout d abord discrétisée en blocs de 8x8 pixels. Dans chaque bloc de luminance (ou de chrominance), on applique la transformée en cosinus discrète à la luminance (ou aux deux signaux de chrominance). La DCT (discrete cosine transform) fonctionne à la manière de la transformée de Fourier : le résultat en est un ensemble de 8x8 coefficients (transformée à deux dimensions), voir figure suivante.
Compression Vidéo Novembre 2006 4 0 1 2 3 4 5 6 7 0 1 2 3 4 5 6 7 0 1 2 3 4 5 6 7 Bloc de 8x8 pixels DCT 0 1 2 3 4 5 6 7 Matrice de 8x8 coefficients En particulier, le coefficient d ordre (0,0), appelé aussi coefficient DC, représente la composante continue, c est-à-dire la luminance (ou la chrominance) moyenne du bloc. Plus l ordre du coefficient augmente, plus il exprime une variation spatiale de haute fréquence, dans le sens horizontal ou vertical de l image. Il est évident que, pour la plupart des blocs, tant la luminance que la chrominance seront plus ou moins constantes, ce qui se traduira par : - des coefficients de la DCT de valeur importante, pour les ordres faibles (basses fréquences), - des coefficients peu significatifs pour les ordres élevés. Note : la DCT est une opération réversible, si tous les coefficients sont conservés! Pour plus d informations sur cette transformée, voir le cours de traitement numérique d images du Professeur Van Droogenbroeck (en référence). Après la transformée DCT, chaque bloc est représenté par un ensemble de 8x8 coefficients. Ces coefficients subissent ensuite les opérations de seuillage et de quantification : - mise à zéro des coefficients sous un certain seuil (coefficients les moins significatifs) ; - attribution d un nombre de bits décroissant avec l ordre des coefficients (ou avec la fréquence spatiale) ; - les coefficients DC sont codés de manière différentielle (par rapport au bloc précédent), dans le but d épargner encore quelques bits. Grâce à ces opérations, on espère éliminer l information non pertinente (c est-à-dire non visible) dans l image. Vient ensuite l opération de zig-zag scan : les coefficients codés (sauf DC) sont placés dans l ordre des fréquences spatiales croissantes : voir figure suivante. Matrice de 8x8 coefficients : zig-zag scan
Compression Vidéo Novembre 2006 5 Le résultat est une suite binaire comprenant de nombreux «zéros» successifs, correspondant aux coefficients d ordres élevés peu significatifs, et annulés par les opérations de seuillage et de quantification. Viennent enfin deux encodages sans perte, qui réduisent encore le bitrate : - un codage RLC (run length coding), qui code le nombre de zéros successifs plutôt que la séquence 00000.00000 ; - un codage de type Huffman, qui accorde aux symboles les plus fréquents les codes les plus courts (pour mémoire). Motion estimator Les images sont discrétisées en macroblocs : un macrobloc contient 16x16 pixels de luminance (c est-à-dire 4 blocs voisins utilisés pour la DCT), et donc 8x8 (la moitié) pixels de chrominance (dans le format SIF). Macrobloc : 16x16 pixels de luminance, et 8x8 pixels de chrominance Macrobloc (format SIF) : en blanc, les échantillons de luminance, en noir de chrominance. Pour un macrobloc de l image P courante, on recherche dans l image (I ou P) précédente le macrobloc voisin le plus semblable, en termes de luminances et de chrominances. Une fois identifié, on peut évaluer le «vecteur déplacement» (motion vector) du macrobloc qui sera appliqué à tous les pixels du macrobloc et aux trois composantes (Y, Cb,Cr). Le codage de l image prédite P (à partir de l image I ou P précédente) comprendra : - les motion vectors codés, - la différence entre l image réelle P et l image prédite par l ensemble des motion vectors, cette différence (ou résidu) étant codée en intra (DCT, etc..) : voir figure suivante.
Compression Vidéo Novembre 2006 6 Pour les images B, les vecteurs de déplacements sont interpolés temporellement, et l image est prédite soit à partir de l image I ou P précédente (forward), soit à partir de l image I ou P suivante (backward), soit de manière bidirectionnelle à partir des deux I ou P voisines. Parmi les trois techniques, l image prédite la plus proche de l image réelle est retenue, et la différence est encodée comme pour les images P. On peut imaginer la complexité de l encodeur, notamment en relation avec l estimateur de mouvements. Le codec est dit asymétrique, car le décodeur est moins complexe que l encodeur (idem qu en compression audio). Schéma global de l encodeur Video SIF Nouvel ordre des images : IPBBPBBPBB Images I DCT Q Images P Mémoire Predict P - résidu Codage sans perte I ou P précédente Motion Estimator Motion vectors MUX I ou P précédente et suivante Predict B - résidu Images B Bitstream MPEG Bloc Q : seuillage et quantification des coefficients de la DCT Ainsi qu observé sur la figure, l ordre initial des images IBP est modifié de manière à faciliter les opérations de prédiction (pourquoi?). En général, on retrouve 2 images B entre deux images P, et 11 images entre deux images I. Une boucle de régulation est prévue après le multiplexeur (MUX) : elle agit sur le niveau de quantification des coefficients de la DCT de manière à assurer un bitrate en sortie constant.
Compression Vidéo Novembre 2006 7 MPEG-2 L apport de MPEG-2 par rapport à MPEG-1 concerne principalement la création de différents niveaux et différents profils. Quatre niveaux Cinq profils Low : SIF, MPEG-1 (360x288) Simple : pas d image B Main : standard 4 :2 :0 (720x576) Main : I,B,P High-1140 : résolution (1440 x 1152) SNR scalable (pour mémoire) High : résolution (1920 x 1152) Spatially scalable (pour mémoire) High : 4 :2 :0 ou 4 :2 :2 pour TV haute définition Pour (presque) chaque combinaison, il existe des algorithmes de compression proposés dans le standard MPEG-2. La plus courante est l association Main level at Main profile (MP@ML), c est-à-dire celle qui permet d atteindre des taux d information de 4 à 9 Mbits/s et que l on retrouve notamment dans le standard DVD. 4 Mbits/s correspond plutôt à une qualité vidéo analogique PAL. 9 Mbits/s correspond plutôt à une qualité vidéo numérique CCIR-601. En outre, dans MPEG-2, trois modes existent pour l estimation des mouvements dans les signaux video avec entrelacement : les blocs et macroblocs peuvent ainsi être créés sur l image complète (formée par deux trames successives) ou sur chaque trame séparément (une trame = une demi-image). Références H. Benoit, Digital Television, MPEG-1, MPEG-2 and principles of the DVB system, Focal Press, 2002. M. Van Droogenbroeck, Cours de traitement numérique d images, http://www.ulg.ac.be/telecom/teaching/notes/totali/elen016/index.html M. Van Droogenbroeck, Cours de technologies du multimedia, des télécommunications et de l internet, http://www.ulg.ac.be/telecom/teaching/notes/multimedia/index.html The MPEG Home Page, http://www.chiariglione.org/mpeg/t