Codage/Décodage Vidéo Considérations sur l implantation matérielle

Transcription

1 Codage/Décodage Vidéo Considérations sur l implantation matérielle Lirida Alves de Barros Naviner Département Communications et Electronique lirida.naviner@telecom-paristech.fr Codage d Images Compression Codage Source Exploration Redondances Codage Canal Ajout Redondances Stockage Stockage/ Transmission Décodage Source Décodage Canal page 1

2 Exploration des redondances Prédiction Codage différentiel Analyse de mouvements Transformation Transformée en cosinus discrète Décomposition en sous-bandes Décomposition pyramidale Exploration de la redondance temporelle Exploration de la redondance spatiale page 2 Implantation matérielle Paramètres importants : Complexité et puissance de calcul - combien d opérations? lesquelles? en combien de temps? Mémorisation - combien de données? en quel format? pour combien de temps? Communication - quel format? quel protocole? Les contraintes économiques - quel niveau d intégration? quelle surface? quel temps pour mise en marché? page 3

3 Redondance spatiale Transformation JPEG image source image reconstruite Bloc DCT Q DCT -1 Q -1 table Q VLC VLC Transformation inverse page 4 Redondance temporelle Ce qui a besoin d être envoyé - page 5

4 Estimation de mouvements MPEG Ce qui est envoyé : l information du mouvement - L image est découpée en blocs. Pour chaque bloc de l image actuelle, on cherche le bloc équivalent dans l image de référence (image précédente) page 6 Discrete Cosine Transform Quelle complexité (en multiplications) pour le traitement d un bloc LxL? La DCT est «séparable» page 7

5 Quelle complexité (en multiplications) pour le traitement d un bloc LxL? DCT : Séparabilité xi,j Yj,n Ym,n Coefficients intermédiaires Pixels DCT 1D (première passe) page 8 DCT 1D (deuxième passe) DCT: Factorisation x p x1 p1 X X4 x2 X6 p2 x3 p3 X2 m3 X7 m2 X5 m1 X3 m X1 x4 x5 x6 x7 page 9 Coefficients DCT

6 Factorisation Graphe Chen x X x 1 X 4 x 2 X 2 x 3 X 6 x 4 X 1 x 5 X 5 x 6 X 3 x 7 X 7 page 1 Factorisation - Graphe Artieri x C*=C.C4-1 X x 7 C1 C2* X 4 x 1 X 2 x 6 C3 C6* C4 X 6 x 3 C4-1 X 1 x 4 C7 C2* X 3 x 2 X 5 x 5 C5 C6* C4 X 7 page 11

7 Factorisation Graphe Lee Quelle complexité (en multiplications) pour le traitement d un bloc LxL? x X x 7 C1 C2 C4 X 4 x 1 X 2 x 6 C3 C6 C4 X 6 x 3 X 1 x 4 C7 C2 C4 X 3 x 2 X 5 x 5 C5 C6 C4 X 7 page 12 Estimation de mouvements : recherche exhaustive (ESA : exhaustive search alg.) Quelle complexité de calcul? Opération de référence: addition 8 bits Blocs candidats y dm dm N 16 Bloc étudié x Puissance de calcul : elle peut aussi s exprimer «par cycle» ou «par bloc traité» M 16 Critère d appariement MAD = l=1à16 k=1à16 x l,k y l+i,j+k page 13

8 EM : recherche 2D-log Quelle complexité de calcul? On compare 5 candidats à chaque étape. La position du «meilleur» candidat guide le choix des prochaines positions à tester On réduit la distance entre candidats si le «meilleur» candidat de l étape précédente est sur le bord de l image ou au centre des positions testées 1 page 14 EM : recherche 3-step TSS (three step search) On compare 9 candidats à chaque étape. La position du «meilleur» candidat guide le choix des prochain positions à tester La distance entre positions testées est réduite à chaque étape Quelle complexité de calcul? page 15

9 Quelle puissance de calcul? EM : recherche OTS (one at a time search) Les déplacements sont cherchés dan les directions horizontale et verticale de manière indépendante. La position du «meilleur» candidat guide le sens des prochaines positions à tester On compare 3 candidats à chaque étape. page 16 EM : La bande passante mémoire Accès direct des données Pour la technique ESA, combien d octets faut-il aller chercher dans la mémoire pour trouver le vecteur de déplacement d un bloc (octets/vecteur)? Quelle est la bande passante mémoire (octets/cycle)? Utilisation d une mémoire cache Que peut on gagner avec une mémoire cache? page 17

10 EM : utilisation d une mémoire cache voisinage concerné bloc traité C2 C3 blocs à charger C44 C45 L2 L1 L3 35 page 18 Le décodeur vidéo MPEG2 Sortie Contrôleur d affichage RISC (contrôle) FIFO Entrée Contrôleur DRAM Bus 32 bits Add. 8 bits : Compensation de mouvement DCT -1 Q -1 VLC Mop/s 45 Mop/s 3 Mop/s 15 Mop/s 125 Mop/s 1,4 Gop/s 24 Mop/s 12 Mop/s FIFO FIFO FIFO Interface avec 2 DRAM 1Mx16 1,9 Gop/s (équivalent addition 8 bits) page 19

11 L encodeur vidéo MPEG2 Sortie FIFO RISC (contrôle) FIFO Entrée Contrôleur DRAM Bus 64 bits Add. 8 bits : Estimation de mouvement DCT Q VLC 1 Gop/s 9 Mop/s 6 Mop/s 15 Mop/s 1 Gop/s 2,9 Gop/s 48 Mop/s 12 Mop/s FIFO FIFO FIFO 13,5 Gop/s (équivalent addition 8 bits) page 2 Structure des images numériques (MPEG) 72 pixels 576 pixels Macrobloc = 384 octets 8 Y Y1 Y2 Y3 U V 36 macroblocs 8 45 macroblocs Image vidéo 4:2: : 5 Mbit page 21

12 MPEG : Prédiction et interpolation I I : Images intra : codage de type JPEG page 22 MPEG : Prédiction et interpolation Prédiction en avant I P P M I : Images intra P : Images prédites Estimation de mouvement + Compensation de mouvement + Codage de type JPEG page 23

13 MPEG : Prédiction et interpolation I B B B P Prédiction bidirectionnelle M I: images intra P : images prédites B : images interpolées Le meilleur des différents modes de prédiction : Avant / Arrière / Bidirectionnel Image ou trame Intra page 24 MPEG : Prédiction et interpolation Prédiction en avant I B B B P B B B P B B B I Prédiction bidirectionnelle M I: images intra P : images prédites B : images interpolées page 25

14 Accès aux données et mémorisation Fréquence du bus mémoire limitée par : La limite de fréquence de fonctionnement de la mémoire La limite de fréquence de fonctionnement du circuit Les problèmes liés aux couplages électromagnétiques sur les cartes Taille du bus limitée par : Le coût des entrées sorties La consommation instantanée élevée La disponibilité des composants mémoire L accès à des données inutiles page 26 La taille de la mémoire du décodeur Entrée du codeur I B1 B2 B3 P4 B5 B6 B7 P8 B9 B1 B11 Sortie du codeur I P4 B1 B2 B3 P8 B5 B6 Mémoire du décodeur I P4 I B1 P4 I B2 P4 I B3 P4 I B3 P4 P8 B5 P4 P8 B6 P4 P8 Quels besoins en mémorisation? page 27

15 Exercice Architecture mémoire Quels sont les débits? Tampon d entrée Mémoires d images Macroblocks codés Macroblock décodés Flux entrant Compensation de mouvement Décodeur de macroblocs Décodeur vidéo MPEG2 Téléviseur page 28 Video coding standards page 29

16 H.264: Structure de Codage Macro Bloc Input Video Signal Split into Macroblocks 16x16 pixels - Decoder Coder Control Transform/ Scal./Quant. Scaling & Inv. Transform Control Data Quant. Transf. coeffs Entropy Coding Intra/Inter Intra-frame Prediction Motion- Compensation Motion Estimation De-blocking Filter Output Video Signal Motion Data page 3 La DCT pour la norme H.264 (MPEG4 Part 1) Input Video Signal 4x4 Decoder Split into Block Integer Transform Macroblocks 16x16 pixels Intra/Inter Coder Control Transform/ Scal./Quant. Main Profile: Adaptive Block Size Transform (8x4,4x8,8x8) Repeated transform of DC coeffs for 8x8 chroma and 16x16 Intra luma blocks - Intra-frame Prediction Motion- Compensation Scaling & Inv. Transform De-blocking Filter Control Data Quant. Transf. coeffs Output Video Signal Entropy Coding Motion Estimation Motion Data page 31

17 Représentation de l information Considérez l'implantation de la DCT avec la matrice (a,b,c)=(13,17,7). Déterminez le gain en dynamique généré par cette transformation. Combien de bits faut-il ajouter pour la représentation des résultats (c'est-à-dire la différence entre le nombre de bits de x et Y) dans le cas de l'application de cette transformation sur les lignes et les colonnes d'une matrice de pixels? page 32 La DCT pour la norme H.264 (MPEG4 Part 1) Input Video Signal 4x4 Decoder Split into Block Integer Transform Macroblocks x16 pixels H Coder Control Transform/ Scal./Quant. Main Profile: Adaptive Block Size Transform (8x4,4x8,8x8) Repeated transform of DC coeffs for 8x8 chroma and 16x16 Intra luma blocks Intra-frame Prediction Motion- Intra/Inter Compensation Motion Estimation Scaling & Inv. Transform De-blocking Filter Control Data Quant. Transf. coeffs Output Video Signal Entropy Coding Motion Data Le gain en dynamique est 6 ( ) Le nombre de bits à ajouter est 6 page 33

18 L encodeur vidéo H.264 : analyse de la redondance temporelle - Decoder Coder Control Transform/ Quantizer Deq./Inv. Transform Control Data Quant. Transf. coeffs Intra/Inter Motion- Compensated Predictor Entropy Coding Motion Estimator Multiples Reference Motion Frames pour la compensation de mouvements Data page 34 EM : recherche en multi-résolution 1 ou plusieurs prédicteurs à chaque résolution w i : excursion au niveau i ; r i résolution au niveau i p i : nombre de prédicteurs utilisés au niveau i W = (w i /r i ) : excursion totale Pc ~ (r i.p i.(2.w i +1) 2.F y page 35

19 H.264: Instruction profiling > 95% puissance de calcul page 36 > 3 GIPS Pc(H261) ~1x Pc(MPEG4) Conclusions Spécificités des applications codage/décodage vidéo (mais aussi télécoms, au sens large) Puissances de calcul importantes Débits de communication importants Algorithmes très répétitifs, à faible grain (boucles de qq dizaines d instruction) Implantation matérielle A décider en fonction de contraintes techniques et économiques Dimensionnement de l opérateur en fonction de la puissance de calcul requise Utilisation d architectures «rapides» Grands progrès obtenus avec des solutions algorithmiques tenant compte de l implantation matérielle (H.264) page 37