Apport en qualité du processus de filtrage appliqué a la norme de codage vidéo H.264

Transcription

1 SETIT 27 4 TH International Conference: Sciences of Electronic, Technologies of Information and Telecommunications March 25-29, 27 Tunisia Apport en qualité du processus de filtrage appliqué a la norme de codage vidéo H.264 Anouar Hadj TAEIB, Imen WERDA, Amine SAMET, Mohamed Ali BEN AYED, Nouri MASMOUDI Université de Sfax, Ecole Nationale des Ingénieurs de Sfax, Laboratoire s d Electronique et des Technologies de l Information (LETI), Groupe Circuit et Système (C&S), Sfax, TUNISIE Nouri.masmoudi@enis.rnu.tn Résumé: L efficacité de la performance de compression apportée par la norme H.264 est obtenue suite à l intégration de plusieurs modules innovateurs tel que le filtrage en boucle. Ce module, épaule l efficacité de compression en gommant certains effets indésirables de la chaîne de codage. Dans ce papier, on exposera plus largement les apports en qualité et en compression que peut apporter l intégration du module de filtrage dans la norme H.264. Mots clés: H.264, Filtrage, Qualité, Implémentation, DSP. INTRODUCTION Le challenge fixé par la norme H.264 pour atteindre un taux de compression 5% plus performant que les normes précédentes a été hautement remporté [SUL 4]. En effet, la norme H.264 utilise les toutes dernières innovations de la technologie de compression vidéo pour fournir une qualité vidéo à partir d'un nombre minimum de données [ITU 3]. Toutefois, l intégration de nouveaux modules de compression comme l intra prédiction 4x4 et 16x16, la compensation de mouvement par une variété de types de blocs (16x16, 16x8, 8x16, 8x8, 8x4, 4x8 et 4x4) et le codage sur des blocs 4x4 ont entraîné l apparition de l effet des blocs. Pour remédier à ces imperfections de codage, la norme H.264 se rattrape en faisant appel à un module de filtrage en boucle pour gommer les effets indésirables. Dans ce papier, on analysera les paramètres de filtrage avant d entamer l implémentation de ce module sur DSP. On validera objectivement et subjectivement notre implémentation en démontrant que l application de ce module résout parfaitement le problème d apparition des effets de blocs au dépend d une complexité algorithmique croissante [HOR 3]. Ce papier est structurée comme suit. On présentera dans la 1 ère section la norme de codage vidéo. Dans la 2 ème section, on propose une étude du processus de filtrage. Une 3 ème section sera dédiée à l analyse des paramètres à choisir pour l implémentation du filtre. Les étapes de validation de l implémentation sont détaillées dans la 4 ème section. On finira par présenter nos conclusions. 1. Chaîne de codage vidéo H.264 La chaîne de codage vidéo H.264 / AVC, est un hybride de prédiction temporelle et de prédiction spatiale allié à un codage par transformée. La première image d une séquence est codée en mode intra : sa prédiction est déduite à partir des pixels des blocs voisins précédemment codés. Pour toutes les autres images d une séquence on peut utiliser soit le codage intra soit le codage inter. Ce dernier fait appel à une prédiction compensée du mouvement basé sur les images précédemment décodées. Suite à l extraction du vecteur du mouvement, ce déplacement sera appliqué à tous les pixels du macrobloc 16x16. L erreur résiduelle, obtenu suite à l application de la différence entre le bloc de départ et le bloc prédit, est ensuite transformée. Un codage entropique est appliqué aux coefficients échelonnés et quantifiés de la transformée pour être, ensuite, 1

2 transmis avec les autres informations pour former le «bit stream». Une chaîne de décodage est intégrée dans le codeur afin de reconstruire l image qui servira de référence pour les images suivantes. Les coefficients quantifiés subissent un rééchelonnement et une transformée inverses aboutissant à l erreur résiduelle traitée, qui est ajoutée à la prédiction pour récupérer l image reconstruite à filtrer. Suite à l application du filtre, on récupère l image qui servira de référence pour une éventuelle prédiction inter [IAI 3]. L'architecture du codeur/décodeur de la norme H.264 ressemble à celle des normes antérieures. Des améliorations sont apporté au niveau de chaque bloc technique tout en maintenant l'architecture globale inchangée : le filtrage en boucle est une des principales innovations qui a contribué à l excellente performance débit-distorsion apportée par cette norme. 2. Processus de filtrage Comme pour les standards antérieurs, l estimation de mouvement, l intra prédiction, la transformée ainsi que la quantification sont appliqués sur des blocs dans le standard de compression vidéo H.264. En effet, pour profiter de la propriété de corrélation spatiale dans une image, le standard H.264 fait appel à une intra prédiction sur des blocs 16x16 ou 4x4. Cette prédiction ne tenant pas compte, toujours, de la corrélation qui peut exister entre différents blocs, engendre l apparition du phénomène des effets de blocs. Ce phénomène sera ensuite amplifié suite à l application de la transformée DCT entière et de la quantification sur des blocs 4x4 indépendants. Le phénomène des effets de blocs se manifeste même quand on procède à une prédiction inter pour profiter de la redondance temporelle. En effet, une discontinuité entre les différents types de blocs adoptés par la norme peut apparaître suite à la phase de compensation du mouvement. Le standard H.264 intègre, donc, un filtre qui épaule l efficacité de compression en améliorant la qualité visuelle des séquences vidéo suite au gommage de certains effets indésirables du codage tels que les effets de bloc. En effet, suite à la reconstruction, le processus de filtrage prend place pour lisser les bords horizontaux et verticaux au niveau des macroblocs et des blocks 4x4. Ce filtre est appliqué en boucle, dans la norme H.264, ce qui améliore nettement la qualité objective de l image reconstruite. L amélioration de la qualité objective de l image reconstruite affecte énormément l efficacité de l estimation du mouvement qui se traduit en une meilleure qualité subjective de l image décodée et un meilleur perfectionnement l efficacité de compression [LIS 3]. Pour chaque bord séparant deux blocs 4x4 voisins, on assigne un paramètre «Bs» (Boundary-Strength) ayant une valeur entière entre et 4 indiquant la force du filtrage à appliquer sur ce bord. Cette force de filtrage est principalement affectée par le pas de quantification, les modes de codages des deux blocs adjacents et les vecteurs de mouvement appliqués à ces blocs. Lors d une opération de filtrage, il s avère aussi crucial de savoir distinguer entre les bords réels de l image et ceux générés suite à la phase de la prédiction, la transformation ou celle de la quantification. Pour préserver la lucidité de l image, on doit éviter au maximum d appliquer l opération de filtrage sur les bords réels de l image. En contre partie, il faut filtrer les artefacts apparents au niveau des bords afin de minimiser leurs effets. Deux seuils α et β sont définis pour détecter des contours réels et décider d appliquer le processus de filtrage. α et β dépendent essentiellement de la valeur moyenne de QP des deux blocs 4x4 voisins séparants le bord à filtrer. Le standard H.264 fait appel à deux paramètres contrôlables α-offset et β-offset pour élargir la zone de contrôle de QP sur le processus de filtrage [LIS 3] : α = f (QP + α-offset) β = f (QP + β-offset) α-offset = [-6,-5,-4,-3,-2,-1,,1,2,3,4,5,6] β-offset = [-6,-5,-4,-3,-2,-1,,1,2,3,4,5,6] Les valeurs de α-offset et β-offset seront fixées en se basant sur les résultats de la performance débitdistorsion. Pour notre étude, on a utilisé l encodeur H.264 du JM comme référence [JM] pour extraire la combinaison du couple (α-offset, β-offset) qui satisfait au mieux, objectivement, la performance débitdistorsion. 3. Analyse des paramètres de filtrage Dans ces simulations, on as utilisé le codeur H.264/AVC développé par le Laboratoire d Electronique et des Technologies d Informations (LETI) [CS] sur DSP TI TMS32C64. Des recherches antérieures ont été entamées pour déterminer le choix de la meilleure combinaison (αoffset, β-offset) mais ces recherches n ont considéré que les cas α-offset = β-offset afin de minimiser les combinaisons à tester. Les résultats de ces recherches ont convergé, suite à des testes objectives et subjectives, vers la combinaison (α-offset =, β-offset = ) [ZHO 5]. Avant d entamer l implémentation du processus de filtrage, on a apporté notre propre analyse à ces paramètres de contrôles en testant toutes les combinaisons possibles de α-offset et β-offset, sur des séquences de caractéristiques différentes et pour différents débits de la gamme de notre application (faible débit). 2

3 La Figure 1 illustre le gain en PSNR pour différentes combinaisons de α-offset et β-offset par rapport à la combinaison de référence (α-offset =, β-offset = ) pour 1 images de la séquence Foreman à 1 kbps. La combinaison (α-offset = -4, β-offset = 1) donne une amélioration moyenne en PSNR de.1 db par rapport à la combinaison de référence. G ain en P S NR (d B),1, ,5 -,1 -,15 Gain en PSNR (db),15,1,5 -, ,1 -,15 -,2 -,25 -,3 -,35 Les combinaisons α-offset et β-offset Figure.1. Gain en PSNR : Foreman (CIF, 1kBps). La Figure 2 illustre l évolution du PSNR pour la séquence Foreman 1 kbps pour les combinaisons (α-offset=, β-offset =) et (α-offset=-4, β-offset =1). D après cette figure, on remarque que la qualité de l image filtrée est nettement meilleure quand α- offset=-4, β-offset =1. PSNR (db) 28 27, , , ,5 foreman_1_-4_1.cif foreman_1.cif N de l'image Figure.2. Evolution du PSNR : Foreman (CIF, 1kBps). En appliquant la même procédure pour la séquence mobile à 1 kbps, on obtient la Figure 3 qui démontre que la meilleure qualité objective pour cette séquence est obtenu pour la combinaison (α-offse = - 2, β-offset = -1).,1 -,2 Coordonnés de α-offset et B-offset Figure.4. Gain en PSNR : Paris (CIF, 1kBps). Ces résultats ne convergent pas vers une combinaison fixe de α-offset et β-offset. Cette divergence prend plus d ampleur quand on procède avec différents débits. En effet, la Figure 5 représente l évolution de la moyenne des gains en PSNR des séquences Foreman, Mobile et Paris pour les débits de 1 kbps, 2 kbps et 3 kbps. Les résultats montrent que pour 1 kbps, la meilleure combinaison est (α-offset = -4, β-offset = 1). Pour 2 kbps, la meilleure qualité objective est obtenu avec (α-offset =, β-offset = ). Pour 3 kbps, la combinaison qui abouti au meilleur PSNR est (α-offset = -1, β-offset = ). Gain moyen en PSNR (db), ,1 -,2 -,3 -,4 -,5 -,6 1 Kbps 2 Kbps 3 Kbps Coordonnés de α-offset et B-offset Figure.5. Gain moyen en PSNR pour différents débits. Une moyenne de tous les tests effectués est illustrée par la Figure 6. Cette courbe nous amène à conclure que la combinaison la plus adéquate à adopté est (αoffset =, β-offset = ). Gain en PSNR (db), ,5 -,1 -,15 Coordonnés de α-offset et B-offset Figure.3. Gain en PSNR : Mobile (CIF, 1kBps). La Figure 4 confirme que pour la combinaison (αoffset=-5, β-offset=3) on a la meilleure qualité objective pour la séquence Paris à 1 kbps. Figure.6. Moyenne totale des gains en PSNR. 3

4 4. Validation de l implémentation Pour l implémentation du processus de filtrage on a utilisé la combinaison (α-offset =, B-offset = ) comme paramètre de contrôle. Ce choix est justifié suite à l étude qui a été faite sur ces paramètres. L implémentation est validé suite à des testes objectifs basés sur le calcul du PSNR et confirmés par des testes subjectifs validés par l oeil nu [ZHO 3]. une augmentation remarquable de la vitesse de codage quand le processus de filtrage est désactivé puisque on a moins d informations à coder. Cette proportion est inversée quand on applique le filtrage. En effet, le gradient de QP accentue l apparition de l effet de blocs, ce qui entraîne l application plus excessive du processus de filtrage expliquant ainsi la dégradation de la vitesse de codage. 4.1 Qualité objective Pour valider notre travail, on a adopté en premier lieu un teste objectif à base du PSNR. L équation du PNSR est décrite comme suit: 255 PSNR = 2log ( ) 1 MSE MSE est donné par l équation suivante : S(i,j)- R(i,j)) 2 MSE = ( N 2 S (i,j) étant les pixels de l image source, R(i,j) les pixels de l image reconstruite et N le nombre de pixel dans une image. Tableau.1. Résultats objectives du filtrage. PSNR (db) 26,2 26 foremannf44.cif foremanf44.cif 25,8 25,6 25,4 25, ,8 24, N de l'image Figure.7. Variation du PSNR : Foreman à QP 44. Séquence QP Sans Filtrage Vitesse PSNR de codage (db) (F/s) Avec Filtrage Vitesse PSNR de codage (db) (F/s) Les courbes de la Figure 7 illustrent l évolution du PSNR pour la séquence Foreman, avec et sans filtre, confirmant ainsi la stabilité des résultats. En effet, on remarque que le taux d amélioration du PSNR est persistant tout au long de la séquence Mobile Forman 36 3., Paris Akiyo Le Tableau 1 illustre la variation du PSNR en fonction du facteur de quantification (QP) pour différentes séquences. Le gradient de QP engendre Figure.8. Résultats subjectives du filtrage pour Foreman, QP=36. 4

5 4.2 Qualité subjective Pour renforcer la validation de l analyse du filtre on a fait appel à la qualité subjective se basant principalement sur la qualité visuelle. Figure.11. Résultats subjectives du filtrage pour Paris, QP= Conclusions Figure.9. Résultats subjectives du filtrage pour Mobile, QP=36. Suite à l analyse des paramètres de filtrage, on est arriver à confirmer que la combinaison qui peut révéler la meilleure qualité objective est (α-offset =, B-offset = ). On a toutefois mis l accent sur d autres combinaisons qui peuvent être intéressantes pour des cas particulier. L implémentation du processus de filtrage utilisant comme paramètre de contrôle la combinaison (αoffset =, B-offset = ) a été testé sur une gamme d échantillons de séquences ayant des caractéristiques trop différentes. Les résultats confirment que l implémentation de ce filtre assure des qualités objectives et subjectives très satisfaisante. Cependant, l intégration du module de filtrage a entraîné une remarquable dégradation de la vitesse de codage ouvrant ainsi un grand portail pour la phase d optimisation. REFERENCES Figure.1. Résultats subjectives du filtrage pour Akiyo, QP=36. [SUL 4] G. Sullivan, P. Topiwala, et A. Luthra, H.264/AVC Advanced Video Coding Standard: Overview and Introduction to the Fidelity Range Extension, SPIE. Application of Digital Image Processing, August 24. [ITU 3] Draft ITU-T Recommendation and Final Draft International Standard of Joint Video Specification (ITU-T Rec. H.264 ISO/IEC AVC), Joint Video Team (JVT), Doc. JVT-G5, Mar

6 [HOR 3] M. Horowitz, A. Joch, F. Kossentini, et A. Hallapuro, H.264/AVC baseline profile decoder complexity analysis, IEEE Transactions on Circuits and Systems for Video Technology, vol.13, no.7, pp , Jul. 23. [IAI 3] Iain E.G. Richardson H.264 and MPEG-4 Video Compression: Video Coding for Nextgeneration Multimedia, The Robert Gordon University, Aberdeen, UK Wiley, 23. [LIS 3] P. List, A. Joch, J. Lainema, G. Bjontegaard, et M. Karczewicz, Adaptive deblocking filter, IEEE Transactions on Circuits and Systems for Video Technology, vol.13, no.7, pp , Jul. 23. [JM] H.264 Joint Reference Model Encoder Version 1.1. [CS] [ZHO 5] Y.Zhong, I. Richardson, A. Miller et Y. Zaho, Perceptual quality of H.264/AVC deblocking filter, IEE VIE, pp , Glasgow, 4-6 April, 25. [ZHO 3] Y.Zhong, I. Richardson, A.Saharie et P.Mcgeorge, Qualitative and quantitative assessment in video compression, 12 th European Conference on Eye Movment, 2-24 August 23, Dundee, Scotland. 6