!Red/Green/Blue : RGB!Luminance : " réponse de l'oeil à l'ensemble des longueurs d'ondes d'une. " transporte la "luminosité" (N/B) et la "brillance"

Transcription

1 Télévision analogique La compression vidéo!red/green/blue : RGB!Luminance : réponse de l'oeil à l'ensemble des longueurs d'ondes d'une source lumineuse transporte la luminosité (N/B) et la brillance!chrominance : couleur!transformation en 3 autres signaux!oeil moins sensible à la couleur qu'à la luminance 1 2 Télévision analogique Télévision digitale!luminance : Y =.30R +.59G +.14B!NTSC : nuance (hue), saturation, Y/I/Q I = 0.74 (R-Y) (B-Y) Q = 0.48 (R-Y) (B-Y)!PAL : 2 signaux de chrominance, Y/U/V U = (B-Y) V = (R-Y)!Qualité studio TV : luminance : 720*(486 ou 576 lignes) chrominance : 360 * (486 ou 576 lignes) Codage : 4:2:2!Qualité vidéo-conférence : H.261 Common Intermediate Format : Y = 352*288, U/V = 176*144 Codage : 4:1:1 Quarter CIF, Super CIF 3 4

2 ! Vidéo : visiophonie téléphonie visuelle sur le RNIS [«ISDN»] (Réseau Numérique à Intégration de Services, 64 k bit/s) formats image CIF («Common Intermediate Format») et QCIF («Quarter CIF») débits : px64 k bit/s (p : de 1 à 30)! CD-Rom : 640 Mo, 1990 : H261 soit 72 minutes de son non compressé mais 30 secondes de TV (90mn = 120Go) d où la compression 1996 : H263 débits inférieurs car pour réseau LAN (28.8 k bit/s) formats image SQCIF, 4CIF, 16CIF 30 images/s 5 MPEG2! Vidéo : archivage et diffusion : fondement de MPEG «Moving Picture Coding Experts Group» 3 parties : Vidéo, Audio et Système (le «stream») 1993 : MPG1 but : la qualité VHS sur un CD-ROM (=> stockage) débit bas de 1.5 M bit/s (ima. 352x288 + audio) un accès aléatoire au sein de la séquence 1998 : MPEG4 décomposition de la scène en éléments VOP 1994 : MPEG2 but : diffusion de la vidéo (=> application télévisuelle) adaptation aux formats («scalabilité») taille image 4/3 16/9 entrelacé ou non, formats 4:2:0, 4:2:2, 4:4:4, compatibilité entre niveaux de qualité (normale<-> HDTV). MPEG3, originellement prévu pour la HDTV (TV Haute définition) est inclus dans MPEG2 7 VOP «Video Object Plane» chaque élément = une composante audio + une comp. Vidéo éléments réels ou de synthèse, forme arbitraire, scalabilité une «boîte à outils de compression» pour les VOP débits : 5 k bit/s à 5 M bit/s pour la vidéo 2 k bit/s à 64 k bit/s pour l audio 2000 : MPEG7 pour le multimédia ( jusqu à la description sémantique de la scène) 8

3 Les types de signaux vidéo Vidéo numérique sous-échantillonnage de la chrominance : 3 types de signaux vidéo, les 3 composantes sont : 4:4:4 : pas d échant. 4:2:2 : échant. horizontal d un facteur 2 4:1:1 : échant. horizontal d un facteur 4 4:2:0 :» échant. horizontal et vertical d un facteur 4» positionnement du pixel de chrominance soit séparées => large bande + synchronisation soit mixées (vidéo composite) => interférences S-VHS (mixage que des chrominances) => compromis Vidéo analogique : NTSC 525 lignes/image dont 20 lignes de contrôle (TV ~320 lignes) image entrelacée 30 images/s, modèle YIQ PAL 625 lignes/image 25 images/s image entrelacée, modèle YUV Y+Cr+Cb : 9 Normes pour la vidéo numérique par le CCIR («Consultative Committee for International Radio») Cr+Cb : Y : 10 Normes pour la TV numérique par le ATSC («Advance Television Systems Comittee») 1995 : la norme pour la HDTV ( «High Definition TV» ) débit : ~165 M bits/s pour CCIR 601 (NTSC) CIF ~ qualité VHS format 4/3 progressif 11 12

4 Standard H. 320 : famille pour RNIS Standard H. 261!Vidéo : H.261!Audio : G.711, G.722, G.728!Structure des blocs vidéo et audio : H.221!Multiplexage information de contrôle : H.230!Unités de Contrôle Multipoint : H.231!Prise de connexions : H.242!Encription : H.233!Format d'image : 352x288/luminance, 176x144/chrominance CIF mais aussi 1/4 de CIF -> QCIF!Débit d'images : max 30 im/s!compression : ressemble à MPEG avec plus de pertes Nouveaux standards Video: bande passante!h.321 : réseaux B-ISDN!H.322 : réseaux locaux avec qualité de service garantie!h.323 : QoS non garantie ; LAN, Internet!H.324 : RTC (ShareVision de CreativeLabs) 15 16

5 Video: autres criteres Compression de l image animée!variation du délai : (suivi des lèvres) HTDV : 50 ms, TV : 100 ms, Conférence : 400 ms!erreurs de transmission exemple : taux d'erreur 10-5 Conférence : 1 sec. entre 2 images erronées TV : 2 erreurs par image HDTV (compressé) : 4 erreurs par image!!corrélation spatiale!corrélation temporelle!réduction spatiale uniquement : Motion-JPEG (M-JPEG), facile à décompresser!réduction spatiale et temporelle : famille MPEG-vidéo Famille MPEG!MPEG-1 : 352x240(NTSC) ou 352x288(PAL) Qualité VCR, compression : ~ 25:1 Pour stockage, 0.2 Mbps(audio) Mbps(vidéo)!MPEG-2 : Qualité broadcast, voire HDTV Entre 4 et 6 Mbps!MPEG-4 Vidéo-conférence, moins de 64 kbps MPEG: principe!macroblocs de 16x16 pixels/lum., et 8x8/ chrom.!images de référence : Intracoded (I), JPEG!Images prédites : Predicted (P)!Images interpolées : Bidirectionnal (B)!2 paramètres : intervalles entre deux P (m) et entre deux I (n) 19 20

6 Structure hiérarchique du train binaire des standards MPEG1,2! Le train binaire des standards MPEG1,2 est organisé de façon hiérarchique en ensemble de niveaux (layers).! Layer = layer header + layer data. Ensemble des niveaux 1. Séquence : Sequence layer 2. GOP : GOP layer (group of pictures) 3. Image : Picture layer 4. Couche : Slice layer 5. Macro- Bloc: MB layer 6. Bloc: Block layer Structure hiérarchique d une séquence vidéo Sequence GOP Picture Slice MB (16x16) Block 8x8 21 Codage des images P mode Inter-frame Image de référence 22 MPEG: principe Image P courante F1 F3! F1 : Intracodé, pas construite à partir d'autres! Certains blocs de F3 sont construit à partir de F1 par un vecteur de mouvement 23 Vecteurs de déplacement, (distance IP M=3), SFRS, «Aquaculture en Méditerranée» 24

7 MPEG: principe MPEG: images I!Les images F2 entre les deux ont des blocs de F1 et des blocs de F3!Elles sont interpolées entre les deux images!certains blocs peuvent être calculés par un terme d'erreur!les autres sont codés!elles servent de points de synchronisation!elles sont codées en JPEG!Il ne doit pas y avoir plus de 400 ms entre deux images I MPEG: images B et P!chaque macrobloc : recherche dans la référence du bloc le plus près!différence calculée : un (P) ou deux (B) vecteurs!macrobloc terme d'erreur est transformé DCT!applique quantification, zig-zag, RLE, Huffman!table de quantification différente de I!DPCM, Huffman sur les vecteurs de 27 MPEG: m=3, n=12 I B P !1 et 13 (I) sont complètes!4 est prédite / à 1, 7 / à 4 par différence!2 est interpolée à partir de 1 et 4!envoi :

8 Propagation de l erreur en MPEG1! Limitations de la propagation spatiale : chaque «slice» est encodé indépendamment des autres! Limitations de la propagation temporelle si l erreur est observée sur une image B, alors elle est limitée à cette image si l erreur est observée sur une image I, alors elle peut se propager uniquement dans le GOP courant. IBBPBBPBBPBBI si l erreur est observée sur une image P, elle peut se propager uniquement jusqu à la fin du GOP courant. Standard MPEG2 La structure fondamentale et les algorithmes de codage MPEG2 sont les mêmes que pour MPEG1 (*) - architecture I,B,P (**) - codage du mouvement par macro-bloc Pourquoi MPEG2? pour répondre aux besoins - de résolution et de qualité supérieures; - de compatibilité avec le parc d équipement ( TV) et les canaux de transmission hétérogènes - de protection contre les erreurs de transmission dans des canaux bruités Applications MPEG2! Télévision numérique SD et HD;! DVB ( satellite), DTTB(TNT),! Production et archivage de la vidéo HD! VOD! Digital Cinéma via satellite, Internet large bande! Qualité de télédiffusion SD est associé à un débit à 6Mbit/s pour un seul programme vidéo! Qualité HD >15 (19 et plus) Mbit/sec. 31 Spécificités technologiques du MPEG2! (1) MPEG2 traite les images vidéo progressives et entrelacées Moyens du standard : - field/frame prediction modes - field/frame DCT! (2) MPEG2 permet d assurer une meilleure qualité visuelle à la résolution spatiale et temporelle égale Moyens du standard : - matrice de quantification propriétaire, un mode de balayage supplémentaire (alternative scan order vs. Zig-zag).! (3) Compatibilité et adaptation aux moyens matériels de visionnage et de la transmission Moyens du standard - scalabilité - chroma supporté 4:2:0, 4:2:2, 4:4:4! (4) Orientation vers la transmission plutôt que vers le stockage Moyens du standard - mécanismes de récupération de l erreur «error concealment», ex. «concealment motion vectors». 32

9 Modes de prédiction image/trame Modes de prédiction image/trame Image de référence Image Prédite Mode Field : Chaque trame peut être prédite Image - frame Trame supérieure «Top field» Trame inférieure «Bottom 33 field» - soit par la trame de la même parité - soit par la trame de la parité opposée - Ainsi dans les images P pour le mode «field» deux vecteurs du mouvement sont possibles. 34 Field/frame prediction Sélection des modes de prédiction par le mouvement Critère de sélection : minimisation du critère de la mise en correspondance. Quelques indications : - Si le mouvement est fort, le mode de prédiction «field» sera la meilleure ; - Si le mouvement est faible alors le codage progressif ( frame ) conviendrait. Un mode supplémentaire : «dual prime prédiction» - permet de coder les vecteurs de déplacement de façon différentiel en économisant le débit pour le codage de vecteurs de déplacement des trames; Image de référence Image Prédite Mode Frame : un seul vecteur de déplacement par macro-bloc, les deux trames sont considérées comme une image 35 36

10 Support du mode entrelacéfield/frame DCT Support du mode entrelacé field/frame DCT Macroblock Frame DCT Macroblock Frame DCT Mode image (frame) pour le codage des blocs (DCT) : Mode field DCT : chaque bloc 8x8 contient les pixels d une seule trame et la transformée DCT est appliquée à un tel bloc; Chaque bloc 8x8 contient les pixels de deux trames (supérieure et inférieure) et la transformée DCT est appliquée à un tel bloc; L intérêt : quand le mouvement est fort, le décalage spatial entre les trames est important ; cela peut amener à une variation importante de la luminance, donc à l augmentation de la haute fréquence Support du mode entrelacéfield DCT Balayage alternatif Macroblock Zig-zag: plus convenable pour la vidéo aux formats progressifs Balayage alternatif : a été proposé pour le mode frame DCT: Statistiquement, l énergie s avère plus forte dans les hautes fréquences. RLC est donc plus efficace 39 Exemple du mouvement fort nécessitant le mode «field DCT» 40

11 Scalabilité! Scalabilité : capacité d avoir dans le même train binaire plusieurs versions de la source.! Dans le train binaire scalable on peut omettre des parties spécifiées et décoder une image complète avec la qualité correspondante au débit utilisé! Scalabilité en MPEG2! Spatiale : le décodeur peut décoder les images de plusieurs résolutions! Temporelle : une vidéo peut être décodée à la cadence temporelle différente! SNR : la qualité différente d une même source vidéo déterminée par le pas de quantification. Profils et niveaux (I) La diversité des résolutions et des qualités d encodage est formalisée en MPEG2 à l aide des profils et niveaux. Profil : est défini comme un sous-ensemble de la syntaxe complète du train binaire Niveau : des niveaux sont définis à l intérieur de chaque profil. Le niveau (level) est défini comme l ensemble des contraintes imposées sur les paramètres du train binaire (par exemple, la résolution spatiale des images) Notation : profile@level, Ex. MP@LL signifie main profile@low level! Les trains binaires scalables contiennent toujours le «niveau de base» - la version «minimale» de la source Profils et niveaux (II) Profile Level Commentaire Simple Main main low,main, High-1440, High SNR Low, main scalable Spatial High-1440 ( base layer + SNR), High-1440(Base layer + spatial) High Profile Main (Base layer + SNR), Main (Base Layer + spatial) scalable Scalable 43 Profile Level Résolution max, Profils et niveaux. Exemples (III) Nbr niveaux Simple main 720/576/30 Main SNR low, main, High-1440, High low, main Spatial High-1440 ( base layer + SNR), High-1440(Base layer + spatial) 352/288/30 720/576/ /1152/ /1152/60 352/288/30, 2 niveaux 720/576/30, 2 niveaux 2 niveaux : base 720/576/30 ou 352/288/30 ou 768/576/30 Etc.. Enh. 1440/1152/30 Etc.. 44

12 MPEG 2 System! Flux de programme (program stream)! Flux de transport (transport stream).! Le flux de transport est conçu pour communiquer ou enregistrer un ou plusieurs programmes audio, vidéo ou autre.! Avant qu un flux vidéo puisse être décodé, il doit être extrait du transport stream. Canal Décodeur du canal TS contenant 1 ou plusieurs programmes Démultiplexeur du TS Horloge Décodeur vidéo Décodeur audio 45 MPEG4 H.263/MPEG4 V1. H.264/MPEG4 AVC Principes clés : Codage intra-image et inter-image par des blocs de taille variable et par combinaison des blocs (H.264) Sélection du meilleur mode intra/inter, configuration locale Codage au sens débit/distorsion. 46 La norme H.264! Le standard de codage vidéo qui dépasse les performances de H. 263/MPEG4-V1! L intitulé AVC = Advanced Vidéo Coding! Fait partie de MPEG4 = V. 10! ISO/IEC and IUT Rec H.264! Date 2003 Représentation et compensation du mouvement H. 264 Partition arborescente récursive : - décomposition des macroblocs 16x16: 16x16, 2x 16x8, 2x8x16, 4x8x8 - décomposition des blocs 8x8 : 8x8, 2x8x4,2x4x8, 4x4x

13 H.264 : Compensation du mouvement «arborescente» Estimation du mouvement Principe: recherche du vecteur optimal au sens d un critère de compensation 16 x 8 Previous Frame 8 x 16 8x8 Current Frame 8x8 MPEG2 uniquement 1 niveau : estimation du mouvement sur de macroblocs 16x16, H. 263 /MPEG4 V1 uniquement 2 niveaux : 16x16 et 8x8 49 8x4 La partition la plus fine : par de blocs de taille 4x4 pixels. 4x8 50 Codage optimal au sens débit/distorsion Exemple de décomposition optimale H. 264 D(C) - D(C) : distorsion du codage ; R(C) - R(C) : débit associé au codage. H. 264: Comment choisir la partition optimale étant donné le débit. maximal à respecter. From Iain E.G. Richardson : H.264 and MPEG-4, WIley, Partition optimale : pour le débit donnée choisir la partition minimisant la fonctionnelle d erreur. 52 4x4

14 Structure arborescente des macroblocks H. 264 Nouveautés Fondamentales! Compensation du mouvement avec la structure de l arbre;! Transformation DCT entière ;! Mise en échelle des coefficients de DCT.! Codage entropique CABAC Content Based Adaptive Binary Arithmetic Coding 16x16 pels 8x8 pels 4x4 pels Standard MPEG7 Objectifs et applications - Une grande diversité des contenus multimédia; Objectif du MPEG7 est d assurer interopérabilité des systèmes et d applications utilisés dans la generation, management, distribution et consommation des descriptions des contenus audio-visuels. - Complexité de la composition; - Nécessité d accès, recherche, manipulation... Applications : - sélection des contenus de télédiffusion, radio, - librairies digitales (ctalogues des images, dictionnaires musicaux) - services de catalogues multimédia ( pages jaunes multimédias) -édition multimédia (par exemple un service personnalisé des informations, production média)

15 Objectifs et applications Eléments du standard D - descriptors DS - description schemes DDL - description definition language Eléments du standard Ds définissent la syntaxe et la sémantique des traits caractéristiques du contenu audio-visuel. Au niveau bas d abstraction Ds peuvent inclure la forme, la texture, la couleur, le mouvement de la caméra, le timbre de la musique. Au niveau d abstraction plus élevé les Ds peuvent inclure des évenements, les genres de contenu etc... DS permettent la construction des descriptions complexes en spécifiant la structure et la sémantique des relations entre les Ds ou les DS les constituant. DDL permet une définition flexible des DSs basés sur XML Schema. Production de la description Description standard Consommation de la description Composantes du standard 1) ISO/IEC : MPEG7 - Systems 2) ISO/IEC : MPEG7 DDL 3) ISO/IEC : MPEG7 Visual 4) ISO/IEC : MPEG7 Audio 5) ISO/IEC : MPEG7 Multimedia DSs 6) ISO/IEC : MPEG7 Reference Software 7) ISO/IEC : MPEG-7 Conformance 59 60

16 MPEG7 Visual MPEG-7 Visual définie un ensemble standardisé des Ds et DSs visuels. Pour chaque caractéristique visuelle (couleur,texture, forme, mouvement, autre (reconnnaissance de visages) on normalise un nombre de descripteurs, notamment : - Ds Couleur : espace couleur, quantification couleur, couleur dominante, couleur scalable, composition couleur,structure couleur, groupe des couleurs image - Ds Texture : Texture homogène, Texture Browsing, l Histogramme des Contours - Ds Forme : Forme de la région, Forme de contour, Forme 3D - Ds du mouvement : mouvement de la caméra, trajectoir du mouvement, mouvement paramétriqu, Activité en mouvement 61 MPEG7 Visual. Descripteurs de la couleur Dominant Color Color Layout -YCrCb space Descripteurs couleur Scalable Color HSV space Group of frames / pictures histogram Color Structure HMMD Space Color Spaces YCrCb,Y, RGB, HSV HMMD 62 Descripteurs de la couleur Nouvel espace couleur : HueMaxMinDiff (HMMD) Blanc Intensité (sum) Degré de blanc (min) Descripteurs de la couleur Color structure descriptor : exprime la structure locale de la couleur dans l image Calcul : soit M couleurs quantifiées. L histogramme de la structure couleur est dénoté par h(m), m=0,1,,m-1 où la valeur dans chaque bin représente le nombre d éléments structurants dans l image contenant cette couleur. Chroma (diff) Couleur Pure Elément structurant : bloc 8x8 glissant d un pixel. Degré de noir (max) Noir Hue - le même que dans HSV Max=max(R,G,B), Min=min(R,G,B) Diff=Max-Min, Sum=(Max+Min)/2 63 Quantification de la couleur (HMMD - HS) en 32, 64, 120, 184 couleurs Si la taille de l image > 256x256 - un sous-échantillonage de facteur de 2 est effectué. 64

17 Descripteurs de la couleur Descripteurs de la couleur : exemples Dominant color descriptor : l ensemble des couleurs dominantes dans la régions d intérêt ou dans l image entière fournit une description compacte facile à indexer. Utilisation : recherche des images par similarité couleur dans des grandes bases de données. Calcul des DCD après le moyennage 8x8 sur les blocs Ici ième couleur dominante pourcentage dans l image variance couleur; Calcul des descripteurs sur le flux compressé ( MPEG2 images I- DC) mesure de cohérence spatiale (nombre moyen normalisé des pixels connexes de même couleur dans un voisinage 3x3) Color Layout Descriptor Color layout descriptor image Coefficients DCT de luminance Partitionement 64(8x8) blocs Calcul des couleurs représentatives Coefficients DCT de chrominance rouge Coefficients DCT de chrominance bleu i = 6, j = 3 Color Layout Descriptor : représentation compacte de la distribution spatiale des couleurs dans l image, indépendante de la résolution. 67 Coefficients CLD Y Cr Cb DCT Zigzag Scan 68

18 Descripteurs du mouvement Deux niveaux de granularité: é Vid e os e gm Descripteurs du mouvement nt Vidéo segment Mosaïque t1 Mouvement de la caméra Activité de mouvement Paramètres de «Warping» Région en mouvement t0 Trajectoire Mouvement Paramétrique Moving region Descripteurs du mouvement Descripteurs du mouvement Intensité d activité : mesure qualitatives selon l échelle 1..5 Activité de mouvement : 1) «intensité très faible» traduit la notion intuitive de l intensité d action dans un vidéo segment Attributs : 2) «intensité faible» - intensité de d activité (l attribut principal) - direction d activité (la direction dominante parmi 8 possibles) 3) «intensité moyenne» 4) «intensité forte» 5) «intensité très forte» Corrélation avec l amplitude des vecteurs du mouvement dans la séquence - distribution spatiale de l activité (indication sur la taille et quantité des régions actives dans une scène vidéo) - distribution temporelle de l activité 71 72

19 Descripteurs du mouvement des régions/objets Model de trajectoire : approximation du premier ou second ordre par morceaux. Ensemble des points-clés : coordonnées du centre de gravité de l objet (2D ou 3D); Interpolation : 1) Paramètres de trajectoire Extraction : - instants clés : échantillonnage temporel régulier ou non - paramètres d interpolation : les dérivés secondes locales des coordonnées. Utilisation lors des requêtes : Mesure de similarité des trajectoires 2) -paramètre d interpolation - la vitesse et l accélération de l objet - positions en temps ta et tb est la durée de i-ème intervalle de temps 73 Schémas de description Description des aspects structurels du contenu : Segment DS Segment temporel VideoSegment, AudioSegment Segment spatial (StillRegion) t t 75 74