Vidéo numérique. Dominique PRESENT Dépt S.R.C. - I.U.T. de Marne la Vallée. Les applications

Transcription

1 Vidéo numérique Dominique PRESENT Dépt S.R.C. - I.U.T. de Marne la Vallée Les applications Télévision numérique : actuellement diffusée sur le câble et les canaux hertziens destinée au grand public Vidéo à la demande : accès à une banque de données vidéo diffusion au moment choisi par le spectateur destinée au grand public Visioconférence, visiophonie : communication temps réel entre personnes ou entre groupes destinée au public professionnel, sera étendue au grand public DVD : stockage sur support individuel visualisation en local destinée au grand public 1

2 Numérisation d un signal vidéo Pourquoi numériser? Enregistrement ; Manipulation (indexation, stockage) ; Montage, modification ; Copies, diffusion. Critères de numérisation. Echantillonnage à 13,5MHz ; Echantillons par ligne 720 ; Dimension d un échantillon de 8bits à 10bits ; Nombre de lignes 525 ou 625. Remarque : format de l image d un moniteur L/l = 4/3 (ex. : 800x600 en VGA) Débit brut : 8x3x13,5e 6 = 324Mb/s Image au format 4:2:2 : codage Recommandation CCIR 601 : Echantillonnage luminance à 13,5MHz ; Echantillonnage chrominance à 6,75MHz. Soit par ligne : 720 échantillons en luminance ; 360 échantillons en chrominance. Bloc de 6 pixels sur 6 lignes luminance chrominance 1 pixel chrominance sur 2 pixels luminance lignes paires 1 pixel chrominance sur 2 pixels luminance lignes impaires 2

3 Image au format 4:2:2 : décodage Reproduction de l image 4:2:2 : chaque échantillon de chrominance reçu est recopié pour reproduire le pixel suivant ; Bloc de 6 pixels sur 6 lignes Pixels luminance Pixels chrominance reçus Pixels chrominance recopiés Sérialisation de l image 4:2:2 Suppresion ligne EAV H-ANC SAV 1440 éch (Y Cb Cr) EAV H-ANC SAV Données audio Préamb DID DN DC Data CS EAV : End of Active Video SAV : Start of Active Video DID : identificateur de voie 4canaux de 4 voies DN : n du bloc de données DC : Lg du bloc de données CS : contrôle 3

4 Image au format 4:2:0 : codage ISO : Echantillonnage luminance à 13,5MHz ; Echantillonnage chrominance à 6,75MHz ; Transmission d une trame sur 2 en chrominance. Bloc de 6 pixels sur 6 lignes luminance chrominance 1 pixel chrominance sur 2 pixels luminance lignes paires 0 pixel chrominance sur les lignes impaires Remarques : En SECAM, les échantillons C b et C r transmis sont une moyenne des échantillons de 2 lignes successives ; Format de base des codages D2MAC et MPEG-2 (MPEG-Main Level MP@ML). Image au format 4:2:0 : décodage Reproduction de l image 4:2:0 : chaque échantillon de chrominance reçu est recopié pour reproduire le pixel suivant ; chaque échantillon de chrominance reçu est recopié pour reproduire les pixels correspondant de la ligne suivante. Bloc de 6 pixels sur 6 lignes Pixels luminance Pixels chrominance reçus Pixels chrominance recopiés 4

5 Structure d une image 4:2:0 Trame 4:2:0 Trame 2 (lignes impaires) Trame 1 (lignes paires) Trame 1 : 288 lignes de 720 pixels Trame 1-2:1:0 Trame 2-2:1:0 B-Y B-Y 144lignes 360pixels R-Y R-Y 144lignes 360pixels Luminance lignes pixels Codage MPEG 1 SIF (Source Intermediate Format) ISO (codage des signaux vidéo et audio pour des stockages à 1,5Mb/s) : Résolution luminance de 360x240 à une F image de 29,97Hz en 525 lignes ; Résolution luminance de 360x288 à une F image de 25Hz en 625 lignes ; Format 4:2:0. Bloc de 6 pixels sur 6 lignes luminance chrominance Remarques : Résolution proche de celle d un magnétoscope VHS ; Format de base du codage MPEG-1. 1 pixel chrominance sur 2 pixels luminance lignes paires 0 pixel chrominance sur les lignes impaires 5

6 Structure d une image SIF Trame 4:2:0 Trame 2 (lignes impaires) Trame 1 (lignes paires) Trame 1-2:1:0 Trame 2-2:1:0 Format SIF : 625 lignes de 360 pixels B-Y B-Y 144lignes 180pixels R-Y R-Y 144lignes 180pixels Réduction à pixels Trame 1 : 288 lignes de 720 pixels Codage MPEG 1 CIF (Common Intermediate Format) Normes H261 et H263 (International Union for Telecommunication). Standard de codage des signaux vidéo pour des services audiovisuels à Px64Kb/s Format CIF : Résolution luminance de 360x288 à F image de 29,97Hz ; Format 4:2:0. Format QCIF : Résolution luminance 180x144 à F image sous-multiple de 29,94Hz ; 6

7 Formats MPEG Le groupe de l ISO dénommé MPEG (Moving Pictures Experts Group) à conduit à 2 normes : ISO (1993)pour le codage et la transmission des signaux audiovidéo pour un stockage sur des supports à environ 1,5Mb/s :! ISO définit la structure du multiplexage des signaux ;! ISO définit le codage vidéo MPEG-1 ;! ISO définit le codage audio MPEG-1. ISO (1995) pour le codage et la transmission des signaux audiovidéo pour la diffusion par satellite, câble ou réseau terrestre :! ISO définit la structure du multiplexage ;! ISO définit les résolutions et le codage vidéo MPEG-2 ;! ISO définit le codage audio MPEG-2. Traitement d une image vidéo MPEG 7

8 Compression MPEG séquence groupe d images image tranche Macrobloc (4 blocs) 1 image est composée de «n tranches» 1 tranche contient «p macroblocs» bloc (8x8 pixels) Compression MPEG-1 Construction d une image : Bloc constitué de 8 x 8 pixels ; Macrobloc regroupe 2 x 2 blocs (soit 16 x 16 pixels) ; Tranche ensemble de macroblocs (le plus souvent une ligne de l image) ; Image composée de l ensemble des lignes de l écran, est de l un des 3 types :! I (Intraframe) codée sans référence à aucune autre image ;! P (Predicted) codée par rapport à l image «I» ou «P» précédente ;! B (Bidirectionnal interpolation) codée à partir des images «I» ou «P» et «P» qui l encadrent ; Groupe d images (Group Of Pictures) regroupe les images codées à partir d une même image «I». Groupe d images : défini par 2 paramètres : M distance (en nombre d images) entre 2 images «P» successives ; G distance entre 2 images «I» successives. Le format MPEG-1 utilise un groupe d images en (3 ;12). 8

9 Image - Macroblocs - Blocs Le macrobloc constitue l unité de surface d une image, quelque soit le format utilisé. Format 4:2:2 Format 4:2:0 luminance Chrominance Cr Chrominance Cb 2x2 blocs «chrominance» par macrobloc «luminance» 2x2 blocs «chrominance» par macrobloc «luminance» MPEG-2 : le vecteur mouvement I P P zone d analyse Vecteur mouvement macrobloc Recherche du macrobloc le plus proche une image P est caractérisée par un vecteur mouvement et les différences des macroblocs des images I et P 9

10 Estimation de mouvement en MPEG-2 calcul sur 1 bloc du signal luminance ; appliqué aux 4 blocs du macrobloc ; appliqué au signaux R-Y et B-Y ; si incalculable, bloc codé en image I ; vecteur mouvement codé sur 12 bits ; un décodeur dispose en permanence de 4 images en mémoire ; un codeur dispose en permanence de 8 images en mémoire ; un décodeur est paramétré pour un profil donné ; Compression MPEG : le GOP groupe d images I B B P B B I Un groupe d images (GOP) est défini par 2 valeurs : le nb d images séparant 2 images I ; le nb d images séparant 2 images P ou une image P et une image I ; Exemple ci-dessus (6 ; 3) Groupe d images (8 ; 2) groupe d images I B P B P B P B I 10

11 Compression MPEG : le GOP groupe d images I B B P B B I l image P est codée par différence avec l image I (ou P) qui la précède ; l image B est codée par rapport à l image I (ou P) qui la précède et l image P (ou I) qui la suit Stockage : dans l ordre d arrivée Codage : I B B P B B I Transmission : Stockage/Décodage : Ré-ordonnancement : I P B B I B B I P B B I B B I B B P B B I Codec MPEG-2 11

12 Profils MPEG-2 La norme permet la définition de la résolution de l image à partir de 5 profils et 4 niveaux débits 'Mb/s) profils simple main SNR scalable spatialy sca... high high x1080x30 low 352x240x30 low 352x240x30 main 720x480x30 high x1080x30 high 1920x1080x30 1/4 TV TV TVHD niveaux Simple : sans image B Main : codage 4:2:0 SNR scalable : main + train d info Spatial scalable : codage TVHD High : codage 4:2:2 Profils MPEG-2 : options profils simple main snr spatial high Images I, P I, P, B I, P, B I, P, B I, P, B Formats High High 1440 Main Low 4:2: :2: :2: :2: :2: Éch/ligne Lignes Images/s Mb/s Éch/ligne Lignes Images/s Mb/s Éch/ligne Lignes Images/s Mb/s Éch/ligne Lignes Images/s Mb/s 12

13 Standards audio numériques Production : Fe = 48KHz - 16 bits à 24 bits en mono, stéréo ou multicanal D = 768Kb/s à 3,84Mb/s Diffusion : Fe = 32KHz - 14 bits à 16 bits en mono ou stéréo D = 896Kb/s Téléphone : Fe = 8KHz - 12 bits en mono D = 96Kb/ Compact Disc : Fe = 44,1KHz - 16 bits en stéréo D = 1,4Mb/s AES : Débit : Fe x N x nb canaux Fe = 48KHz 20 bits D = 3,1Mb/s Techniques de compression audio Parole G711 (1972) : compression 1:1,5 diffusion NICAM (1980) : compression 1:1,2 transmission G722 (1986) MICDA : compression 1:3 grand public Mini Disc Sony codage ATRAC : compression 1:5 générique MPEG-1 (1992) : compression 1:6 à 1:12 multicanaux Dolby AC3 (1994) : compression 1:6 à 1:12 13

14 Compression audio MPEG-1 : 3 couches Couche 1 : Compression 1:4 Débit en mono de 192Kb/s Débit en stéréo de 384Kb/s Application : Multimédia Couche 2 : Compression 1:6 Débit en mono de 128Kb/s Débit en stéréo de 256Kb/s Application : diffusion Couche 3 : Compression 1:12 Débit en mono de 64Kb/s Débit en stéréo de 128Kb/s Application : multimédia Internet Compression audio MPEG Le codage/compression du signal audio utilise : Un modèle psycho-acoustique à masque variable ; Un banc de 32 filtres dits polyphase ; Echantillonnage à 32KHz, 44,1KHz, 48KHz ; Quantification du masquage sur une trame de 12x32 échantillons ; Quantification sur 16 bits avec facteur d échelle ; Codage multicanal en MPEG-2 (Left, Center, Right, Left Suround, Right Suround). 32 sous-bandes 14

15 Codage audio MPEG Facteur d échelle : 48 Facteur d échelle : échantillons Compression audio MPEG : Codec gauche centre droite Suround G Suround D matrice L0 R0 T3 T4 T5 Codeur MPEG-1 Codeur MPEG-2 + algorithme de codage MUSICAM pour les radio (DAB) et télévision (DVB) numériques débits de 32Kb/s à 192Kb/s par voie (Hi-Fi à partir de 128Kb/s par voie) un codage par DCT permet d obtenir la qualité Hi-Fi dès 64Kb/s 15

16 Compression audio MPEG : trames Trame audio couche 1 en-tête CRC résolution Fact Ech 12x32 échantillons Données auxiliaires * 4 6 (bits) 384 échantillons par trame durée (t) du signal audio codé 384/Fe (8ms à 48KHz) nombre de bits pour un débit D est D * t (1536 bits pour D=192Kb/s) Trame audio couche 2 en-tête CRC résolution Info FE FE 3(12x32 échantillons) Données auxiliaires * (bits) 1152 échantillons par trame durée (t) du signal audio codé 1152/Fe (24ms à 48KHz) nombre de bits pour un débit D est D * t (3072 bits pour D=128Kb/s) Multiplexage MPEG-1 Le multiplexage permet d assurer la transmission des signaux audio/vidéo vers les unités de stockage. Le multiplexeur : Reçoit du CODEC les trains élémentaires de données (Elementary Streams) ; Découpe les trains élémentaires (ES) en paquets (Packetized Elementary Stream) ; Regroupe les paquets en packs dont l en-tête contient les informations de temps et de débits. Chaque pack contient : 0 à 16 paquets vidéo ; 0 à 32 paquets audio ; 0 à 2 paquets de données privées. Pack 1 Pack 2 En-tête de pack système En-tête 1er paquet Dernier paquets suivants paquet Code de fin de En-tête pack 16

17 Multiplexage MPEG-2 Pour le stockage des données audio/vidéo, la norme MPEG-2 reprend le multiplexage de la norme MPEG-1. La norme prévoit un flux de transport (Transport Stream) pour la transmission sur les média des programmes destinés à la diffusion. Le multiplexeur : Découpe les flux élémentaires (ES) en paquets de 188 octets ; constitue des trains de données pouvant combiner plusieurs programmes. Paquet de flux élémentaires E-T ES E-T ES E-T 184 octets 188 octets E-T E-T E-T Autre flux E-T En-tête de paquet transport Image MPEG-4 Objet 1 codec codage descriptif m ul Analyse de l image fond codage descriptif t i p le codage descriptif x a g e ES Elementary Streams : flux élémentaires Objet 2 17

18 MPEG-4 : maillage des objets Plus le maillage est fin, plus la forme est précise, plus les calculs sont nombreux Quick Time : Les standards informatiques comprend essentiellement des formats de données standardisés, des procédés de compression et de décompression, et une interface utilisateur spécifique. L'extension système utilisée est fondée sur le principe du maintien de l'isochronie des données, et introduit donc le temps comme élément principal du système d'exploitation. Vidéo pour Windows : ensemble logiciel permettant la capture et la restitution de vidéo animée sur PC. L'exécution de séquences vidéo est possible sans matériel spécifique, alors que la capture doit être faite au moyen d'une carte de numérisation. offre des API (interfaces de programmation) relativement indépendantes du matériel. utilise des algorithmes de compression propriétaires (Microsoft Vidéo 1, Microsoft RLE compressor), mais intègre ceux proposés par des sociétés tierces, comme Indeo d'intel 18

19 La vidéo sur Internet le réseau Internet n'est pas approprié au transport de vidéo temps réel : Le réseau doit fournir suffisamment de bande passante. La bande passante n est pas garantie durant toute la communication. Il faut prévoir des mécanismes qui assureront la réservation de bande passante pour les applications temps réel. Les paquets sont routés indépendamments les uns des autres. Leur séquencement n est pas assuré (ordre, espacement). Les protocoles de transport utilisés doivent assurer les exigences temporelles que demande la vidéo temps réel comme la synchronisation. Les protocoles temps réel RSVP (Ressource ReSerVation Protocol) : utilisé par les applications temps réel pour réserver les ressources nécessaires au niveau des routeurs situés le long du chemin de transmission Un Contrôle de Police (Policy Control) détermine si l'utilisateur à la permission administrative de faire de la réservation. Le contrôle d'admission (Admission Control) détermine si le nœud à suffisamment de ressource pour fournir la QoS demandée. RTP (Real-time Transport Protocol) assure la reconstruction temporelle, la détection de perte, la sécurité et l'identification du contenu. travaille avec le protocole RTCP pour obtenir des feed-back concernant la qualité de la transmission fournit un système d'horloge (timestamping), une numérotation des séquences et d'autres mécanismes pour prendre garde aux problèmes liés au temps. RTP tourne au-dessus de UDP En-tête IP En-tête UDP En-tête RTP Données vidéo temps-réel 19

20 Les protocoles temps réel RTCP (Real-Time Control Protocol) périodiquement des paquets RTCP pour donner des informations sur la qualité du service délivré. travaille avec RTP. Les participants envoient RTCP offre les services suivants : Contrôle de la congestion et monitoring de la QoS ; Identification de la source ; Synchronisation inter-média ; Information de contrôle RTSP (Real-Time Streaming Protocol) initie et commande à distance des flux multimédia stockés sur un serveur de données à travers un réseau IP. offre des fonctionnalités comme l'arrêt, l'avance rapide, la recherche avancée pour des flux vidéo et audio. Les données quant à elles sont transmises séparément en utilisant le plus souvent RTP. Session multimédia «temps réel» Serveur «temps réel» Application «temps réel» RTP UDP RTCP 1-réservation des ressources dans les routeurs à l établissement de la session 2-transmission des données dans des paquets RTP 3-contrôle de la qualité de la session (débit, gigue, perte) par des paquets RTCP Routeur RSVP Routeur RSVP Application «temps réel» RTP Client RTCP UDP Routeur RSVP RSVP 20

21 off-line et streaming Fichiers vidéo serveur vidéo off-line Versions du fichier 28Kb/s 56Kb/s 512Kb/s serveur "streaming" 1 - le fichier est chargé sur l ordinateur client 2 - le fichier est visionné localement Routeur Routeur Internet Internet 1 Routeur Routeur RTC Modem 56Kb/s 1 - test de performance de la liaison 2 - création d un buffer pouvant stocker «n secondes» de vidéo 3 - transmission des paquets 4 - visualisation «n secondes» après l arrivée du premier paquet 3 RTC Modem 56Kb/s 2 client Buffer 4 7Ko 2 client 21