Vidéo numérique Dominique PRESENT I.U.T. de Marne la Vallée Numérisation du signal vidéo Balayage type NTSC PAL/SECAM Nb de lignes 525 entrelacées 625 entrelacées F trame (Hz) 59,94 50 F ligne (khz) 15,734 15,625 Bande passante (MHz) 4,2 5 Couleur Modulation Vidéo négative, son FM Vidéo négative, son FM Luminance Y = 0,587V + 0,299R + 0,114B Chrominance bleu C b = 0,564 (B-Y) ou U = 0,493 (B- Chrominance rouge Y) C r = 0,713 (R-Y) ou V = 0,877 (R- Numérisation : Y) Echantillonnage à 13,5MHz ; Echantillons par ligne 720 ; Dimension d un échantillon de 8bits à 10bits ; Nombre de lignes 525 ou 625. Débit brut : 8x3x13,5e6 = 324Mb/s il faut compresser 1
Le format d image réduit la chrominance Trame paire Le format : supprimer des points de chrominance + Trame impaire Format 4:4:4 Trame paire Format 4:2:2 Trame impaire + Format 4:2:0 A la lecture, le CODEC doit «fabriquer» les points de chrominance manquants IUT Marne la Vallée vidéo numérique D. Présent Les normes : stockage ou communication SIF (Source Intermediate Format) ISO 11172 (codage des signaux vidéo et audio pour stockages à 1,5Mb/s) : Résolution luminance de 360x240 à une Fimage de 29,97Hz en 525 lignes ; Résolution luminance de 360x288 à une Fimage de 25Hz en 625 lignes ; Format 4 :2 :0. Remarques : Résolution proche de celle d un magnétoscope VHS ; Format de base du codage MPEG-1. CIF (Common Intermediate format) Normes H261 et H263 (International Union for Telecommunication) Standard de codage des signaux vidéo pour des services audiovisuels à Px64Kb/s Résolution luminance de 360x288 à Fimage de 29,97Hz ; Format 4 :2 :0. QCIF (Common Intermediate fromat) Résolution luminance 180x144 à Fimage sous-multiple de 29,94Hz ; Format 4 :2 :0. IUT Marne la Vallée vidéo numérique D. Présent 2
Formats MPEG Le groupe de l ISO dénommé MPEG (Moving Pictures Experts Group) à conduit à 2 normes : ISO 11172 (1993)pour le codage et la transmission des signaux audiovidéo pour un stockage sur des supports à environ 1,5Mb/s : ISO 11172-1 définit la structure du multiplexage des signaux ; ISO 11172-2 définit le codage vidéo MPEG-1 ; ISO 11172-3 définit le codage audio MPEG-1. ISO 13818 (1995) pour le codage et la transmission des signaux audiovidéo pour la diffusion par satellite, câble ou réseau terrestre : ISO 13818-1 définit la structure du multiplexage ; ISO 13818-2 définit les résolutions et le codage vidéo MPEG-2 ; ISO 13818-3 définit le codage audio MPEG-2. Unité de compression MPEG : le macrobloc séquence groupe d images image tranche Macrobloc (4 blocs) 1 image est composée de «n tranches» 1 tranche contient «p macroblocs» bloc (8x8 pixels) 3
Compression MPEG : le GOP groupe d images I B B P B B I l image P est codée par différence avec l image I (ou P) qui la précède ; l image B est codée par rapport à l image I (ou P) qui la précède et l image P (ou I) qui la suit ; le vecteur mouvement est associé au codage des images P et B Stockage : dans l ordre d arrivée Codage : I B B P B B I Transmission : Stockage/Décodage : I P B B I B B I P B B I B B Ré-ordonnancement : I B B P B B I MPEG-2 : le vecteur mouvement I P P zone d analyse Vecteur mouvement macrobloc Recherche du macrobloc le plus proche une image P est caractérisée par un vecteur mouvement et les différences des macroblocs des image I et P 4
Compression MPEG : le GOP groupe d images I B B P B B I Un groupe d images (GOP) est défini par 2 valeurs : le nb d images séparant 2 images I ; le nb d images séparant 2 images P ou une image P et une image I ; Exemple ci-dessus (6 ; 3) Groupe d images (8 ; 2) groupe d images I B P B P B P B I Estimation de mouvement en MPEG-2 calcul sur 1 bloc du signal luminance ; appliqué aux 4 blocs du macrobloc ; appliqué au signaux R-Y et B-Y ; si incalculable, bloc codé en image I ; vecteur mouvement codé sur 12 bits ; un décodeur dispose en permanence de 4 images en mémoire ; un codeur dispose en permanence de 8 images en mémoire ; un décodeur est paramétré pour un profil donné ; 5
Profils MPEG-2 La norme permet la définition de la résolution de l image à partir de 5 profils et 4 niveaux débits 'Mb/s) profils 100 90 80 70 60 50 40 30 20 10 0 simple main SNR scalable spatialy scalable high high-1440 1440x1080x30 low 352x240x30 niveaux low 352x240x30 main 720x480x30 high-1440 1440x1080x30 high 1920x1080x30 Compression audio MPEG Le codage/compression du signal audio utilise : Un modèle psycho-acoustique à masque variable ; Un banc de 32 filtres dits polyphase ; Echantillonnage à 32KHz, 44,1KHz, 48KHz ; Quantification du masquage sur une trame de 12x32 échantillons ; Quantification sur 16 bits avec facteur d échelle ; Codage multicanal en MPEG-2 (Left, Center, Right, Left Suround, Right Suround). 32 sous-bandes 6
Codage audio MPEG-2 Facteur d échelle : 48 Facteur d échelle : 16 128 96 64 32 0 12 échantillons gauche centre droite Suround G Suround D Codec audio MPEG-2 matrice L0 R0 T3 T4 T5 Codeur MPEG-1 Codeur MPEG-2 algorithme de codage MUSICAM pour les radio (DAB) et télévision (DVB) numériques débits de 32Kb/s à 192Kb/s par voie (Hi-Fi à partir de 128Kb/s par voie) un codage par DCT permet d obtenir la qualité Hi-Fi dès 64Kb/s Trame audio en-tête CRC résolution Info FE FE 3(12x32 échantillons) Données auxiliaires 32 16 2-4 2 6 (bits) + 7
MPEG-4 Objet 1 codec codage descriptif Analyse de l image fond codage descriptif codage m u l t i p l e x a g e ES descriptif Objet 2 Elementary Streams : flux élémentaires IUT Marne la Vallée vidéo numérique D. Présent Multiplexage MPEG-1 Le multiplexage permet d assurer la transmission des signaux audio/vidéo vers les unités de stockage. Le multiplexeur : Reçoit du CODEC les trains élémentaires de données (Elementary Streams) ; Découpe les trains élémentaires (ES) en paquets (Packetized Elementary Stream) ; Regroupe les paquets en packs dont l en-tête contient les informations de temps et de débits. Chaque pack contient : 0 à 16 paquets vidéo ; 0 à 32 paquets audio ; 0 à 2 paquets de données privées. Pack 2 Pack 1 En-tête En-tête Dernier Code En-tête de pack système 1er paquet paquets suivants paquet de fin de pack IUT Marne la Vallée vidéo numérique D. Présent 8
Multiplexage MPEG-2 Pour le stockage des données audio/vidéo, la norme MPEG-2 reprend le multiplexage de la norme MPEG-1. La norme prévoit un flux de transport (Transport Stream) pour la transmission sur les média des programmes destinés à la diffusion. Le multiplexeur : Découpe les flux élémentaires (ES) en paquets de 188 octets ; constitue des trains de données pouvant combiner plusieurs programmes. Paquet de flux élémentaires E-T ES E-T ES E-T 184 octets 188 octets E-T E-T E-T Autre flux E-T En-tête de paquet transport Quick Time : Les standards informatiques comprend essentiellement des formats de données standardisés, des procédés de compression et de décompression, et une interface utilisateur spécifique. L'extension système utilisée est fondée sur le principe du maintien de l'isochronie des données, et introduit donc le temps comme élément principal du système d'exploitation. Vidéo pour Windows : ensemble logiciel permettant la capture et la restitution de vidéo animée sur PC. L'exécution de séquences vidéo est possible sans matériel spécifique, alors que la capture doit être faite au moyen d'une carte de numérisation. offre des API (interfaces de programmation) relativement indépendantes du matériel. utilise des algorithmes de compression propriétaires (Microsoft Vidéo 1, Microsoft RLE compressor), mais intègre ceux proposés par des sociétés tierces, comme Indeo d'intel 9
La vidéo sur Internet le réseau Internet n'est pas approprié au transport de vidéo temps réel : Le réseau doit fournir suffisamment de bande passante. La bande passante n est pas garantie durant toute la communication. Il faut prévoir des mécanismes qui assureront la réservation de bande passante pour les applications temps réel. Les paquets sont routés indépendamment les uns des autres. Leur séquencement n est pas assuré (ordre, espacement). Les protocoles de transport utilisés doivent assurer les exigences temporelles que demande la vidéo temps réel comme la synchronisation. Les protocoles temps réel RSVP (Ressource ReSerVation Protocol) : utilisé par les applications temps réel pour réserver les ressources nécessaires au niveau des routeurs situés le long du chemin de transmission Un Contrôle de Police (Policy Control) détermine si l'utilisateur à la permission administrative de faire de la réservation. Le contrôle d'admission (Admission Control) détermine si le nœud à suffisamment de ressource pour fournir la QoS demandée. RTP (Real-time Transport Protocol) assure la reconstruction temporelle, la détection de perte, la sécurité et l'identification du contenu. travaille avec le protocole RTCP pour obtenir des feed-back concernant la qualité de la transmission fournit un système d'horloge (timestamping), une numérotation des séquences et d'autres mécanismes pour prendre garde aux problèmes liés au temps. RTP tourne au-dessus de UDP En-tête IP En-tête UDP En-tête RTP Données vidéo temps-réel 10
Les protocoles temps réel RTCP (Real-Time Control Protocol) périodiquement des paquets RTCP pour donner des informations sur la qualité du service délivré. travaille avec RTP. Les participants envoient RTCP offre les services suivants : Contrôle de la congestion et monitoring de la QoS ; Identification de la source ; Synchronisation inter-média ; Information de contrôle RTSP (Real-Time Streaming Protocol) initie et commande à distance des flux multimédia stockés sur un serveur de données à travers un réseau IP. offre des fonctionnalités comme l'arrêt, l'avance rapide, la recherche avancée pour des flux vidéo et audio. Les données quant à elles sont transmises séparément en utilisant le plus souvent RTP. Session multimédia «temps réel» Serveur «temps réel» Application «temps réel» RTP UDP RTCP 1-réservation des ressources dans les routeurs à l établissement de la session 2-transmission des données dans des paquets RTP 3-contrôle de la qualité de la session (débit, gigue, perte) par des paquets RTCP RSVP RSVP Application «temps réel» RTP Client RTCP UDP RSVP RSVP 11
Le streaming Fichiers vidéo serveur vidéo 1 - le fichier est chargé sur l ordinateur client 2 - le fichier est visionné localement Internet 1 RTC Modem 56Kb/s 2 client Versions du fichier 28Kb/s 56Kb/s 512Kb/s serveur "streaming" 1 - test de performance de la liaison 2 - création d un buffer pouvant stocker «n secondes» de vidéo 3 - transmission des paquets 4 - visualisation «n secondes» après l arrivée du premier paquet 3 Internet RTC Modem 56Kb/s Buffer 7Ko 4 2 client 12