Multimedia. Systèmes, Communications et Applications. Ahmed MEHAOUA

Transcription

1 Multimedia Systèmes, Communications et Applications Ahmed MEHAOUA Professeur - Laboratoire CRIP5 Ahmed.mehaoua@math-info.univ-paris5.fr Plan 1. Multimedia : principes et définitions 2. Algorithmes et normes de compression Audio/Vidéo 3. Communication multimédia 4. Applications et Services Vidéo 5. Service de téléphonie sur Internet Ahmed Mehaoua - 2

2 Bibliographie Internet, Multimédia et Temps réel, Jean-François Susbielle, Eyrolles, 2001 Qualité de service sur IP Jean-louis Melin, Eyrolles, Understanding Networked Multimedia, F. Fluckiger, Prentice Hall, 1995 Multimedia : computing, communications and Applications, R. Steinmetz, Prentice Hall, 1995 Ahmed Mehaoua - 3 Définition : le multimédia La communication multimédia est une communication faisant appel simultanément à plusieurs moyens ou média pour faire passer un message. Aujourd hui, le terme multimédia est utilisé pour faire référence aux techniques de communication multimédia. Ahmed Mehaoua - 4

3 Objet, Application, Service multimédia Objet Multimédia : Brique de base du multimédia. Leur caractéristique est de contenir l information Analogique : Image, parole, musique Numérique : Texte, image de synthèse, Objet multimédia composite : vidéo, page web html, Applications et services multimédia Programme et système qui manipulent les objets multimédia Exemple : TV numérique par satellite, éditeur vidéo, jeux vidéo Terminologie Informatique : Application multimédia Terminologie télécom : service multimédia Ahmed Mehaoua - 5 Classification des Services multimédia Interactivité (vision utilisateur) [ITU I.112] Conversationelle Téléchargement Messagerie Diffusion (vidéoconférence) (Vidéo a la demande) (Mail multimédia) (TV numérique) Ahmed Mehaoua - 6

4 Chaîne d exploitation 1. Capture ou saisie 2. Numérisation 3. Codage (JPEG, MPEG, H.26x, ) 4. Stockage (Serveur, DVD, format fichier, ) 5. Transmission (IP, ATM, LAN, sans-fil, ) 6. Chaîne de restitution Ahmed Mehaoua - 7 Type d accès à des contenus Multimédia Distant Local Interactif (1) serveur Live Streaming (2) (3) On-demand Streaming Stockage Téléchargement (4) Playback Local Ahmed Mehaoua - 8

5 Streaming Vidéo sur IP Producer Encoder Server Real Networks.RM Real Networks Client.ASF Windows Media.MOV Windows Media Apple QuickTime.MP4 QuickTime Ahmed Mehaoua - 9 Multimédia Local Pas de partage de bande passante Débit binaire constant (CBR) Commutation de circuit Pas de temporisation (buffer) Pas de variation de délais d arrivées des échantillons Bus/Liaisons fiables Pas de pertes ou d erreurs (négligeable) Ahmed Mehaoua - 10

6 Communication Multimédia sur IP : Conclusion 1. Optimisation des ressources de communications Compression à débit variable Routage multicast 2. Synchronisation Niveau application (protocole RTP) 3. Contrôle des erreurs et des pertes Niveau application (RTCP, FEC) Ahmed Mehaoua - 11 Codage Vidéo Normes Video de 1ère génération JPEG et Motion JPEG H.261 MPEG-1 Normes Video de 2ème Génération H.263 (H.263+) MPEG-2/H.262 Normes Video de 3ème Génération MPEG-4 partie 2 MPEG4 AVC/H.264 partie 10 MPEG-7 MPEG-21 Ahmed Mehaoua - 12

7 Propagation des Erreurs entre IMAGES Ahmed Mehaoua - 13 Propagation des Erreurs dans une image Ahmed Mehaoua - 14

8 Effets de la compression Après compression : Niveau image Taille des images de la séquence «silence des agneaux» (codage MPEG1 VBR) le rapport entre le débit crête et le débit moyen varie entre 6 et 19. Taille Image (bit) Num. Image Ahmed Mehaoua - 15 Multiplexage des flux Codage/transmission en mode CBR ou VBR? Encodeur Vidéo Feedback Control VBR Flux Encoder Buffer CBR Video CBR Transmission VBR Transmission Vidéoconférence sur Numéris ou sur Mobile VidéoConférence sur Internet VBR Video UNI Buffer CBR Transmission TV numérique par ADSL VBR Transmission TV numérique par Satellite Encodeur Emetteur Carte Réseau réseaux Ahmed Mehaoua - 16

9 Multicast Vidéo sur IP Ahmed Mehaoua - 17 Multicast IP Pour offrir un service de distribution multicast sur IP il faut : 1. Un adressage multipoint à (IPV4) FF01:: et FF02:: (IPV6) FF-xx-yy-zz (Ethernet) 2. Un protocole d annonce des sessions multicast sur le réseau SAP : Session announcement Protocol SDP : Session Description Protocol 3. Un protocole de gestion de groupes d utilisateurs : MLD (Multicast Listener Discovery) pour IPv6 IGMP (Internet Group Management Protocol) pour IPv4 4. Un protocole de routage multicast M-OSPF, PIM Ahmed Mehaoua - 18

10 Synchronisation flux multimédia 1. Synchronisation à l affichage ou S. Playout : Jouer le signal généré à l instant t, à l instant t+dt en tenant compte de la variation du délai de transmission 2. Synchronisation Inter-Média Entre l audio et la vidéo (Lip sync) 3. Synchronisation Intra-Média Tous les récepteurs doivent jouer en même temps (simulations, jeux) -> S. Playout et S. Inter est toujours requis pour les médias continus. -> S. Intra- peut être optionnelle RTP permet la Synchro-Affichage + synchro inter-média Ahmed Mehaoua - 19 Serveur Temps réel Application Temps réel RTP et RTCP UDP IP 2 Synchronisation RTP RTCP Dans une session mutimédia, chaque média est transporté dans des sessions RTP distinctes, avec ses propres paquets RTCP de contrôle de la qualité de la session N port Pair (P) : flux de média RTP N port Impaire (P+ 1) : flux RTCP associé RTP RTP RTCP Routeur RTP RTCP RTP Routeur Information de contrôle RTCP RTCP RTP RTP et RTCP Client Ahmed Mehaoua - 20 Application

11 Codage de la parole CODEC DSP Silent sup IP Voix Numérisation Compression Encapsulation Ahmed Mehaoua - 21 Numérisation - la clé du multimédia - signal analogique échantillonnage quantification signal digitalisé Ahmed Mehaoua - 22

12 Numérisation (2) Voix Internet 8000 Hz 8 Kbps Voix PCM 8000 Hz 64 Kbps Audio FM KHz - Audio Nicam 32 KHz - Audio CD 44.1 KHz 1441 Kbps Audio DAT Studio 48/96 KHz > 7,6 Mbps Vidéo TV Numérique 13.5 MHz 240 Mbps Partage d'application Vidéoconférence TV HD numérique Réalité virtuel 100 Kbps Kbps 600 Mbps > 100 Mbps Ahmed Mehaoua - 23 Numérisation : F Echantillonnage F max F = 2F e max Le signal acoustique, après avoir été transformé en signal électrique, est découpé, à chaque seconde, en 8000 échantillons individuellement codés sur 8 bits (soit un débit de 8 x 8000 = 64 kbit/s) Aux Etats-Unis, pour des raisons d'économie au niveau des bits, on a choisi un codage sur 7 bits (8000 x 7 = 56 kbit/s), choix qui devait s'avérer désastreux par la suite car, en informatique, le codage est fait sur un octet (8 bits). Actuellement, aux Etats-Unis, le passage au codage sur 8 bits est pratiquement achevé en télécommunications. T Ahmed Mehaoua - 24

13 V 128 plages Numérisation : Quantification milieu de la plage milieu de la plage milieu de la plage 128 plages Ahmed Mehaoua - 25 Multiplexage : Trame temporelle MIC 8 bits 8 bits 8 bits 8 bits 8 bits 8 bits IT0 IT1 IT2 IT15 IT31 IT0 IT1 T = 125 microsecondes L'échantillon associé à une communication vocale est appelé canal. On a décidé d'insérer chaque seconde sur un circuit physique (c'est-à-dire une paire de fils) 32 canaux formant une structure, appelée trame temporelle MIC, et comportant 32 intervalles de temps successifs numérotés de 0 à 31, correspondant chacun à un canal unidirectionnel et occupant 8 bits (1 octet). Cette trame de Kbp/s (E1) est normalisée dans G.732. Tandis qu aux Etats-Unis une trame MIC regroupe 24 canaux de 56 Kbp/s seulement, soit un débit de Kbp/s (DS-1). Ahmed Mehaoua - 26

14 Comparaison - USA et Europe - Description Fréquence d'échantillonnage Nombre de niveau Nombre de bit/échantillon Débit binaire utile par voie Débit binaire par voie Quantification Loi de codage Nombre d'it Nombre de voie Nombre de bits/trame Débit binaire total Signalisation Système Européen G KHz Kbit/s 64 Kbit/s non uniforme loi A ,048 Mbit/s hors octet Système Américain G KHz Kbit/s 64 Kbit/s non uniforme loi m ,544 Mbit/s dans l'octet Ahmed Mehaoua Codage de la voix A l'émission, la voix est codée et compressée avant d'être encapsulée dans les paquets IP. La taille du paquet est un compromis entre la nécessité de réduire le délai de transmission et l optimisation de la bande passante. Les codeurs rencontrés dans les applications de voix sur IP se sont développés dans des axes très variés. On distingue trois grandes catégories : 1. Les techniques temporelles (avec des débits compris entre 16 et 64 kbits/s) ; 2. Les techniques par analyse et synthèse (avec des débits entre 5 et 16 kbits/s). 3. Les techniques paramétriques (avec des débits compris entre 2,4 et 4,8 kbits/s) Ahmed Mehaoua - 28

15 Mesure de qualité En général, les techniques de codage offrant des faibles débits exigent des temps de traitement plus long, augmentant ainsi le délai de transit. Un critère de notation est établi en standard pour caractériser la qualité du codeur. C'est la note moyenne d'opinion ou MOS (Mean Opinion Score) qui classe les codeurs en cinq grandes classes : 1 = Mauvais, 2 = Médiocre, 3 = Moyen assez bon, 4 = Bon, 5 = Excellent. Ahmed Mehaoua - 29 Vocodeurs.2 Longueur trame 125 micros.2 20 ms 2,5 ms 10 ms 30 ms Ahmed Mehaoua - 30

16 Débit binaire + Compression en-tête Ahmed Mehaoua - 31 Délai et Retard Ahmed Mehaoua - 32

17 Délai et Retard Délai de transmission total (temps de latence) [UIT G.114] Entre 0 et 150 ms : conversation normale Entre 150 et 300 ms : Acceptable pour la voix mais pas pour la musique Entre 300 et 700 ms : Communication half-duplex uniquement Au delà : Plus de communication possible Retard : Provoqué par la charge du réseau et les temps de traitements de la voix, Pour la téléphonie classique : le retard < 100 ms Ahmed Mehaoua - 33 Gigue Variation du délai de transmission provoquée par les attentes dans les files des routeurs; Provoque des pertes si la tolérance de gigue est dépassée Pour la téléphonie numérique non compressée: ± 125 microsec Pour la téléphonie numérique = ± 25 msec Peut être contrôlée par l ajout de tampon mémoire dans les terminaux, mais attention à l accroissement du délai de transmission; Ahmed Mehaoua - 34

18 Pertes Origines des pertes : Interférences électromagnétiques (erreurs binaires) Engorgements des routeurs (rejet de paquets) Retards Tolérance : Limité à 10-2 bits pour la voix non compressé (MIC) Limité à 10-3 bits pour la voix compressé (G.729, GSM) au delà signal audio non audible Solutions : Remplacer les échantillons perdus par des silences Codes correcteurs d erreurs en avant (FEC) : GSM EFR Extrapolation du signal analogique (onde) Ahmed Mehaoua - 35