Vidéo pour les applications multimédia

Transcription

1 Vidéo pour les applications multimédia Jean-Claude Moissinac Cyril Concolato Vidéo pour les applications multimédia. 29/03/04. Page 1

2 Introduction Définir Les formats vidéo La notion de CODEC vidéo Proposer les critères importants de choix de format Positionner la vidéo dans son environnement technique Proposer une méthodologie de choix Vidéo pour les applications multimédia. 29/03/04. Page 2

3 Cadrage Il s agit De comprendre les caractéristiques techniques importantes de la vidéo dans un environnement multimédia De comprendre certains points critiques dans l utilisation de vidéo dans une application multimédia Il ne s agit pas De présenter en détail les techniques de codage vidéo Vidéo pour les applications multimédia. 29/03/04. Page 3

4 Historique (1) Nombreux systèmes de codages proposés depuis plus de 20 ans Captain Video, Cinepak (Cinepak) Indeo (Intel), MPEG, h26x, RLE, MJPEG, Sorenson Compétition économique pour avoir du poids dans ce secteur Vidéo pour les applications multimédia. 29/03/04. Page 4

5 Historique (2) Convergence vers trois grandes familles de codage pour la vidéo diffusée: Windows Media proposé par Microsoft RealVideo proposé par RealNetworks MPEG proposé par le consortium MPEG Vidéo bi-directionnelle (vidéo-conférence) Famille H26x Autres standards spécialisés Vidéo pour les applications multimédia. 29/03/04. Page 5

6 Nouvelles applications Vidéo-surveillance HDTV D-Cinema V-Mail Video sur mobile Vidéo pour les applications multimédia. 29/03/04. Page 6

7 Formats vidéo et codecs Un format vidéo peut désigner Un format de stockage, de représentation de la vidéo dans un fichier numérique ou sur un support physique Un format de transport Une méthode de codage, caractérisée par un CODEC C est essentiellement sur les caractéristiques des CODECs que va porter ce cours Vidéo pour les applications multimédia. 29/03/04. Page 7

8 Sources usuelles de vidéo (1) Vidéo analogique composite SECAM, PAL, NTSC Bande passante 5 MHz Multiplexage de Un signal représentant la luminosité Un signal représentant la couleur Un signal audio Un signal de synchronisation Vidéo analogique en composantes Les mêmes signaux, mais stockés et distribués séparément Vidéo pour les applications multimédia. 29/03/04. Page 8

9 Sources usuelles de vidéo (1) PAL SECAM NTSC usage régions Diffusion seulement i/s hres ,997 (~30) 480 Entrelacés Diffèrent par l espace de couleur Vidéo pour les applications multimédia. 29/03/04. Page 9

10 Sources usuelles de vidéo (3) Vidéo numérique Signal échantillonné, quantifié, codé DV: 25 Mbps (4:2:0) DVCPro: 25 (4:1:1) ou 50 Mbps (4:2:2) D1 Composantes. CCIR601 non compressé, environ 250 Mbps, 720 points/ligne, 576 lignes en PAL, échantillons sur 8bpp en 4:2:2 Digital Betacam: Composantes. Compression (2:1).(4:2:2 pour 10 bits). Enregistrable en 4:3 et 16:9. Vidéo pour les applications multimédia. 29/03/04. Page 10

11 Vidéo/séquences d images Nombre d images par seconde 24 pour le film 25 pour la vidéo PAL (évolution vers 50) 30 pour la vidéo NTSC (29,997 exactement, évolution vers 60) D autres vitesses peuvent être utilisées pour des applications spécifiques Par choix, lors de la diffusion Scintillement perçu à moins de 40 i/s Vidéo pour les applications multimédia. 29/03/04. Page 11

12 Entrelacement Parcours de l écran en deux fois, lignes paires, puis lignes impaires Problème éventuel - En arrêt sur image - En traitement, extraction Vidéo pour les applications multimédia. 29/03/04. Page 12

13 Vidéo numérique/résolution des images Cas du stockage brut des échantillons HD (60i/s) PAL (25i/s) NTSC (30i/s) Largeur Hauteur Taille d une image* 6,6 Mo 1,2 Mo 1 Mo Stockage D 1h 1390 Go 104 Go 104 Go Débit 32 Gbps 240 Mbps 240 Mbps * 3 échantillons sur 8 bpp chaque Vidéo pour les applications multimédia. 29/03/04. Page 13

14 CODEC Considéré dans ce cours comme une boîte noire avec Une partie codeur qui Prend en entrée une suite d images non compressées Fournit en sortie une suite d images codée Une partie décodeur qui Prend en entrée une suite d images codées Fournit en sortie une suite d images Vidéo pour les applications multimédia. 29/03/04. Page 14

15 CODEC symétrique/asymétrique CODEC symétrique CODEC pour lequel la complexité de décodage est à peu près équivalente à celle du codage Utilisé, par exemple, en visio-conférence Ex: H261, H263 CODEC asymétrique CODEC pour lequel la complexité du décodage est très inférieure à celle du codage => décodeur peu coûteux, souvent gratuit Codeur plus ou moins compliqué ou spécialisé, laisse place à l innovation et à la compétition Vidéo pour les applications multimédia. 29/03/04. Page 15

16 Exemple: codecs sur 1 machine Windows Vidéo pour les applications multimédia. 29/03/04. Page 16

17 Quicktime/AVI/ASF Ne sont pas des codecs Sont des enveloppes destinées à empaqueter les données brutes issues de codecs Ex: un fichier AVI peut contenir des données issues d un codec que j ai inventé et n être lisibles que sur une machine munie de ce codec Conséquence: les codecs dont les spécifications ne sont pas publiques peuvent ne pas exister pour toutes les plateformes Vidéo pour les applications multimédia. 29/03/04. Page 17

18 Modèle de couleur Espace de couleur=espace à 3 dimensions Œil humain distingue environ 4 millions de nuances 3 composantes sur 8 bits chacune -> 16,7 millions de nuances (en fait, il faudrait tenir compte d une sensibilité de l œil différente suivant les axes) Modèles courants RGB: lié à la technologie des écrans cathodiques YUV: TV analogique, Y est la luminosité YCbCr: variante de YUV, utilisée en entrée de nombreux codeurs vidéo Vidéo pour les applications multimédia. 29/03/04. Page 18

19 Modèles d échantillonage Choix de l espace de couleur RGB ou YUV ou YCbCr Choix de l échantillonage 4:1:1 4:2:0 4:2:2 4:4:4 Méthodes pour privilégier la luminance Vidéo pour les applications multimédia. 29/03/04. Page 19

20 Modèles d échantillonage (2) 4:1:1 Y Cb Cr Pixel a 8 bits 8 bits 8 bits Pixel b 8 bits Idem pix.a Idem pix.a Pixel c 8 bits Idem pix.a Idem pix.a Pixel d 8 bits Idem pix.a Idem pix.a 4:2:2 Y Cb Cr Pixel a 8 bits 8 bits 8 bits Pixel b 8 bits Idem pix.a Idem pix.a Pixel c 8 bits 8 bits 8 bits Pixel d 8 bits Idem pix.c Idem pix.c Vidéo pour les applications multimédia. 29/03/04. Page 20

21 Modèle d échantillonage: gain Groupe de 4 pixels Echantillonage 4:4:4 4:1:1 4:2:0 4:2:2 Bits pour le groupe 96 (4x24) 48 (6x8) 48 (6x8) 64 (8x8) compression 1:1 2:1 2:1 1,5:1 Vidéo pour les applications multimédia. 29/03/04. Page 21

22 Modèles d échantillonage: effet Réduction de la résolution sur les composantes couleur Problème sur certains traitements Problème potentiel sur des zones de transition forte (fond d incrustation, bord de texte ) Vidéo pour les applications multimédia. 29/03/04. Page 22

23 Vocabulaire complémentaire Access Unit (AU) plus petit élément d information du flux auquel peut être assigné une estampille temporelle Une image vidéo est une AU Time stamp Estampille temporelle Presentation Time Stamp: permet d indiquer à quel moment une AU doit être présentée Decoding Time Stamp: permet d indiquer à quel moment une AU doit être décodée Permet d assurer le respect du nombre d images par seconde Permet s assurer la synchronisation entre plusieurs flux de média Vidéo pour les applications multimédia. 29/03/04. Page 23

24 Choix: codec et paramètres CRITERES Réduction des données et compression Délai Complexité Déploiement Pertes Choix du codeur Vidéo pour les applications multimédia. 29/03/04. Page 24

25 Poids des données Utilisation classique de codages courants Codage Débit (Mbps) sur 40 GO Mo/mn RealVideo, Sorenson Modem (0,05) 2000 h 0,4 Mo/mn MPEG1 30*modem (1,5) 60 h 11 Mo/mn MPEG2 120*modem(6) 10h30 44 Mo/mn DV 500*modem (25) 200 mn 183 Mo/mn Vidéo non compressée 5000 modem (240) 20 mn ~2Go/mn Vidéo pour les applications multimédia. 29/03/04. Page 25

26 Economie et poids des données Cout de distribution; exemple: 1 canal satellite (transponder)=environ 30 Mbps À 6 Mbps -> 5 clients A 1,2 Mbps -> 25 clients Cout de stockage Cout d installation (transport local ) Vidéo pour les applications multimédia. 29/03/04. Page 26

27 Compression/Réduction Réduction de la quantité de données Réduire la taille de l image Réduire la fréquence des images Réduire la résolution chromatique Réduire la précision des échantillons Eliminer des informations inutiles ou redondantes -> c est ce dernier point qu on nomme en général compression Vidéo pour les applications multimédia. 29/03/04. Page 27

28 Réduction de données et formats de référence Pixels/ligne Lignes/image i/s Bitrate format brut (Mbps) QCIF CIF CIF SIF NTSC SIF PAL =résolution de référence CCIR /16=45 blocs de 16x16 Demi-résolution: 45/2? Approximé à 22 blocs=352 Quart de résolution approximé à 11 blocs = 176 D où pleine résolution approximée à Vidéo pour les applications multimédia. 29/03/04. Page 28

29 Eliminer les redondances Redondances Spatiale: forte corrélation entre pixels voisins dans une image naturelle Temporelle: forte corrélation entre pixels d images successives d une séquence d images naturelles Statistique: probabilités différentes des valeurs issues des traitements précédents (ex: différence proche de zéro) Psycho-visuelle: le système visuel est plus sensible à certaines informations qu à d autres: Vert (5) >Rouge (3)>Bleu (2) Sensibilité aux fortes variations =>certains détails, transitions Meilleurs sensibilité à la luminance qu à la chrominance Attention portée sur certaines parties d images (ex: visages) Vidéo pour les applications multimédia. 29/03/04. Page 29

30 Les phases de MPEG # # $ #!" # $ # % Vidéo pour les applications multimédia. 29/03/04. Page 30

31 Problème de la copie de signal vidéo Analogique Chaque copie correspond à une perte de qualité de signal Chaque traitement nécessite une copie => perte 7 copies=maximum usuel avant dégradation importante avec des équipement analogiques professionnels Numérique Si représentation en codage sans perte copie sans perte Si représentation en codage avec perte on retrouve (atténué) le problème de l analogique Codage puis cycle (décodage, traitement, ré-encodage) Vidéo pour les applications multimédia. 29/03/04. Page 31

32 Délai DV Durée du décodage de l image; images Intra; accès direct MPEG classique Durée du décodage des images dont dépend l image+durée du décodage de l image Exemple: codage en ondelette par groupe de 16 images Il faut recevoir et décoder les 16 images pour accéder à chacune Vidéo pour les applications multimédia. 29/03/04. Page 32

33 Délai: codages de type vidéoconférence Famille H26x Délai aussi voisin que possible de 0 pour commencer à décoder Images découpées en morceaux Morceaux mis à jour Sans ordre pré-défini Pas tous les morceaux avec la même fréquence Bien adapté à des applications temps réel Direct Dialogue (visioconférence) Vidéo pour les applications multimédia. 29/03/04. Page 33

34 Délai: comparatif MPEG I, MJPEG, DV MPEG IP et IPB, WM, Real H261, H263 Accès direct Oui Non?? Délai Temps pour trouver l image +temps de décodage de l image Idem ci-dessus+décodage des images dont dépend l image visée Accès continu, délai proche de 0 Notion d image diluée Vidéo pour les applications multimédia. 29/03/04. Page 34

35 Accès aléatoire But: pouvoir se placer facilement à un instant précis dans le flux vidéo Besoin: pouvoir déterminer aussi facilement que possible la position du codage d une image dans un flux de bits Méthodes Images de taille fixe Table d index vers des images Marqueurs de début d images et estampilles temporelles Vidéo pour les applications multimédia. 29/03/04. Page 35

36 Accès aléatoire Accéder à un contenu n importe où dans le flux: Caractéristique importante Pour les monteurs vidéo, pour l édition en général Pour la navigation sur un contenu vidéo Difficile à réaliser dans les codecs prédictifs, ou même codecs ondelette Nécessite de stocker cette information quelques part (cf le cours sur le format de fichier) Vidéo pour les applications multimédia. 29/03/04. Page 36

37 Déploiement Disponibilité d encodeurs Adaptés à l application visée Codage temps réel ou pas Type de source admise en entrée Performance du codeur pour le type de contenu envisagé Disponibilité de players Versions de players Renouvellement du parc de player relativement lente Disponibilité de systèmes de diffusion Serveurs de streaming Vidéo pour les applications multimédia. 29/03/04. Page 37

38 Complexité Du codage MPEG classique<ondelettes<fractales Les parties les plus couteuses sont: Convolution/DCT/filtres Prédiction de mouvement Auto-corrélation et du décodage Plus besoin de prédire le mouvement Rem: possibilité d avoir du hard générique qui se décline pour différents codages; typiquement, des codages peuvent avoir en commun: DCT Prédiction de mouvement Vidéo pour les applications multimédia. 29/03/04. Page 38

39 Besoins mémoire Différents suivant les algorithmes Ex: au moins 3 images usuellement nécessaires avec MPEG (en fait, de 1 à 25 images suivant les algos) Ex: une image nécessaire pour DV Ex: ondelettes, groupes de 16 images, décodés par groupe Significatif pour les terminaux mobiles Mémoire=coût Mémoire=dépense d énergie Vidéo pour les applications multimédia. 29/03/04. Page 39

40 Déploiement Disponibilité des composants Essentiellement le player Mais aussi Serveur Montage Système de protection Vidéo pour les applications multimédia. 29/03/04. Page 40

41 Déploiement: pb des versions de player Absence de compatibilité arrière des versions de codage récentes de WM et Real Attention au profil/niveau utilisé par un player MPEG-4 Vidéo pour les applications multimédia. 29/03/04. Page 41

42 Players Existence de la bonne version du codec par plateforme (Windows, Macintosh, Unix, Linux ) Player intégré à une interface standardisée (DirectX, JMF, SDL ) Player intégré à un navigateur Vidéo pour les applications multimédia. 29/03/04. Page 42

43 Adaptation aux variations du réseau Commutation (manuelle?) entre flux Codages simulcast Commutation automatique synchrone entre des flux de qualités différentes Codages scalables Cf. plus loin Vidéo pour les applications multimédia. 29/03/04. Page 43

44 Evaluation et progression, cas de MPEG-2 Source white paper MPEG-4 sur M4IF Vidéo pour les applications multimédia. 29/03/04. Page 44

45 Les phases de MPEG # # $ # #!" $ # % Vidéo pour les applications multimédia. 29/03/04. Page 45

46 Que standardise MPEG-1? )* ++ )* $ * & ' (,$-& &,$-& ',$-& ( *. & ' ( * Vidéo pour les applications multimédia. 29/03/04. Page 46 +,

47 Notions de profils et niveaux dans MPEG-4 Source white paper MPEG-4 sur M4IF Vidéo pour les applications multimédia. 29/03/04. Page 47

48 Notion de profil dans Windows Media Il s agit seulement de pré-réglages des paramètres d encodage pour des cibles données Par exemple: Cible PC en application locale Cible PC en application d édition Cible PC en application en réseau local/distant Cible PDA Vidéo pour les applications multimédia. 29/03/04. Page 48

49 APIs de programmation DirectX de Microsoft JMF Java Media Framework de Sun SDL Vidéo pour les applications multimédia. 29/03/04. Page 49

50 Evolution des méthodes de codage Adaptabilité SureStream AVC: Advanced Video Coding SVC: Sclable Video Coding FGS: Fine Grain Scalability Vidéo pour les applications multimédia. 29/03/04. Page 50

51 Cible des codages scalables MPEG-4 largeur hauteur i/s kbps Vidéo pour les applications multimédia. 29/03/04. Page 51

52 Méthodes d évaluation de la qualité (1) Dépendante de la résolution spatiale et temporelle souhaitée Dépendante du type de contenu Dépendante du débit envisagé Mesures mathématiques ne suffisent pas (PSNR ) Nécessité de tests subjectifs Vidéo pour les applications multimédia. 29/03/04. Page 52

53 Evaluation visuelle Méthode SSM ITU-R rec.bt Méthode SSMM utilisée récemment par MPEG Choix du dispositif de projection (notamment entrelacé ou pas) Distance entre les testeurs et l écran, réglée en fonction de la taille de l écran et de la résolution Minimiser l effet de contexte de présentation Ex: présenter chaque séquence de test deux fois Vidéo pour les applications multimédia. 29/03/04. Page 53

54 Méthodes d évaluation (2) Source Luke J Crook Vidéo pour les applications multimédia. 29/03/04. Page 54

55 Méthodes d évaluation (3) Encodage d une séquence de 8 s. MPEG-4 P2: codec de référence Microsoft MPEG-4 P10: codec de référence du comité (non optimisé) 2Ghz Pentium 4 avec 768MB RAM 1 mn 120 mn Vidéo pour les applications multimédia. 29/03/04. Page 55

56 Evaluation et progression Source white paper MPEG-4 sur M4IF Vidéo pour les applications multimédia. 29/03/04. Page 56

57 Compétition en télévision Transition de MPEG-2 Soit vers Windows Media 9 Offensive forte de Microsoft Enjeu: mettre Windows dans les set-top-boxes Pénétration via les PC Soit vers MPEG-4 AVC (partie 10, H264) Intégration dans l environnement MPEG-2 Complexité Faible pénétration actuelle Courbe d amélioration sur 10 ans, cf courbe MPEG-2 Vidéo pour les applications multimédia. 29/03/04. Page 57

58 Méthode de choix d une réprésentation Choix de résolution Choix de fréquence de défilement Choix de codec Et choix des paramètres Choix du codeur Choix de l environnement d exploitation Vidéo pour les applications multimédia. 29/03/04. Page 58

59 Documents de référence White Paper MPEG-4 White Paper Windows Media mpeg4.aspx TVB Europe ( Vidéo pour les applications multimédia. 29/03/04. Page 59