PARI 51 Images Numériques Cours #4 : Images animées Par : Bernard Besserer Introduction Film : séquence d images Histoire : 1882 : E.J.Marey Chronophotographe 1893-95 : T. Edison Kinetoscope, Lumière Cinématographe 1930-40 : Télévision (BBC 1932, NBC 1939) 1965 : Magnétoscope (Sony Betamax) Numérique : 1993 : Standard MPEG2, TV Numérique (DirecTV) 1995 : DV 1996 : DVD 2001 : Films cinéma tournés 100% en TVHD (Vidocq de C. Comar alias Pitof, Starwars ep. II de G. Lucas) TVHD : 1920x1080, 16:9, 24fps 2
Images Animées Analogiques Vidéo (Normes TV - PAL) : 625 lignes dont 575 visibles 25 images/seconde avec entrelacement Espace colorimétrique Luminance-Chrominance (YUV) Moins de bande passante (donc moins de résolution) pour la couleur VHS, S-VHS, Hi8 : CIF (360 x 288) Film 24 images/seconde, progressif (sans entrelacement) Résolution dépendante du grain du film (équivalent numérique : 2K (2048 x 1536)) 3 Principe de la TV (balayage) : 1930 Retransmission JO Berlin : 1939 la vidéo analogique Rappels : Signal électrique analogique Synchronisation sur chaque ligne de balayage Normes : PAL /SECAM : 625 lignes dont 575 visibles 25 images / sec NTSC : 575 lignes dont 480 visibles 30 images /sec 4
5 La transmission de l'image s'effectue en mode entrelacé : On transmets d'abord les lignes paires de l'image (trame paire) Puis les lignes impaires (trame impaire) La fréquence est doublée (50 demiimages / sec) Même bande passante, mais : Fatigue visuelle réduite (rémanence du tube et persistance rétinienne) Comme l'acquisition et la restitution se fait en entrelacé : meilleure capture du mouvement (plus fluide) Entrelacement Entrelacement 6
Entrelacement des images L'entrelacement est gênant pour le traitement d'image si il y a mouvement. Très souvent, l'acquisition même de l'image est effectué en mode entrelacé 7 Conformité avec la TV analogique La plupart des caméras respectent les normes vidéo analogiques (généralement PAL) : 25 images/sec, entrelacement (donc 50 trames/sec), 625 lignes dont 575 sont visibles. Il faut pouvoir brancher directement un moniteur de contrôle Il faut pouvoir enregistrer le signal sur un magnétoscope Une carte d'acquisition numérise le signal si l'image doit être traité sur ordinateur Les paramètres de l image acquise peut différer de l image capturée par le CCD 8
Caméra à sortie numérique Il existe des caméras intégrant l'ensemble de l'image à l'instant T (mode progressif) et transmettant les trames successivement Il existe des caméras 100% progressives Changer d'interface une interface numérique s'impose (IEEE 1394, CameraLink, USB2) La présence d'une interface numérique ne signifie pas que les images sont produites en mode progressif! 9 Vidéo Numérique Sans Compression Séparation de la luminance et de la chrominance (espace YUV ou YCrCb). Luminance et 2 informations chromatiques (Y-R, Y-B) Sous-échantillonnage de la chrominance (4:2:2 ou 4:1:1 ou 4:2:0) 10
Vidéo Numérique Sans Compression 11 Calcul du débit vidéo : 4:2:2 720 x 576 (luminance) + 360 x 576 (Cr) + 360 x 576 (Cb) x 8 bits = 6635520 bits / image = 829440 octets / image soit un débit de 829440 x 25 = 20,736 Mo/sec ou 166 Mb/sec 4:1:1 720 x 576 (luminance) + 180 x 576 (Cr) + 180 x 576 (Cb) x 8 bits = 4976640 bits / image = 622080 octets / image soit un débit de 15,552 Mo/sec ou 124 Mb/sec 4:2:0 720 x 576 (luminance) + 360 x 288 (Cr) + 360 x 288 (Cb) x 8 bits = 4976640 bits / image = 622080 octets / image soit un débit de 15,552 Mo/sec ou 124 Mb/sec Un disque dur de 1Go (10 Go) peut contenir : 51 secondes (8m30s) de vidéo sans compression 4:2:2 68 secondes de vidéo sans compression en 4:1:1 ou 4:2:0 4 minutes et 45 secondes de vidéo DV (avec compression!) Vidéo Numérique Avec Compression Codec COdeur/DECodeur ou COmpresseur/DECompresseur Software / Hardware Avec ou sans perte Format d encapsulation : AVI Le format AVI (comme les.wav) est un fichier RIFF (Ressource Interchange File Format) Portabilité du fichier? Logiciels disponibles pour l encodage Qualité de l image Application 12
Vidéo Numérique : DV Format DV : Digital Vidéo Développé par un consortium de 10 constructeurs dont Sony (Panasonic et JVC pour des équipements pro) Compression propriétaire Compression DCT (proche du JPEG) intra-image réduisant le débit à 25 Mbits/sec = 3,5 Mo/sec en 4:2:0 ou 4:1:1 Disque dur 7200 rpm : 8-10 Mo/sec Codec software ou hardware Premier codage effectué par le caméscope Duplication sans perte Montage à l image près Décompression/compression nécessaire que pour le calcul d effets 13 Variantes professionnelles (mêmes principes, mais caractéristiques différentes pour les bandes) :DVCAM, DVCPRO25 et DVCPRO50 Utilisation du bus IEEE1394 comme moyen de transport privilégié Développement conjoint SONY/APPLE (aussi nommé firewire ou i-link) Bus synchrone à débit élevé (50 Mo/sec) destiné a connecter les équipements multimédia et mémoires de masse Cartes interface disponibles, intégration dans certains portables ou imac Coût élevé de la connectique Vidéo Numérique : DV 14
MPEG MPEG : Motion Picture Expert Group MPEG1 débit max d environ 1 Mb/sec (de l ordre de 150 Ko/sec). En général, format d image de 360 x 288 (CIF) Application multimédia lue depuis un CD-ROM, VCD, vidéos sur le Web. MPEG2 débit max d environ 10 Mb/sec (soit 1.25 Mo/sec), format d image de 720 x 576, normes du DVD vidéo Qualité TV, utilisé en diffusion numérique (DVB : câble, satellite, bientôt terrestre) Normes peuvent être outrepassées impossibilité de lecture sur du matériel standard 15 MPEG MPEG Format de diffusion (encodage final) Stream / téléchargeable Peu adapté au montage délicat (compression inter-frame) Utilisépour : Le CD-i (MPEG1) Visioconf (variante) Le VCD (MPEG1), le S-VCD (MPEG2) Le DVD (MPEG1 et MPEG2) La diffusion : DVB (Digital Video Broadcasting) DVB-T, DVB-S, DVB-C 16
La compression MPEG : succession de méthodes de compression. Taux de compression considérable 20:1 System Diagram Encoder MPEG Image Blocks DCT Q VLC Encoder Motion Estimation Prediction Error Vector Prediction Vector DCT: generate DCT coefficients Quantization (Q): compress the data for faster transmission rate Motion Estimation:synthesis prediction, prediction error value, and DCT coefficient 17 Découpage Hiérarchique de la séquence Group of Picture (GOP) de I à I Picture Slice Macroblock Block 18
MPEG Principe : De façon régulière (en général, 2 fois par seconde), on encode une image complète (I-Frame, compression Intraframe) avec compression (DCT) Pour les autres images, compression en tenant compte du mouvement (on enregistre que les changements) I P B 19 On n'encode que les changements 20
MPEG 21 Compensation de mouvement Motion Compensation Diagram I Frame + Motion Vector Forward Prediction + Resulting Picture Prediction Error 22
Compensation de mouvement 23 Gestion de la couleur 24
Débit d un flux MPEG Débit variable selon le type d image (I-frame, P- frame, B-frame) et selon le mouvement Encodage selon divers critères en une ou 2 passes 25 Profil 26
MPEG 4 MPEG4 : Coding of Audiovisual Objects Adaptation à des débits variables entre 5Kb - 10 Mb/sec. Résolution et fréquence images QCIF - TVHD Deux types d algorithmes de compression: VLBV (Very Low Bit Rate Video), de 5 Kbit/s à 64 Kbit/s. HBV (Higher Bit Rate Video) - de 64 Kbit/s à 2 Mbit/s Encodage basé sur le contenu (objets médias) DRM (Digital Rights Management) AIC :Advanced Interactive Content : Interactivité (Hypermédia) Représentation 2D/3D SNHC (Synthetic Natural Hybrid Coding) Vidéoconférence, vidéo interactive, multimédia sur internet. 27 MPEG4 Objets médias 28 Maillage 3D et textures
MPEG4 Interactivité 29 MPEG MPEG7 : Multimedia Content Description Interface Bits à propos des bits Description du contenu Bas niveau : couleurs, formes, caractéristiques du son Haut niveau : information structurelle à propos du contenu des collections Complément du MPEG4 Indexation et recherche par le contenu Intégration de l information MPEG7 aux broadcasts, enregistreurs vidéo personnels, moteurs de recherche. MPEG21 : Multimedia Framework Multiplateformes : Broadcast, Internet, Disques Interopérabilité 30
Vidéo Numérique Souvent formats asymétriques (calcul encodage/décodage) 31 Vidéo Numérique Image couleur 24 bits Blocs Bit errors 32 Effet de Gibbs
Conclusion Problèmes Pérennité des supports Portabilité des formats / CODEC Copyright Accès au contenu Les choix du format, support, etc. dépendent de l application. 33