Plan Analyse vidéo Algorithmes de traitement vidéo Stéphanie Jehan-Besson MCF GREYC-Images Septembre 2006 MASTER PRO RADI Algorithmes de traitement vidéos ) Introduction 5) Amélioration d images 6) Évaluation de la qualité des vidéos ) Classification des traitements vidéos ) Classification des traitements vidéos Conversion de formats progressif /entrelacé 50 Hz 60 Hz 00 Hz entrelacé Amélioration des images Greener grass Cinéma 24Hz progressif Web, CIF, QCIF -25 Hz progressif 72 Hz 85 Hz 95 Hz progressif ) Applications des traitements vidéo ) Applications des traitements vidéo Exemples de traitements vidéos dans les appareils électroniques vendus actuellement (citations du web) «Carte vidéo : Désentrelacement spatio/temporel adaptatif». «Le ***** procède à un désentrelacement et une mise à l échelle des signaux vidéo d une manière élaborée.. Les transitions entre les différents niveaux de gris sont rendues plus subtiles (moins de dégradés et transitions de couleurs plus nettes), la définition plus poussée (lissage des diagonales) et la fluidité plus grande (détection et compensation des mouvements inter trames, détection du 2:2 et du 3:2 Pull-Down )». «le traitement video ****** : le système de désentrelacement DCDiDCDi : (Directional Correlation DeInterlacing). Cette technologie est intégrée sur les appareils de la marque, et également proposée sur certains lecteurs DVD, téléviseurs ou video-projecteurs. Contraintes pour ces traitements Temps réel De la source Vidéo à l affichage : chaîne de traitement Désentrelacement : remplir les «s» manquants Interpolation spatiale ou temporelle ou combinaison des deux Conversion de la fréquence temporelle Ajout d images entre deux images Mise à l échelle spatiale Changement de l espace couleur Transfert Electro-optique Gamma correction Source : De Haan
) Rappels sur l échantillonnage Transformée e de Fourier d un d signal échantillonnée I v y x TF ) Rappels sur l échantillonnage Filtre de Reconstruction v TF- u u sinπx sinπy h( x, y) = πx πy y x Thèorème de Nyquist-Shannon : x y 2F 2G [-G,G] [-F,F] f ( x, y) = sinπ ( x m) sinπ ( y n) n) + + g( m, n) m= n= π ( x m) π ( y Algorithmes de Block Matching (utilisés s en compression vidéo) Division de l image en blocs Bloc mouvement paramétrique (en général : translation) Principe : déterminer le bloc qui minimise un critère d erreur sur l intensité entre deux blocs d(x) I n- I n T= (référence) T=2 (image courrante) Bloc(x) Algorithmes de Block Matching Algorithmes de Block Matching Bloc 6*6 Bloc 8*8 Bloc 4*4
critères d erreurs entre blocs utilisés : SAD SSD ZNSSD Blocs où l estimation du mouvement sera délicate Blocs comprenant objet en mouvement / fond Blocs des zones homogènes Paramètres : Taille des blocs (dans MPEG-2 6*6) Fenêtre de recherche : déplacement maximum, d max =R Nombres de calculs de critère à effectuer pour un bloc, pour toute l image? (bloc N*N, d max =R, taille image = M) Exo : à calculer pour des blocs 6*6 sur une image 352*288 avec d max = 7 Algorithme rapide : 3-steps search 3 étapes : pas supérieur ou égal à la moitié de d max (partie entière supérieure), conservation de la meilleure position pour l appariement Réduction du pas de déplacement de moitié Dernière étape : pas= Algorithme rapide : 3-steps search? : nombre de calculs du critère Objectif : remplir les champs manquants pairs ou impairs d une d image entrelacée No motion + Motion
IV.2) Désentrelacement Désentrelacement incorrect /correct Différentes approches Techniques linéaires Répétition de lignes Interpolation linéaire («Bob») Répétition de champs («Weave») Filtre VT (vertical / temporal) Techniques non linéaires Algorithmes avec détection du mouvement Interpolation le long du gradient EDDI (Philips), ELA Méthodes compensées en mouvement Algorithme récursif adaptatif Approche avec détection d des contours ELA : Edge Line Averaging Persistance rétinienne r : Teleciné : Conversion d un d Film (24 frame/s) en vidéo entrelacée e (60 s/s) /6 second /24 second /24 second /24 second /24 second frame frame 2 frame 3 frame 4 frame frame 2 frame 3 frame 4 frame 5 Real time 3:2 Pulldown
Teleciné : artefact Conversion du débitd Schéma : Don Munsil and Brian Florian, DVD Benchmark Source: kees Vissers Philips /G. de Haan Utilisation d un d estimateur de mouvement Utilisation de la segmentation Interpolation de la région en fonction de son vecteur mouvement Source: kees Vissers Philips Source: windows hardware developer central Changement de résolutionr Changement de résolution r : upscaling Hauteur Largeur Ratio Débit temporel 080 920 6:9 60 F, 30 P, 24P HDTV 720 280 6:9 60P, 30P, 24P 480 704 6:9 & 4:3 60P, 60F, 30P, 24P SDTV 480 640 4:3 60P, 60F, 30P, 24P F() Input signal 2 3 4 Intermediate signal F(/2) 2345678 Interpolating low-pass filter Output signal F(/2) 2345678
Changement de résolution r : downscaling F() Input signal Decimating low-pass filter prevents alias at lower rate Exemple d algorithme d de changement de résolution r : GREYCstoration http://www.greyc.ensicaen.fr/~dtschump/greycstoration/demo.html 2 3 4 Output signal F(2) 2 Changement de résolution r non linéaire Mode panoramique : ajout d informations 5) Amélioration d images Peaking Schéma :Thèse CIFRE GREYC-NXP M.Elhassani 5) Amélioration d images 6) Segmentation en régions Peaking
5) Segmentation en régions 7) Mesures objectives de qualité vidéo Consistante temporelle Distorsion, EQM : MSE (Mean( Square Error) Entre les séquences I et I 2 MSE = 2 N t x, x2 N : nombre total de pixels de la séquence ( I ( x, x, t) I ( x, x, t) ) 2 Pour les images couleurs : MSE sur Y, MSE sur U et MSE sur V séparément MAD (Mean( Absolute Difference) MAD = N t x, x2 I ( x, x2, t) I2( x, x2, t) 2 2 7) Mesures objectives de qualité vidéo PSNR (Peak( Signal to Noise Ratio) Entre les séquences I et I 2 2 I max PSNR = 0log 0 MSE I max : maximum d intensité du signal vidéo ( exemple I max =255) Unité : db plus utilisé que le MSE Ordres de grandeur : Luminance : 40 db = excellente image 30-40 db = image de bonne qualité 20 30 db = qualité mauvaise PSNR < 20 db = inacceptable