Compression et rendu de vidéos 3D par représentation LDI (Layered Depth Image)

Compression et rendu de vidéos 3D par représentation LDI (Layered Depth Image) Vincent Jantet 1, Luce Morin 2, Christine Guillemot 1 1 INRIA Rennes, Bretagne Atlantique, Campus de Beaulieu, 35042 Rennes France 2 IETR - INSA Rennes, 20 avenue des Buttes de Coësmes, 35043 Rennes France Coresa 2010 Vincent Jantet (INRIA - France) Compression et rendu LDI Coresa 2010 1 / 22

Contexte Video multi-vues Fonctionnalités désirées : 3DTV : Impression de relief par stéréoscopie. FVV : Choix du point de vue par le spectateur. Difficultés Acquisition : Synchronisation, calibration... Compression : Représentation compacte de la scène 3D. Rendu : Synthèse de vue photo-réaliste. Fig: Acquisition multi-vues Fig: Rendu 3D Vincent Jantet (INRIA - France) Compression et rendu LDI Coresa 2010 2 / 22

Plan 1 Introduction 2 Compression LDI par MVC 3 Remplissage par projection ordonnée 4 Résultats de compression Vincent Jantet (INRIA - France) Compression et rendu LDI Coresa 2010 3 / 22

Plan 1 Introduction 2 Compression LDI par MVC 3 Remplissage par projection ordonnée 4 Résultats de compression Vincent Jantet (INRIA - France) Compression et rendu LDI Coresa 2010 4 / 22

Problèmes de la synthèse de vue basée points Vue i Profondeur i Projections Entrées : Texture et carte de prof. associée Sortie : Nouveau point de vue Projection Problèmes Découvrement : Texture inconnue. Échantillonnage : Craquellement de texture Solutions proposées Couches supplémentaires (LDI) Remplissage (inpainting) Vincent Jantet (INRIA - France) Compression et rendu LDI Coresa 2010 5 / 22

Définition d une LDI [SGHS98] LDI (pour Layered Depth Image) Images composées de plusieurs couches, contenant : Les pixels visibles selon un point de vue. Les pixels masqués selon ce point de vue. Compression? 1 re couche 2 e couche 3 e couche Fig: Les premières couches d une LDI Vincent Jantet (INRIA - France) Compression et rendu LDI Coresa 2010 6 / 22

Remplissage basée texture Plusieurs méthodes : Par diffusion [Tel] Basée sur des patchs [CPT03]... Limites Diffusion de l avant plan Persistance de craquelures Remarque Il faut tenir compte de la géométrie (a) Découvrements (b) Inpainting de Telea (c) Inpainting de Criminisi Vincent Jantet (INRIA - France) Compression et rendu LDI Coresa 2010 7 / 22

Plan 1 Introduction 2 Compression LDI par MVC 3 Remplissage par projection ordonnée 4 Résultats de compression Vincent Jantet (INRIA - France) Compression et rendu LDI Coresa 2010 8 / 22

Codeur MVC (Multi-View Coding) Sur des Videos Multi-Vues Vue i... Méthode Prédiction inter-vue par champ de mouvement Vue j Prédictions Temps Prédictions : Temporelles Spatiales Inter-Vues... Limites Seulement 25% de gain par vue supplémentaire Champ de mouvement inadapté aux corrélations géométriques Vincent Jantet (INRIA - France) Compression et rendu LDI Coresa 2010 9 / 22

Codeur MVC (Multi-View Coding) Sur des Videos Multi-Vues Sur des LDI Vue i... Couche 1... Prédictions Prédictions Vue j... Couche n... Temps Prédictions : Temporelles Spatiales Inter-Vues Temps Prédictions : Temporelles Spatiales Inter-Couches Vincent Jantet (INRIA - France) Compression et rendu LDI Coresa 2010 9 / 22

Codeur MVC (Multi-View Coding) Méthode Couche visible servant à prédire les couches supplémentaires Avantages Pas de déformations géométriques Nombreux blocs identiques entre les couches Arrière plan "fixe" Sur des LDI Couche n Couche 1 Prédictions Temps Prédictions : Temporelles Spatiales Inter-Couches...... Vincent Jantet (INRIA - France) Compression et rendu LDI Coresa 2010 9 / 22

Plan 1 Introduction 2 Compression LDI par MVC 3 Remplissage par projection ordonnée 4 Résultats de compression Vincent Jantet (INRIA - France) Compression et rendu LDI Coresa 2010 10 / 22

Projection basée point Projection Fig: Projection classique sans zbuffer McMillan [McM95] Ordre de parcours des pixels pour supprimer le Z-buffer Permet également de connaitre le sens des vecteurs de disparité Vincent Jantet (INRIA - France) Compression et rendu LDI Coresa 2010 11 / 22

Projection : Détails d une ligne de pixels Zone de recouvrement Zone de découvrement Direction de parcours P i 1 P i Fig: Détails d une ligne de pixels pour une projection rectifiée Projection de P(x; y) en P(x ; y ) x i x i 1 Recouvrement x i > x i 1 Découvrement Vincent Jantet (INRIA - France) Compression et rendu LDI Coresa 2010 12 / 22

Projection : Cas non-réctifié Direction de parcours X j last P i Fig: Détails de quelques lignes de pixels pour une projection non rectifiée X j last : Abscisse du dernier pixel projeté sur la ligne j Projection de P(x; y) en P(x ; y ) x i < X j last Recouvrement x i > X j last Découvrement Vincent Jantet (INRIA - France) Compression et rendu LDI Coresa 2010 13 / 22

Résultats de projection ordonnée (a) Inpainting de Telea (b) Projection Ordonnée Vincent Jantet (INRIA - France) Compression et rendu LDI Coresa 2010 14 / 22

Résultats de projection ordonnée Fig: Qualité de la vue synthétisée en fonction de la distance de la caméra virtuelle Vincent Jantet (INRIA - France) Compression et rendu LDI Coresa 2010 15 / 22

Résultats de projection ordonnée Avantages Supprime les craquelures et les découvrements Remplit les découvrements avec la texture d arrière plan Calcul rapide, pas de post-traitement Limites Ne respecte pas les motifs et structures Restreindre à de petites zones de découvrement Vincent Jantet (INRIA - France) Compression et rendu LDI Coresa 2010 16 / 22

Plan 1 Introduction 2 Compression LDI par MVC 3 Remplissage par projection ordonnée 4 Résultats de compression Vincent Jantet (INRIA - France) Compression et rendu LDI Coresa 2010 17 / 22

Comparaison MVD et LDI MVC sur MVD Vues d entrées V1 V2 V3 V4 MVC V1 V2 V3 V4 Compressées Synthèse Vue final VSRS F MVC sur LDI LDI Entrée MVC Compression LDI Compressée Proj. Synthèse F Vue final Vincent Jantet (INRIA - France) Compression et rendu LDI Coresa 2010 18 / 22

Compression LDI Fig: Qualité de la vue synthétisée pour différents codages et débits Vincent Jantet (INRIA - France) Compression et rendu LDI Coresa 2010 19 / 22

Rendu final (a) Projection Ordonnée d une seule vue (+ prof.) (b) Projection Ordonnée d une LDI Vincent Jantet (INRIA - France) Compression et rendu LDI Coresa 2010 20 / 22

Conclusion Avantages LDI : remplissage photo-réaliste des zones de découvrement MVC : compression efficace des couches Proj. Ordonnée : remplissage des craquelures par la texture d arrière plan Limites MVC inadapté aux compressions des cartes de profondeur Objectifs Exploiter la projection ordonnée pour prédire les couches Tenir compte des artéfacts de compression des cartes de profondeurs Questions? Vincent Jantet (INRIA - France) Compression et rendu LDI Coresa 2010 21 / 22

[CPT03] A. Criminisi, P. Pérez et K. Toyama : Object removal by exemplar-based inpainting. pages 721 728, 2003. [McM95] L. McMillan : A list-priority rendering algorithm for redisplaying projected surfaces. Rapport technique, Chapel Hill, NC, USA, 1995. [SGHS98] J. Shade, S. Gortler, L. W. He et R. Szeliski : Layered depth images. In SIGGRAPH 98 : Proceedings of the 25th annual conference on Computer graphics and interactive techniques, pages 231 242, New York, NY, USA, 1998. ACM. [Tel] Alexandru Telea : An image inpainting technique based on the fast marching method. Vincent Jantet (INRIA - France) Compression et rendu LDI Coresa 2010 22 / 22