Génération automatique de cartes de profondeur relative par utilisation des occlusions dynamiques

Dimension: px

Commencer à balayer dès la page:

Download "Génération automatique de cartes de profondeur relative par utilisation des occlusions dynamiques"

Joel Beaudin
il y a 6 ans
Total affichages :

1 Génération automatique de cartes de profondeur relative par utilisation des occlusions dynamiques Louiza Oudni, Carlos Vázquez, Stéphane Coulombe Université du Québec École de technologie supérieure Département de génie logiciel et des TI 1/12

2 1 Introduction 2 Vue globale 3 Flot optique 4 Calcul des occlusions 5 Segmentation 6 Calcul de l ordre 2/12

3 Mise en contexte Les téléviseurs 3D n ont pas eu tout le succès escompté. Obstacle rencontré? : Manque de contenu 3D Peu de contenu 3D Ralentissement de l industrie de la 3D Manque d intérêt pour la 3D Une solution? Conversion automatique de vidéo 2D à 3D 3/12

4 Passage de la 2D à la 3D Que manque-t-il à la 2D pour être 3D? L information de profondeur L algorithme Depth-Image Based Rendering (DIBR), permet de générer du contenu 3D à partir de contenu 2D et de la profondeur Contenu 2D Algorithme DIBR Contenu 3D Estimation de profondeur Carte de profondeur Il faut donc estimer la profondeur du contenu 2D! 4/12

5 Indices de profondeurs Des indices de profondeurs sont présents dans du contenu 2D et rendent la conversion automatique 2D à 3D possible. On peut citer : Des indices de profondeur statiques : Les perspectives linéaires, occlusions statiques, taille connue des objets, brume atmosphérique... Des indices de profondeur dynamiques : Parallaxe de mouvement, occlusions dynamiques... Avantages des occlusions : Un indice de profondeur fiable et présent dans tout type de scène 5/12

Introduction Vue globale Flot optique Occlusions Segmentation Carte de profondeur Vue globale L approche suivie est inspirée par celle de Salembier et Palou (2014) et comprend les

occlusions est effectué plus simplement grâce aux propriétés du flot optique utilisé.

6 Introduction Vue globale Flot optique Occlusions Segmentation Carte de profondeur Vue globale L approche suivie est inspirée par celle de Salembier et Palou (2014) et comprend les améliorations : Le flot optique utilisé est une version modifiée de l Epic-flow : les contours sont préservés et il y a cohérence entre le flot en avant et en arrière Le calcul des occlusions est effectué plus simplement grâce aux propriétés du flot optique utilisé. flot (t 1) t trame t 1 flots optiques avant/arrière flot (t + 1) t trame traitée t flot t (t 1) flots optiques avant/arrière trame t+1 flot t (t + 1) Partition initiale Pixels nouvellement apparus Pixels cachés Calcul des Occlusions Arbre binaire de partition Elagage/segmentation Carte de profondeur relative 6/12

Epic-flow est une méthode de calcul du flot optique

n assure pas la cohérence des mouvements avant et

Image I1 Contours C1 Régions de Voronoi 1 Image I2

7 Introduction Vue globale Flot optique Occlusions Segmentation Carte de profondeur Epic-flow L Epic-flow est une méthode de calcul du flot optique qui a pour avantage de préserver les contours, mais n assure pas la cohérence des mouvements avant et arrière. Image I1 Contours C1 Régions de Voronoi 1 Image I2 Interpolation dense et minimisation d énergie Flot optique 1 2 Correspondance 1 2 Étapes de l Epic-flow 7/12

Interpolation dense et minimisation d énergie Contours C1 Régions 1 image I1 Flot optique 1 2 Correspondances 1 2

8 Introduction Vue globale Flot optique Occlusions Segmentation Carte de profondeur Epic-flow modifié Des modifications apportées à l Epic-flow, ont permis de rendre le flot optique cohérent avant-arrière. Interpolation dense et minimisation d énergie Contours C1 Régions 1 image I1 Flot optique 1 2 Correspondances 1 2 Correspondances 1 2 Correspondances 2 1 Correspondance entre régions Flot optique 2 1 image I2 Régions 2 Contours C2 Interpolation dense et minimisation d énergie Étapes de l Epic-flow modifié 8/12

9 Calcul des occlusions Un pixel p est considéré caché à la trame t + 1 par rapport à la trame t s il vérifie les trois conditions : Il n y a pas, au point p, cohérence entre le mouvement avant w t (t+1) et arrière w (t+1) t. p est proche d un contour. Les voisins de p selon la direction du gradient du contour à p, déplacés par le mouvement avant w t (t+1) s approchent de p t+1. Avec p t+1 = p + w t (t+1) (p). Si p c est un pixel caché, alors pret c = pt+1 c + w (t+1) t(pt+1 c ) est le pixel de la trame t, qui le cachera à la trame t /12

10 Segmentation La segmentation est effectuée de façon similaire à l approche Salembier et Palou (2014) 1 Un arbre de partition binaire est formé en fusionnant itérativement des régions. À chaque itération, les deux régions les plus similaires sont fusionnées, selon une métrique considérant la couleur, le mouvement, la taille et la forme des régions. 2 Un élagage de cet arbre permet d obtenir une segmentation. L élagage minimise le nombre de paires (p c, p c ret) contenu dans une seule région. 10/12

11 Une fois la segmentation obtenue, les régions sont ordonnées à l aide des paires (p c, p c ret). Plus le nombre de pixels p c appartenant à une région R a et leurs p c ret respectifs appartiennent à une région R b est grand, plus il est probable que R b soit en avant de R a. Segmentation Carte de profondeur relative 11/12

12 Références Revaud, Jerome, Philippe Weinzaepfel, Zaid Harchaoui, Cordelia Schmid, Jerome Revaud,Philippe Weinzaepfel, Zaid Harchaoui et Cordelia Schmid Epicflow Edge «Epic-Flow : Edge-Preserving Interpolation of Correspondences for Optical Flow».Cvpr2015, p Salembier, Philippe et Guillem Palou «Depth order estimation for video frames using motion occlusions».iet Computer Vision, vol. 8, n.2, p /12

Documents pareils

Synthèse d'images I. Venceslas BIRI IGM Université de Marne La

Synthèse d'images I. Venceslas BIRI IGM Université de Marne La Synthèse d'images I Venceslas BIRI IGM Université de Marne La La synthèse d'images II. Rendu & Affichage 1. Introduction Venceslas BIRI IGM Université de Marne La Introduction Objectif Réaliser une image