Acquisition de vidéos HDR multi-vues Directrice de thèse : Céline LOSCOS Encadrant : Gilles VALETTE Séminaire CReSTIC SIC Le 19 janvier 2012 Jennifer BONNARD Jennifer BONNARD
Sommaire Introduction État de l art Images HDR Images 3D Méthode développée Résultats obtenus Conclusion Perspectives 2
Sommaire Introduction État de l art Images HDR Images 3D Méthode développée Résultats obtenus Conclusion Perspectives 3
Introduction Vers une restitution fidèle de la réalité Images en relief Images HDR Vidéos Ajout d une information de profondeur Ajout d une plus grande gamme dynamique d intensités lumineuses Ajout de mouvement Thèse «Capture Vidéos 3D et HDR» 4
Sommaire Introduction État de l art Images HDR Images 3D Méthode développée Résultats obtenus Conclusion Perspectives 5
État de l art Images HDR Acquisition Méthodes Combinaison de plusieurs images acquises à des temps d exposition différents [Debevec 97] Estimation des courbes de réponse liant valeur RGB et valeur HDR des pixels [Debevec 97,Mann 95, Mitsunaga 95] Acquisition d une vidéo avec des temps d exposition différents [Kang 03] Matériel Caméra Spheron [SpheroCam HDR 11], Tocci [Tocci 11] Appareil photo doté de la fonction HDR [Apple] Visualisation Écrans HDR : BrightSide repris par Dolby Logiciels : Photoshop, HDRShop, avec tone mapping ([Reinhard 05], [Drago 03],, [Fattal 02]) intégré, gohdr Media Player, 6
- Temps d exposition + État de l art Imagerie HDR Utilisation d une fonction poids [Debevec 97] Image LDR produite par tone mapping [Drago 2003] à partir de l image HDR 7
Sommaire Introduction État de l art Images HDR Images 3D Méthode développée Résultats obtenus Conclusion Perspectives 8
État de l art Images 3D Acquisition 3D Images Plusieurs prises de vues par un appareil photo standard (rail photo CReSTIC) Appareil photo stéréoscopique Vidéos Plusieurs caméras synchronisées Caméra multi-scopique : OctoCam de 3DTV Solutions et CReSTIC Rail photo CReSTIC Visualisation 3D Avec lunettes Sans lunettes Caméra multi-scopique développée par la société 3DTV Solutions et le CReSTIC 9
État de l art Images 3D Acquisition 3D Images Plusieurs prises de vues par un appareil photo standard (rail photo CReSTIC) Appareil photo stéréoscopique Vidéos Plusieurs caméras synchronisées Caméra multi-scopique : OctoCam de 3DTV Solutions et CReSTIC Rail photo CReSTIC Visualisation 3D Avec lunettes Sans lunettes Caméra multi-scopique développée par la société 3DTV Solutions et le CReSTIC 10
État de l art Images 3D Caractéristiques 8 objectifs alignés horizontalement Distance inter centres optiques : 59 mm Distance à la scène : 4,20 m Volume de la scène : 1 m 3 11
État de l art Images 3D Géométrie associée : géométrie parallèle décentrée Axes optiques parallèles entre eux Distance de convergence non-infinie 12
État de l art Images 3D + Acquisition de 8 images synchronisées d une même scène Caméra à géométrie connue - Limitation matérielle + - Points de vue différents 13
État de l art Images 3D + Acquisition de 8 images synchronisées d une même scène Caméra à géométrie connue - Limitation matérielle + - Points de vue différents Exploitation des avantages de la caméra pour proposer une solution pour la vidéo HDR multi-vue 14
État de l art Images 3D Les écrans autostéréoscopiques Écran à réseau lenticulaire 15
État de l art Images 3D Images LDR 8 bits par canal Caméra multi-scopique développée par la société 3DTV Solutions et le CReSTIC Écran autostéréoscopique Image composite LDR 8 bits par canal 16
Sommaire Introduction État de l art Images HDR Images 3D Méthode développée Résultats obtenus Conclusion Perspectives 17
Méthode développée Adaptation de la caméra Acquisition Mise en correspondance des pixels Rendu 3D HDR (Tone Mapping) Calcul des images HDR 18
Méthode développée Adaptation de la caméra Acquisition Mise en correspondance des pixels Rendu 3D HDR (Tone Mapping) Calcul des images HDR 19
Méthode développée : adaptation de la caméra Réaction différente selon le capteur Mêmes capteurs CMOS Imprécision de leur positionnement lors du montage de la caméra Calibration géométrique Calibration colorimétrique Alignement horizontal des images Cohérence des couleurs sur les 8 capteurs 20
Méthode développée : adaptation de la caméra Fixation de filtres directement sur les objectifs de la caméra 2 filtres de densité 0.9 2 filtres de densité 0.6 2 filtres de densité 0.3 Temps d exposition / 8 Temps d exposition / 4 Positionnement des filtres basé sur une heuristique Limiter l écart de densité des filtres sur deux vues consécutives Temps d exposition / 2 Temps d exposition réel 21
Méthode développée : adaptation de la caméra Acquisition simultanée de plusieurs temps d exposition (simulés) à partir de plusieurs points de vue Temps d exposition réel = 40 ms d = 0.3 d = 0.9 d = 0.6 d =0 d =0 d = 0.3 d = 0.9 d = 0.6 Images LDR 8 bits par canal 22
Méthode développée Images à des temps d exposition différents Images pondérées par le temps d exposition 1 image HDR par vue Rendu HDR 3D 23
Méthode développée Images à des temps d exposition différents Images pondérées par le temps d exposition 1 image HDR par vue Rendu HDR 3D 24
Méthode développée Adaptation de la caméra Acquisition Mise en correspondance des pixels Rendu 3D HDR (Tone Mapping) Calcul des images HDR 25
Méthode développée : mise en correspondance Méthode de mise en correspondance [Niquin 11] Match : ensemble de pixels représentant le même point 3D de la scène Basée sur la colorimétrie et une minimisation d énergie Caves Ruinart [Niquin 11] 26
Méthode développée Adaptation de la caméra Acquisition Mise en correspondance des pixels Rendu 3D HDR (Tone Mapping) Calcul des images HDR 27
Méthode développée : calcul des images HDR Images LDR M Images LDR acquises avec filtres Points 3D de la scène 28
Méthode développée : calcul des images HDR Images LDR M Images LDR acquises avec filtres Points 3D de la scène 29
Méthode développée : calcul des images HDR Calcul de la valeur HDR E Pour le match M et chaque composante c dans R, V, B E c M = p M p : pixel appartenant à M dans l image n (n є [1,8]) I c (p): intensité de p dans la composante c w : fonction poids dt n : temps d exposition de l image n Calcul de la fonction poids W w c = 1 2 c 12 255 1 c : valeur du pixel dans la composante R, V ou B w I c p I c p /dt n p M w I c (p) 30
Méthode développée : calcul des images HDR Images LDR M Images LDR acquises avec filtres Points 3D de la scène Images HDR 31
Méthode développée Images à des temps d exposition différents Images pondérées 1 image HDR par vue Rendu HDR 3D 32
Méthode développée Adaptation de la caméra Acquisition Mise en correspondance des pixels Rendu 3D HDR (Tone Mapping) Calcul des images HDR 33
Méthode développée Images à des temps d exposition différents Images pondérées 1 image HDR par vue Rendu HDR 3D 34
Sommaire Introduction État de l art Images HDR Images 3D Méthode développée Résultats obtenus Conclusion Perspectives 35
Résultats obtenus Génération d images HDR 3D à partir d une caméra multi-scopique Images LDR acquises avec filtres Images HDR HDRShop 36
Résultats obtenus Problèmes dus à : La calibration Un arrière plan à l infini La mise en correspondance des pixels 37
Résultats obtenus Exemple d erreurs produites 38
Sommaire Introduction État de l art Images HDR Images 3D Méthode développée Résultats obtenus Conclusion Perspectives 39
Conclusion Première étude de génération de vidéos HDR 3D À partir du matériel disponible au laboratoire En appliquant des méthodes de la littérature Limitations actuelles Temps de calcul Types de scènes acquises 40
Sommaire Introduction État de l art Images HDR Images 3D Méthode développée Résultats obtenus Conclusion Perspectives 41
Perspectives Adaptation de la caméra Amélioration des méthodes de calibration Variation des temps d exposition par une autre méthode Mise en correspondance des pixels Optimisation de la méthode utilisée Exploration d autres méthodes Calcul des images HDR Utilisation directe des valeurs acquises par les capteurs Tone mapping Recherche d algorithmes pour les vidéos HDR 3D 42
Merci de votre attention Des questions? 43