Acquisition de vidéos HDR multi-vues

Dimension: px

Commencer à balayer dès la page:

Download "Acquisition de vidéos HDR multi-vues"

Pierre-Marie Sauvé
il y a 8 ans
Total affichages :

1 Acquisition de vidéos HDR multi-vues Directrice de thèse : Céline LOSCOS Encadrant : Gilles VALETTE Séminaire CReSTIC SIC Le 19 janvier 2012 Jennifer BONNARD Jennifer BONNARD

2 Sommaire Introduction État de l art Images HDR Images 3D Méthode développée Résultats obtenus Conclusion Perspectives 2

3 Sommaire Introduction État de l art Images HDR Images 3D Méthode développée Résultats obtenus Conclusion Perspectives 3

4 Introduction Vers une restitution fidèle de la réalité Images en relief Images HDR Vidéos Ajout d une information de profondeur Ajout d une plus grande gamme dynamique d intensités lumineuses Ajout de mouvement Thèse «Capture Vidéos 3D et HDR» 4

5 Sommaire Introduction État de l art Images HDR Images 3D Méthode développée Résultats obtenus Conclusion Perspectives 5

6 État de l art Images HDR Acquisition Méthodes Combinaison de plusieurs images acquises à des temps d exposition différents [Debevec 97] Estimation des courbes de réponse liant valeur RGB et valeur HDR des pixels [Debevec 97,Mann 95, Mitsunaga 95] Acquisition d une vidéo avec des temps d exposition différents [Kang 03] Matériel Caméra Spheron [SpheroCam HDR 11], Tocci [Tocci 11] Appareil photo doté de la fonction HDR [Apple] Visualisation Écrans HDR : BrightSide repris par Dolby Logiciels : Photoshop, HDRShop, avec tone mapping ([Reinhard 05], [Drago 03],, [Fattal 02]) intégré, gohdr Media Player, 6

7 - Temps d exposition + État de l art Imagerie HDR Utilisation d une fonction poids [Debevec 97] Image LDR produite par tone mapping [Drago 2003] à partir de l image HDR 7

8 Sommaire Introduction État de l art Images HDR Images 3D Méthode développée Résultats obtenus Conclusion Perspectives 8

9 État de l art Images 3D Acquisition 3D Images Plusieurs prises de vues par un appareil photo standard (rail photo CReSTIC) Appareil photo stéréoscopique Vidéos Plusieurs caméras synchronisées Caméra multi-scopique : OctoCam de 3DTV Solutions et CReSTIC Rail photo CReSTIC Visualisation 3D Avec lunettes Sans lunettes Caméra multi-scopique développée par la société 3DTV Solutions et le CReSTIC 9

10 État de l art Images 3D Acquisition 3D Images Plusieurs prises de vues par un appareil photo standard (rail photo CReSTIC) Appareil photo stéréoscopique Vidéos Plusieurs caméras synchronisées Caméra multi-scopique : OctoCam de 3DTV Solutions et CReSTIC Rail photo CReSTIC Visualisation 3D Avec lunettes Sans lunettes Caméra multi-scopique développée par la société 3DTV Solutions et le CReSTIC 10

11 État de l art Images 3D Caractéristiques 8 objectifs alignés horizontalement Distance inter centres optiques : 59 mm Distance à la scène : 4,20 m Volume de la scène : 1 m 3 11

12 État de l art Images 3D Géométrie associée : géométrie parallèle décentrée Axes optiques parallèles entre eux Distance de convergence non-infinie 12

13 État de l art Images 3D + Acquisition de 8 images synchronisées d une même scène Caméra à géométrie connue - Limitation matérielle + - Points de vue différents 13

14 État de l art Images 3D + Acquisition de 8 images synchronisées d une même scène Caméra à géométrie connue - Limitation matérielle + - Points de vue différents Exploitation des avantages de la caméra pour proposer une solution pour la vidéo HDR multi-vue 14

15 État de l art Images 3D Les écrans autostéréoscopiques Écran à réseau lenticulaire 15

16 État de l art Images 3D Images LDR 8 bits par canal Caméra multi-scopique développée par la société 3DTV Solutions et le CReSTIC Écran autostéréoscopique Image composite LDR 8 bits par canal 16

17 Sommaire Introduction État de l art Images HDR Images 3D Méthode développée Résultats obtenus Conclusion Perspectives 17

18 Méthode développée Adaptation de la caméra Acquisition Mise en correspondance des pixels Rendu 3D HDR (Tone Mapping) Calcul des images HDR 18

19 Méthode développée Adaptation de la caméra Acquisition Mise en correspondance des pixels Rendu 3D HDR (Tone Mapping) Calcul des images HDR 19

Méthode développée : adaptation de la caméra Réaction différente selon le capteur Mêmes capteurs CMOS Imprécision de leur positionnement lors du

20 Méthode développée : adaptation de la caméra Réaction différente selon le capteur Mêmes capteurs CMOS Imprécision de leur positionnement lors du montage de la caméra Calibration géométrique Calibration colorimétrique Alignement horizontal des images Cohérence des couleurs sur les 8 capteurs 20

21 Méthode développée : adaptation de la caméra Fixation de filtres directement sur les objectifs de la caméra 2 filtres de densité filtres de densité filtres de densité 0.3 Temps d exposition / 8 Temps d exposition / 4 Positionnement des filtres basé sur une heuristique Limiter l écart de densité des filtres sur deux vues consécutives Temps d exposition / 2 Temps d exposition réel 21

22 Méthode développée : adaptation de la caméra Acquisition simultanée de plusieurs temps d exposition (simulés) à partir de plusieurs points de vue Temps d exposition réel = 40 ms d = 0.3 d = 0.9 d = 0.6 d =0 d =0 d = 0.3 d = 0.9 d = 0.6 Images LDR 8 bits par canal 22

23 Méthode développée Images à des temps d exposition différents Images pondérées par le temps d exposition 1 image HDR par vue Rendu HDR 3D 23

24 Méthode développée Images à des temps d exposition différents Images pondérées par le temps d exposition 1 image HDR par vue Rendu HDR 3D 24

25 Méthode développée Adaptation de la caméra Acquisition Mise en correspondance des pixels Rendu 3D HDR (Tone Mapping) Calcul des images HDR 25

26 Méthode développée : mise en correspondance Méthode de mise en correspondance [Niquin 11] Match : ensemble de pixels représentant le même point 3D de la scène Basée sur la colorimétrie et une minimisation d énergie Caves Ruinart [Niquin 11] 26

27 Méthode développée Adaptation de la caméra Acquisition Mise en correspondance des pixels Rendu 3D HDR (Tone Mapping) Calcul des images HDR 27

28 Méthode développée : calcul des images HDR Images LDR M Images LDR acquises avec filtres Points 3D de la scène 28

29 Méthode développée : calcul des images HDR Images LDR M Images LDR acquises avec filtres Points 3D de la scène 29

30 Méthode développée : calcul des images HDR Calcul de la valeur HDR E Pour le match M et chaque composante c dans R, V, B E c M = p M p : pixel appartenant à M dans l image n (n є [1,8]) I c (p): intensité de p dans la composante c w : fonction poids dt n : temps d exposition de l image n Calcul de la fonction poids W w c = 1 2 c c : valeur du pixel dans la composante R, V ou B w I c p I c p /dt n p M w I c (p) 30

31 Méthode développée : calcul des images HDR Images LDR M Images LDR acquises avec filtres Points 3D de la scène Images HDR 31

32 Méthode développée Images à des temps d exposition différents Images pondérées 1 image HDR par vue Rendu HDR 3D 32

33 Méthode développée Adaptation de la caméra Acquisition Mise en correspondance des pixels Rendu 3D HDR (Tone Mapping) Calcul des images HDR 33

34 Méthode développée Images à des temps d exposition différents Images pondérées 1 image HDR par vue Rendu HDR 3D 34

35 Sommaire Introduction État de l art Images HDR Images 3D Méthode développée Résultats obtenus Conclusion Perspectives 35

36 Résultats obtenus Génération d images HDR 3D à partir d une caméra multi-scopique Images LDR acquises avec filtres Images HDR HDRShop 36

37 Résultats obtenus Problèmes dus à : La calibration Un arrière plan à l infini La mise en correspondance des pixels 37

38 Résultats obtenus Exemple d erreurs produites 38

39 Sommaire Introduction État de l art Images HDR Images 3D Méthode développée Résultats obtenus Conclusion Perspectives 39

40 Conclusion Première étude de génération de vidéos HDR 3D À partir du matériel disponible au laboratoire En appliquant des méthodes de la littérature Limitations actuelles Temps de calcul Types de scènes acquises 40

41 Sommaire Introduction État de l art Images HDR Images 3D Méthode développée Résultats obtenus Conclusion Perspectives 41

42 Perspectives Adaptation de la caméra Amélioration des méthodes de calibration Variation des temps d exposition par une autre méthode Mise en correspondance des pixels Optimisation de la méthode utilisée Exploration d autres méthodes Calcul des images HDR Utilisation directe des valeurs acquises par les capteurs Tone mapping Recherche d algorithmes pour les vidéos HDR 3D 42

43 Merci de votre attention Des questions? 43

Documents pareils

Immersion - Vision 3D dans la RV.

Cours RVS Master II IVA Immersion - Vision 3D dans la RV. Cours de Réalité Virtuelle et Simulation Master II - IVA A. Mebarki - Maître de Conférences Département d'informatique Faculté des Mathématiques