Vers une Plateforme de Numérisation: application à la synthèse d'images et l'héritage culturel

Dimension: px

Commencer à balayer dès la page:

Download "Vers une Plateforme de Numérisation: application à la synthèse d'images et l'héritage culturel"

Marie-Noëlle Bonneau
il y a 8 ans
Total affichages :

1 Vers une Plateforme de Numérisation: application à la synthèse d'images et l'héritage culturel Jean-Michel Dischler Professeur d informatique Olivier Génevaux (IGR 50%) + Frédéric Larue, Marc Fournier, Guillaume Gilet, Lucas Ammann (Post-)Doctorants IGR en cours de recrutement Hyewon Seo (CR CNRS), Rémi Allègre (MCF), Basile Sauvage (MCF) + Kenneth Vanhoey (Doctorant) LSIIT IGG Université de Strasbourg

Gilet, Lucas Ammann (Post-)Doctorants IGR en cours de recrutement Hyewon Seo (CR CNRS), Rémi Allègre (MCF),

2 Plan Introduction et motivation Plateforme de numérisation: équipements et logiciels Conclusion 2

3 Numérisation en Synthèse d Images Cadre: équipe IGG du LSIIT (UMR 7005) Thèmes Numérisation et Modélisation Numérisation 3D(+t) en synthèse d images: pourquoi? Simplifier le travail de modélisation d objets 3D pour les créateurs de contenu Permettre une manipulation virtuelle et un archivage numérique d objets «réels» pour faciliter la création de contenus, l étude de ces objets ainsi que leur diffusion Champs d applications visés, au-delà de la synthèse d images: héritage culturel, archéologie, muséographie + biomécanique. Introduction et motivation 3

Simplifier le travail de modélisation d objets 3D pour les créateurs de contenu Permettre une manipulation virtuelle et un archivage

4 Numérisation 3D Numérisation 3D(+t): les défis => travail technique souvent fastidieux nécessitant beaucoup d interventions manuelles (réalisation par un expert) et/ou du matériel très onéreux et peu flexible (robot) Manipulations : prises de vues, nettoyage des nuages de points, recalage, création de maillages Gestion de l apparence de l objet difficile : prises de photographies nombreuses, dépendance aux conditions d éclairage, recalage par rapport à l'objet, création des textures Adaptation des données au dispositif d affichage: simplification géométrique sans perte de précision en terme de rendu Introduction et motivation 4

Gestion de l apparence de l objet difficile : prises de photographies nombreuses, dépendance aux conditions d éclairage, recalage par rapport à l'objet,

5 Plateforme de Numérisation Equipe IGG au LSIIT Plateforme: équipements et logiciels Plateforme 5

6 Equipements Géométrie Scanner laser (Leica) Scanner lumière structurée (Holo3) Apparence Matériel photographique Motion capture Vicon Futur Robot de positionnement Photogrammétrie + contours Plateforme 6

Matériel photographique Motion capture Vicon Futur

7 Logiciel Pilotage matériels Acquisition / expoitation données Modules pour la production de données de plus haut niveau Maillages Textures / Champs de reflectance Capitalisation code Mise à disposition / réutilisabilité Intégration travaux internes / externes à l'équipe Plateforme 7

Champs de reflectance Capitalisation code Mise à disposition /

8 Plateforme «petits objets» Challenges: dispositif simple (transportable, peu onéreux), sans contact, avec précision et automatisme Technologie: lumière structurée : Acquisition Modèle final Recalage géométrie/géométrie automatique sans usage de mires Intégration Débruitage Simplification Recalage photos/géométrie Dépliage / Paramétrisation Texture (constante, polynôme, Lafortune) Plateforme 8

Recalage géométrie/géométrie automatique sans usage de mires Intégration Débruitage Simplification

9 Recalage Aligner plusieurs scans dans un repère unique 9

10 Recalage Idée: utiliser le motif projeté avec caméra externe 10

11 Recalage Idée: utiliser le motif projeté avec caméra externe Affiner avec ICP local puis ICP global 11

12 Recalage Idée: utiliser le motif projeté avec caméra externe Affiner avec ICP local puis ICP global 12

13 Recalage Idée: utiliser le motif projeté avec caméra externe Affiner avec ICP local puis ICP global 13

14 Intégration Reconstruction Volumique de Poisson Données [Pi, Ni] Fonction indicatrice X Extraction isosurface 14

15 Débruitage Filtrage basé voxels: principe Mean filter: (uniform weights) Low-pass filters: (5x5x5 voxels kernel) 5x5x5 voxels kernel 7x7x7 voxels kernel Median 15

16 Débruitage Filtrage adaptatif basé voxels g(x ) = 1 σ Fr σ σ 2 n 2 r 2 r ( x, y,z ) f ( X ) + = σ σ 2 n 2 r Noisy 3D step function if σ 2 n > σ 2 r Fr if σ 2 n σ 2 r Mesh after 2 iterations [(d i ( x, y, z ) ) m( x, y, z ) ]2 i N Mesh after 5 iterations Mesh after 7 iterations 16

n > σ 2 r Fr if σ 2 n σ 2 r Mesh after 2 iterations [(d i ( x, y, z )

17 Débruitage Filtrage adaptatif basé voxels VFDT: KerSize: 5x5x5; KerType: median σn2 = (0.0021, , ) NbIter = 7; Error = 4.740x10-2 MMSE: σn2 = NbIter = 17; Error = 4.958x10-2 Initial model V e rt e x t o S u r fa c e E rro r M e t ric VFDT filter V F D T filt e r S F D T filt e r M M S E filt e r E rro r M e t r ic Noisy model N u m b e r o f It e r a t io n s MMSE filter 50 17

958x10-2 Initial model V e rt e x t o S u r fa c e E rro r M e t ric 0.

18 Débruitage Filtrage adaptatif basé voxels Scanned model Median filter: NbIter =4 Mean filter: NbIter =3 VFDT filter: NbIter =9 18

19 Simplification 19

20 Dépliage 20

21 Apparence 21

22 Apparence 22

23 Apparence 23

24 Conclusion Mise en place d une plateforme pour la numérisation de «petits objets» Développements en cours Gestion de l apparence à améliorer (recalage, représentation) Acquisition à améliorer: multi-modalité Plateforme d acquisition robotisée Plateforme d acquisition d'objets de grande taille (laser) À mettre en place (passage à l'échelle) 24

Documents pareils

ARCHEOVISION. Centre de Ressources Numériques 3D. UMR 5607 du CNRS. R. Vergnieux IR-CNRS

ARCHEOVISION. Centre de Ressources Numériques 3D. UMR 5607 du CNRS. R. Vergnieux IR-CNRS ARCHEOVISION Centre de Ressources Numériques 3D R. Vergnieux IR-CNRS UMR 5607 du CNRS Archéovision CNRS Caroline Delevoie (AI cnrs Coordination - 2D) Bruno Dutailly (IE cnrs Dev. 3D) Robert Vergnieux (IR