Vers une Plateforme de Numérisation: application à la synthèse d'images et l'héritage culturel Jean-Michel Dischler Professeur d informatique Olivier Génevaux (IGR 50%) + Frédéric Larue, Marc Fournier, Guillaume Gilet, Lucas Ammann (Post-)Doctorants IGR en cours de recrutement Hyewon Seo (CR CNRS), Rémi Allègre (MCF), Basile Sauvage (MCF) + Kenneth Vanhoey (Doctorant) http://lsiit.u-strasbg.fr/ LSIIT IGG Université de Strasbourg
Plan Introduction et motivation Plateforme de numérisation: équipements et logiciels Conclusion 2
Numérisation en Synthèse d Images Cadre: équipe IGG du LSIIT (UMR 7005) Thèmes Numérisation et Modélisation Numérisation 3D(+t) en synthèse d images: pourquoi? Simplifier le travail de modélisation d objets 3D pour les créateurs de contenu Permettre une manipulation virtuelle et un archivage numérique d objets «réels» pour faciliter la création de contenus, l étude de ces objets ainsi que leur diffusion Champs d applications visés, au-delà de la synthèse d images: héritage culturel, archéologie, muséographie + biomécanique. Introduction et motivation 3
Numérisation 3D Numérisation 3D(+t): les défis => travail technique souvent fastidieux nécessitant beaucoup d interventions manuelles (réalisation par un expert) et/ou du matériel très onéreux et peu flexible (robot) Manipulations : prises de vues, nettoyage des nuages de points, recalage, création de maillages Gestion de l apparence de l objet difficile : prises de photographies nombreuses, dépendance aux conditions d éclairage, recalage par rapport à l'objet, création des textures Adaptation des données au dispositif d affichage: simplification géométrique sans perte de précision en terme de rendu Introduction et motivation 4
Plateforme de Numérisation Equipe IGG au LSIIT Plateforme: équipements et logiciels Plateforme 5
Equipements Géométrie Scanner laser (Leica) Scanner lumière structurée (Holo3) Apparence Matériel photographique Motion capture Vicon Futur Robot de positionnement Photogrammétrie + contours Plateforme 6
Logiciel Pilotage matériels Acquisition / expoitation données Modules pour la production de données de plus haut niveau Maillages Textures / Champs de reflectance Capitalisation code Mise à disposition / réutilisabilité Intégration travaux internes / externes à l'équipe Plateforme 7
Plateforme «petits objets» Challenges: dispositif simple (transportable, peu onéreux), sans contact, avec précision et automatisme Technologie: lumière structurée : Acquisition Modèle final Recalage géométrie/géométrie automatique sans usage de mires Intégration Débruitage Simplification Recalage photos/géométrie Dépliage / Paramétrisation Texture (constante, polynôme, Lafortune) Plateforme 8
Recalage Aligner plusieurs scans dans un repère unique 9
Recalage Idée: utiliser le motif projeté avec caméra externe 10
Recalage Idée: utiliser le motif projeté avec caméra externe Affiner avec ICP local puis ICP global 11
Recalage Idée: utiliser le motif projeté avec caméra externe Affiner avec ICP local puis ICP global 12
Recalage Idée: utiliser le motif projeté avec caméra externe Affiner avec ICP local puis ICP global 13
Intégration Reconstruction Volumique de Poisson Données [Pi, Ni] Fonction indicatrice X Extraction isosurface 14
Débruitage Filtrage basé voxels: principe Mean filter: (uniform weights) Low-pass filters: (5x5x5 voxels kernel) 5x5x5 voxels kernel 7x7x7 voxels kernel Median 15
Débruitage Filtrage adaptatif basé voxels g(x ) = 1 σ Fr σ σ 2 n 2 r 2 r ( x, y,z ) f ( X ) + = σ σ 2 n 2 r Noisy 3D step function if σ 2 n > σ 2 r Fr if σ 2 n σ 2 r Mesh after 2 iterations [(d i ( x, y, z ) ) m( x, y, z ) ]2 i N Mesh after 5 iterations Mesh after 7 iterations 16
Débruitage Filtrage adaptatif basé voxels VFDT: KerSize: 5x5x5; KerType: median σn2 = (0.0021, 0.0019, 0.0024) NbIter = 7; Error = 4.740x10-2 MMSE: σn2 = 0.013 NbIter = 17; Error = 4.958x10-2 Initial model V e rt e x t o S u r fa c e E rro r M e t ric 0.058 VFDT filter V F D T filt e r S F D T filt e r M M S E filt e r 0.056 E rro r M e t r ic 0.054 0.052 0.0 5 Noisy model 0.048 0.046 0 5 10 15 20 25 30 N u m b e r o f It e r a t io n s 35 40 45 MMSE filter 50 17
Débruitage Filtrage adaptatif basé voxels Scanned model Median filter: NbIter =4 Mean filter: NbIter =3 VFDT filter: NbIter =9 18
Simplification 19
Dépliage 20
Apparence 21
Apparence 22
Apparence 23
Conclusion Mise en place d une plateforme pour la numérisation de «petits objets» Développements en cours Gestion de l apparence à améliorer (recalage, représentation) Acquisition à améliorer: multi-modalité Plateforme d acquisition robotisée Plateforme d acquisition d'objets de grande taille (laser) À mettre en place (passage à l'échelle) 24