Une interface ergonomique pour la numérisation 3D à partir d'images

Une interface ergonomique pour la numérisation 3D à partir d'images Isabelle Cléry1, Marc Pierrot Deseilligny2 Laboratoire MATIS Institut Géographique National Saint Mandé, FRANCE isabelle.clery@ign.fr 1 ENSG Institut Géographique National Saint Mandé, FRANCE marc.pierrot-deseilligny@ign.fr 2, IGN 08/03/2012

Plan de la présentation : Introduction Les outils du MATIS Le projet Démonstration Quelques résultats Conclusion 2/30

Introduction Introduction Il existe de nombreuses solutions commerciales de reconstruction 3D à partir d'images (Photosynth, Bundler+PMVS, Arc3D, PhotoModeler...) Mais peu d'entre elles sont à la fois gratuites, ergonomiques et utilisables pour des applications professionnelles qui nécessitent une modélisation précise et des algorithmes contrôlés. => Le laboratoire MATIS propose une interface pour un ensemble d'outils open source qui permettent de traiter les chantiers photogrammétriques. 3/30

Introduction Pourquoi faire une interface? Les outils ont été développés pour la recherche et nécessitent beaucoup de paramètres complexes qui nécessitent une bonne expérience en photogrammétrie Les paramètres doivent être écrits à la main dans des fichiers xml selon un format spécifique Les outils sont appelés en ligne de commande => Ces outils sont difficilement utilisables pour les non spécialistes en photogrammétrie ou en informatique Une interface permet l'extérieur de l'ign. de valoriser ces outils à 4/30

Introduction Exemple de fichier de paramètres 5/30

Plan de la présentation : Introduction Les outils du MATIS Le projet Démonstration Quelques résultats Conclusion 6/30

Les outils du MATIS Les outils du MATIS Les outils permettent chacun d'effectuer une partie du traitement d'un chantier photogrammétrique : Quelques outils pour gérer et convertir les différents formats d'images et exporter les résultats Pastis : pour la recherche de points homologues (basé sur l'algorithme SIFT) Apero : pour l'estimation de poses et de calibrations MICMAC : pour le calcul de cartes de profondeur (images dont chaque pixel représente la profondeur du point 3D correspondant) ou de MNS 7/30

Les outils du MATIS Pastis (SIFT) 8/30

Les outils du MATIS Apero Initialisation de l'orientation relative de l'image 1 par rapport à l'image 2 t poin Image 1 (fixée) T S IF Image 2 point 3D scène 9/30

Les outils du MATIS Apero Initialisation de l'orientation relative de l'image 3 par rapport aux images 1 et 2 Image 2 Image 1 (fixée) Image 3 10/30

Les outils du MATIS Apero Calcul des poses de chaque image et estimation de la calibration de chaque objectif Image 2 Image 1 Image 3 scène L'approche par photogrammétrie utilise des équation exactes pour calculer des paramètres physiques réels et permet d'estimer les calibrations d'objectifs complexes. Ceci assure la précision du calcul. 11/30

Les outils du MATIS MICMAC Calcul du coefficient de corrélation à toutes les profondeurs possibles : Plus forte valeur = point homologue Image maîtresse Quelle profondeur? scène Approche par multi-corrélation : Le coefficient de corrélation est calculé pour chaque paire d'images Un coefficient global est calculé => cela évite beaucoup d'erreurs d'appariement 12/30

Les outils du MATIS Image maîtresse MICMAC Calcul des coefficients de corrélation pour tous les pixels de l'image maîtresse scène => reconstruction de toute la surface 13/30

Les outils du MATIS MICMAC Pour éviter les erreurs d'appariements et le bruit, une contrainte de lissage est ajoutée lors de la reconstruction de la surface. coefficient de corrélation plus grand La meilleure surface est celle qui minimise une fonction d'énergie composée de la somme des coefficients de corrélation et de la somme des gradients de profondeur. exemple d'erreur d'appariement profondeur meilleure surface exemple d'incertitude (zone non texturée) pixels 14/30

Les outils du MATIS MICMAC Le calcul est optimisé par une approche multi-échelle et multi-résolution MNS à la résolution N MNS à la résolution 2*N Intervalle de profondeur pour la recherche du point homologue Intervalle planimétrique résolution 1/32, étape 1 résolution 1, étape 6 résolution 1/16, étape 2 résolution 1/2, étape 5 résolution 1/8, étape 3 résolution 1/4, étape 4 15/30

Plan de la présentation : Introduction Les outils du MATIS Le projet Démonstration Quelques résultats Conclusion 16/30

Le projet Principe du projet Mettre à la disposition du public les outils du MATIS à travers une interface graphique qui permet d'effectuer l'intégralité du traitement d'un chantier. Données en entrée Traitement par l'interface Cartes de profondeur (MNS) Nuages de points 3D Orthoimages Images Calibration approximative pour chaque objectif Sortie 17/30

Le projet Solutions proposées Téléchargement sources sous forme de logiciel ou de codes Développée avec les librairies Qt et OpenGL (C++) L'ergonomie est assurée par la saisie graphique des paramètres, des paramétrages par défaut, des regroupements de paramètres par type de prise de vue, la gestion des fichiers entrée/sortie et des affichages graphiques des résultats à chaque étape du calcul Documentation complète bilingue Multiplateforme : Linux 32 et 64 bits, Mac (version Windows encore en développement) => L'interface est moins adaptable aux données que les outils sous jacents L'interface est toujours en cours de développement afin de l'adapter aux demandes des utilisateurs 18/30

Le projet Public visé Le logiciel calcule des nuages de points très denses à une résolution variable. Cependant il contrainte nécessite une prise de vue très => le public visé est principalement composé de professionnels (photogrammètres, archéologues, architectes, géomorphologues, numérisation d'oeuvres d'art...) 19/30

Le projet Contraintes de prises de vue 2 contraintes principales : Un fort recouvrement entre les images (>50%) et un angle faible entre les directions de prises de vue (~10-15 ) pour assurer la présence de points SIFT et la corrélation La stéréoscopie pour chaque partie de la scène (chaque point de la scène doit être vu d'au moins 2 points de vue différents) Exemple de protocole pour la numérisation complète d'un objet Exemple de protocole de prise de vue pour une scène étendue et presque plane (falaise, façade...) 20/30

Plan de la présentation : Introduction Les outils du MATIS Le projet Démonstration Quelques résultats Conclusion 21/30

Plan de la présentation : Introduction Les outils du MATIS Le projet Démonstration Quelques résultats Conclusion 22/30

Quelques résultats Quelques résultats Sculpture en pierre (Chine) 60 images, 4 nuages de points Protocole d'acquisition : 23/30

Quelques résultats Quelques résultats La Cathédrale, sculpture en pierre de Rodin (musée Rodin, Paris) H : 64 cm ; L : 29,5 cm ; P : 31,8 cm 110 images, 8 nuages de points Résolution des photos : 0.3mm Protocole d'acquisition : objet 24/30

Quelques résultats Quelques résultats Falaise à Creil-sur-Mer 41 images, 1 MNS Protocole d'acquisition : 25/30

Quelques résultats Quelques résultats Orthoimage du mur F40, tombe de Merenptah, Louxor, Égypte ~9.5*3.2m Résolution : 0.3mm Protocole d'acquisition : f=14mm f=100mm MNS (couleurs hypsométriques) 26/30

Quelques résultats Cas problématiques Certaines scènes peuvent poser problème lors de la modélisation 3D : Les scènes peu texturées (ex : le plâtre monochrome) ; une solution (expérimentale) est de projeter une image texturée avec un vidéoprojecteur Les objets avec des reflets spéculaires (objets métalliques, bronzes...) et les photographies saturées 27/30

Plan de la présentation : Introduction Les outils du MATIS Le projet Démonstration Quelques résultats Conclusion 28/30

Conclusion Conclusion L'interface présentée : Est open source, ergonomique et entièrement graphique Estime les poses d'un groupe d'images ainsi que les calibrations des objectifs utilisés ; des contraintes d'échelle ou de géoréférencement peuvent être intégrées Calcule des cartes de profondeur ou des MNS Calcule des orthoimages vraies Convertit ces cartes de profondeur en nuages de points 3D très denses, texturés, géoréférencés (ou à l'échelle et référencés dans le même repère) Produit des modèles 3D précis plupart des types de scènes (précision <0.5px) de la Perspectives : Améliorer le filtrage des points bruités Calculer des colonnes...) déroulés (objets circulaires de type 29/30

Interface ergonomique... Conclusion Pour plus d'informations Sur les outils du MATIS : Pierrot Desseilligny, M.: MicMac, Apero, Pastis and other beverage. The doc!, www.micmac.ign.fr/svn/micmac/trunk/documentation/docmicmac/docmicma c.pdf, 2011/03/21 (téléchargement des codes sur le même site) Pierrot Desseilligny, M., Cléry, I.: Apero, an open source bundle adjusment software for automatic calibration and orientation of set of images, Symposium de la Commission V de l'isprs, Image Engineering and Vision Metrology, Trento, Italie, 2 4 mars 2011 Formation : Ecole d'été ENSG La photogrammétrie au service des archéologues et des architectes du 20 au 24 août 2012 Sur les applications et protocoles de prises de vue : http://www.tapenade.gamsau.archi.fr Sur l'interface : Cléry I., Pierrot Desseilligny, M.: Une interface ergonomique de calcul de modèles 3D par photogrammétrie, RFPT n 196, décembre 2011 L'interface est téléchargeable via : www.micmac.ign.fr/svn/micmac_data/trunk/docinterface/ Ou écrivez moi : isabelle.clery@ign.fr 30/30