Numérisation et Modélisation des Environnements Urbains et Construits à partir d Imagerie 3D Satellite, Aérienne et Terrestre N. Paparoditis, Laboratoire MATIS
Le besoin d une numérisation et d une cartographie détaillée du territoire
Le nouveau Géoportail 3D avec le RGE métrique
Une diversité de systèmes de collectes: plateformes et capteurs 10 cm 1 m 1 cm
Caméras Numériques: pont entre télédétection et photogrammétrie Caméra large-fauchée Camera RVB+IR -SNR=300-12 bits: grande dynamique -réponse linéaire -réponse stable -Radiomètre Camera Avant-Arrière Caméra RVB
Caméras Numériques: pont entre télédétection et photogrammétrie Imagerie décimétrique multispectrale
De l imagerie massivement multi-vue
Appariemment dense multi-image ( x, y, Z) Ik Il( x, y, Z ) ( x, y, Z) Cube d appariement E ( S) =!(1 # Score ( x, y, Z) + $ *"( Z) ) $ "( Z ) = Z ( x+ 1, y)! Z ( x, y) + Z ( x, y+ 1)! Z ( x, y) Recherche de la solution optimale par maximal flow [Roy & Cox 98] ou min-cuts
Appariemment dense multi-image [Roy & Cox 98] [Pierrot-Deseilligny &Paparoditis 06] MNS avec éclairage omnidirectionnel - MNT de qualité décimétrique
Reconstruction de surface et analyse 3D de scènes Une approche holistique global Images & Orientations Reconstruction 3D pixellaire MNS Segmentation et Analyse Sol Sursol Bâti Végétation Permet de découper le problème complexe de reconstruction de la scène en un ensemble de problèmes unitaires plus simples
Détection de la végétation
Modèles 3D de bâtiments Reconstruction semi-automatique avec imagerie multi-vue et cadastre Système
Reconstruction de surface et reconstruction de bâtiments Realité Approche pixellaire Approche à base de maillages Approche à base de formes
Modèles 3D de bâtiments Approche 1 [Flamanc & al 04]
Modèles 3D de bâtiments Approche 2: méthode générative à l aide de grammaires de modèles 3D élémentaires par Processus Ponctuels Marqués [Lafarge& al 06]
Modèles 3D de villes Approche 3: Génération et vérification d hypothèses [Jibrini & al 02] [Taillandier 04] H A G A G H
Modèles 3D de villes Approche 4: Approche maillage [Paparoditis & al 01] [Maillet & al 02]
Modèles 3D de villes D outils de recherche à un outil opérationnel BATI3D
Modèles 3D de villes 1 journée opérateur de retouches
Auto-évaluation de modèles [Boudet & al 06] CORRECT ACCEPTABLE GENERALISE FAUX
Auto-évaluation de modèles Thèse de Boudet Modèles 3D +Images Un exemple: l indicateur de cohérence de structures Indicateur Cohérence Texture Indicateur Cohérence Radiométrique Indicateur cohérence Structure Linéons 3D Classifieur Segments 3D Apprentissage Feux rouges
Auto-évaluation de modèles [Boudet & al 06]
Auto-évaluation de modèles Images Approche 3 Approche 2 Approche 1? AUTO-EVALUATION Thèse de Boudet Une nécessité pour: Choisir l approche la plus adaptée à la morhologie du bâtiment Piloter l opérateur vers les zones de décision les plus difficiles
Modèles 3D de bâtiments [Brediff 06] Reconstruction de superstructures à base de grammaires de modèles
Correction des ombres et ombrages [Martinoty & al 04]
Extraction de marquages et modèles 3D de routes [Tournaire et al 06] Les marquages sont des indices/graines de routes Ils ont des gabarits, des formes et des relations connues Approche par minimisation d énergie avec des processus ponctuels marqués E ( S) =! +! Edata " ". Eregul
Extraction de marquages Résultats avec températures décroissantes [Tournaire et al 06]
La collecte de données terrestres Géoréférencement fin Visualisation Niveaux de traitements Reconstruction 3D Acquisition Modélisation 3D Cursus Contexte Appariement Reconstruction3D Collecte Terrestre
Des systèmes d imagerie mobile CAOR Ecole des Mines STEREOPOLIS 1 MATIS/IGN GEOINVENT - PPWK PPWK GeoInvent -TeleAtlas
STEREOPOLIS v2
STEREOPOLIS: les capteurs LASER à champ étroit Panoramique Stéréoscopique
Imagerie panoramique 10000 x 6000 pixels 1 image tous les 4 mètres
STEREOPOLIS: le géoréferencement GPS IMU Odomètre POS-LV 220 Post-traitement
Quelques applications Réalité virtuelle: grand public Réalité Augmentée: aménageurs Restitution: professionnel (géomètres, architectes, etc.)
itowns: un outil de diffusion multimédia Navigation dans un flux de panoramiques Extraction et indexation pour des requêtes complexes Projet ITOWNS de l ANR MDCO
Extraction automatique de marquages Pour la génération du futures bases de données de routes sans aucune contrainte temps réel [Soheilian et al. 07] Applications d aide à la navigation ou navigation autonome
Extraction automatique de marquages Extraction d autres amers visuels: SIFT 3D, segments horizontaux et verticaux
Géoréférencement centimétrique des images terrestres Utilisation de l imagerie aérienne comme appui de l imagerie terrestre via les marquages [Tournaire et al. 06] [Tournaire 07]
Appariement de marquages terrestres et aériens [Tournaire & al 05] Aérien réel [Soheilian & al 06] Score Score de similarité multi-image Aérien simulé (R,T) Terrestre
Autres systèmes de numérisation La caméra totale ou caméra 6D: pour la mise à jour ou pour tous les lieux non visibles de la rue ou en intérieur INTEGRATION Estimation de pose approchée directe Compensation avec points de liaison images
Reconstruction 3D de façades A-t-on besoin de générer des modèles 3D de façades à partir des images terrestres? Pour prédire les parties cachées Pour la fusion des textures Pour le rendu basé-images Thèse de L. Pénard
Reconstruction 3D de façades [Pénard et al 05] [Pénard et al 06] Image vs. LASER?
Reconstruction 3D de façades
Reconstruction de modèles de façades: Aide à une meilleure reconstruction des toits et du sol
Conclusion MNT haute résolution décimétrique Pour un calcul GPS plus contraint Modèles 3D de bâtiments décimétriques Prédiction des satellites masqués pour filtrer les multi-trajets Pour un recalage par vision sur limite de gouttiière Pour une localisation par recalage avec LASER Modèles de routes décimétriques Pour l aide à la navigation Invariants pour la navigation autonome Participation à l ANR CityVIP
Modélisation d édifices remarquables
Modélisation d édifices remarquables Allègement de l acquisition, Automatisation de l icono-triangulation Optimisation d acquisitions (cartographie d urgence,..) Fusion LASER-IMAGE pour améliorer la reconstruction de surface en multi-station Fusion LASER-IMAGE pour la segmentation automatisée ou pour une aide à la segmentation [Deveau & al 04]
Modélisation d édifices remarquables [Deveau & al 04]
Modèles 3D de bâtiments sans emprises Reconstruction des emprises par Processus Ponctuels Marqués [Ortner 03]
Homogénéisation relative et absolue Hot spot, Correction du voile, variation de l heure prise de vue
Conclusion Des progrès liés aux méthodes mais en grande partie à la qualité des images à l analyse multi-vue Des avancées mais encore beaucoup à faire notamment Auto-évaluation Mise à jour Vers une plus grande complémentarité des systèmes aérien/terrestre Vers une plus grande intégration de technologies Vers une plus grande intégration de techniques et multi-disciplinarité Télédétection, photogrammétrie, vision par ordinateur, traitement d images, IA, Synthèse