Fusion multimodale pour la cartographie sous-marine JOURNÉE ARCHÉOLOGIE SOUS MARINE ET ROBOTIQUE GT2 14 MAI 2013, DRASSM, MARSEILLE Jean Triboulet - Arnaud Méline - Bruno Jouvencel Université Montpellier 2 Laboratoire d informatique, Robotique et Microélectronique de Montpellier (LIRMM)
Sommaire I. Introduction II. Reconstruction 3D I. Calibrage de la caméra II. Détection et appariement des points d intérêts III. Filtrage et robustesse aux bruits sous-marins IV. Reconstruction euclidienne texturée III. Carte acoustique IV. Fusion des cartes V. Conclusion 2
Introduction Réalisation de la carte globale Création de la carte acoustique à partir d un bateau en surface, d un véhicule de surface autonome (ASV) ou d un véhicule autonome sousmarin (AUV) Choix du véhicule en fonction de la profondeur et de l accessibilité de la zone Modélisation 3D locale du fond marin Avec une caméra ou un système stéréo Porté par un plongeur ou un AUV/ROV Carte 3D locale Carte globale acoustique 3
Introduction 3 axes d étude : Reconstruction 3D à partir d une caméra ou d une paire stéréo Création de la carte acoustique globale Fusion multimodale / recalage des différentes cartes (acoustique et vision) 4
Introduction Expérimentations Prises de photos et vidéos en haute résolution des objets Immersion d objets connus à 15 mètres de profondeur en mer - statue d un buste de femme, statue d un poisson, mire de calibrage Numérisation 3D des objets par un scanner 3D Minolta Système stéréoscopique Première plongée Deuxième plongée Numérisation 3D 5
Introduction Création d une bibliothèque d images et de vidéos Expérimentations dans différents milieux En mer, en fleuve, en étang salé et en bassin Caractéristiques et bruits différents dans chaque milieu Prises de photos sur divers sites archéologiques sous-marins Cliché en mer Cliché en fleuve Cliché en étang salé 6
Introduction Contraintes dues au milieu sous marin Présence de particules en suspension (turbidité) Provoque des phénomènes de réfraction et réflexion des rayons lumineux [Meeteen1999] Appariation de flou [Bazeille2008] et de speckle [Adrian2010] sur les images Absorption de l énergie lumineuse Disparition de certaines couleurs en fonction de la distance séparant l objet de la source lumineuse Réfraction dû au changement de milieu Modification de la focale apparente Modification de l indice optique de l eau Varie selon la température, la pression (donc la profondeur), la salinité et la longueur d onde du rayon lumineux 7
Reconstruction 3D Calibrage de la caméra Détection des points d intérêts Mise en correspondance des points Filtrage et robustesse aux bruits sousmarins Reconstruction euclidienne texturée 8
Reconstruction 3D Problématique Images ou Vidéos Problèmes majeurs rencontrés Aucune connaissance de la scène observée Mouvement de la caméra inconnu Bruit introduit par la milieu sous-marin Reconstruction 3D euclidienne A partir d images successives de la vidéo Méthode de Hartley et Zisserman 5 étapes différentes Reconstruction à un facteur d échelle près Calibrage de la caméra Reconstruction Euclidienne Détection de points d intérêts Appariements des points d intérêts Suppression des mauvais appariements (outliers) Modèle 3D 9
Calibrage et modèle de la caméra Problématique Problèmes majeurs rencontrés sous l eau Variation de l indice de réfraction Modification de la distance focale apparente Changement des paramètres internes du modèle de la caméra Hypothèse : compenser les paramètres qui changent l indice de réfraction dans le modèle de la caméra 10
Calibrage et modèle de la caméra Modèle de caméra Pinhole Modèle classique utilisé en vision, permet de passer entre le repère monde et le repère image Contient 4 repères La transformation T 1 représente les paramètres extrinsèques La transformation P représente les paramètres intrinsèques Ajout de la distorsion radiale introduite par l eau et les hublots x x x k r k r ˆn 2 4 0 n 1 2 Modèle de la camera y y y k r k r ˆn 2 4 0 n 1 2 Journée Archéologie Modèle Sous Marine de la caméra et et représentation des modèles 11
Calibrage et modèle de la caméra Calibrage de la caméra Calibrage par la Méthode de Zhang Utilisation d une simple mire plane de calibrage Aucune autre information nécessaire Détermine la distorsion radiale Calibrage en surface et en mer, avec et sans caisson étanche Le caisson étanche n a aucune influence sur les paramètres intrinsèques (surface) Les paramètres de distorsion radiale changent de signes entre un calibrage dans l air (-0.15) et dans l eau de mer (+0.12) La distance focale varie autour de 1.3 entre l air et l eau douce [Lavest 2000] Dans l eau de mer elle est généralement plus élevée : environ 1.4 dans notre cas Les paramètres de distorsion sont directement liés à l environnement (air/eau) 12
Reconstruction 3D Détection des points d intérêts Utilisation de la méthode de Harris Points détectés proches des coins Points détectés caractéristiques de la géométrie d objet observé Utilisation de l algorithme de SIFT Méthode reconnue comme étant une des meilleures Points répartis sur toute l image Critère de choix différents de Harris (augmentation du nombre total de points) 13
Reconstruction 3D Détection des points d intérêts 14
Reconstruction 3D Appariement des points d intérêts Méthodes d appariement Corrélation pour les points de Harris Invariants locaux pour SIFT Utilisation de l algorithme de RANSAC pour supprimer les faux appariements («outliers») Harris donne de meilleurs résultats que SIFT 40% de tout les points sont appariés avec Harris et seulement 20% avec SIFT Les outliers représentent 4% des points appariés pour les deux méthodes 15
Reconstruction 3D Mouvement déterminé à partir des points de Harris et de SIFT avec et sans RANSAC 16
Bruits sous-marins et filtrage Identification des bruits et création des filtres Création des filtres modélisant les différents bruits Modélisation des bruits un par un Identification et quantification des bruits sous-marins Absorption de l énergie lumineuse - Disparition de certaines couleurs (histogramme de couleurs) Présence de particules en suspension - Appariation de flou [Bazeille2008] et d un bruit de speckle [Adrian2010] (histogramme de la variance locale) Image sous-marine Image filtre couleur Image sous-marine Image filtre gauss + speckle 17
Bruits sous-marins et filtrage Robustesse des méthodes aux bruits sous-marins Test de la robustesse des deux méthodes dans 4 milieux Dans l air, une piscine, en mer et mer simulée Air Piscine Mer Mer simulée Harris & NCC ++ (24.8%) ++ (26.1%) ++ (25.1%) ++ (25.7%) SIFT +++ (35.5%) ++ (28.4%) - (15.2%) - (14.1%) SIFT n est pas robuste aux bruits présent en mer et mer simulée Harris reste stable et robuste aux différents bruits 18
Bruits sous-marins et filtrage Identification du bruit mettant SIFT en échec Test de la robustesse de SIFT pour chaque bruit composant le filtre sous-marin Harris & NCC Aucun Couleur Flou Speckle Flou & Speckle Tous 24,8% 24,1% 24,5% 23,9% 24,6% 25,7% SIFT 35,5% 35,7% 36,4% 6.2% 14,5% 14,1% Comme on pouvait le prévoir Harris reste robuste aux différents bruits SIFT n est pas robuste aux bruits de speckle 19
Reconstruction 3D Méthode de reconstruction Reconstruction euclidienne Calcul du déplacement entre 2 images à partir du calibrage et des couples de points formés Projection des points dans l espace 3D Suppression des points aberrants Maillage de la structure par triangulation de Delaunay 2D Placage des textures sur les triangles reprojetés en 3D Image 1 Image Journée 2 Archéologie Sous Marine et 20
Reconstruction 3D Reconstruction euclidienne Erreur de reconstruction d environ 3% en milieu fortement turbide Erreur de reconstruction de 0,5% à 1% dans des conditions correctes Cliché de gauche Cliché de droite 21
Carte acoustique Carte acoustique 3D Utilisation d un sonar multifaisceaux Lit du Rhône (partie centrale) Création de la carte 3D à partir d un seul passage sur zone Lit du Rhône (bord) 22
Carte acoustique Instrumentation du sonar Problèmes rencontrés Carte 3D non métrique Erreur de reconstruction due aux mouvements du sonar Ajout de capteurs au sonar Utilisation d un GPS Utilisation d une centrale inertielle 23
Carte acoustique Carte 3D acoustique Relevé sonar d une amphore sur le pont d une épave 24
Fusion des cartes Problématique Carte de modalité différente Echantillonnage différent» Aucun point ne correspond entre les deux cartes Types d informations différentes» Information avec texture pour la carte locale» Nuage de points seul pour la carte globale 25
Fusion des cartes Méthode de fusion Alignement des modèles par ressemblance géométrique Utilisation des nuages de points des deux cartes Recalage du modèle «vidéo» sur le modèle acoustique Utilisation de l algorithme ICP Minimisation de distance» permet d éviter le problème d échantillonnage Converge vers une solution locale si le déplacement entre les deux modèles est trop important Utilisation d une méthode de recalage approximatif» Fournis une estimation du mouvement global entre les deux modèles 26
Recalage des cartes Carte Globale 27
Recalage des cartes Carte Globale Grille sonar 1.5 x 1.5 Alignement ICP avec 100 points Erreur de recalage manuel moyenne 3 cm Erreur de recalage ICP moyenne 1 cm 28
Conclusion Reconstruction 3D Calibrage de la caméra - Connaissance des paramètres du modèle de la caméra - Compensation des paramètres modifiant l indice de réfraction de l eau dans le modèle de la caméra Détection / Appariement des points d intérêts - Méthode de Harris et algorithme de SIFT - Points détectés robustes - Harris détecte plus de points robuste que SIFT Reconstruction euclidienne - Structure 3D texturée Carte acoustique 3D Utilisation d un sonar multifaisceaux Carte 3D du fond obtenue Recalage des différentes cartes Alignement de modèle 3D par ressemblance géométrique Utilisation directe des nuages de points Alignement en deux étapes - Alignement approximatif par méthode manuelle - Alignement fin par ICP 29
Perspectives Reconstruction 3D Améliorer la précision de reconstruction en utilisant des méthodes issues de la photogrammétrie Augmenter la résolution du modèle 3D Chercher des nouveaux points autour des points robustes Carte acoustique Réaliser une carte «complète» (concaténation de différentes cartes acoustiques) 30
PICS 31
Cooperative Marine Vehicles for Underwater Archeological Survey 2 objectives : Multiple Marine Vehicles Systems for Marine Archeology Trans disciplinarity networked activity : underwater archeology/ robotics Expertise and ressource of 3 partners : LIRMM CNRS, Montpellier, France CNR ISSIA, Genova, Italy DSOR, Lisbon, Portugal. Previous collaboration : 2 bilateral agreements (n 19186 and n 21502), 2 European projects FreeSub (RTN FP5 ) and FreeSubNet (RTN FP6). 32
Cooperative Marine Vehicles for Underwater Archeological Survey Scientific issues: Coordinated control of vehicles Multimodal fusion of scanning information Software architecture Control architecture with guaranteed performances 33
Cooperative Marine Vehicles for Underwater Archeological Survey Ressources Surface craft (Charlie, Delfim) Underwater system (Jack, 3D underwater vision system (Triton) Underwater communication device Distant teleoperation station 34
Cooperative Marine Vehicles for Underwater Archeological Survey Milestones: Underwater communication : acoustic modem 3D/sonar on ROV Navigation system quantified : error drifting model Teleoperation station : design Tests on archeological sites: Rhone river (with DRASSM) 35
Fouilles BOLIVIE Centre d'archéologie Subaquatique Andine CASA Centro de Arqueología Subacuática Andina http://casa-titicaca.com/ 36