Calibration hybride Image/Laser d'un véhicule de cartographie mobile Mourad Miled, Bahman Soheilian, Laboratoire MATIS SRIG IGN 1 / 44
Introduction 2 / 44
La cartographie mobile La cartographie mobile (mobile mapping), qu'est ce que c'est? Numérisation très haute résolution au niveau du sol : Image et/ou laser (hybride si les deux) Plateforme terrestre en déplacement (voiture, train, bateau, ) Nécessite un système de géoréférencement pour localiser les données Essor depuis une dizaine d'années: Limite atteinte de résolution des capteurs aéroportés : Il faut se rapprocher de la scène Augmentation des capacités de stockage et traitement Apparition de capteurs dédiés au mobile mapping : Centrales inertielles Imagerie panoramique Laser spécialisé 3 / 44
Capteurs Un système de cartographie mobile combine des capteurs : Géopositionnement Image Laser 4 / 44
Capteurs de géopositionnement 3 types de capteurs: Centrale Inertielle : mesure des accélérations GPS : mesure une position Odometre : mesure une distance parcourue Un calcul combine ces informations pour en tirer une trajectoire (+incertitudes) A quel point peut on s'y fier? 5 / 44
Laser plan La scène est balayée par le plan 6 / 44
Capteurs image Caméras : panoramique et paires stéréoscopiques avant et arrière Acquisition tous les 5m 7 / 44
Capteurs image 8 / 44
Capteurs image 9 / 44
Motivation Plateforme hybride permet une utilisation conjointe image/laser : Encore peu étudié Très complémentaire : Mesure géométrique directe vs indirecte : Laser : (quasi) garantie de présence d'une cible à la distance mesurée Image : corrélation n'est pas conséquence! Sensibilité aux effets spéculaires, éclairage Sensibilité aux structures répétitives Sensibilité aux zones peu texturées 10 / 44 Actif vs passif Mono bande vs 3 bandes Densité moyenne vs forte Anisotrope vs isotrope Géométrie d'acquisition
Motivation Applications du traitement conjoint image/laser : itowns localisation 3D de points cliqués dans l'image Utilisation de la 3D pour déformer les panoramiques Sémantisation : accumulation de descripeurs Reconstruction de surface Texturation de surface Problème : Les capteurs image et laser sont calibrés indépendemment L'image et le laser ne sont pas alignés parfaitement Nécessité de corriger la calibration pour garantir leur alignement Calibration = déterminer la position exacte sur le véhicule 11 / 44
Motivation 12 / 44
Motivation 13 / 44
Motivation 14 / 44
Méthode Le décalage s'explique par La dérive du système de géopositionnement Le combinaison des erreurs de calibration image et laser Solution : Aligner directement le laser avec l'image : Chercher la calibration laser Qui maximiser l'information mutuelle 15 / 44
Méthode 16 / 44
Principe d'un recalage Problème d'optimisation : Sources de données : Transformation cherchée : Ensemble des transformations possibles : Mesure de similarité : 17 / 44
Repères Transformation de repère : Repères : Monde : repère géographique Véhicule : donné par le système de géopositionnement Dépends du temps Laser : 18 / 44
Repères Transformation de repère : Repères : Monde : repère géographique Véhicule : Laser : Camera : Image : Projection d'un point laser dans une image 19 / 44
Repères Image Caméra Laser Véhicule(T1) Véhicule(T2) Monde 20 / 44
Information mutuelle On cherche à quel point sont corrélées : la Réflectance des points laser la Luminance des pixels sur tous les points qui se projettent (en premier) sur l'image: On construit les histogrammes : de Reflectance de Luminance Joint : 21 / 44
Information mutuelle On définit alors l'information mutuelle comme : Maximale 22 / 44 Minimale
Maximisation de l'information mutuelle On a réparti les valeurs dans les barres de façon linéaire : +0.7 +0.3 0.7 0.3 23 / 44
Maximisation de l'information mutuelle On a réparti les valeurs dans les barres de façon linéaire : On peut ainsi calculer le gradient et la hessienne de l'information mutuelle On maximise l'information mutuelle itérativement : Méthode de Levenberg-Marquard 24 / 44
Maximisation de l'information mutuelle Gradient : Histogramme conjoint 25 / 44
Maximisation de l'information mutuelle Gradient : Luminance au point projeté 26 / 44
Maximisation de l'information mutuelle Gradient : Déplacement du point projeté 27 / 44 Gradient de l'image
Maximisation de l'information mutuelle Gradient : Hessienne : 28 / 44
Résultats 29 / 44
Expériences : Place de la bastille 30 / 44
Expériences : Place de la bastille 31 / 44
Expériences : Place de la bastille L'information mutuelle augmente de Calibration initiale : 25.37% Calibration finale : 29.12% Visuellement le nuage est mieux aligné Temps de calcul : 7 minutes Dépends principalement du nombre de points laser projetés 32 / 44
Expériences : Saint Sulpice 33 / 44
Expériences : Saint Sulpice 34 / 44
Expériences : Saint Sulpice 35 / 44
Expériences : Saint Sulpice 36 / 44
Expériences : Saint Sulpice 37 / 44
Expériences : Saint Sulpice L'information mutuelle augmente de Calibration initiale : 14.57% Calibration finale : 21.02% Visuellement le nuage est mieux aligné Temps de calcul : 3 minutes 38 / 44
Discussion Influence du nombre de barres des histogrammes : Luminance Image: [0, 255] 32 barres Reflectance Laser : [-20dB, 0dB] 16 barres Moins de barres + Réduit le temps de calcul + Plus robuste - Moins précis Précision : 1 pixel pour les points suffisament proches (en temps) Jusqu'à 3 pixels pour des points plus éloignés (dérive) 39 / 44
Discussion : Robustesse Robustesse L'Information Mutuelle est robuste aux: Multimodalités Changements d'illumination Levenberg Marquardt est sensible à l'initialisation : Pas de problème car calibration initiale très correcte Robustesse expérimentale aux objets mobiles 40 / 44
Discussion : stabilité Stabilité 3 Calibrations sur des données à quelques minutes d'intervalle Convergence dans les 3 cas Variation sur les paramètres : < 5cm et 0.001 41 / 44
Conclusion et perspectives 42 / 44
Conclusion Premières expériences prometteuses Le principal verrou est technique : Accéder à tous les repères pour chaque point laser pour chaque image Temps de calcul : quel Cas d'usage : Valider la stabilité de la calibration Recalages image/laser locaux pour traitements conjoints Perspectives : Formuler le problème en multi image 43 / 44
Merci pour votre attention Contact : bruno.vallet@ign.fr 44 / 44