Calibration hybride Image/Laser d'un véhicule de cartographie mobile Mourad Miled, Bahman Soheilian, Bruno Vallet Laboratoire MATIS SRIG IGN

Dimension: px

Commencer à balayer dès la page:

Download "Calibration hybride Image/Laser d'un véhicule de cartographie mobile Mourad Miled, Bahman Soheilian, Bruno Vallet Laboratoire MATIS SRIG IGN"

Grégoire Bourgeois
il y a 7 ans
Total affichages :

1 Calibration hybride Image/Laser d'un véhicule de cartographie mobile Mourad Miled, Bahman Soheilian, Laboratoire MATIS SRIG IGN 1 / 44

2 Introduction 2 / 44

3 La cartographie mobile La cartographie mobile (mobile mapping), qu'est ce que c'est? Numérisation très haute résolution au niveau du sol : Image et/ou laser (hybride si les deux) Plateforme terrestre en déplacement (voiture, train, bateau, ) Nécessite un système de géoréférencement pour localiser les données Essor depuis une dizaine d'années: Limite atteinte de résolution des capteurs aéroportés : Il faut se rapprocher de la scène Augmentation des capacités de stockage et traitement Apparition de capteurs dédiés au mobile mapping : Centrales inertielles Imagerie panoramique Laser spécialisé 3 / 44

4 Capteurs Un système de cartographie mobile combine des capteurs : Géopositionnement Image Laser 4 / 44

5 Capteurs de géopositionnement 3 types de capteurs: Centrale Inertielle : mesure des accélérations GPS : mesure une position Odometre : mesure une distance parcourue Un calcul combine ces informations pour en tirer une trajectoire (+incertitudes) A quel point peut on s'y fier? 5 / 44

6 Laser plan La scène est balayée par le plan 6 / 44

7 Capteurs image Caméras : panoramique et paires stéréoscopiques avant et arrière Acquisition tous les 5m 7 / 44

8 Capteurs image 8 / 44

9 Capteurs image 9 / 44

10 Motivation Plateforme hybride permet une utilisation conjointe image/laser : Encore peu étudié Très complémentaire : Mesure géométrique directe vs indirecte : Laser : (quasi) garantie de présence d'une cible à la distance mesurée Image : corrélation n'est pas conséquence! Sensibilité aux effets spéculaires, éclairage Sensibilité aux structures répétitives Sensibilité aux zones peu texturées 10 / 44 Actif vs passif Mono bande vs 3 bandes Densité moyenne vs forte Anisotrope vs isotrope Géométrie d'acquisition

11 Motivation Applications du traitement conjoint image/laser : itowns localisation 3D de points cliqués dans l'image Utilisation de la 3D pour déformer les panoramiques Sémantisation : accumulation de descripeurs Reconstruction de surface Texturation de surface Problème : Les capteurs image et laser sont calibrés indépendemment L'image et le laser ne sont pas alignés parfaitement Nécessité de corriger la calibration pour garantir leur alignement Calibration = déterminer la position exacte sur le véhicule 11 / 44

12 Motivation 12 / 44

13 Motivation 13 / 44

14 Motivation 14 / 44

15 Méthode Le décalage s'explique par La dérive du système de géopositionnement Le combinaison des erreurs de calibration image et laser Solution : Aligner directement le laser avec l'image : Chercher la calibration laser Qui maximiser l'information mutuelle 15 / 44

16 Méthode 16 / 44

17 Principe d'un recalage Problème d'optimisation : Sources de données : Transformation cherchée : Ensemble des transformations possibles : Mesure de similarité : 17 / 44

18 Repères Transformation de repère : Repères : Monde : repère géographique Véhicule : donné par le système de géopositionnement Dépends du temps Laser : 18 / 44

19 Repères Transformation de repère : Repères : Monde : repère géographique Véhicule : Laser : Camera : Image : Projection d'un point laser dans une image 19 / 44

20 Repères Image Caméra Laser Véhicule(T1) Véhicule(T2) Monde 20 / 44

21 Information mutuelle On cherche à quel point sont corrélées : la Réflectance des points laser la Luminance des pixels sur tous les points qui se projettent (en premier) sur l'image: On construit les histogrammes : de Reflectance de Luminance Joint : 21 / 44

22 Information mutuelle On définit alors l'information mutuelle comme : Maximale 22 / 44 Minimale

23 Maximisation de l'information mutuelle On a réparti les valeurs dans les barres de façon linéaire : / 44

24 Maximisation de l'information mutuelle On a réparti les valeurs dans les barres de façon linéaire : On peut ainsi calculer le gradient et la hessienne de l'information mutuelle On maximise l'information mutuelle itérativement : Méthode de Levenberg-Marquard 24 / 44

25 Maximisation de l'information mutuelle Gradient : Histogramme conjoint 25 / 44

26 Maximisation de l'information mutuelle Gradient : Luminance au point projeté 26 / 44

27 Maximisation de l'information mutuelle Gradient : Déplacement du point projeté 27 / 44 Gradient de l'image

28 Maximisation de l'information mutuelle Gradient : Hessienne : 28 / 44

29 Résultats 29 / 44

30 Expériences : Place de la bastille 30 / 44

31 Expériences : Place de la bastille 31 / 44

32 Expériences : Place de la bastille L'information mutuelle augmente de Calibration initiale : 25.37% Calibration finale : 29.12% Visuellement le nuage est mieux aligné Temps de calcul : 7 minutes Dépends principalement du nombre de points laser projetés 32 / 44

33 Expériences : Saint Sulpice 33 / 44

34 Expériences : Saint Sulpice 34 / 44

35 Expériences : Saint Sulpice 35 / 44

36 Expériences : Saint Sulpice 36 / 44

37 Expériences : Saint Sulpice 37 / 44

38 Expériences : Saint Sulpice L'information mutuelle augmente de Calibration initiale : 14.57% Calibration finale : 21.02% Visuellement le nuage est mieux aligné Temps de calcul : 3 minutes 38 / 44

39 Discussion Influence du nombre de barres des histogrammes : Luminance Image: [0, 255] 32 barres Reflectance Laser : [-20dB, 0dB] 16 barres Moins de barres + Réduit le temps de calcul + Plus robuste - Moins précis Précision : 1 pixel pour les points suffisament proches (en temps) Jusqu'à 3 pixels pour des points plus éloignés (dérive) 39 / 44

Discussion : Robustesse Robustesse L'Information Mutuelle est robuste aux: Multimodalités Changements d'illumination Levenberg Marquardt

40 Discussion : Robustesse Robustesse L'Information Mutuelle est robuste aux: Multimodalités Changements d'illumination Levenberg Marquardt est sensible à l'initialisation : Pas de problème car calibration initiale très correcte Robustesse expérimentale aux objets mobiles 40 / 44

41 Discussion : stabilité Stabilité 3 Calibrations sur des données à quelques minutes d'intervalle Convergence dans les 3 cas Variation sur les paramètres : < 5cm et / 44

42 Conclusion et perspectives 42 / 44

43 Conclusion Premières expériences prometteuses Le principal verrou est technique : Accéder à tous les repères pour chaque point laser pour chaque image Temps de calcul : quel Cas d'usage : Valider la stabilité de la calibration Recalages image/laser locaux pour traitements conjoints Perspectives : Formuler le problème en multi image 43 / 44

44 Merci pour votre attention Contact : bruno.vallet@ign.fr 44 / 44

Documents pareils

N. Paparoditis, Laboratoire MATIS

N. Paparoditis, Laboratoire MATIS Contexte: Diffusion de données et services locaux STEREOPOLIS II Un véhicule de numérisation mobile terrestre Lasers Caméras Système de navigation/positionnement STEREOPOLIS