Apport d un modèle virtuel 3D pour la navigation autonome en milieu urbain

Apport d un modèle virtuel 3D pour la navigation autonome en milieu urbain Cindy Cappelle Maan El Badaoui El Najjar Laboratoire d'automatique, Génie Informatique et Signal Equipe «SFSD» 22 Janvier 2008 Journée "Robotique et SIG" 1

Plan SIG-3D Détection d obstacle Géo-localisation Simulateur virtuel Perspectives 22 Janvier 2008 Journée "Robotique et SIG" 2

SIG-3D Modèle 3D géographique de la Place Stanislas ànancy Tecnomade Précision métrique Démonstration SIG-3D Gère le modèle 3D en temps-réel 22 Janvier 2008 Journée "Robotique et SIG" 4

SIG-3D Image virtuelle X Y Z Modèle 3D FOV Géoréférencement SIG-3D φ θ ψ 22 Janvier 2008 Journée "Robotique et SIG" 5

SIG-3D Image de profondeur X Y Z Modèle 3D FOV Géoréférencement SIG-3D φ θ ψ 22 Janvier 2008 Journée "Robotique et SIG" 6

SIG-3D Fichier Profondeur Modèle 3D FOV Géoréférencement X Y Z SIG-3D φ θ ψ 8.8784628e+000 8.8781366e+000 8.8778124e+000 8.8779469e+000 8.8776264e+000 8.8773079e+000 8.8769913e+000 8.8771334e+000 8.8768196e+000 8.8765087e+000 8.8766565e+000 8.8763485e+000 8.8760433e+000 8.8757391e+000 8.8758945e+000 8.8755941e+000 8.8752966e+000 8.8750000e+000 8.8747053e+000 8.8748703e+000 8.8745794e+000 8.8742905e+000 8.8740034e+000 8.8741760e+000 8.8738928e+000 8.8736115e+000 8.8733320e+000 8.8730545e+000 8.8732367e+000 8.8729630e+000 8.8726902e+000 8.8724203e+000 8.8726101e+000 8.8706694e+000 8.8704271e+000 8.8701878e+000 22 Janvier 2008 Journée "Robotique et SIG" 7

SIG-3D Image des segments 3D virtuels visibles X Y Z Modèle 3D FOV Géoréférencement SIG-3D φ θ ψ 22 Janvier 2008 Journée "Robotique et SIG" 8

SIG-3D Segments 3D de la base Modèle 3D FOV Géoréférencement X Y Z SIG-3D φ θ ψ <Segment> <Visible status="hors champ"/> <Point numero="1"> <Coordonnees x="-42.015800" y="-38.909801" z="0.597691"/> </Point> <Point numero="2"> <Coordonnees x="-39.563599" y="-43.810501" z="0.597691"/> </Point> </Segment> <Segment> 22 Janvier 2008 Journée "Robotique et SIG" 9

SIG-3D Démonstration 22 Janvier 2008 Journée "Robotique et SIG" 10

Plan SIG-3D Détection d obstacled Géo-localisation Simulateur virtuel Perspectives 22 Janvier 2008 Journée "Robotique et SIG" 11

Détection d obstacle Camera Modèle 3D GPS SIG-3D Module de traitement d images pour la détection, le suivi et la géo-localisation des obstacles Distance entre le véhicule et l obstacle Géo-position de l obstacle détecté 22 Janvier 2008 Journée "Robotique et SIG" 12

Détection d obstacle Méthode basée sur la comparaison entre 2 images Image réelle Caméra embarquée Contient les éventuels obstacles Image virtuelle Fournie par le SIG-3D qui gère le modèle 3D «Background» de la scène 22 Janvier 2008 Journée "Robotique et SIG" 13

Détection d obstacle REAL IMAGE VIRTUAL IMAGE IMAGES SUBSTRACTION 22 Janvier 2008 Journée "Robotique et SIG" 14

Détection d obstacle Utilisation de l information de profondeur du SIG-3D pour calculer la distance entre le véhicule et l obstacle détecté SIG-3D fournit la distance entre la caméra virtuelle dans le modèle 3D et le point 3D représenté par chaque pixel de l image virtuelle. 22 Janvier 2008 Journée "Robotique et SIG" 15

Détection d obstacle Distance between vehicle and obstacle Validation de la distance avec un télémètre laser Distance (m) 5 4,5 4 3,5 3 2,5 2 1,5 1 0,5 0 Vision/3D model Laser scanner 1 4 7 10 13 16 19 22 25 28 31 34 37 Time (sec) Distance error 1 4 7 10 13 16 19 22 25 28 31 34 37 0,6 0,4 0,2 Error (m) 0-0,2-0,4-0,6-0,8-1 Time (sec) 22 Janvier 2008 Journée "Robotique et SIG" 16

Détection d obstacle Résultats 22 Janvier 2008 Journée "Robotique et SIG" 17

Géo-localisation Recalage de l image réelle acquise par rapport au modèle 3D Appariement 2D/2D Coefficient de corrélation Avant appariement Appariement Après appariement 22 Janvier 2008 Journée "Robotique et SIG" 19

Géo-localisation Recalage de l image réelle acquise par rapport au modèle 3D Appariement 2D/3D Appariement des segments 2D réels avec les segments 3D virtuels par une recherche arborescente 22 Janvier 2008 Journée "Robotique et SIG" 20

Géo-localisation Calibration de la caméra Extraction des segments 2D Appariement de des segments réels 2D Extraction l image des segments réelle acquise Calcul de la position et de 3D du modèle avec les segments virtuels 3D visibles à partir de la pose estimée à l aide l orientation des arbres de d interprétation la caméra 22 Janvier 2008 Journée "Robotique et SIG" 21

Géo-localisation Contrainte unaire n ( Rv ) = 0 i i n ( R. p + T) = 0 i i a cosϕ + b sinϕ + c = 0 ij ij ij Ax+ By+ C = 0 ij ij ij 22 Janvier 2008 Journée "Robotique et SIG" 22

Géo-localisation Contrainte unaire C a cosϕ + b sinϕ + c = 0 ij ij ij Ax+ By+ C = ij ij ij 0 D L appariement L i -l j est cohérent si ϕ ϕ <Δϕ e D< Δt 22 Janvier 2008 Journée "Robotique et SIG" 23

Géo-localisation Contrainte binaire Pour les paires de segments verticaux La position de la caméra est contrainte à appartenir à un arc de cercle C. Le couple d appariements (L i -l k, L j -l l ) est cohérent si le cercle C a une partie commune avec le cercle d incertitude C C C C' 0 22 Janvier 2008 Journée "Robotique et SIG" 24

Géo-localisation Résultats préliminaires 22 Janvier 2008 Journée "Robotique et SIG" 25

Géo-localisation Résultats préliminaires Vraie position x = -16.7496 m y = -0.1940 m z = 2 m Position estimée xe = 16.7497 m ye = -0.1945 m ze = 2.0000 m 22 Janvier 2008 Journée "Robotique et SIG" 33

Plan SIG-3D Détection d obstacle Géo-localisation Simulateur virtuel Simulateur virtuel Perspectives 22 Janvier 2008 Journée "Robotique et SIG" 34

Simulateur virtuel Plateforme d acquisition intégrée au CyCab (GPS, Télémètre laser, Codeurs incrémentaux, Gyromètre, Centrale Inertielle ) 22 Janvier 2008 Journée "Robotique et SIG" 35

Simulateur virtuel Passage du moteur 3D Tecnomade à OSG Plus ouvert à l ajout d autres fonctionnalités OSG : langage de programmation orienté objet Mono-véhicule Multi-véhicule Mono prise de vue Multi prises de vue Intégration de modèles cinématique ou dynamique 22 Janvier 2008 Journée "Robotique et SIG" 36

Simulateur virtuel Rejouer des données réelles Vidéo1 Vidéo2 Simulateur de contrôle d un convoi de véhicules «Platooning» Vidéo1 Vidéo2 22 Janvier 2008 Journée "Robotique et SIG" 37

Perspectives Un démonstrateur temps-réel du détecteur d obstacle est en cours de développement Fusion de données multi-hypothèses à l aide des réseaux bayésiens dynamiques Localisation : appariement modèle 3D / télémètre laser Intégration des fonctions et attributs d un SIG- 2D standard au SIG-3D utilisé 22 Janvier 2008 Journée "Robotique et SIG" 39

Publications C. Cappelle, M. El Badaoui El Najjar, F. Charpillet, D. Pomorski, "Obstacles detection and localisation with 3D geographical model and monovision", IEEE Intelligent Transportation Systems Conference, ITSC'07, pages 1102-1107, Seattle, Washington, USA, 30 Sept - 3 Oct, 2007 C. Cappelle, M. El Badaoui El Najjar, D. Pomorski, F. Charpillet, "Localisation in urban environment using GPS and INS aided by monocular vision system and 3D geographical model", IEEE Intelligent Vehicles Symposium, IV'07, pages 811-816, Istanbul, Turquie, 13-15 Juin, 2007 M. Dawoud, M. Khalil, M. El Badaoui El Najjar, B. El Hassan, H. Ziadeh. Tracking System using GPS, vision and 3D virtual Model, IEEE International Conference on Information & Communication Technologies from Theory to Applications, ICTTA 08, Damascus, Syrie, 7-11 Avril, 2008 22 Janvier 2008 Journée "Robotique et SIG" 40

Apport d un modèle virtuel 3D pour la navigation autonome en milieu urbain Cindy Cappelle Maan El Badaoui El Najjar Laboratoire d'automatique, Génie Informatique et Signal Equipe «SFSD» 22 Janvier 2008 Journée "Robotique et SIG" 41