I C A R E Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision Nicolas SIMOND Projet ICARE Institut National de Recherche en Informatique et Automatique Sophia-Antipolis, France Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p.
Les transports routiers dans la C.E. Les faits : la congestion des voies de transports routiers a été évaluée à une perte de 40 milliards euros/an, les pollutions sonores et atmosphériques dégradent sensiblement la qualité de vie des citadins, 40 000 décès/an. source : http://europa.eu.int/comm/transport/ Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p.
Les transports routiers dans la C.E. Les faits : la congestion des voies de transports routiers a été évaluée à une perte de 40 milliards euros/an, les pollutions sonores et atmosphériques dégradent sensiblement la qualité de vie des citadins, 40 000 décès/an. "Le livre blanc sur la politique européenne des transports à l horizon 2010 : l heure des choix" préconise le développement massif des Systèmes de Transports Intelligents (ITS). source : http://europa.eu.int/comm/transport/ Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p.
Les Systèmes de Transports Intelligents "Les ITS recourent aux technologies de l information et de la communication pour faciliter le transport sans rupture de charges des voyageurs et des marchandises". La recherche est financée grâce à : des projets européens ITS : Carsense, Save-u, Cybercars, Cybermove,... des projets nationaux Predit : Arcos, Puvame, Mobivip,... Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p.
Nos objectifs Cette thèse s inscrit dans la problématique des projets Cybercars et Mobivip : La localisation précise des véhicules en milieu urbain afin : d améliorer les systèmes d aide à la navigation, d améliorer la sécurité des usagers de la route, de développer des outils indispensables à la navigation de futurs véhicules autonomes. Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p.
Plan 1. Les méthodes de localisation en milieu urbain 2. La localisation à l estime 3. Notre approche 4. Conclusion Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p.
Plan 1. Les méthodes de localisation en milieu urbain 2. La localisation à l estime 3. Notre approche 4. Conclusion Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p.
La localisation géo-référencée par GPS La précision des récepteurs GPS varie entre [2; 10]m. Le Système de Navigation Globale Galileo : financé par la Communauté Européenne, le système sera opérationnel en 2008, Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p.
La localisation géo-référencée par GPS La précision des récepteurs GPS varie entre [2; 10]m. Le Système de Navigation Globale Galileo : financé par la Communauté Européenne, le système sera opérationnel en 2008, les récepteurs Galileo seront compatibles avec les systèmes existants, Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p.
La localisation géo-référencée par GPS La précision des récepteurs GPS varie entre [2; 10]m. Le Système de Navigation Globale Galileo : financé par la Communauté Européenne, le système sera opérationnel en 2008, les récepteurs Galileo seront compatibles avec les systèmes existants, Galileo doit favoriser le développement d applications urbaines spécifiques : Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p.
La localisation par GPS en milieu urbain Le guidage d un véhicule requiert une localisation dont la résolution <0,5m. Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p.
La localisation par GPS en milieu urbain Le guidage d un véhicule requiert une localisation dont la résolution <0,5m. Les systèmes existants sont actuellement incapables de fournir une telle précision de manière continue : Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p.
La localisation par GPS en milieu urbain Le guidage d un véhicule requiert une localisation dont la résolution <0,5m. Les systèmes existants sont actuellement incapables de fournir une telle précision de manière continue : la qualité de réception des signaux émis dépend du degré d urbanisation et de la configuration de la constellation de satellites, Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p.
La localisation par GPS en milieu urbain Le guidage d un véhicule requiert une localisation dont la résolution <0,5m. Les systèmes existants sont actuellement incapables de fournir une telle précision de manière continue : la qualité de réception des signaux émis dépend du degré d urbanisation et de la configuration de la constellation de satellites, les phénomènes de diffractions et réflections des signaux corrompent le processus d estimation. Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p.
La localisation par GPS en milieu urbain Le guidage d un véhicule requiert une localisation dont la résolution <0,5m. Les systèmes existants sont actuellement incapables de fournir une telle précision de manière continue : la qualité de réception des signaux émis dépend du degré d urbanisation et de la configuration de la constellation de satellites, les phénomènes de diffractions et réflections des signaux corrompent le processus d estimation. un système de type GPS nécessite un couplage avec une méthode de localisation à l estime. Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p.
La vision embarquée Le développement de l emploi des caméras en robotique se justifie par : le faible coût, la richesse de l information fournie. Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p.
La vision embarquée Le développement de l emploi des caméras en robotique se justifie par : le faible coût, la richesse de l information fournie. MAIS l extraction de données pertinentes nécessite : des hypothèses sur le modèle de l environnement, des connaissances sur la mission à effectuer. Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p.
La vision embarquée (2) Les principaux champs d application dans le domaine automobile sont : Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p.
La vision embarquée (2) Les principaux champs d application dans le domaine automobile sont : le contrôle latéral du véhicule sur sa voie, Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p.
La vision embarquée (2) Les principaux champs d application dans le domaine automobile sont : le contrôle latéral du véhicule sur sa voie, la détection et la caractérisation d obstacles. Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p.
La vision embarquée (2) Les principaux champs d application dans le domaine automobile sont : le contrôle latéral du véhicule sur sa voie, la détection et la caractérisation d obstacles. La vision équipera nos futurs véhicules, pourquoi ne pas l utiliser pour les localiser? Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p.
La vision embarquée en milieu urbain La vision est alors couplée à un Système d Information Géographique (SIG). Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 1
La vision embarquée en milieu urbain La vision est alors couplée à un Système d Information Géographique (SIG). 3 approches se distinguent : l emploi d une base d images collectées au préalable et référencées dans le SIG ([Katsura,2003], [Georgiev,2004], [Royer,2004]), Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 1
La vision embarquée en milieu urbain La vision est alors couplée à un Système d Information Géographique (SIG). 3 approches se distinguent : l emploi d une base d images collectées au préalable et référencées dans le SIG ([Katsura,2003], [Georgiev,2004], [Royer,2004]), le recalage sur des amers dont les positions sont connues dans le SIG ([Chen,1999], [Kais,2004]), Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 1
La vision embarquée en milieu urbain La vision est alors couplée à un Système d Information Géographique (SIG). 3 approches se distinguent : l emploi d une base d images collectées au préalable et référencées dans le SIG ([Katsura,2003], [Georgiev,2004], [Royer,2004]), le recalage sur des amers dont les positions sont connues dans le SIG ([Chen,1999], [Kais,2004]), une localisation à l estime en supposant pouvoir suivre des primitives coplanaires ([Simond,2003],[Simond,2004]). Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 1
Plan 1. Les méthodes de localisation en milieu urbain 2. La localisation à l estime 3. Notre approche 4. Conclusion Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 1
Les méthodes de localisation à l estime Principe : intégration des déplacements élémentaires estimés entre (t) et (t + δt) x(k + 1) = x(k) + vδt cos (α + αδt 2 ) y(k + 1) = y(k) + vδt sin (α + αδt 2 ) α(k + 1) = α(k) + αδt avec (v, α) les vitesses en translation et rotation du mobile. Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 1
Les méthodes de localisation à l estime Principe : intégration des déplacements élémentaires estimés entre (t) et (t + δt) Limitation : ce sont des méthodes à dérive, c.à.d que l erreur d estimation est intégrée au cours du déplacement. Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 1
Les méthodes de localisation à l estime Principe : intégration des déplacements élémentaires estimés entre (t) et (t + δt) Limitation : ce sont des méthodes à dérive, c.à.d que l erreur d estimation est intégrée au cours du déplacement. Approche classique : utilisation des capteurs internes au véhicule (ABS, gyromètre) pour estimer le déplacement élémentaire importante erreur de modèle et bruit de mesures Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 1
Les méthodes de localisation à l estime Principe : intégration des déplacements élémentaires estimés entre (t) et (t + δt) Limitation : ce sont des méthodes à dérive, c.à.d que l erreur d estimation est intégrée au cours du déplacement. Approche classique : utilisation des capteurs internes au véhicule (ABS, gyromètre) pour estimer le déplacement élémentaire importante erreur de modèle et bruit de mesures Une alternative : utiliser la vision pour estimer le déplacement réel du véhicule par rapport à l environnement. Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 1
Localisation à l estime et vision L environnement urbain est formé de structures souvent planes qui gènent la réception des signaux GPS. Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 1
Localisation à l estime et vision L environnement urbain est formé de structures souvent planes qui gènent la réception des signaux GPS. l environnement urbain peut être modélisé par un couloir dont chaque surface texturée autorise une localisation à l estime par un système de vision. Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 1
Localisation à l estime et vision L environnement urbain est formé de structures souvent planes qui gènent la réception des signaux GPS. l environnement urbain peut être modélisé par un couloir dont chaque surface texturée autorise une localisation à l estime par un système de vision. les scènes urbaines doivent être segmentées. Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 1
L homographie Les primitives extraites sur le plan π ont des projections dans les 2 images liées par l homographie planaire H π : k [1, 2], l k H t k.l p k H k.p alors l 2 H t π.l 1 p 2 H π.p 1 avec H π =H 2 H 1 1 Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 1
L homographie (2) Soit (R 21, t 21 ) la transformation entre C 1 et C 2 : P 2 = R 21 P 1 + t 21 Z 2 p 2 = R 21 Z 1 p 1 + t 21 sachant que p π, 1 Z = n p d Z 2 p 2 = R 21 p 1 + t 21. n p 1 Z 1 d p 2 H 21 p 1 H 21 = R 21 + t 21 n d H 21 contient les informations sur le déplacement (R 21, t 21 ) entre les deux prises de vues et la normale n du plan π H 21 dépend de 8 paramètres, 4 couples de primitives, non-liées entre elles, suffisent à sa définition. Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 1
Localisation à l estime d un banc stéréo π R n 1 πg t n 1 πg R n 1 πd t n 1 πd Cg n 1 Rst n 1, tst n 1 Cd n 1 Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 1
Localisation à l estime d un banc stéréo Rπg n t n πg π R n πd t n πd Cg n R n st, t n st Cd n Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 1
Localisation à l estime d un banc stéréo π R n g t n g Cg n Cd n R t n d n g Cg n 1 Cd n 1 Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 1
Localisation à l estime d un banc stéréo π R n g t n g Cg n R n st = R n 1 st t n st = t n 1 st Cd n R t n d n g Cg n 1 Cd n 1 Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 1
Plan 1. Les méthodes de localisation en milieu urbain 2. La localisation à l estime 3. Notre approche 4. Conclusion Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 1
Notre approche Les opérations nécessaires à une localisation à l estime d un banc stéréo sont : la segmentation des plans principaux de la scène (route, façades), Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 1
Notre approche Les opérations nécessaires à une localisation à l estime d un banc stéréo sont : la segmentation des plans principaux de la scène (route, façades), l estimation du déplacement du véhicule, Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 1
Notre approche Les opérations nécessaires à une localisation à l estime d un banc stéréo sont : la segmentation des plans principaux de la scène (route, façades), l estimation du déplacement du véhicule, le recalage de la localisation à l estime avec un système de géo-référencement. Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 1
Hypothèses Hypothèses simplificatrices route localement plane à bords parallèles, environnement structuré, acquisition à cadence vidéo (25 images/s), vitesse réglementaire en milieu urbain (<15m/s). Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 2
Hypothèses Hypothèses simplificatrices route localement plane à bords parallèles, environnement structuré, acquisition à cadence vidéo (25 images/s), vitesse réglementaire en milieu urbain (<15m/s). => peu de variations des positions des primitives (points, droites) entre 2 images. Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 2
Hypothèses Hypothèses simplificatrices route localement plane à bords parallèles, environnement structuré, acquisition à cadence vidéo (25 images/s), vitesse réglementaire en milieu urbain (<15m/s). => peu de variations des positions des primitives (points, droites) entre 2 images. Difficultés intrinsèques au milieu urbain les scènes sont complexes et dynamiques, la présence de courbes, d occlusions, d ombres portées, les variations de luminosité... Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 2
Hypothèses Hypothèses simplificatrices route localement plane à bords parallèles, environnement structuré, acquisition à cadence vidéo (25 images/s), vitesse réglementaire en milieu urbain (<15m/s). => peu de variations des positions des primitives (points, droites) entre 2 images. Difficultés intrinsèques au milieu urbain les scènes sont complexes et dynamiques, la présence de courbes, d occlusions, d ombres portées, les variations de luminosité... => nécessité d une méthode d estimation et de suivi robuste. Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 2
Méthodologie La méthode se décompose en 4 parties : 1. la segmentation des régions d intérêt dans les images gauche et droite, 2. l extraction des primitives coplanaires, 3. le suivi des primitives coplanaires, 4. l estimation du déplacement du banc stéréo. Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 2
Méthodologie La méthode se décompose en 4 parties : 1. la segmentation des régions d intérêt dans les images gauche et droite : les lignes de fuite (VLs), le point de fuite dominant (DVP). 2. l extraction des primitives coplanaires, 3. le suivi des primitives coplanaires, 4. l estimation du déplacement du banc stéréo. Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 2
Segmentation du plan de la route L environnement urbain est aligné selon 3 directions privilégiées. seuls les contours orientés dans la direction de la prédiction du DVP sont conservés, les droites-supports regroupent les contours représentant une même arête de la scène, 18:08:41 G0788 18:08:41 D0788 50 50 100 100 150 150 200 200 250 250 300 300 350 350 400 400 100 200 300 400 500 600 700 100 200 300 400 500 600 700 Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 2
Segmentation du plan de la route L environnement urbain est aligné selon 3 directions privilégiées. le DVP est calculé de manière itérative en minimisant le résidu de chaque droite-support, les coordonnées sont filtrées avec un filtre de Kalman. 18:08:41 G0788 18:08:41 D0788 50 50 100 100 150 150 200 200 250 250 300 300 350 350 400 400 100 200 300 400 500 600 700 100 200 300 400 500 600 700 Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 2
Suivi du point de fuite dominant Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 2
Suivi du point de fuite dominant Coordonnees du DVP dans les images du couple stereo 800 700 600 X pg X mg X eg X pd X md X ed [pix] 500 400 300 200 100 800 850 900 950 1000 1050 1100 1150 Numero image Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 2
Suivi des délimitations de la route 18:08:41 G0772 18:08:41 D0772 50 100 150 200 250 300 350 400 50 100 150 200 250 300 350 400 100 200 300 400 500 600 700 100 200 300 400 500 600 700 X n abst = [ u n g1 u n g2 u n g3 u n d1 u n d2 u n d3 ] Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 2
Suivi des délimitations de la route 1000 500 0 Abscisse [pix] 500 1000 1500 2000 750 800 850 900 950 1000 1050 1100 1150 1200 100 Orientation 50 [ ] 0 50 100 750 800 850 900 950 1000 1050 1100 1150 1200 Numero image Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 2
Méthodologie La méthode se décompose en 4 parties : 1. la segmentation des régions d intérêt dans les images gauche et droite, 2. l extraction des primitives coplanaires : les points d intérêt (FPs), la stationnarité de l homographie stéréo H st. 3. le suivi des primitives coplanaires au long de la sequence, 4. l estimation du déplacement du banc stéréo. Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 2
Extraction des primitives coplanaires les FPs sont extraits avec un détecteur de Harris dans la région d intérêt correspondant à la route, les candidats à la mise en correspondance satisfont la prédiction de l homographie : Ĥ n st = Ĥ n 1 st, le calcul itératif de Ĥ n st est réalisé à partir des couples de FPs identifiés, les couples qui ne satisfont pas Ĥn st sont considérés en dehors du plan de la route. Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 2
Extraction des primitives coplanaires 18:08:41 G0810 18:08:41 D0810 50 100 150 200 250 300 350 400 50 100 150 200 250 300 350 400 100 200 300 400 500 600 700 100 200 300 400 500 600 700 descente G0284 descente D0284 50 100 150 200 250 300 350 400 450 500 550 100 200 300 400 500 600 700 50 100 150 200 250 300 350 400 450 500 550 100 200 300 400 500 600 700 Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 2
Méthodologie La méthode se décompose en 4 parties : 1. la segmentation des régions d intérêt dans les images gauche et droite, 2. l extraction des primitives coplanaires, 3. le suivi des primitives coplanaires : le déplacement de la caméra est supposé faible, les primitives coplanaires vérifient les homographies H n g et H n d. 4. l estimation du déplacement du banc stéréo. Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 2
Suivi des primitives coplanaires le déplacement de la caméra est inconnu, une prédiction grossière du mouvement apparent des FPs est disponible, le calcul des homographies H n g et H n d est fondé sur la même méthode que celle utilisée pour H n st. Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 2
Suivi des primitives coplanaires Versailles descente D0352 100 18:08:41 D0958 200 100 300 400 500 100 200 300 400 500 600 700 Versailles descente D0353 200 300 400 100 200 300 400 500 600 700 18:08:41 D0960 100 100 200 300 400 500 200 300 400 100 200 300 400 500 600 700 100 200 300 400 500 600 700 Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 2
En présence d obstacles? 18:08:41 G0902 50 100 150 200 250 300 350 400 100 200 300 400 500 600 700 18:08:41 G0904 50 100 150 200 250 300 350 400 100 200 300 400 500 600 700 Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 3
Méthodologie La méthode se décompose en 4 parties : 1. la segmentation des régions d intérêt dans les images gauche et droite, 2. l extraction des primitives coplanaires, 3. le suivi des primitives coplanaires, 4. l estimation du déplacement du banc stéréo : contraintes spatio-temporelles fournies par la prise en compte de plusieurs images, amélioration des estimations des homographies par le calcul de la super-homographie. Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 3
Contraintes spatio-temporelles Π Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 3
Contraintes spatio-temporelles Π Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 3
Contraintes spatio-temporelles Π Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 3
La super-homographie Le concept de super-homographie [Malis and Cipolla ] : I 3 H 12 H 1m H 21 I 3. H 31 H 32.. H =. et P k =.......... H m1 H m2 H m3 H m,m 1 I 3 Multi-view constraints between collineations: application to self-calibration from unknown planar structures (ECCV 00) p k1 p k2.. p k(m 1) p km Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 3
La super-homographie Le concept de super-homographie : la super-homographie H généralise la contrainte H ac H ab.h bc à m vues : rang(h n ) = 3 m 3 les coordonnées manquantes des super-primitives peuvent être estimées, en raison des bruits de mesure et des erreurs de mise en correspondance, rang( 0 H n ) 3. un processus d optimisation est nécessaire. Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 3
Les super-points d intérêt origine BP centrale utilitaire BP gauche n 154 82 214 232 271 327 328 367 354 0 0 I n 1 g 51 46 20 17 9 79 80 76 68 38 39 I n 1 d 49 42 21 18 14 69 71 10 68 0 0 18:08:41 G0898 18:08:41 D0898 50 50 100 100 150 150 200 250 300 350 400 9291 89 93 94 15 939 79 80 6 73 17 86 20 2729 24 2629 28 30 90 95 46 40 7443 4243 41 35 34 82 8437 36 47 75 87 51 76 77 5557 83 58 6465 61 63 65 5988 62 70 68 85 71 100 200 300 400 500 600 700 200 250 300 350 400 80795 81 82 14 1718 8 6971 10 7418 24 21 2931 27 26 28 32 78 83 42 37 41 35 72 43 40 3439 38 39 33 36 44 6746 49 47 75 5473 59 53 6264 58 63 64 6056 61 68 657766 100 200 300 400 500 600 700 Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 3
Les super-points d intérêt origine BP centrale utilitaire BP gauche n 154 82 214 232 271 327 328 367 354 0 0 I n 1 g 51 46 20 17 9 79 80 6 68 38 39 I n 1 d 49 42 21 18 14 69 71 10 68 0 0 Ig n 53 45 21 16 7 0 0 0 0 38 41 18:08:41 G0898 18:08:41 G0900 50 50 100 100 150 150 200 250 300 350 400 93 79 804 5 7317 20 27 24 2629 28 32 30 46 40 74 4243 41 35 3738 39 33 34 82 84 36 47 5051 76 775 87 5557 53 83 6465 61 63 5988 62 67 68 200 250 300 350 400 72 71 724 5 6916 21 27 24 26 31 29 28 30 45 42 70 4466 43 364038 41 34 35 73 75 39 80 5453 5048 49 76 5859 57 74 6364 67 68 7877 61 65 79 100 200 300 400 500 600 700 100 200 300 400 500 600 700 Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 3
Les super-points d intérêt origine BP centrale utilitaire BP gauche n 154 82 214 232 271 327 328 367 354 0 0 I n 1 g 51 46 20 17 9 79 80 6 68 38 39 I n 1 d 49 42 21 18 14 69 71 10 68 0 0 Ig n 53 45 21 16 7 0 0 0 0 38 41 I n d 0 38 24 16 11 0 0 0 63 32 37 18:08:41 D0898 18:08:41 D0900 50 50 100 100 150 150 200 250 300 350 400 84 91113 23 6 1415 6971 7418 21 19 2931 27 26 28 32 42 37 41 35 72 43 40 34 3839 33 36 44 48 67 4647 75 5455 7073 57 53 51 50 5859 6056 626364 61 68 100 200 300 400 500 600 700 200 250 300 350 400 1 23 16 7910 5 15 7475 7816 24 21 2930 27 26 28 79 65 38 34 39 66 67 36 3537 31 76 33 43 445 49 73 46 556 5077 68 53 51 7058 57 5971 69 616072 63 100 200 300 400 500 600 700 Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 3
Les super-points d intérêt origine BP centrale utilitaire BP gauche n 154 82 214 232 271 327 328 367 354 0 0 I n 1 g 51 46 20 17 9 79 80 6 68 38 39 I n 1 d 49 42 21 18 14 69 71 10 68 0 0 Ig n 53 45 21 16 7 0 0 0 0 38 41 I n d 0 38 24 16 11 0 0 0 63 32 37 I n d 49 38 24 16 11 0 0 0 0 32 37 18:08:41 G0900 18:08:41 D0900 50 50 100 100 150 150 200 250 300 350 400 83 67 2 6916 21 71 72 85 82 27 24 26 29 28 30 81 84 45 42 44 70 43 36 73 66 7546 39 80 50 4849 53 5859 63 67 76 77 78 79 200 250 300 350 400 80 49 82 1411 6 7475 84 7816 81 24 2927 26 30 28 83 79 65 38 34 39 66 76 67 36 354133 43 73 445 55 61 70 77 46 59 69 63 100 200 300 400 500 600 700 100 200 300 400 500 600 700 Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 3
Les super-points d intérêt 154 182 353 338 214 232 271 312 187 148 371 365 364 207 294 260 363 366 335 204 347 314 217 362 198 327 226 328 367 369 358 368 297 173 322 373 329 370 310 372 349 334 354 154 182 353 338 214 148 232 187 294 371 366 365 217 363 271 207 364 314 312 335 260 362 347 204 198 226 327 328 367 369 368 358 297 173 370 349 322 372 373 329 310 334 354 origine BP centrale utilitaire BP gauche n 154 82 214 232 271 327 328 367 354 0 0 I n 1 g 51 46 20 17 9 79 80 6 68 38 39 I n 1 d 49 42 21 18 14 69 71 10 68 0 0 Ig n 53 45 21 16 7 0 0 0 0 38 41 I n d 0 38 24 16 11 0 0 0 63 32 37 I n d 49 38 24 16 11 0 0 0 0 32 37 18:08:41 G0900 18:08:41 D0900 50 50 100 100 150 150 200 200 250 250 300 300 350 350 400 400 100 200 300 400 500 600 700 100 200 300 400 500 600 700 Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 3
Estimation de la super-homographie Estimation de H n : q=0, initialisation des coordonnées des super-primitives 0 P n, Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 3
Estimation de la super-homographie Estimation de H n : q=0, initialisation des coordonnées des super-primitives 0 P n, initialisation de 0 H n à partir de H n 1 et H n st, H n g, H n d, Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 3
Estimation de la super-homographie Estimation de H n : q=0, initialisation des coordonnées des super-primitives 0 P n, initialisation de 0 H n à partir de H n 1 et H n st, H n g, H n d, tant que (rang( q H n ) > 3), q = q+1, mise à jour de q H n à partir des SFPs q 1 P n, mise à jour des coordonnées des SFPs : q P n = 1 m.q H n. q 1 P n, fin tant que Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 3
Le suivi des super-primitives 18:08:41 G0898 18:08:41 D0898 50 50 100 100 150 150 200 250 300 350 400 166 165 126 140 149162 159 110 97 122 157 92 85 82 111 170 77 79 83 78 142 64 173 60 138 174 98 86 129 154 117 144 158 100 200 300 400 500 600 700 200 250 300 350 400 166 165 126 140 149162 159110 97 122 157 92 85 82 111 170 77 79 83 78 86 129 154 64 173 142 60 138 174 98 117 144 100 200 300 400 500 600 700 18:08:41 G0900 18:08:41 D0900 50 50 100 100 150 150 200 250 300 350 400 126 140 149162 159 110 97 122 157 92 85 170 77 79 83175 78 142 64 173 176 60 174 98 82 86 177 129 154 200 250 300 350 400 64 126 140 149162 159 110 97 122 157 92 85 170 77 79 83 175 78 173 142 176 60 174 98 82 86 129 177 154 100 200 300 400 500 600 700 100 200 300 400 500 600 700 Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 3
Du plan projectif à l espace euclidien Nous supposons : l altitude des caméras constantes h g = h d = 1m, la calibration de la paire stéréo connue, la normale au plan n est proche de la verticale. Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 3
Du plan projectif à l espace euclidien Le déplacement entre I a et I b est extrait de p H ab : [R ab + t abn t d a ] = K 1 b.p H ab.k a Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 3
Reconstruction du plan de la route 5 Deplacement de la camera droite : X(bleu), Y(vert), Z(rouge) Θ [ ] 0 500 5 280 300 320 340 360 380 400 420 440 460 480 500 2 1000 T/d 1 0 1 1500 2 280 300 320 340 360 380 400 420 440 460 480 500 N 1 0.5 0 2000 0.5 1 280 300 320 340 360 380 400 420 440 460 480 500 Numero image 2500 200 400 600 800 Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 3
Suivi des plans principaux de la scène La transposition de la méthode aux autres plans de la scène est directe. canyon G0190 canyon D0190 50 100 150 200 250 300 350 400 450 500 550 50 100 150 200 250 300 350 400 450 500 550 100 200 300 400 500 600 700 100 200 300 400 500 600 700 Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 3
Suivi des plans principaux de la scène La transposition de la méthode aux autres plans de la scène est directe. canyon G0190 canyon D0190 50 100 150 200 250 300 350 400 450 500 550 50 100 150 200 250 300 350 400 450 500 550 100 200 300 400 500 600 700 100 200 300 400 500 600 700 Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 3
Conclusion le modèle de couloir est adapté à l environnement urbain, la stéréo-vision permet de segmenter les principales surfaces planes de la scène, la vision dynamique permet d estimer le mouvement du véhicule, la super-homographie améliore la robustesse de l extraction de primitives coplanaires, l introduction des super-points d intérêt permet d uniformiser la répartition spatiale des primitives. Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 4
Conclusion(2) Le couplage d un banc stéréo avec le GNSS devrait suffire à la localisation d un véhicule en environnement urbain. Mais les résultats présentés sont perfectibles : les séquences vidéo exploitées sont essentiellement rectilignes, la fréquence d acquisition des images doit être synchronisée au déplacement du véhicule, la qualité des estimations de déplacements dépend fortement de la distribution des primitives détectées. Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 4
Perspectives l emploi de caméras à large champ ou la motorisation du banc stéréo, la fusion des estimations des déplacements induits par le suivi de différents plans, la calibration de la paire stéréo grâce aux contraintes d orthogonalité et de parallélisme de l environnement, la détection d obstacles, le recalage des estimations de localisation à l estime à l aide de données satellitaires. Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 4
Remerciements Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 4
Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 4
Et quand ça tourne? Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 4
Les points d intérêt virtuels Le conditionnement du système formé par l homographie dépend de : 1. la distribution spatiale des primitives, 2. la nature des primitives employées. les points d intérêt virtuels (VFPs) correspondent à l intersection : des VLs filtrées qui délimitent les voies de circulation, des SFPs dont les projections sont connues dans les m vues. Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 4
Les points d intérêt virtuels descente D0330 gare D0121 50 100 150 200 250 300 350 400 450 500 550 50 100 150 200 250 300 350 400 450 500 550 100 200 300 400 500 600 700 100 200 300 400 500 600 700 Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 4
Les points d intérêt virtuels 18:08:41 G0976 warpee dans D0976 sans VFPs 18:08:41 G0976 warpee dans D0976 avec VFPs 50 100 150 200 250 300 350 400 50 100 150 200 250 300 350 400 100 200 300 400 500 600 700 100 200 300 400 500 600 700 Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 4
Estimations des déplacements l homographie H st : 10 Geometrie de la paire stereo: X(bleu), Y(vert), Z(rouge) Θ [ ] 5 0 5 10 800 850 900 950 1000 1050 1100 1150 2 T [m] 1 0 1 2 800 850 900 950 1000 1050 1100 1150 1 N 0.5 0 0.5 1 800 850 900 950 1000 1050 1100 1150 Numero image Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 4
Estimations des déplacements les homographies H st et H g extraites de H Geometrie de la paire stereo: X(bleu), Y(vert), Z(rouge) Deplacement de la camera gauche : X(bleu), Y(vert), Z(rouge) 10 5 5 Θ [ ] 0 Θ [ ] 0 5 10 800 850 900 950 1000 1050 1100 1150 5 800 850 900 950 1000 1050 1100 1150 2 2 T [m] 1 0 T [m] 1 0 1 1 2 800 850 900 950 1000 1050 1100 1150 2 800 850 900 950 1000 1050 1100 1150 1 1 N 0.5 0 N 0.5 0 0.5 0.5 1 800 850 900 950 1000 1050 1100 1150 Numero image 1 800 850 900 950 1000 1050 1100 1150 Numero image Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 4
Estimations des déplacements les homographies H st et H g extraites de H avec les VFPs Geometrie de la paire stereo: X(bleu), Y(vert), Z(rouge) Deplacement de la camera gauche : X(bleu), Y(vert), Z(rouge) 10 5 5 Θ [ ] 0 Θ [ ] 0 5 10 800 850 900 950 1000 1050 1100 1150 5 800 850 900 950 1000 1050 1100 1150 2 2 1 1 T [m] 0 T [m] 0 1 1 2 800 850 900 950 1000 1050 1100 1150 2 800 850 900 950 1000 1050 1100 1150 1 1 N 0.5 0 N 0.5 0 0.5 0.5 1 800 850 900 950 1000 1050 1100 1150 Numero image 1 800 850 900 950 1000 1050 1100 1150 Numero image Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 4
Temps de calcul 1.5 Temps de calcul pour la sequence du port d Antibes 1 segmentation route 0.5 0 750 800 850 900 950 1000 1050 1100 1150 1200 3 2 1 extraction FPs 0 750 800 850 900 950 1000 1050 1100 1150 1200 0.3 0.2 0.1 estimation H st 0 750 800 850 900 950 1000 1050 1100 1150 1200 1.5 1 0.5 estimation H g, H d 0 750 800 850 900 950 1000 1050 1100 1150 1200 3 2 1 estimation SH 0 750 800 850 900 950 1000 1050 1100 1150 1200 Numero image Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 4
Limitation du nombre de primitives à considé Il est nécessaire de limiter le nombre de FPs à considérer. canyon G0190 canyon D0190 50 100 150 200 250 300 350 400 450 500 550 50 100 150 200 250 300 350 400 450 500 550 100 200 300 400 500 600 700 100 200 300 400 500 600 700 Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 4
Limitation du nombre de primitives à considé Il est nécessaire de limiter le nombre de FPs à considérer. canyon G0190 canyon D0190 50 100 150 200 250 300 350 400 450 500 550 50 100 150 200 250 300 350 400 450 500 550 100 200 300 400 500 600 700 100 200 300 400 500 600 700 Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 4
Limitation du nombre de primitives à considé Il est nécessaire de limiter le nombre de FPs à considérer. canyon G0190 canyon D0190 50 100 150 200 250 300 350 400 450 500 550 50 100 150 200 250 300 350 400 450 500 550 100 200 300 400 500 600 700 100 200 300 400 500 600 700 Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 4
Limitation du nombre de primitives à considé Il est nécessaire de limiter le nombre de FPs à considérer. canyon G0190 canyon D0190 50 100 150 200 250 300 350 400 450 500 550 50 100 150 200 250 300 350 400 450 500 550 100 200 300 400 500 600 700 100 200 300 400 500 600 700 Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 4
Limitation du nombre de primitives à considé Il est nécessaire de limiter le nombre de FPs à considérer. canyon G0190 canyon D0190 50 100 150 200 250 300 350 400 450 500 550 50 100 150 200 250 300 350 400 450 500 550 100 200 300 400 500 600 700 100 200 300 400 500 600 700 Localisation robuste d un véhicule en environnement urbain à partir d un système de stéréo-vision p. 4