Stéréovision et détection d obstacle

Dimension: px

Commencer à balayer dès la page:

Download "Stéréovision et détection d obstacle"

Lucille Jolicoeur
il y a 6 ans
Total affichages :

fr/tarel.jean-philippe/ensta10/ Stéréovision et détection d obstacle p.

1 Stéréovision et détection d obstacle Jean-Philippe Tarel LCPC Paris Tarel@lcpc.fr A7-1 : Perception pour la conduite automatisée ENSTA Stéréovision et détection d obstacle p. 1 Préfreinage devant un obstacle Extraits: LIVIC. Stéréovision et détection d obstacle p. 2

2 Stéréovision 1. Géométrie épipolaire, rectifiée et calibrage 2. Détection des obstacles par accumulation dans v-disparité 3. Détection des obstacles par régression dans l espace des disparités Stéréovision et détection d obstacle p. 3 Intérêt de la stéréovision Permet d estimer la position de l objet détecté par rapport au véhicule. Quelques exemples d utilisation : Pré-freinage en cas de détection d obstacle (Collision avoidance system) Alerte sur la présence d un piéton(pedestrian protection system) Détection de véhicule dans l angle mort (Blind Spot Monitoring) Man uvre automatique pour garer le véhicule (Automatic parking) Stéréovision et détection d obstacle p. 4

Détection des obstacles par régression dans l espace des disparités Stéréovision et

3 Stéréovision 1. Géométrie épipolaire, rectifiée et calibrage 2. Détection des obstacles par accumulation dans v-disparité 3. Détection des obstacles par régression dans l espace des disparités Stéréovision et détection d obstacle p. 5 Véhicule avec stéréovision Caméra stéréo en géométrie proche de celle rectifiée. Extrait : LRS. Stéréovision et détection d obstacle p. 6

7 Géométrie rectifiée P v G u G Caméra G v D u D Caméra D p G p D F G F D Mise

4 Véhicule avec stéréovision Caméra stéréo en géométrie proche de celle rectifiée. Extrait : LIVIC. Stéréovision et détection d obstacle p. 7 Géométrie rectifiée P v G u G Caméra G v D u D Caméra D p G p D F G F D Mise en correspondance sur une ligne horizontale. disparité=u G u D. Stéréovision et détection d obstacle p. 8

5 Correspondance par corrélation Extrait : LRS. Différentes mesures de similarité: Sum of Squared Differences(SSD), Sum of Absolute Differences(SAD), Zero-mean SAD(ZSAD), Normalized Cross Correlation (NCC), Zero-mean NCC (ZNCC). Stéréovision et détection d obstacle p. 9 Géométrie épipolaire P Caméra G Caméra D p G p D F G F D Rectification: reprojeter chaque image sur un même plan parallèleàlabasedefaçonàêtreen géométrierectifiée. Stéréovision et détection d obstacle p. 10

Calibrage stéréoscopique Acquisition de deux vues d une même grille. Stéréovision et détection d obstacle p. 11 Calibrage stéréoscopique Acquisition dedeux vues sur unemêmegrille.

6 Calibrage stéréoscopique Acquisition de deux vues d une même grille. Stéréovision et détection d obstacle p. 11 Calibrage stéréoscopique Acquisition dedeux vues sur unemêmegrille. Estimation des paramètres intrinsèques et extrinsèques de chaque caméra en utilisant le modèle sténopé + distorsions radiales. Correction des distorsions radiales. Stéréovision et détection d obstacle p. 12

7 Calibrage stéréoscopique Acquisition dedeux vues sur unemêmegrille. Estimation des paramètres intrinsèques et extrinsèques de chaque caméra en utilisant le modèle sténopé + distorsions radiales. Correction des distorsions radiales. Rectification des images. Stéréovision et détection d obstacle p. 13 Distorsions géométriques Différents types de distorsions géométriques[4] : Distorsion radiale: x d c } = x c + αx c (x 2 c + yc) 2 yc d = y c + αy c (x 2 c + yc) 2 Décentrage des lentilles: x d = x c + β(3x 2 c + y 2 c) + 2γx c y c y d = y c + γ(x 2 c + 3y 2 c) + 2βx c y c } (1) (2) Erreur de parallélisme: } x d = x c + δ(x 2 c + yc) 2 y d = y c + δ(x 2 c + yc) 2 (3) Stéréovision et détection d obstacle p. 14

Détection des obstacles par régression dans l espace des disparités

8 Stéréovision 1. Géométrie épipolaire, rectifiée et calibrage 2. Détection des obstacles par accumulation dans v-disparité 3. Détection des obstacles par régression dans l espace des disparités Stéréovision et détection d obstacle p. 15 Détection avec la v-disparité Stéréovision et détection d obstacle p. 16

9 Détection avec la v-disparité Extraction des zones de fort gradient. Stéréovision et détection d obstacle p. 17 Détection avec la v-disparité Extraction des zones de fort gradient. Disparité par corrélation. Stéréovision et détection d obstacle p. 18

10 Détection avec la v-disparité Extraction des zones de fort gradient. Disparité par corrélation Accumulation en u[2]. Stéréovision et détection d obstacle p. 19 Détection avec la v-disparité Extraction des zones de fort gradient. Disparité par corrélation Accumulation en u[2]. Estimation du plan delaroute. Stéréovision et détection d obstacle p. 20

11 Détection avec la v-disparité Extraction des zones de fort gradient. Disparité par corrélation Accumulation en u[2]. Estimation du plan delaroute. Détection des objets verticaux et sélection de ceux Stéréovision et détection d obstacle p. 21 sur lavoie. Avantages et limites Avantages: Rapidité. Robustesse. Possibilité deprendreen compteun profilcourbede la route. Limites : La basestéréo est supposée parallèleàlaroute accumulation selon d autres axes en cas de roulis. Route supposée sans courbure latérale. Stéréovision et détection d obstacle p. 22

12 Stéréovision 1. Géométrie épipolaire, rectifiée et calibrage 2. Détection des obstacles par accumulation dans v-disparité 3. Détection des obstacles par régression dans l espace des disparités Stéréovision et détection d obstacle p. 23 Détection avec la carte de disparité Stéréovision et détection d obstacle p. 24

13 Détection avec la carte de disparité Carte de disparité par corrélation. Stéréovision et détection d obstacle p. 25 Détection avec la carte de disparité Carte de disparité par corrélation. Segmentation delachaussée ou détection delavoie. Stéréovision et détection d obstacle p. 26

14 Détection avec la carte de disparité Carte de disparité par corrélation. Segmentation delachaussée ou détection delavoie. Estimation delasurfacedelachaussée et détection des obstacles sur la voie. Carte de disparité semi-dense Stéréovision et détection d obstacle p. 27 Extraits: LIVIC[1]. Stéréovision et détection d obstacle p. 28

15 Avantages et limites Avantages: Robustesse. Priseen comptederoutesavec desprofilsvariés. Roulis prisen compte. Limites : Pluscouteux en temps decalculs. Stéréovision et détection d obstacle p. 29 Espace u-v-disparité Image gauche Disparité u l v l u r P Plan epipolaire Ligne epipolaire Image droite Transformation bijective entre les coordonnées 3D, (u r,u l,v) et (u,v,disparite), avec v = v l = v r et u = (u r + u l )/2 [3]. Stéréovision et détection d obstacle p. 30

16 Régression du profil de la route Stéréovision et détection d obstacle p. 31 Régression du profil de la route Extraction des contours Stéréovision et détection d obstacle p. 32

17 Régression du profil de la route Extraction des contours Segmentation sélection des contours sur le sol. Stéréovision et détection d obstacle p. 33 Régression du profil de la route Acquisition stéréoscopique, rectification. Extraction des contours Segmentation sélection des contours sur le sol. Reconstruction 3Ddu profil delaroute. Stéréovision et détection d obstacle p. 34

Reconstruction 3D Modèle de route = polynôme dans l espace des disparités: u l u r = a 0 + a 1 v + a 2 v 2 + + a d v d + b (u r,u l,v) est un appariement entredeux pixels (u r,v) et (u l,v).

18 Reconstruction 3D Modèle de route = polynôme dans l espace des disparités: u l u r = a 0 + a 1 v + a 2 v a d v d + b (u r,u l,v) est un appariement entredeux pixels (u r,v) et (u l,v). A = (a i ) 0 i d est levecteur desparamètresdu profil vertical de la route linéarité. X(v) = (v d ) 0 i d = X est un vecteur defonctions de base. best lebruit. problème de régression robuste sur l ensemble des appariements[5]. Stéréovision et détection d obstacle p. 35 Résultats Stéréovision et détection d obstacle p. 36

19 Situations difficiles Saturations et éblouissements. Atténuation des contrastes en présence de brouillard. Spécularités et réflexions des sources en présence de pluie. Stéréovision et détection d obstacle p. 37 References [1] A. Ganoun, T. Veit, and D. Aubert. Tracking multiple targets based on stereo vision. In Proceedings of International Conference on Computer Vision Theory and Applications (VISAPP 09), pages , Lisboa, Portugal, [2] R. Labayrade, D. Aubert, and J.-P. Tarel. Real time obstacle detection in stereo vision on non-flat road geometry through v-disparity representation. In IEEE Intelligent Vehicle Symposium (IV 2002), volume 2, pages , Versailles, France, [3] J.-P. Tarel. Global 3D planar reconstruction with uncalibrated cameras and rectified stereo geometry. International Jounal Machine Graphics and Vision, 6(4): , [4] J.-P. Tarel and A. Gagalowicz. Calibration de caméra à base d ellipses. Traitement du Signal, 12(2): , [5] J.-P. Tarel, S.-S. Ieng, and P. Charbonnier. Accurate and robust image alignment for road profile reconstruction. In Proceedings of the IEEE International Conference on Image Processing (ICIP 07), volume V, pages , San Antonio, Texas, USA, Stéréovision et détection d obstacle p. 38

Documents pareils

Reconnaissance de visages 2.5D par fusion des indices de texture et de profondeur ICI 12/12/12

Reconnaissance de visages 2.5D par fusion des indices de texture et de profondeur ICI 12/12/12 2 Discrimination Invariance Expressions faciales Age Pose Eclairage 11/12/2012 3 Personne Inconnue Identité