Détection et localisation 3D de panneaux de signalisation

Détection et localisation 3D de panneaux de signalisation Bahman Soheilian Laboratoire Matis Institut national de l information géographique et forestière Saint-Mandé, FRANCE http://recherche.ign.fr/labos/matis bahman.soheilian@ign.fr 21 ièmes Journées de la Recherche 8 mars 2012

Reconstruction 3D de panneaux routiers otivations : Inventaire routier, Vers un modèle de route navigable, Réalité virtuelle, Localisation précise grâce aux amers visuels. B. Soheilian (IGN-MATIS) Modélisation 3D de panneaux JR2012-08 Mars 2012 2 / 27

Contexte et stratégie Données : Images couleurs, Calibrations intrinsèques et extrinsèques, Catalogue des panneaux de signalisation. Objectifs : Modèle géométrique simple, Précisions centimétriques, Information sémantique. Approche : Détection 2D et identification de panneaux dans des images couleurs individuelles, Appariement et reconstruction 3D multi-vues contrainte. B. Soheilian (IGN-MATIS) Modélisation 3D de panneaux JR2012-08 Mars 2012 3 / 27

Contexte De tection 2D Resonstruction 3D Re sultats Conclusions De tection de panneaux dans l image couleur De tection de couleur Image C r I (x, y ) C b autre De tection de couleur I (x,y ) I (x,y ) si I r (x,y ) > T & I r (x,y ) > T v b Bleu I (x,y ) I (x,y ) si Ib (x,y ) > T & Ib (x,y ) > T r v sinon Crops d image Quadrilate re convexe Ellipse ou : I (x, y ) : pixel de coordonne x et y de l image I. Ir, Iv, Ib : valeurs des trois canaux. Cr, Cb : classes rouge et bleue. Rouge Ellipse + bleu Ellipse Triangle Cate gorie Cate gorie? Quadrilate re Ellipse? + rouge + bleu Obligation T : seuil a fixer. Indication Interdiction Triangle + rouge Danger Rectification locale d image Appariement avec les panneaux de re fe rences de me me type Obligation B. Soheilian (IGN-MATIS) Mode lisation 3D de panneaux Indication Interdiction JR2012-08 Mars 2012 Danger 4 / 27

Contexte De tection 2D Resonstruction 3D Re sultats Conclusions De tection de panneaux dans l image couleur Image De tection de couleur Bleu De tection de forme Rouge Crops d image Quadrilate re convexe Ellipse Ellipse + bleu Ellipse Triangle Cate gorie Cate gorie? Quadrilate re Ellipse? + rouge + bleu Obligation Indication Interdiction Triangle + rouge Danger Rectification locale d image Appariement avec les panneaux de re fe rences de me me type Obligation B. Soheilian (IGN-MATIS) Mode lisation 3D de panneaux Indication Interdiction JR2012-08 Mars 2012 Danger 4 / 27

Détection de panneaux dans l image couleur Image Bleu Détection de couleur Rouge Crops d image Reconnaissance de type Ellipse Ellipse + bleu Quadrilatère convexe Catégorie? Quadrilatère + bleu Ellipse Triangle Catégorie Ellipse Triangle + rouge? + rouge Obligation Indication Interdiction Danger Rectification locale d image Appariement avec les panneaux de références de même type Obligation Indication Interdiction Danger B. Soheilian (IGN-MATIS) Modélisation 3D de panneaux JR2012-08 Mars 2012 4 / 27

Détection de panneaux dans l image couleur Image Reconnaissance de type Rectification d image Ellipse Bleu Détection de couleur Quadrilatère convexe Crops d image Ellipse Rouge Triangle Ellipse + bleu Catégorie Catégorie Ellipse Triangle? Quadrilatère + rouge? + rouge + bleu Obligation Indication Interdiction Danger Rectification locale d image Appariement avec les panneaux de références de même type Obligation Indication Interdiction Danger B. Soheilian (IGN-MATIS) Modélisation 3D de panneaux JR2012-08 Mars 2012 4 / 27

Détection de panneaux dans l image couleur Image Bleu Détection de couleur Rouge Reconnaissance de type Rectification d image Appariement de texture Ellipse Ellipse + bleu Quadrilatère convexe Crops d image Catégorie? Quadrilatère + bleu Ellipse Triangle Catégorie Ellipse Triangle + rouge? + rouge Score de corrélation (%) Obligation Indication Interdiction Danger Rectification locale d image Appariement avec les panneaux de références de même type Obligation Indication Interdiction Danger B. Soheilian (IGN-MATIS) Modélisation 3D de panneaux JR2012-08 Mars 2012 4 / 27

Contexte De tection 2D Resonstruction 3D Re sultats Conclusions Re sultats Exemple d extraction de panneaux dans une image couleur B. Soheilian (IGN-MATIS) Mode lisation 3D de panneaux JR2012-08 Mars 2012 5 / 27

Évaluation de la performance Taille Min. Nombre de Détection Détection + Identification (pixels) panneaux TP (%) FP/image TP (%) FP/image 64 261 82% 1.78 71% 0.07 48 502 82% 3.05 68% 0.10 32 975 76% 6.31 60% 0.21 16 1246 73% 15.04 55% 0.59 Table: TPs et FPs pour 4 catégories de taille, calculés sur 3384 images [Belaroussi et al.(2010)]. Belaroussi, R., Foucher, P., Tarel, J., Soheilian, B., Charbonnier, P., Paparoditis, N., 2010. Road Sign Detection in Images : A Case Study. In : IEEE, International Conference on Pattern Recognition (ICPR 10). Istanbul, Turkey, pp. 484 488. B. Soheilian (IGN-MATIS) Modélisation 3D de panneaux JR2012-08 Mars 2012 6 / 27

Reconstruction 3D de panneaux Verrous : Reconstruction par intersection de visées : Erreurs aléatoires d estimation de géométrie 2D de panneaux dans images. Erreurs aléatoires de poses des images, Mise en correspondance de panneaux 2D : Présence de faux panneaux 2D. Pas de a priori : Prise de vues non-organisé. B. Soheilian (IGN-MATIS) Modélisation 3D de panneaux JR2012-08 Mars 2012 7 / 27

Reconstruction par intersection de visées Imprécisions Détection 2D, Poses d images. Impacte en 3D Erreurs de position, orientation, Formes 3D non conformes. Oj Oi Solution envisagée Augmentation de nombre d observations = muti-vues, Prise en compte de contraintes de forme. B. Soheilian (IGN-MATIS) Modélisation 3D de panneaux JR2012-08 Mars 2012 8 / 27

Reconstruction par intersection de visées Imprécisions Détection 2D, Poses d images. Impacte en 3D Erreurs de position, orientation, Formes 3D non conformes. Oj Oi Solution envisagée Augmentation de nombre d observations = muti-vues, Prise en compte de contraintes de forme. B. Soheilian (IGN-MATIS) Modélisation 3D de panneaux JR2012-08 Mars 2012 9 / 27

Reconstruction multi-vues contrainte Un panneau 3D X 3 X 2 v 2 X 1 : Q v 1 X 4 p i2 p j2 p i1 O i p j1 Panneaux détectés dans images i et j O j E(X) = i I,k S d 2 (X k, p ik ) X k = Q + ɛ 1 (k) v 1 + ɛ 2 (k) v 2 ɛ 1 = {0, 1, 1, 0} ɛ 2 = {0, 0, 1, 1} C 1 : v 1 v 2 = 0 2 C 2 : v 1 (r v2 ) 2 = 0 m L(X, λ) = E(X) + λ j C j (X) j=1 B. Soheilian (IGN-MATIS) Modélisation 3D de panneaux JR2012-08 Mars 2012 10 / 27

Reconstruction multi-vues contrainte Un panneau 3D X 3 X 2 v 2 X 1 : Q v 1 X 4 p i2 p j2 p i1 O i p j1 Panneaux détectés dans images i et j O j E(X) = i I,k S d 2 (X k, p ik ) X k = Q + ɛ 1 (k) v 1 + ɛ 2 (k) v 2 ɛ 1 = {0, 1, 1, 0} ɛ 2 = {0, 0, 1, 1} C 1 : v 1 v 2 = 0 2 C 2 : v 1 (r v2 ) 2 = 0 m L(X, λ) = E(X) + λ j C j (X) j=1 B. Soheilian (IGN-MATIS) Modélisation 3D de panneaux JR2012-08 Mars 2012 11 / 27

Reconstruction multi-vues contrainte B. Soheilian (IGN-MATIS) Modélisation 3D de panneaux JR2012-08 Mars 2012 12 / 27

Mise en correspondance de panneaux 2D Deux panneaux 2D homologues sont reconnus par : Catégorie et type similaires, Contraintes de la géométrie épipolaire, Contraintes de forme et de taille. Comment apparier les panneaux homologues de manière automatiques B. Soheilian (IGN-MATIS) Modélisation 3D de panneaux JR2012-08 Mars 2012 13 / 27

Appariement de panneaux input : A set of n detected 2D signs : R output: A set of hypothetical 3D signs : S for i 1 to n 1 do for j i + 1 to n do if!arecompatible(r i, r j ) then continue ; end ŝ Compute3DSign(r i, r j ) if s m S ŝ s m < ɛ then s m.addindexes(i, j) s m.update() end else S S {ŝ} end end Algorithm 1: Génération d hypothèse 3D B. Soheilian (IGN-MATIS) Modélisation 3D de panneaux JR2012-08 Mars 2012 14 / 27

Appariement de panneaux B. Soheilian (IGN-MATIS) Modélisation 3D de panneaux JR2012-08 Mars 2012 15 / 27

Appariement de panneaux Sortie de l algorithme 1 : m hypothèses de panneau 3D (avec la liste des panneaux 2D associés), Un panneau 2D est associé à n panneaux 3D panneau fantôme. Contrainte : Un panneau 2D est associé seulement au panneau 3D avec le nombre de panneau 2D maximal. Seulement les panneaux conservant plus de 80% des leurs panneaux 2D initiales sont retenus. B. Soheilian (IGN-MATIS) Modélisation 3D de panneaux JR2012-08 Mars 2012 16 / 27

Appariement de panneaux B. Soheilian (IGN-MATIS) Modélisation 3D de panneaux JR2012-08 Mars 2012 17 / 27

Résultats B. Soheilian (IGN-MATIS) Modélisation 3D de panneaux JR2012-08 Mars 2012 18 / 27

Contexte De tection 2D Resonstruction 3D Re sultats Conclusions Re sultats B. Soheilian (IGN-MATIS) Mode lisation 3D de panneaux JR2012-08 Mars 2012 18 / 27

Résultats B. Soheilian (IGN-MATIS) Modélisation 3D de panneaux JR2012-08 Mars 2012 18 / 27

Résultats et évaluations Objectifs : Taux de détection d algorithme de mise en correspondance : Faux positifs (Panneaux non réels reconstruits) Faux négatifs (Panneaux réels non reconstruits) Précision géométrique de reconstruction. B. Soheilian (IGN-MATIS) Modélisation 3D de panneaux JR2012-08 Mars 2012 19 / 27

Contexte De tection 2D Resonstruction 3D Re sultats Conclusions Re sultats et e valuations 1 km Donne es de re fe rences : 400 12 images : Re elles (ge ore fe rencement direct) I 24 panneaux re els. F F Comple tude (TP, FP), Pre cision (re sidus 2D image) Simule es (poses parfaites) I 54 panneaux simule s. F F Comple tude (TP, FP), Pre cision (re sidus 2D image et 3D) B. Soheilian (IGN-MATIS) Mode lisation 3D de panneaux JR2012-08 Mars 2012 20 / 27

Résultats et évaluations : Complétude Complétude : Type Nombre de d image panneaux 1 FP FN Réelle 28 2 4 Simulée 55 9 1 Table: Évaluation de complétude de mise en correspondance de panneaux. 1. Seulement les panneaux vus au moins dans 3 images ont été pris en compte. B. Soheilian (IGN-MATIS) Modélisation 3D de panneaux JR2012-08 Mars 2012 21 / 27

Résultats et évaluations : Complétude Faux positifs : souvent causés par des réponses multiples pour un même panneau. Faux negatifs : souvent causés par l ambiguïté géométrique. B. Soheilian (IGN-MATIS) Modélisation 3D de panneaux JR2012-08 Mars 2012 22 / 27

Résultats et évaluations : Précision géométrique In conclusion, the clustering threshold is the pertinent parameter to tune the detection. It oers a tradeo between false positive and false negative rates: augmenting the clustering threshold reduces false negative rate but causes more Evaluation de l influence des contraintes de forme Sheet6 Sheet6 Images false réelles matches, : leading to more false positives. 45 40 35 30 25 20 15 10 5 0 Image residuals 1 2 3 4 5 6 7 8 9 1011121314151617181920 Residuals in pixel 1 2 3 4 5 6 7 8 9 1011121314151617181920 Figure: Résidus d image (a) : (Gauche) Sans contrainte (4,75 pixels), (Droite) Contrainte (5,05 pixels). 50 45 40 35 30 25 20 15 10 5 0 Image residuals Residuals in pixel Fig. 12. Histogram of image residuals: (a) without geometrical constraint. Mean residual = 4.75 pixels. (b) with geometrical constraints, Mean residual = 5.05 pixels. For the real dataset, the precision of the reconstruction can be evaluated qualitatively by visual comparison of real images with renderings of the reconstructed 3D signs in 7. Conc In this automati their pro shape, siz 3D geome reconstru strengthe the road We do no quisition the input from com property road sign relation t Evalua large set Most of t B. Soheilian (IGN-MATIS) Modélisation 3D de panneaux JR2012-08 Mars 2012 23 / 27

Résultats et évaluations : Précision géométrique B. Soheilian (IGN-MATIS) Modélisation 3D de panneaux JR2012-08 Mars 2012 24 / 27

Résultats et évaluations : Précision géométrique With constraints Without constraints Sheet1 Image residuals in pixel Sheet3 Sheet1 Planimetric error (m) Height error (m) Angle error in degree Image residuals Planimetric errors 1200 50 45 1000 40 35 800 30 600 25 20 400 15 200 10 5 0 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 1 2 3 4 5 6 7 8 9 10 11 12 13 14 Residuals in pixel Error in cm Sheet2 Sheet4 Height errors 140 60 120 50 100 40 80 30 60 20 40 10 20 0 0 1 2 3 4 5 6 7 8 9 10 11 Error in cm Orientation errors 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 Error in degree Sheet2 Mean = 1.80 pixels Mean = 36mm Mean = 10mm Mean = 4.55 Image residuals Planimetric errors Height errors 140 25 1200 35 120 1000 30 20 100 25 800 15 80 20 600 60 15 10 400 40 10 5 200 20 5 0 0 0 0 1 2 3 4 5 6 7 8 9 10 11 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 Error in cm Residuals in pixel Error in cm Orientation errors 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 Error in degree Mean = 1.77 pixels Mean = 48mm Mean = 10mm Mean = 9.12 Fig. 14. Geometric evaluation: dierence between reconstructed and reference road signs. Sheet1 Sheet2 B. Soheilian (IGN-MATIS) Modélisation 3D de panneaux JR2012-08 Mars 2012 25 / 27

Résultats et évaluations : Précision géométrique Influence de contrainte sur l estimation d orientation (a) Non contrainte (b) Contrainte Figure: Erreur d orientation avec et sans prise en compte des contraintes. B. Soheilian (IGN-MATIS) Modélisation 3D de panneaux JR2012-08 Mars 2012 26 / 27

Conclusions et perspectives Conclusions : Un processus complet d extraction et de reconstruction 3D de panneaux rectangulaires et triangulaires, Précision 3D de l ordre de 3cm. Complétude : Quelques problèmes de mise en correspondance Réponses multiples, Ambiguïté géométrique, Perspectives : Gestion d incertitudes, La reconstruction contrainte des panneaux circulaire. Vers un système intégré de détection/reconstruction pour améliorer la complétude. B. Soheilian (IGN-MATIS) Modélisation 3D de panneaux JR2012-08 Mars 2012 27 / 27