Rectification de l Image de Façade par Fusion de Données Laser et Image Optique

Transcription

1 Rectification de l Image de Façade par Fusion de Données Laser et Image Optique Ayman Zureiki et Michel Roux Institut TELECOM ; Télécom ParisTech ; CNRS LTCI 46 rue Barrault, F Paris Cedex 13, France. {Ayman.Zureiki, Michel.Roux}@Telecom-ParisTech.fr Résumé L acquisition de modèles tridimensionnels de scènes réelles à partir de données sensorielles présente un enjeu de recherche majeur. La construction d un modèle 3D d un environnement urbain exige la fusion de données issues de plusieurs capteurs, comme le scanner laser et la caméra, afin d obtenir une représentation 3D texturée des façades d immeubles. Notre système d acquisition est doté de deux scanners laser et de plusieurs caméras. Le scanner laser fournit un nuage de points 3D de très grande taille. Nous effectuons dans un premier temps la segmentation du nuage de points 3D, ce qui permet de réduire les informations finales à inclure dans le modèle 3D et d extraire les plans porteurs des façades. Ensuite, nous détaillons le calcul de l homographie reliant l image caméra et l image façade collée sur le plan extrait par la segmentation plane. Les façades texturées obtenues par notre approche sont totalement géoréférencées, c est-à-dire, la position de chaque pixel de l image façade est connue dans un repère global. Mots clés Reconstruction 3D, Fusion de Données, Rectification d image, façade texturée. 1 Introduction L acquisition de modèles tridimensionnels de scènes réelles à partir de données sensorielles présente un enjeu de recherche majeur dans le domaine de la vision par ordinateur. Un tel modèle est sollicité par des applications comme la localisation 3D, le guidage de robots ainsi que l inspection industrielle. De plus, une demande croissante de modèles 3D de haute qualité commence à apparaître notamment dans des projets d envergure pour la numérisation 3D de villes. Un exemple est le projet TerraNumerica, qui fait le cadre de notre travail. L objectif général de TerraNumerica est la production automatique ou semi-automatique de bases de données urbaines 3D à grande résolution. Le modèle recherché est un modèle tridimensionnel texturé et géoréférencé, c est-à-dire, dont tous les points et surfaces 3D dans le modèle sont référencés dans le même repère global (monde), et de plus, des informations de textures (image de façade d immeuble par exemple) sont intégralement données. Dans ce contexte, l IGN 1 (Institut National Géographique) nous fournit des acquisitions de données sous forme de points 3D recalés dans le repère global et 1.

2 A. Zureiki et M. Roux des images dans le même repère. Pour réaliser cette acquisition, l IGN utilise un véhicule muni de deux scanners laser et de douze caméras fixes et d un système de localisation GPS. Ce papier est organisé de la façon suivante : la section 2 décrit la segmentation plane. Nous décrivons en section 3 comment calculer l homographie entre l image caméra et l image façade collée sur le plan 3D extrait par l algorithme de segmentation plane. Enfin la section 4 fournit des résultats expérimentaux. La section 5 offre un bilan de ces travaux et propose quelques perspectives. 2 Segmentation du Nuage de Points 3D et Extraction des Plans Les capteurs d acquisition 3D (télémétrie laser) fournissent des nuages de points qui contiennent des centaines de milliers de points 3D. L extraction de plans depuis un nuage de points 3D donne un moyen pour réduire la complexité en gardant l essence des informations contenues dans ce nuage. Le problème essentiel à résoudre est la segmentation : comment extraire les primitives planes à partir du nuage de points. Segmenter un nuage de points consiste à étiqueter les points 3D de telle manière que les points appartenant à une même surface plane portent la même étiquette. Segmenter des nuages de points non structurés est très difficile, car on ne connaît pas a priori ce que contient la scène perçue. De plus, le processus de segmentation doit être robuste à la présence d objets non plans ou d objets dynamiques (humains partageant le même environnement) et aux bruits de mesures. La segmentation plane a été bien étudiée en infographie dans le but d afficher en temps réel des modèles complexes, voir Heckbert et Garland [5]. Il existe deux différences majeures entre la reconstruction 3D urbaine et l infographie. D une part, les données en modélisation 3D sont issues des capteurs et sont donc erronées, alors que les modèles en infographie sont supposés sans erreurs. Ainsi, les algorithmes de simplification en infographie visent à accélérer l affichage et non à réduire l erreur. D autre part, les environnements urbains contiennent de grandes surfaces planes verticales (façades) ou horizontales (sol, rue), alors que les algorithmes en infographie partent généralement de maillages denses. Horn et Schmidt [6] extraient les plans en utilisant la transformée de Hough. La transformation de Hough convertit le problème complexe de la reconnaissance de modèle en une recherche d un pic dans l espace des paramètres [7]. Pour la segmentation du nuage de points, l idée de la transformation de Hough est la suivante : on divise l espace de paramètres en cellules selon des pas d échantillonnage de telle sorte que chaque cellule corresponde à une combinaison des paramètres du modèle recherché. Ensuite, on fait voter les points 3D pour chacune des cellules, et si un point vérifie le modèle défini par la combinaison des paramètres d une cellule, on ajoute ce point à cette cellule, et ainsi de suite pour tous les points. En accumulant toutes les valeurs pour tous les points dans un espace dit espace de paramètres (espace de Hough), on peut trouver les plans qui satisfont au mieux les données, ce qui est traduit par les cellules qui ont localement le plus de votes. Dans le cas de très grands nuages de points, le choix des pas d échantillonnage joue un rôle important dans le processus. De petits pas sont à l origine de la distribution des points 3D

3 Façade Texturée Géoréférencée d un même plan sur plusieurs plans très similaires, et donc on rencontre une difficulté à trouver les maximums locaux. En revanche, avec de grands pas d échantillonnage, on perd de la précision. Sequeira et al. [11] utilisent une méthode hybride de region-based et edge-based pour la segmentation et alignent les mesures consécutives par un algorithme de Iterative Closest Point (ICP). Liu et al. [10] utilisent Expectation Maximization (EM) pour créer des cartes 3D de segments plans. Kohlhepp et al. [9] extraient des plans en temps réel en utilisant un algorithme de groupement des lignes de balayage. Cet algorithme groupe les segments droits voisins de manière efficace. Mais il exige que les données de chaque ligne de balayage soient segmentées en segments de droite au préalable. Hähnel et al. [3] ont proposé un algorithme de simplification de maillage. Dans ce travail, des plans sont extraits en utilisant une approche de type region-growing en commençant par un point tiré aléatoirement, et en pilotant la croissance par les directions des normales. Jan Weingarten [12] a proposé une amélioration de cet algorithme en commençant par le semence de région (region seed) le plus plat (erreur la plus petite), et en profitant de la structure de données acquises pour éviter l étape de recherche du plus proche voisin d une facette en formation. Les travaux de Zureiki [13] sont basés sur ces deux travaux, avec une différence dans le paramétrage de plan et la méthode d estimation de ces paramètres. Harati [4], a proposé une nouvelle méthode de segmentation de l image de profondeur basée sur le bearing angle, qui est l angle entre le faisceau laser et la surface réfléchissante. L algorithme dit segmentation par croissance de région (Region-growing) est mieux adapté lorsque le nuage de points est bien structuré, c est-à-dire qu il forme une image de profondeur dont chaque point a des relations de voisinage (gauche, droite, haut, bas, etc.) avec les points voisins. Dans les nuages de points non structurés, ces relations de voisinages ne sont pas définies, ce qui rend cette méthode peu exploitable. 2.1 Notre Approche Notre système d acquisition fournit un nuage de points de très grande taille. Par exemple, pour la rue Soufflot (à Paris), le nuage de points d un seul coté de la rue contient plus de 3 Millions de points. De plus, les points 3D forment un nuage de points non structuré. Vu le très grand nombre de points et la non-structuration du nuage de points, nous avons choisi de faire la segmentation semi-automatique : un opérateur choisit via une interface graphique, basée sur OpenGL, un volume de l espace contenant un ensemble de points qui sont susceptibles d appartenir à la même façade. Cette opération fournit un ensemble de points 3D que nous utilisons pour extraire le plan 3D qui peut au mieux représenter la façade de l immeuble. La méthode de moindres carrés est peu efficace pour trouver les paramères de ce plan. Par nature, cet ensemble de points possède une épaisseur importante due à la présence des sculptures et des balcons dans les façades. Ce qui ramène notre choix à l utilisation d une méthode robuste, basée sur l algorithme de RANSAC [2]. Dans cet algorithme, on choisit trois points d une façon aléatoire et on définit le plan qui passe par ces trois points, puis on teste l appartenance des autres points de l ensemble à

4 A. Zureiki et M. Roux ce plan, on répète cet opération un certain nombre de fois [2], et on garde à la fin le plan qui a à la fois le plus grand nombre de points et l erreur totale la plus petite. Nous ne montrons pas les résultats de l extraction des plans à partir des nuages de points, parce que cela sera implicitement inclut dans les résultats de la rectification de l image de façade, dont l obtention d une image façade bien rectifiée donne l épreuve que le plan porteur a été bien estimé. 2.2 Choix du repère local Soit un plan Π défini par son vecteur normal n = {ϕ, ψ} et ρ w sa distance à l origine O w dans un repère global R w (voir la figure 1). On cherche à définir un repère orthonormé lié à ce plan. Choisissons le barycentre B des points 3D qui appartiennent au plan comme origine O p du repère local R p, et l axe Y p parallèle au vecteur normal n. Il reste à définir l axe X p. Soient i w, j w, k w les vecteurs unitaires des axes O w X w, O w Y w, O w Z w respectivement, et i p, j p, k p les vecteurs unitaires des axes recherchés O p X p, O p Y p, O p Z p respectivement. Choisissons le vecteur i p de la façon suivante : i p = [sin ϕ cos ϕ 0] T. Figure 1. Choix du repère local du plan 3D Ce vecteur peut être interprété comme le vecteur unitaire le long de la ligne d intersection entre le plan π et le plan Z w = 0 (s ils ne sont pas parallèles). On peut donc écrire la matrice de rotation entre le repère plan et le repère global, avec les notations suivantes :

5 Façade Texturée Géoréférencée x w x p y w = R w,p y p + t w,p (1) z w z p avec : sin ϕ cos ϕ sin ψ cos ϕ cos ψ R w,p = cos ϕ sin ϕ sin ψ sin ϕ cos ψ 0 cos ψ sin ψ x B et t w,p = y B z B (2) 3 Calcul de l homographie et rectification de l image Nous commençons par le calcul de l homographie, puis nous l utilisons pour construire l image de façade. 3.1 Calcul de l Homographie Définition : L application mathématique reliant les différentes vues d un motif plan par une ou plusieurs caméras projectives est une homographie [1]. L extraction du plan 3D à partir des nuages de points permet d obtenir le plan 3D porteur de la façade, il reste donc à générer l image de cette façade. L acquisition de l image de façade est une étape délicate, d une part parce qu on vise à obtenir une représentation métrique des pixels, c est-à-dire garder un lien entre la position d un point 3D dans le repère global et sa projection dans l image de façade (pixel correspondant), et d autre part, notre système d acquisition possède plusieurs caméras, et par conséquent, plusieurs images à utiliser pour générer l image finale de la façade. Nous allons expliquer les étapes nécessaires pour projeter une image caméra sur une image virtuelle plaquée sur la façade. En fait, nous supposons que la façade a une image avec un pas d échantillonnage (par exemple, 1 cm : 1 pixel), et donc nous cherchons à remplir cette image façade à partir des images caméras disponibles. Une homographie bidimensionnelle H est la transformation reliant les projetés p = (u, v) et p = (u, v ) sur deux plans images d un même point 3D P situé sur un plan Π, voir la figure 2.

6 A. Zureiki et M. Roux Figure 2. Calcul de l Homographie u i h 11 h 12 h 13 u i λ v i = h 21 h 22 h 23 v i 1 h 31 h (3) d où : u i = h 11 u i +h 12 v i +h 13 h 31 u i +h 32 v i +1 v i = h 21 u i +h 22 v i +h 23 h 31 u i +h 32 v i +1 (4) Alors pour trouver une homographie 2D, il nous faut au moins quatre correspondances, et dans ce cas, pour trouver la matrice H, il suffit de résoudre le système linéaire de la forme A X = B suivant :

7 Façade Texturée Géoréférencée h 11 h 12. u i v i u i u i v h i u 13. i u i v i 1 u i v i v i v h 21 u i h = i 22 v i h. 23. h 31 h 32 (5) Dans le cas où nous avons plus de quatre correspondances, le système linéaire est surdéterminé : il peut être résolu par pseudo-inversion de la matrice A. 3.2 Re-échantillonnage de l image de façade Une fois que la matrice de transformation H de l homographie est calculée, on l utilise pour retrouver les valeurs des pixels de l image de façade. À noter que pour un pixel de l image façade, on peut trouver plusieurs candidats dans les images issues des caméras d acquisition, et dans un premier temps, on ne considère qu une image caméra pour calculer le pixel de façade. Ce qui revient à faire une simple mosaïque des images caméras pour former l image façade. Dans notre approche, nous gardons les informations tridimensionnelles des pixels de façade, c est-à-dire nous gardons toutes les matrices de transformations entre différents repères monde, local, et métrique/pixelique. Ainsi, nous pouvons à tout moment, obtenir les coordonnées tridimensionnelles (x w, y w, z w ) dans le repère global en partant des données (i, j) dans l image façade, et vice-versa. Cela a une très grande importance dans la reconstruction du modèle tridimensionnel des scènes urbaines. Par exemple, on peut ainsi retrouver immédiatement les coordonnées dans le repère global d un point de la façade. En pratique, cela nous permet de localiser la deuxième fenêtre à droite dans le troisième étage de l immeuble numéro 13 rue Soufflot dans le repère global! 4 Résultats et Discussion La figure 3 illustre une image prise par une caméra de l immeuble numéro 13 rue Soufflot, et la figure 4 représente l image façade redressée (rectifiée) par l algorithme décrit ci-dessus. Un autre exemple est donné par la figure 5 dont la caméra est montée sur le véhicule d acquisition de manière verticale. L image de façade rectifiée est donnée en figure 6. On constate que l image façade rectifiée est bien redressée (au pixel près), ce qui montre que le plan porteur est bien estimé, et que notre système d acquisition est bien calibré. Kalantari et al. [8] propose un algorithme automatique de détection de points de fuite dans des images de scènes urbaines. Ensuite, cet algorithme est utilisé pour rectifier les images des façades. Bien que les images des façades obtenues soient de bonne qualité,

8 A. Zureiki et M. Roux Figure 3. Image initiale issue de la Caméra Figure 4. Image rectifiée de la façade elles ne sont qu à un facteur d échelle près, c est-à-dire qu elles n ont pas un facteur de conversion pixel :mètre. Ceci est dû à l utilisation d une seule source d information (une seule caméra). Par contre dans notre approche, l utilisation de deux sources d information (laser - caméra) nous a permis d obtenir des images façades et de maintenir un facteur d échelle pixel :mètre. Ce qui illustre l intérêt de fusionner de données multi-capteurs. 5 Conclusion Dans cet article, nous avons présenté le problème de segmentation plane de nuages de points 3D. Ensuite, nous avons décrit une méthode de rectification de l image de façade de l immeuble basée sur la fusion des données laser et caméra. Notre approche utilise tout d abord les nuages de points pour en extraire le plan 3D porteur de la façade, puis calcule l homographie qui permet de reéchantillonner l image de façade. Notre contribution porte principalement sur le modèle construit. En fait, dans la façade reconstruite par notre approche, nous gardons les informations 3D pour chaque pixel. Ainsi, nous pouvons retrouver la position 3D d un pixel de l image de façade et vice-versa. Nous poursuivrons les évaluations expérimentales pour construire dans une première étape un modèle 3D texturé pour un quartier entier (par exemple). Ensuite, nous envisa-

9 Façade Texturée Géoréférencée Figure 5. Exemple 2 : Image initiale issue de la Caméra Figure 6. Exemple 2 : Image rectifiée de la façade geons d étudier la possibilité de développer un algorithme de segmentation plane automatique, en utilisant par exemple quelques sources supplémentaires d information comme les données du cadastre. Références 1. Olivier Faugeras, Quang-Tuan Luong, and T. Papadopoulou. The Geometry of Multiple Images : The Laws That Govern the Formation of Multiple Images of a Scene and Some of Their Applications. MIT Press, Martin A. Fischler and Robert C. Bolles. Random sample consensus : a paradigm for model fitting with applications to image analysis and automated cartography. Commun. ACM, pages , Dirk Hähnel, Wolfram Burgard, and Sebastian Thrun. Learning compact 3D models of indoor and outdoor environments with a mobile robot. Robotics and Autonomous Systems, 44(1) :15 27, Ahad Harati, Stefan Gachter, and Roland Siegwart. Fast range image segmentation for indoor 3D- SLAM. In The 6th IFAC Symposium on Intelligent Autonomous Vehicles (IAV), Toulouse, France, Paul S. Heckbert and Michael Garland. Survey of polygonal surface simplification algorithms. Technical report, Carnegie Mellon University, Joachim Horn and Günther Schmidt. Continuous localization for long-range indoor navigation of mobile robots. In IEEE International Conference on Robotics and Automation, pages , J. Illingworth and J. Kittler. A survey of the Hough transform. Computer Vision, Graphics, and Image Processing, 44(1) :87 116, 1988.

10 A. Zureiki et M. Roux 8. M. Kalantari, F. Jung, JP. Guédon, and N. Paparoditis. Détection automatique des points de fuite et calcul de leur incertitude à l aide de la géométrie projective. In 16e congrès francophone AFRIF-AFIA Reconnaissance des Formes et Intelligence Artificielle (RFIA), Peter Kohlhepp, Paola Pozzo, Marcus Walther, and Rüdiger Dillmann. Sequential 3D-SLAM for mobile action planning. In Proceedings of the IEEE/RSJ International Conference of Intelligent Robots and Systems (IROS), pages , Y. Liu, R. Emery, D. Chakrabarti, W. Burgard, and S. Thrun. Using EM to learn 3D models of indoor environments with mobile robots. In International Conference on Machine Learning (ICML), pages , San Francisco, CA, USA, V. Sequeira, K. Ng, E. Wolfart, J.G.M. Goncalves, and D. Hogg. Automated reconstruction of 3D models from real environments. ISPRS Journal of Photogrammetry and Remote Sensing, 54(1) :1 22, Feb Jan Weingarten. Feature-based 3D SLAM. PhD thesis, École Polytechnique Fédérale de Lausanne, Ayman Zureiki. Fusion de Données Multi-Capteurs pour la Construction Incrémentale du Modèle Tridimensionnel Texturé d un Environnement Intérieur par un Robot Mobile. PhD thesis, Université de Toulouse - Paul Sabatier, septembre 2008.