Recalage d images infrarouges thermiques sur un nuage de points issu d un système laser mobile

Institut National des Sciences Appliquées de STRASBOURG Mémoire de soutenance de Diplôme d Ingénieur INSA Spécialité Topographie Recalage d images infrarouges thermiques sur un nuage de points issu d un système laser mobile Par : Bertrand OUVRARD Réalisé au sein du laboratoire : LSIIT UMSR 7005 Equipe Trio/INSA Groupe PAGE INSA Strasbourg 24 Boulevard de la Victoire 67084 STRASBOURG Cedex Directrice de PFE : Véronique Le Sant - LNE Responsable du Département de Télédétection Correcteur : Pierre Grussenmeyer, Prof. Dr.-Ing. Date de soutenance : 19 septembre 2013

Remerciements En préambule à ce mémoire, je souhaiterais remercier toutes les personnes qui ont contribué à l élaboration de ce mémoire ainsi qu à la réussite de ce Projet de Fin d Etude. Je tiens à remercier monsieur Nicolas PINCHON, madame Véronique LE SANT, ainsi que monsieur Pascal RIDOUX, pour leur aide, leur soutien et pour le partage de leurs connaissances. Je remercie également monsieur Pierre GRUSSENMEYER, mon encadrant au sein du laboratoire, pour son suivi et toute l aide qu il a pu m apporter ainsi que tous les membres du groupe PAGE (Photogrammétrie Architecturale et Geomatique), madame Tania LANDES, monsieur Samuel GUILLEMIN et monsieur Emmanuel Alby, pour leur disponibilité et leur aide. Merci à tous les étudiants (Geoffrey VINCENT, Paul CHAVANT, Dorian KLINGHAMMER, Selma BIDINO, Hélène MACHER, Nolwenn QUERE, Johann TONNERIEUX) qui ont eu l occasion de réaliser leur stage au sein du laboratoire, pour leur soutien et pour les moments partagés. Je remercie monsieur Hakim BOULAASSAL, qui a débuté ce projet en 2012, pour les travaux déjà réalisés qui ont été d une grande aide. Pour l ensemble de ma formation à l INSA de Strasbourg, je remercie les professeurs de Topographie, ainsi que tous mes camarades de promotion. Enfin, Je souhaiterais remercier mes parents pour leur soutien tout au long de mes études.

Table des matières Introduction 1 0.1 Sujet de l étude.............................. 1 0.2 Problématique............................... 2 1 Etat de l art 5 1.1 Géoréférencement de données issues de système cartographie mobile. 7 1.2 Recalage de données issues de systèmes de cartographie mobile.... 9 1.2.1 Recalage effectué au niveau du point.............. 10 1.2.2 Recalage effectué au niveau des triangles d un maillage.... 10 1.2.3 Recalage sur modèle géométrique................ 11 2 Le système SYSCAM 13 2.1 Les composants.............................. 13 2.1.1 Acquisitions des données laser.................. 14 2.1.2 Acquisitions des données infrarouges.............. 15 2.1.3 Acquisitions des données de positionnement.......... 17 2.2 Les fichiers de données.......................... 17 2.2.1 Format des fichiers........................ 17 2.2.2 Synchronisation des données................... 19 3 Géoréférencement des données 23 3.1 Géoréférencement des données laser................... 23 3.1.1 Définition des différents repères propres au système SYSCAM 24 3.1.2 Calcul matriciel du géoréférencement.............. 25 3.2 Géoréférencement des données infrarouges............... 27 3.2.1 Import des données utiles au géoréférencement infrarouge... 28 3.2.2 Traitement des données...................... 29 3.2.3 Processus de géoréférencement.................. 30 v

4 Méthode de recalage entre les données laser et infrarouges 35 4.1 Traitements effectués sur le nuage de points laser........... 35 4.2 Réhaussement des données infrarouges................. 37 4.3 Processus de création du modèle infrarouge............... 38 4.3.1 Sous-segmentation du nuage de points............. 38 4.3.2 Attribution des valeurs infrarouges............... 40 5 Evaluation de la qualité des modèles produits 45 5.1 Qualité des nuages de points générés.................. 45 5.2 Exactitude des nuages de points générés................ 48 5.3 Qualité du recalage infrarouge...................... 48 Conclusion générale et perspectives 51 Glossaire 53 Tables des figures 56 Bibliographie 57 Annexes 61 vi

Introduction A l heure actuelle, bon nombre d outils et d applications ont besoin de toujours plus de données tridimensionnelles géoréférencées. Que se soit des données destinées aux SIG, à la réalité augmentée ou simplement à la cartographie, la quantité restante à acquérir semble toujours plus importante. En partant d un tel constat, il a été rapidement nécessaire de créer des dispositifs capables d acquérir un maximum de données en un temps limité. C est ainsi qu ont vu le jour bon nombre d appareils permettant le levé et le géoréférencement de données dont la nature peut être très diverse. Que se soit des données laser, des photographies ou des données LIDAR, les systèmes de cartographie mobile sont conçus par couplage de plusieurs systèmes d acquisition avec un support mobile (véhicules terrestres, aériens ou satellites). Ils permettent de déterminer les coordonnées de bon nombre de points depuis une plateforme géoréférencée. Les principaux composants d un système de cartographie mobile destinés aux levés urbains sont : une plateforme mobile, des capteurs d orientation et de positionnement et un ou plusieurs systèmes permettant l acquisition de données cartographique. En général, la plateforme mobile est un véhicule de type voiture ou camionnette (pour les systèmes de cartographie mobile terrestre) modifié afin de pouvoir recevoir de multiples capteurs. Des systèmes assez onéreux sont utilisés pour déterminer le géoréférencement du système mobile comme, des GPS, odomètres ou IMU. Concernant la partie cartographique, plusieurs systèmes sont utilisés, comme des appareils photos (objectifs normaux ou fish-eye), scanners laser ou même des caméras. Un ordinateur est, en plus, utilisé dans la majorité des cas afin de récolter et de permettre la synchronisation des différentes acquisitions. 0.1 Sujet de l étude Le projet a pour but la mise en place d un système de cartographie mobile permettant, en aval, l observation de flux de chaleur à l aide de données infrarouges 1

Introduction thermiques. Les objectifs du projet sont multiples. Monsieur Hakim Boulaassal, monsieur Pierre Grussenmeyer et madame Tania Landes, en collaboration avec le LNE ont travaillé à l aboutissement de la première partie du projet. Cette dernière a eu pour but de concevoir et de mettre en œuvre le système de cartographie mobile à vocation thermique et de développer des algorithmes permettant d intégrer les différents composants du système, dans le but d établir le géoréférencement des données laser de la chaîne d acquisition SYSCAM. Figure 1 La chaîne d acquisition SYSCAM Le contexte du travail présenté dans ce mémoire se situe donc à la jonction du traitement des données laser et infrarouges thermiques. L objectif de ce projet de fin d étude est de faire le lien entre les deux étapes du projet en établissant le posttraitement nécessaire au système afin de pouvoir générer un modèle permettant la visualisation des données infrarouges dans un repère connu. 0.2 Problématique La problématique de ce travail s est axée sur l importation des différents types de données et la méthode de recalage entre le nuage de point géoréférencé et les données infrarouges thermiques. Afin de pouvoir créer une chaîne de traitement automatisée, il a été décidé d utiliser l environnement de programmation MATLAB. J ai donc eu l occasion de contribuer au projet au sein du laboratoire de photogrammétrie de l INSA de Strasbourg (sous les directives de M. Pierre Grussenmeyer) et au LNE. Ces déplacements ont facilité la communication entre les deux laboratoires et m ont 2

Introduction permis tout au long du projet d avoir un retour critique sur mes travaux en fonction des attentes des membres du LNE participant au projet. En effet, le but de mon travail ici a été de créer la structure principale des algorithmes permettant le recalage des données et leur géoréférencement. Par la suite, les responsables du projet au sein du LNE se chargeront d optimiser les algorithmes résultants de mon travail afin de créer un système pleinement opérationnel. Ce mémoire s articule donc autour de cinq parties : 1. Etat de l art 2. Le système SYSCAM 3. Géoréférencement des données 4. Méthode de recalage entre les données laser et infrarouges 5. Evaluation de la qualité des modèles produits 3

Chapitre 1 Etat de l art Aujourd hui, de plus en plus d entreprises ou de collectivités s intéressent à la cartographie mobile. Cette dernière devient, en effet, de plus en plus présente depuis les dix dernières années. L expansion massive de la cartographie sur internet et la percée des appareils de télécommunications ont rendu possible l accès à la population à un grand nombre de données de type cartographique ou SIG. En conséquence, le levé et la mise à jour de telles informations en un temps restreint (et de manière précise) sont devenus plus importants que jamais. Les récentes technologies de cartographie mobile multi-capteurs ont clairement établi une tendance à l acquisition rapide de données. Ces capteurs peuvent être montés sur une grande variété de plateformes, telles que des satellites, avions, hélicoptères ou des véhicules terrestres. Ces dernières années, l utilisation croissante des divers réseaux de communications (internet et communications sans fil) a eu pour effet une rapide amélioration de leurs performances et capacités. Ainsi, c est avec la facilité (de transfert) apportée par ces réseaux, que la cartographie est devenue de plus en plus mobile et à la portée du plus grand nombre. La cartographie mobile est un moyen de recueillir des données géospatiales en utilisant différents capteurs montés sur une plate-forme mobile. Les premières recherches effectuées sur le sujet remontent à la fin des années 1980. Cette recherche a été en grande partie motivée par la nécessité de cartographier l infrastructure routière de l époque. L étendue de la zone à lever impliquait le développement d une technique d acquisition rapide et mobile. Caméras, GPS et centrale inertielle, ont été intégrés et montés sur un véhicule dans le but de créer un des premiers systèmes de cartographie mobile. Les objets ont pu être directement mesurés et cartographiés à partir d images géoréférencées (à partir de capteurs de navigation et de positionnement). Durant les premiers jours, la communauté de chercheurs a utilisé divers termes pour caractériser ce domaine de recherche en plein essor. Quelques uns sont alors apparus dans la littérature scientifique, comme la cartographie dynamique ou 5

Chapitre 1 levés cinématiques. C est en 1997, pendant le premier symposium international sur les technologies de cartographie mobile (au centre topographique de l Université de l Ohio, Columbus, Ohio), que le terme de «cartographie mobile» est apparu et a été accepté par la communauté. Le développement et le progrès constaté durant ces dernières années dans ce domaine s expliquent principalement par les progrès numériques en terme d imagerie et ceux réalisés dans le domaine du géoréférencement (GPS, IMU). A la fin des années 1990, un certain nombre de véhicules terrestres de cartographie mobile était en exploitation commerciale (il y avait en effet, à l époque, une grande attente dans ce domaine de la part de la communauté). Cependant, ces véhicules n ont pas eu l impact escompté. En effet, des vides dans les données nécessitaient de nouvelles campagnes de mesures. La faible productivité des systèmes ainsi que leurs coûts élevés ont conduit à une faible utilisation de ces derniers. Depuis, avec l amélioration des techniques de géoréférencement et l augmentation de la puissance des équipements (et donc l amélioration des temps de traitements), les systèmes de cartographies mobiles sont devenus plus performants et aussi beaucoup plus utilisés. Malgré les différents problèmes qui se sont posés, il y a eu ces dernières années, une demande toujours plus importante de la part de la communauté concernant les technologies de cartographie mobile dans les domaines des transports, des télécommunications ou l ingénierie en général. Bon nombre de modèles de services et d applications sont apparus alors depuis. Par exemple, plutôt que d acheter un tel système, certains services proposent d acheter directement les données acquises au nombre d objets relevés ou à la distance parcourue. Le développement des systèmes de cartographie mobile a été lancé par deux groupes nord américains, le pôle cartographique de l université d état de l Ohio et le Département des sciences géomatiques à l Université de Calgary (situé au Canada). Par rapport aux prototypes d acquisitions développés par le passé (basés sur l acquisition de photos orientées), les systèmes de cartographie possèdent des capacités de cartographie 3-D basées notamment su des capteurs de pointe, une acquisition rapide des données (et en grande quantité) et une technologie de traitement. L ensemble des systèmes de cartographie mobile sont composés d appareils montés sur une plate-forme permettant la prise d images (mono, stéréo ou video) et la mesure d objet en 3-D. Le géoréférencement des images numériques est réalisé par des systèmes de positionnement de type GPS, IMU pouvant être assemblés pour améliorer 6

Chapitre 1 la fiabilité des données. Ainsi, la cartographie mobile se passe des mesures effectuées au sol, qui sont nécessaires lors des levés topographiques traditionnels. Les systèmes peuvent atteindre une précision centimétrique sur le positionnement du véhicule (sachant que la précision des mesures effectuées sera toujours plus faible que celle du positionnement car ces dernières subissent les erreurs dues aux orientations en plus de celles générées par le positionnement). En parrallèle, ces dernières années, les appareils et capteurs (de type caméras numériques et scanners laser) ont connu un développement impressionnant. Ces dix dernières années, les capteurs spatiaux (IKONOS, QuickBird) ont joué un rôle important dans la cartographie. Aujourd hui, avec la hausse des performances des capteurs, la baisse des prix et l accessibilité aux réseaux, la cartographie mobile est devenue omniprésente. Les nouvelles tendances dans le domaine s articulent autour de deux grands axes principaux qui sont : d une part, la cartographie «collaborative» comprenant des capteurs multi-plateformes en réseau, et d autre part, le développement des capteurs mobiles (de type téléphonie mobile et capteurs portables) et les améliorations apportées aux techniques de géoréférencement de faible coût. 1.1 Géoréférencement de données issues de système cartographie mobile Un système de cartographie mobile est une chose complexe à mettre en place. En effet, ces derniers sont composés de plusieurs capteurs dont le but est simple : acquérir le maximum d informations possibles. Cependant, afin que toutes les données soient exploitables, il est nécessaire de mettre en place des proccesus permettant la synchronisation des données et leur traitement. Dans ce sens, plusieurs publications ont vu le jour, dont notamment l article écrit par [Madeira et al., 2012]. Ces derniers se sont attachés à développer, avec l aide de l Université de Porto, un système de cartographie mobile à faible coût, tout en concervant un standard de qualité (notamment en terme de géoréférencement). Dans cet article, sont décris les procédures permettant la calibration des appareils et le géoréférencement des données. L exécution du traitement s oriente en plusieurs étapes. La première est l acquisition des données (en position et altitude), la seconde est l interpolation des données GPS et la dernière est utile au géoréférencement des données en utilisant des paramètres d orientation relative entre les différents capteurs. Les équations nécessaires au géo- 7

Chapitre 1 référencement sont alors établies. L intérêt principal de ce document est de traiter toutes les étapes une à une et donc de faciliter la compréhension du lecteur sur le fonctionnement général de tels systèmes. Le modèle mathématique de géoréférencement direct à utilisé pour de nombreuses applications terrestres et aériennes ( [Ip et al., 2004]). r m p = r m INS(t) + R m b (t)(sr b cr c a b 1) (1.1) r m INS(t) = r m GP S(t) R m b (t)a b 2 (1.2) r m p = r m GP S(t) + R m b (t)(sr b cr c a b 1 a b 2 (1.3) Figure 1.1 Le modèle de géoréférencement direct (source : [Ip et al., 2004]) Les différentes éléments contenus dans les équations (ci-dessus) sont expliqués dans le tableau qui suit. Variable r m p r m GP S(t) R m b (t) s R b c r c a b 1 a b 2 Description Position du point d intérêt dans le repère absolu Position de l antenne GPS dans le repère absolu Matrice rotation entre le repère INS et le repère absolu Facteur d échelle de l objet acquis sur l image Matrice rotation entre le repère du capteur et le repère du véhicule Position du point d intérêt dans le repère du capteur Bras de levier entre le repère INS et le repère du capteur Bras de levier entre le repère INS et le repère du GPS 8

Chapitre 1 Ainsi, dans les systèmes de cartographie mobile un nombre important de paramètres jouent un rôle important dans les performances du système. La qualité du géoréférencement dépend donc : 1. La position relative des différents capteurs 2. La synchronisation des données 3. La calibration 4. La correction des erreurs de capteurs 1.2 Recalage de données issues de systèmes de cartographie mobile Les systèmes de cartographies mobiles sont capables d acquérir de multiples données. En réalité, étant formés d une multitude de capteurs, chaque type de capteurs, pertinant dans la phase d un levé, peut y être inséré. Ainsi ont vu le jour de nombreux systèmes couplant divers types de systèmes d acquisition, comme des scanners laser, appareils photographiques ou bien scanners à infrarouge thermique. Pour utiliser au mieux toutes ces données relevées, il peut être important de les géoréférencer. Afin d atteindre ce but, des méthodes sont apparues, comme la synchronisation des données par exemple. Cependant, il est parfois nécessaire d effectuer des recalages entre les différentes données afin d arriver à un modèle final correspondant au cahier des charges établi en amont. Le recalage est une technique ( [Bennis et al., 2011]) qui consiste à mettre en correspondance deux ou plusieurs images, ceci afin de pouvoir comparer ou combiner leurs informations respectives. Ici, nous nous intéresserons aux méthodes de recalage prenant en compte pour base des nuages de points (par exemple des créations de modèles 3D texturés à partir de points maillés et de projections d images issues d appareils photographiques). Dans la littérature, on trouve de nombreux articles parlant de tels processus. Afin de procéder à ces recalages trois méthodes se distinguent. 9

Chapitre 1 1.2.1 Recalage effectué au niveau du point Une première méthode consiste à considérer le recalage au niveau du point en lui-même, afin de faire correspondre l information souhaitée à ce dernier. Dans ce domaine plusieurs articles ont été écris comme [Brun et al., 2007]. Cet article présente un système de cartographie mobile équipé d un laser scanner et d un appareil photographique équipé d une lentille fish-eye. Les images issues de la lentille sont orientées et les points du nuage sont projetés sur l image en temps-réel. Chaque point laser est ensuite associé à la couleur du pixel correspondant. [Al-Kheder et al., 2009] utilisent le même principe en orientant les photographies par photogrammétrie. Cependant une méthode automatique de détection d occlusion a été mise en place permettant le texturage de parties non visibles sur certaines photographies. 1.2.2 Recalage effectué au niveau des triangles d un maillage Une autre méthode consiste à traiter le nuage de points afin d aboutir sur un modèle 3D déjà constitué et à lui appliquer les diverses informations voulues. On peut alors générer un maillage et travailler sur chacun des triangles le constituant. Les articles traitant des problèmes rencontrés lors du recalage effectué entre des séries de photographies et un modèle maillé sont nombreux. Parmis ces derniers, on peut citer [Alshawabkeh et Haala, 2005]. L algorithme présente une méthode permettant la détection d occlusion et le traitement des images acquises par photogrammétrie. Les images sont projetées sur le modèle maillé, triangle par triangle. Cependant l algorithme permet lors de la projection des textures de considérer chaque angle de vue dans l attribution finale de la texture. Ainsi, la couleur est attribuée selon un poids qui est fonction de la surface des triangles projetés sur les images respectives. L article écrit par [Fabio et al., 2003], fournit différentes solutions afin de convertir un nuage de points mesurés en un modèle polygonal 3D satisfaisant les demandes en termes de visualisation et de modélisation. Cet article présente deux manières distinctes de créer un modèle : les systèmes basés sur les systèmes de mesures (type laser scanner etc) et les systèmes qui ne sont pas basés dessus, comme les modèles utilisés dans l animation par exemple. L article présente alors les différentes manières d aboutir à une surface en partant d un nuage de points (Diagramme de Voronoi et la triangulation de Delaunay). [Frueh et al., 2005], quant à eux, ont créé des algorithmes permettant la généra- 10

Chapitre 1 tion de façades maillées et texturées d environnements urbains à l aide de systèmes d acquisition de type profilomètre laser et d appareils photographiques. Ces données sont traitées par densité de points afin d extraire les façades du levé. Les façades sont ensuite maillées et texturées grâce à l orientation et la projection des images acquises. Cet article est particulièrement intéressant dans le sens où il apporte des réponses aux principaux problèmes issus de tels systèmes (problème de densité de points dans les virages ou bien le problème amené par l acquisition de points par le profilomètre laser dans les bâtiments). 1.2.3 Recalage sur modèle géométrique En plus d un modèle maillé, on peut créer un modèle géométrique simplifié (par primitives géométriques par exemple) du nuage de points et recaler les données. [Hoegner et Stilla, 2007] utilisent une méthode permettant la simplification d un nuage de points en un modèle géométrique et l application sur ce dernier d images infrarouges thermiques. Le principe repose sur la détection de coins de bâtiments (correspondant à ceux présents sur le modèle simplifié) et à la transformation (affine) de la texture vers le modèle 3D. La texture est alors déformée pour la faire correspondre à la surface qui lui sera allouée sur le modèle. Dans l article de [Stilla et al., 2009] le travail est orienté vers le recalage de données IR sur des modèles géométriques. Les données IR ont été acquises par une plateforme mobile terrestre tandis que les modèles géométriques sont issus d un SIG 3D. Cependant, l atout majeur de l article est d utiliser deux types d images, celles prises par la plateforme mobile, mais aussi (images obliques) celles acquises par une plateforme aérienne. En conlusion, les différents éléments explicités ci-dessus nous informent quant aux différents moyens de recalage. Dans notre cas, tous les choix s offrent à nous pour l instant, même si, la difficulté à créer un algorithme transformant un nuage de points en une surface maillée pose un frein quant au choix de la méthode. 11

Chapitre 2 Le système SYSCAM Cette partie est dédiée à la description des composants de la chaîne d acquisition contribuant à la génération du modèle final et à leurs caractéristiques principales. 2.1 Les composants La chaîne d acquisition SYSCAM fait partie intégrante du système de cartographie mobile et permet la représentation de données infrarouges dans un environnement urbain modélisé en trois dimensions. Cette caractéristique du système a été rendue possible grâce au couplage sur une structure rigide de plusieurs systèmes d acquisition décrits ci-après : Un scanner infrarouge linéaire (SIL, Super Cyclope SAT) Un scanner laser (3D Faro Photon 120) Un GPS Un odomètre Une centrale inertielle Un contrôleur et un PC d acquisition Tous ces appareils ont ensuite été montés sur une plateforme mobile. C est une camionnette qui a rempli ce rôle et a été aménagée afin de pouvoir y accueillir le ou les opérateurs nécessaires au processus complet d un levé (voir figure 2.1). 13

Chapitre 2 Figure 2.1 Aménagement intérieur de la camionnette supportant la chaîne d acquisition SYSCAM 2.1.1 Acquisitions des données laser L Acquisition des données laser s effectue à l aide d un scanner laser utilisé comme un profilomètre. C est-à-dire que la rotation du scanner laser suivant sa verticale (Z) est contrainte. Ainsi, le scanner laser (3D FARO Photon 120) est solidaire du véhicule et aura les même angles de rotations (roulis, tangage, lacet) que le véhicule. De plus, le champ de vision utilisé est de -65 et 90 (suivant la verticale) et son fonctionnement repose sur la rotation de la tête laser autour de l axe des tourillons. Ainsi, un balayage de part et d autre du véhicule est effectué. Cependant, seule la partie situé à droite du véhicule (dans le sens de la marche) sera à conserver (voir figure 2.3) Ses principales caratéristiques sont : Portée : 0,60 m à 120 m Incertitude de mesure : ±2 mm à 25 m Débit de scan : 976 000 points/s Champ de vision maximal : 320 x 360 14

Chapitre 2 Sécurité du laser : Classe III R La catégorie du scanner signifie qu il est sans danger si manipulé avec soin avec une exposition du faisceau restreint. Le but du système étant d effectuer des levé en milieu urbain, une protection a été mise en place de manière à assurer la protection des passants. Ainsi, un arrêt automatique des émissions du laser s effectue lorsque la vitesse du véhicule est inférieure à 3 km/h. Durant ce laps de temps, les profils laser ne sont simplement pas retenus dans la mémoire de l ordinateur. 2.1.2 Acquisitions des données infrarouges Concernant les données infrarouges, elles sont acquises par un scanner de type Super Cyclope SAT. Ce dernier est un scanner à balayage opto-mécanique fonctionnant à l aide de quatre miroirs (répartis selon les quatre faces d un pavé) tournant autour d un axe de rotation. Le scanner fonctionne comme un capteur passif. Il reçoit une certaine quantité de lumière, captée par les miroirs oscillants, qui va simplement être focalisée sur plusieurs miroirs afin d arriver enfin sur une cellule d acquisition. Par la suite, c est un algorithme qui va reconstruire l image finale pixel par pixel. En réalité, comme on le voit en figure 2.2, le faisceau incident est réfléchi sur deux faces du pavé oscillant. Les deux rayons suivent deux chemins différents et sont ensuite focalisés sur la cellule d acquisition. 15

Chapitre 2 Figure 2.2 Coupe du scanner infrarouge Les principales caractéristiques du scanner IR : Fréquence d acquisition : 200 lignes/s Champ de visée utilisée 120 Résolution thermique : 0.14 C Taille du détecteur : 0,5 mm x 0,5 mm Focale : 145 mm IFOV 1 : 3.45 mrad FOV : 2.513 mrad Incrément angulaire : 0.63 mrad On remarque ainsi que l incrément angulaire est inférieur à l IFOV, ainsi il y a un chevauchement des pixels acquis par le scanner IR. 1. Instantaneous Field of View, c est le champ de visée instantanée correspondant au champ de visée d un pixel 16

Chapitre 2 2.1.3 Acquisitions des données de positionnement La chaîne d acquisition SYSCAM est équipé d un système de positionnement APPLANIX POS LV 420. Ce système comprend : un GPS muni de deux antennes bi-fréquence fournissant le positionnement en latitude, longitude et altitude. Un odomètre qui mesure la distance parcourue. Une centrale inertielle, constituée de 3 accéléromètres et de 3 gyroscopes, fournissant l orientation de la plate-forme (sous la forme de trois angles roulis, tangage, lacet) 2.2 Les fichiers de données La gestion des fichiers de données est une phase capitale dans la programmation du post-traitement d une telle chaîne d acquisition. C est pourquoi je vais détailler dans cette section les différents formats de fichiers ainsi que la méthode de synchronisation des données. 2.2.1 Format des fichiers Les fichiers IR Les fichiers IR produits sont de deux types : les fichiers.hdr d une part et les fichiers.raw d autre part. Les fichiers.hdr sont des fichiers d en-tête (au format ENVI) contenant différentes informations permettant l ouverture du fichier image correspondant (.raw). Le.raw, quant à lui, est le fichier image contenant toutes les mesures IR ainsi que des informations utiles à la synchronisation des données. C est dans ce dernier que se trouve l image IR non corrigée, modélisée par une matrice possédant pour chaque pixel une valeur IR correspondante. De plus, dans ce fichier est stockée une valeur numérique appelée «compteur» servant de lien à la synchronisation des données. En effet, le compteur est simplement là pour définir le numéro de chaque profil IR acquis. 17

Chapitre 2 Les fichiers laser Il existe qu un seul type de fichiers laser produits : les fichiers.csv. Les fichiers.csv contiennent 500 colonnes représentant les profils verticaux et 538 lignes correspondant aux profils horizontaux. Le levé est ainsi décomposé en plusieurs fichiers csv contenant chacun au maximum 500 profils verticaux. Dans les fichiers.csv, on retrouve le numéro de profil et de ligne correspondant au point ainsi que les coordonnées du point dans le référentiel du scanner laser. Dans chaque fichier, les 250 premiers profils correspondent au levé effectué en arrière du levé utile (correspondant au levé du boîtier du système). La partie utile se trouve dans les 250 profils suivants. Ainsi, chaque fichier a été traité en amont afin de ne conserver que la partie utile du levé (voir figure 2.3 représentant un fichier.csv. La partie utile se trouve entre le 250 e et le dernier profil et entre la 80 e ligne et la 450 e ligne environ. Les premières et dernières lignes ici, correspondent au levé des bords du boîtier visible en figure 1). Figure 2.3 Schéma représentatif du levé effectué par le scanner laser Les fichiers GPS Les fichiers GPS fournissent les différentes positions relevées par le GPS au cours du levé ainsi que les orientations du véhicule et les temps associés. Pour chaque levé, quatre fichiers GPS sont générés : Deux sont associés aux mesures IR (.dat,.txt). Deux autres sont associés aux mesures laser (.dat,.txt). Ces différents fichiers sont utiles à la synchronisation et donc au géoréférencement des différents levés. (voir chapitre 2.2.2) 18

Chapitre 2 2.2.2 Synchronisation des données Toutes les données captées et enregistrées ne peuvent être mises en relation sans la mise en place d un système permettant de les synchroniser entre elles. Pour se faire, de manière générale, chaque position GPS ou profil laser (ou bien infrarouge) est acquis et enregistré en y ajoutant une information importante : le facteur temps. Ce dernier est défini à l aide du logiciel POS-PAC MMS qui est associé au logiciel Applanix. En effet, ce logiciel permet de produire un fichier de navigation synchronisé avec le fichier des données enregistrées par le scanner. La rapidité d acquisition des points n entrave pas le bon fonctionnement global du système car la capacité du logiciel à associer un temps à chaque profil mesuré (ou position GPS acquise) est largement suffisante au géoréférencement des données. Ainsi, comme vu précédemment deux types de fichiers servent à la synchronisation des données ( 2.2.1). Les fichiers portant l extension.txt et ceux portant l extension.dat. Les premiers comportent un listing contenant les différentes positions du récepteur GPS, associées à un temps d acquisition et des angles d orientation : roulis, tangage, lacet. Le second type de fichiers permet l association entre les deux valeurs associées au temps permettant la synchronisation des données : le temps et les Tops GPS. Les Tops GPS correspondent au numéro de la mesure effectuée par le gps et la centrale inertielle. Ainsi, le 5 ième top correspond à la 5 ième mesure effectuée par le système. Ces fichiers sont simplement là pour associer le temps avec les Tops GPS. Ils sont ordonnés en tableaux de deux colonnes comportant d une part le temps et d autre part le Top GPS associé. L algorithme utilisé pour synchroniser les données sera expliqué plus tard dans ce mémoire. En conclusion, la figure 2.4 présente un récapitulatif de la structure et du contenu des fichiers bruts issus d une acquisition. 19

Chapitre 2 Figure 2.4 Organigramme représentant la stucture et le contenu des fichiers de sortie Synchronisation des données entre le GPS et le scanner laser La fréquence d acquisition des Tops GPS est identique à celle du scanner laser. Ainsi, il y a autant de Tops GPS que de profils acquis : un Top pour le profil arrière et un Top pour le profil avant. Après traitement des fichiers.csv, un Top GPS sur deux sera à conserver. T OP GP S = 2 NUM P rofil (2.1) Synchronisation des données entre le GPS et le scanner IR Comme vu précédemment, chaque profil IR levé est numéroté (par le compteur). En fonction de ce numéro donné, la synchronisation peut être effectuée car il existe une relation entre les Tops GPS et le numéro compteur. En effet, la fréquence d acquisition des lignes IR est différente de la fréquence d acquisition des Tops GPS. T OP GP S = (NUM COMP T EUR + 1)/2 (2.2) Ainsi, une ligne ayant le numéro 50 correspondra au Top GPS n 26. Cependant, il peut y avoir des sauts de ligne durant l enregistrement ; l incrément du compteur peut donc être supérieur à 1. De plus, certains numéros de compteur peuvent être aberrants (erreur durant l écriture du numéro). Les lignes correspondantes sont par 20

Chapitre 2 conséquent inexploitables. On peut visualiser ce type d erreurs sur le listing des numéros du compteur ci-après (figure 2.5). Le compteur incrémente correctement le numéro de la ligne IR mais parfois, certaines erreurs peuvent apparaître (en rouge sur la figure) formant ainsi des numéros ne suivant aucune logique. Figure 2.5 Erreurs de numérotation du compteur En récapitulatif on peut visualiser en figure 2.6 les principaux composants de la chaîne d acquisition SYSCAM. 21

Chapitre 2 Figure 2.6 Schéma récapitulatif représentant la chaîne d acquisition SYSCAM En conclusion, la structure globale de la chaîne d acquisition demeure complexe et nécessite des traitements permettant la suppression des erreurs effectuées par le système. 22

Chapitre 3 Géoréférencement des données Le géoréférencement des données laser a été réalisé par M. Hakim BOULAASSAL au cours de travaux réalisés dans le cadre d un post-doctorat. Cependant, certaines modifications ont dû être apportées afin de réaliser le post-traitement général de la chaîne d acquisition SYSCAM. 3.1 Géoréférencement des données laser Ce premier traitement réalisé par M. BOULAASSAL passe par plusieurs étapes avant d arriver au géoréférencement des points acquis avec le scanner laser. Importation du fichier de points «*.csv» et réorganisation des données Il est important de savoir que les points de chaque nuage sont rangés par lignes et profils. Par défaut, le scanner laser enregistre les points ligne par ligne. Or, pour pouvoir appliquer la formule du géoréférencement, il est impératif que les points soient rangés selon leur numéro de profil, dans l ordre croissant. La première étape dans le programme consiste donc à réorganiser les données. Nettoyage du nuage de points : De nombreux points sont, en réalité, indésirables car ils nuisent à la qualité et à la cohérence du résultat. Lors de cette étape, certains points sont donc effacés du nuage de points. Pour cela plusieurs critères ont été pris en compte : Points appartenant au bord du boîtier : Comme le scanner se trouve dans un boîtier dont l ouverture n est pas assez large comparée au champ d ouverture du scanner laser, le bord inférieur de ce boîtier est systématiquement levé sur chacun des profils. Le programme élimine donc les points se trouvant à une distance inférieure à 1m du centre du scanner laser. 23

Chapitre 3 Points n appartenant à aucune façade : Des points dont les coordonnées se situent à une distance excessive du scanner laser sont éliminés. Ces points n appartiennent pas à une façade située dans le proche voisinage du véhicule et ne sont donc pas intéressants pour la suite du traitement. Le programme élimine donc les points dont la distance par rapport au scanner est supérieure à 150 m. Application de la formule de géoréférencement Les points étant correctement ordonnés, ils subissent les différentes rotations subies par le véhicule lors de leur acquisition. De plus, un vecteur translation leur est ajouté correspondant aux coordonnées des points dans le repère Applanix (défini en figure 3.1). Les différents points GPS et orientations du véhicule sont associés en considérant l égalité entre les deux fréquences d acquisition des appareils (cf 2.2.2). 3.1.1 Définition des différents repères propres au système SYSCAM Lors du processus de création du modèle final, il est apparu une incohérence dans le géoréférencement. Après relecture des travaux déjà effectués, des modifications ont été apportées afin de corriger le géoréférencement du nuage de points laser. Ici, seront décrits les différents repères et orientations qui ont permis d établir la relation aboutissant au géoréférencement des points. Tout d abord, les points sont acquis dans le repère du scanner laser. Ce repère est lié au scanner lui-même et donc le nuage de points, initialement, sera sur un seul profil (dans le plan y laser Oz laser voir figure 3.1). Chaque profil sera associé par la suite à une position GPS ainsi qu aux orientations acquises à l aide de la centrale inertielle. 24

Chapitre 3 Figure 3.1 Représentation des différents repères appartenant à la chaîne d acquisition SYSCAM dans le cas où le véhicule est placé plein Nord 3.1.2 Calcul matriciel du géoréférencement Les points laser sont initialement positionnés dans le système Applanix. Dans le but de les replacer dans le repère absolu, ils vont subir une série de translations et rotations. Afin de réaliser cette transformée, le véhicule a été considéré comme étant à l arrêt et orienté plein Nord. Pour transformer les coordonnées des points laser du système Applanix dans le repère absolu, la matrice rotation contenant les vecteurs du système Applanix dans le repère absolu a été écrite et appliquée aux coordonnées des points (dans le repère Applanix). C est-à-dire, Mrot Applanix Absolu *Mpixels Applanix. Les points étant maintenant correctement positionnés dans le repère absolu, il ne reste plus qu à leur faire subir les rotations correspondant au positionnement du véhicule dans l espace. Ces rotations sont au nombre de trois et correspondent à l angle de roulis (Roll), tangage (Pitch), lacet (Heading) (visibles figure 3.2) 25

Chapitre 3 Figure 3.2 Représentation des angles de roulis tangage lacet (source : [NGA, 2011]) Ainsi, Finalement, les coordonnées obtenues sont ajoutées à la position GPS fournie. P ts géoréférencés = Mrot Mrot Applanix Absolu Mpts Applanix (3.1) Avec, Mrot = Mlacet Mroulis Mtangage 1 0 0 Mroulis = 0 cos(roulis) sin(roulis). 0 sin(roulis) cos(roulis) cos(tangage) 0 sin(tangage) Mtangage = 0 1 0 sin(tangage 0 cos(tangage) cos(lacet) sin(lacet) 0 Mlacet = sin(lacet) cos(lacet) 0. 0 0 1 26.

Chapitre 3 Mrot Applanix absolu = 0 1 0 1 0 0 0 0 1. P tsgeoref = Mrot 0 1 0 1 0 0 0 0 1 0 1 0 1 0 0 0 0 1 X1 X2... Y 1 Y 2... Z1 Z2... + 0.14 0.14... 0.249 0.249... 0.076 0.076... +P osgp S 0 1 0 1 0 0 est la matrice du changement de repère du repère Laser au repère 0 0 1 0 1 0 Applanix. 1 0 0 est la matrice du changement de repère du repère Applanix 0 0 1 X1 X2... vers le repère absolu. Y 1 Y 2... est la liste des points contenus dans le profil laser. Z1 Z2... La matrice étant la matrice translation entre O laser et O App répétée 0.14 0.14... 0.249 0.249... 0.076 0.076... de manière à correspondre aux dimensions des matrices présentes (voir figure 2.6 en page 22). L orientation des données suit alors plusieurs étapes. Tout d abord, les points subissent un premier changement de repère afin d être correctement placés dans le repère applanix. Ensuite, ils subissent deux rotations (équivalent à deux changements de repère ici) successives afin d être correctement positionnés dans le repère applanix. Enfin, on leur applique les trois rotations et translations (correspondant au roulis, tangage, lacet et à la position GPS). 3.2 Géoréférencement des données infrarouges Les données infrarouges issues de la chaîne d acquisition apparaissent sous forme d images. Ces images mises bout à bout forment l image complète correspondant au levé. Le géoréférencement seul de ces données ne permet pas la création d un modèle permettant la visualisation 3D de ces mêmes données. Cependant, cette étape est indispensable à la méthode de recalage développée par la suite dans les algorithmes. Afin de réaliser cette étape, les données IR seront importées, traitées (suppression des erreurs de numérotations) et géoréférencées. 27

Chapitre 3 3.2.1 Import des données utiles au géoréférencement infrarouge Les données infrarouges sont acquises à l aide d un scanner à balayage optomécanique générant chaque image par assemblage de plusieurs profils IR. (Ces profils sont considérés comme verticaux de part la fréquence d acquisition et la vitesse moyenne du véhicule.) Ainsi, durant toute la phase d acquisition les différents profils représentant la scène acquise vont subir les mêmes orientations que le véhicule. Les images brutes sont alors grandement «déformées»(voir figure 3.3) par rapport à la réalité et ne peuvent être géoréférencées directement. Un géoréférencement pour chaque profil serait alors indispensable. Figure 3.3 Echantillon de données IR brutes Afin d agir sur ces données, il faut tout d abord les importer. Les fichiers bruts, en sortie, apparaissent sous la forme de deux fichiers.hdr et.raw (voir p. 17). Le but ici est d importer les fichiers bruts de manière à obtenir l image IR stockée dans une matrice. Afin de procéder à cet import il est indispensable de gérer les deux types de fichiers. Les fichiers.hdr sont simplement des fichiers textes contenant diverses informations sur le fichier.raw correspondant. C est dans ces fichiers que la taille de l image va être importée (grâce à la fonction IR) et va faciliter l import sous MATLAB du fichier.raw grâce à la fonction suivante : img = f r e a d ( f i d, [ nbcol, n b l i g ], int16 ) ; fid étant le chemin d accès du fichier brut d entrée. 28

Chapitre 3 3.2.2 Traitement des données Le but du traitement des données IR est d obtenir en sortie un fichier possédant le même nombre de colonnes que l image brute.raw ayant dans chacune d entre elle les différentes positions et orientations disponibles dans les fichiers GPS. La difficulté ici est que la fréquence d acquisition des lignes IR est différente de celle des Tops GPS. De plus, des erreurs de numérotation du profils IR peuvent subvenir et doivent être supprimées (et le profil correspondant devant être ignoré). Pour effectuer ce traitement, trois types de fichiers interviennent : le fichier GPS (associé aux mesures IR), le fichier des Tops GPS (associé aux mesures IR) et l image.raw contenant les valeurs IR ainsi que les valeurs du compteur ˇ. Ce processus est traité à l aide de la fonction IRread. Cette dernière est composée de plusieurs phases principales : Interpolation du fichier GPS existant afin de pouvoir associer à chaque ligne de l image les différentes orientations associées. (Etant donnée la fréquence d acquisition des lignes IR deux fois plus grandes que celles des tops GPS). Création d une 17e colonne dans le fichier GPS (les fichiers GPS sont constitués de 16 colonnes de base) correspondant aux tops GPS associés aux différentes lignes. Ici, une simple incrémentation a été réalisée. En effet, une méthode plus juste serait d utiliser la fonction find() mais cette dernière demande un temps de traitement beaucoup trop long. (La fonction find recherche pour chaque temps d un top gps la ligne correspondante dans le fichier GPS. Pour n tops, la recherche s effectue alors n fois). Lecture du compteur pour chaque ligne IR à l aide de la fonction : CPT( i,1)= t y p e c a s t ( i n t 1 6 ( [ img (4009, i ) img (4010, i ) ] ), uint32 ) ; Détection des bugs compteurs. Les sauts trop importants dans la numérotation entre deux lignes ont été considérés comme des erreurs de comptage ainsi que les lignes possédant le même numéro de compteur. Création d une variable de sortie link_cp T _GP S comportant les valeurs des lignes GPS associées aux lignes de l image IR. Création d une variable GP S_IR2 comportant les valeurs d orientation et de positionnement de chaque ligne IR. 29

Chapitre 3 La détection d erreurs de comptage s effectue par lecture de deux lignes successives et soustraction des valeurs selon le schéma récapitulatif suivant. (La variable CPT correspond au numéro du compteur et GPSI correspond au fichier texte de 16 colonnes contenant les positions GPS et orientations). Data: GPSIR, top, img Result: GPS_IR2 /* bug=0; Initialisation */ if bug=0 and [CPT(i+1,1)-CPT(i,1)>30 or CPT(i+1,1)=CPT(i,1)] then /* Stockage dans link_cpt_gps (i,1) ligne du numéro de ligne où le top GPS correspond au compteur de l image */ (link_cpt_gps(i,1)=find(gpsi( :,17)==(CPT(i,1)+1)/2)) and bug=bug+1 else if bug>0 then if CPT(i+1,1)-CPT(i-bug,1)>30 OU CPT(i+1,1)=CPT(i-bug,1) then link_cpt_gps(i,1)=0 and bug=bug+1 ; else link_cpt_gps(i,1)=find(gpsi( :,17)==(CPT(i,1)+1)/2) and bug=0 end else link_cpt_gps(i,1)=find(gpsi( :,17)==(CPT(i,1)+1)/2) ; end Algorithm 1: Algorithme permettant l association des Tops GPS avec le temps (en supprimant les erreurs du compteur) Ainsi, la fonction incrémente une valeur pour chaque erreur détectée et si le nombre d erreur est supérieur à zéro alors la comparaison se fait entre la ligne i et la ligne i-1-nombre d erreurs. Si les conditions sont respectées, le nombre d erreurs est fixé à 0 sinon il est incrémenté de 1. Les différents profils IR sont donc correctement associés aux valeurs de positionnements et d orientation respectives lors du levé. 3.2.3 Processus de géoréférencement Les différents profils IR sont donc correctement associés aux valeurs de positionnements et d orientations (respectives lors du levé). On obtient donc (voir fig. 3.4) le fichier de sortie possédant pour chaque profil IR une colonne contenant la position GPS et les angles d orientation du véhicule. 30

Chapitre 3 Figure 3.4 Image IR brute associée du résultat du processus de traitement IR A présent afin d orienter l image, il nous faut orienter chacun des profils relevés. Evidemment le géoréférencement de ces profils ne peut se faire que via des orientations (et donc des directions pour chaque profil ou pixel), étant donné que le scanner IR se contente d acquérir seulement des valeurs d intensité (sans distances aucunes). Ce problème sera traité dans la prochaine partie. Calcul des coordonnées pixels dans le système Applanix La génération de l image IR est effectuée par balayages successifs des profils. Même si la ligne IR est construite à l aide d un système à balayage opto-mécanique, le principe a été volontairement simplifié et ramené (en théorie) à un simple système imageur générant successivement les lignes IR, générant l image finale disponible dans les fichiers de type.raw. Chaque ligne est ensuite générée par incrément angulaire (dθ=0.63 mrad) pixel par pixel. Compte tenu de ces informations, chaque ligne pixellaire a été calculée dans le système Applanix (voir fig. 3.5). 31

Chapitre 3 Figure 3.5 Représentation des pixels IR dans le système Applanix Chaque ligne est constituée de 4000 pixels centrée sur le 2095e pixel (pixel situé à l horizontal, dans le cas où le système Applanix serait parfaitement horizontal). Les points sont ainsi stockés dans une matrice tel que : Mpixels(i, 1 : 3) = [ 0.283 0.2770 0.051] + [0 0.145 z] avec z = tan((2095 i) dtheta) 0.145 I étant le numéro du pixel sur la ligne infrarouge, i allant de 1 à 4000. Orientation des données IR dans le repère absolu Les 4000 pixels (voir figure 3.5) étant actuellement correctement positionnés dans le système Applanix. Dans le but de les positionner dans le repère absolu, ces profils vont suivre, sur le même principe de traitement appliqué sur les données laser (voir page 25), une succession de rotations et de translations (issues des données de sortie 32

Chapitre 3 du traitement IR voir page 31) basée sur une équation matricielle. Cette équation est quasiment identique à celle présentée précédemment mais a simplement été adaptée en remplaçant le vecteur translation IMU-scanner laser par la translation IMUscanner IR. P ixelsgeoref = Mrot 0 1 0 1 0 0 0 0 1 0 1 0 1 0 0 0 0 1 X1 X2... Y 1 Y 2... Z1 Z2... + 0.283 0.283... 0.277 0.277... 0.051 0.051... +P osgp S Le géoréférencement des données étant maîtrisé, on peut maintenant s attarder sur la mise en place du recalage entre les différentes données. 33

Chapitre 4 Méthode de recalage entre les données laser et infrarouges La méthode retenue pour réaliser le modèle a été la méthode du «point le plus proche». Cette dernière a été choisie en considérant la nature même des images IR. Ces dernières ne sont pas, dans leur état brut, représentatives de la scène scannée (A la manière de [Brun et al., 2007] et la lentille fish-eye). Cette méthode consiste à géoréférencer la direction de visée de chaque pixels présents sur l image de sortie du système scanner imageur et d appliquer la valeur IR du pixel au point le plus proche du nuage de points laser (en dessous d un maximum représentant l erreur tolérée). Evidemment, un tel procédé est possible seulement en éliminant les parasites présents dans le nuage. 4.1 Traitements effectués sur le nuage de points laser La présence de tels points pourrait entraîner un déplacement de la position réelle du pixel IR le long de la droite modélisée par la direction centre scanner IR pixel IR. Dans le but d éviter ce type d erreurs, une fonction a été développée («segmentation») en se servant des travaux déjà réalisés dans le domaine par [Frueh et al., 2005], qui, avant le géoréférencement des données va traiter l ensemble des données afin d écarter un maximum de points, considérés dans le modèle, comme faux. La plupart des structures (bâtiments) sont généralement verticales. En considérant le véhicule comme étant quasiment à l horizontal durant le levé, un traitement a été réalisé sur les points issus directement du levé laser, c est-à-dire dans le repère du scanner (repère ayant comme particularité d avoir un des vecteurs de la base suivant le nadir du laser scanner) et non géoréférencés. Une analyse est effectuée pour 35

Chapitre 4 chaque groupe sur la densité de points suivant le plan horizontal. Lorsqu il y a présence d une façade, la densité de points dans le plan va alors atteindre un maximum (voir figure 4.1). La fonction permet donc de détecter et d isoler les points (dans un intervalle de 1m, modifiable) dans les zones où la densité atteint un maximum local. Figure 4.1 Représentation de la densité de points pour un profil laser (l axe des x correspond à la distance depuis le scanner laser et l axe des y correspond au nombre de points détectés dans un intervalle) Evidemment, l utilisateur peut choisir d utiliser ou non ce traitement (à l aide de la checkbox). Il peut aussi, modifier les paramètres d entrée et ainsi jouer sur le pas de détection ou la valeur du maximum local qui sera utilisé pour conserver les points laser des façades. Le traitement n est pas parfait, il demeure souvent des points qui n appartiennent pas à une façade (par exemple, sur un lampadaire ou un arbre). Cependant, l avantage de ce traitement, est de supprimer les points aberrants situés en général à quelques mètres, devant, ou derrière la façade, voir figure 4.2 et 4.3 qui mettent en évidence l action du traitement sur le nuage de points laser. 36

Chapitre 4 Figure 4.2 Représentation du nuage de points laser sans traitement (vue des façades, de dessus) Figure 4.3 Représentation du nuage de points laser avec traitement (vue des façades, de dessus) 4.2 Réhaussement des données infrarouges Même si le LNE compte actuellement s occuper de la gestion de l information IR, il m a paru important d effectuer un rehaussement sur les données dans le but d obtenir une meilleure visualisation du résultat. Une fonction a donc été développée dans ce but. Après analyse des histogrammes des différentes images mises à ma disposition, une courbe de transformation, en rouge ci-dessous, permet d effectuer un réhaussement agissant entre la valeur IR -1400 et 4000. Ces deux valeurs ont été établies par simple observation des différentes images fournies. En effet, en dessous de la valeur -1400, la majorité des pixels sont associés à une partie de l image correspondant au ciel. Au dessus de 4000 il persiste que très peu de pixels. 37

Chapitre 4 Figure 4.4 Histogramme des valeurs IR avec fonction de transfert en rouge correspondant au réhaussement 4.3 Processus de création du modèle infrarouge Les données IR sont acquises sur de simples images reconstituées. Afin de pouvoir restituer cette information en 3D, il a fallu utiliser le nuage de points laser. En effet, le nuage de points laser va servir de base au géoréférencement des données IR. Initialement, les données IR sont sous la forme d une liste d images, qui mises bout à bout reconstituent l ensemble du levé. Les seuls éléments connus (qui ont été calculés et triés précédemment) sur ces données, sont : la position GPS et l orientation de chaque profil constituant l image IR (développé au 1.2). Etant donné le temps d acquisition d un profil, 4 ms et la vitesse moyenne du véhicule, chaque profil a été considéré comme pris instantanément. Chaque direction centre scanner IR-pixel étant connue, il ne reste plus qu à attribuer une abscisse à cette droite permettant d obtenir un point colorisé représentant le pixel IR dans l espace. C est en se servant des informations fournies par le nuage de points laser que la méthode du «point le plus proche» positionne l information IR. En réalité, pour chaque droite calculée, c est le point étant considéré comme le plus proche de la droite (de manière perpendiculaire) auquel sera attribué la valeur IR. 4.3.1 Sous-segmentation du nuage de points En pratique, en considérant chaque droite correctement orientée (voir 1.2), il serait incohérent de calculer pour chacune d entre elles toutes les distances points/- 38

Chapitre 4 droite. En effet, le nuage de point considéré pouvant être important, un tel traitement augmenterait le temps de calcul de manière drastique. De plus, le point associé pourrait se trouver sur une façade opposée à celle correspondant aux points acquis à l instant t. Il a donc fallu repenser la création du nuage de points laser afin de pourvoir segmenter ce dernier lors du processus de calcul de la distance points/droite. Des modifications ont alors été apportées au programme déjà réalisé (par M. BOU- LAASSAL) afin d identifier, pour chaque point, le temps du levé correspondant. L information a été directement prélevée au moment du calcul du géoréférencement du point laser dans le fichier regroupant les données d orientations et les positions GPS. Ainsi, le programme génère en sortie un fichier de points correspondant aux points laser sous la forme d un fichier texte possédant quatre colonnes : les coordonnées x, y, z et le temps (t1) d acquisition du point. Dans le but d effectuer cette segmentation, le temps (t2) d acquisition de chaque ligne IR est de la même façon prélevée dans le fichier de données IR. Ainsi, le bouton «génération du modèle IR» fonctionne de la manière suivante : après importation du fichier de points laser et des images contenant les valeurs IR associées à leur fichier de sortie du traitement des données IR, le programme va, pour chaque ligne IR contenue dans l image, calculer la position des 4000 pixels dans l espace ainsi que celle du centre IR considéré. De ces 4000 pixels, 4000 lignes seront calculées, et pour chacune d entre elles, un traitement spécial du nuage de points est effectué. En effet, le nuage de points va être segmenté en fonction du temps t2 d acquisition de la ligne IR. Dans la pratique, pour un même temps t, il y aura un décalage entre l acquisition laser et une acquisition IR (voir figure 4.7) qui dépendra principalement de la distance scanner laser/scanner IR ( T figure 4.7). Afin de calculer l intervalle de temps Tb-Ta (voir figure 4.7) permettant la segmentation du nuage de points laser, la vitesse du véhicule a été extraite des données et utilisée. 39

Chapitre 4 Figure 4.5 Représentation du scanner laser, de la centrale inertielle et du scanner IR 4.3.2 Attribution des valeurs infrarouges Le nuage de points étant alors segmenté (voir figure 4.6), la distance point/droite sera calculée pour l ensemble des points, si et seulement si, le profil pixellaire IR correspondant à la droite calculée contient dans la première moitié de l image (des lignes du profil en question) une valeur IR supérieure à -1400. Tout ceci dans le but d éviter tout calcul inutile si la zone scannée ne contient aucun bâti. Cette valeur a été fixée en analysant les différents histogrammes de valeurs des différentes images mis à disposition par le LNE (voir figure 3.3). Cependant, plusieurs pixels successifs peuvent être associés au même point laser et donc créer, au final, un nombre très important de points doubles. Pour empêcher cela, un traitement spécial est effectué sur le nuage de points afin de supprimer toute superposition de points. 40

Chapitre 4 Figure 4.6 Segmentation du nuage de point et calcul des distances points/droite Les distances sont calculées sous forme matricielle de la manière suivante : d(a, (d)) = BA u (4.1) u Figure 4.7 Calcul de la distance point/droite Sous MATLAB, cette relation peut s écrire (de manière optimisée) : d=s q r t (sum( abs ( c r o s s ( aa, b ) ). ^ 2, 2 ) ). / norm ( a ) ; "aa" représentant le vecteur a : centre IR-pixel IR répété de manière à correspondre aux dimensions de la matrice du nuage segmenté. (nx3) et "b" l ensemble 41

Chapitre 4 des vecteurs pixels IR géoréférencé-point du nuage (nx3). Une fois l ensemble de ces distances calculées, la valeur IR est associée au point étant considéré comme le plus proche de cette droite. Evidemment, un maximum a été établi de manière à ce qu au delà de cette distance, la valeur IR ne sera attribuée à aucun point. Ce maximum a été déterminé en calculant la taille des pixels projetés sur un objet plus au moins éloigné. Distance véhicule/objet scanné (en mètres) Taille du pixel projeté (en mètres) 10 0.035 20 0.068 30 0.103 40 0.138 Ainsi, à 10 mètres, la projection maximum devrait être fixée à 4 cm et à 40 mètres, elle devrait être fixée à 14 cm. Dans le majorité des cas, les bâtiments sont situés entre 10 et 30 mètres. C est pourquoi, il a été décidé de considérer 7 cm comme la distance maximum entre la direction donnée (droite entre le centre du scanner IR et le pixel IR) et le point laser. Cependant, lors de conditions exceptionnelles de levé ce paramètre peut être modifié directement en remplaçant la variable param_minimum dans la fonction exécutée lors de l utilisation du bouton "Génération du modèle IR 3D". Figure 4.8 Données IR géoréférencées (à l aide de l échantillon visible en figure 3.3) et visualisées avec Cloud Compare 42

Chapitre 4 En conclusion, le modèle résultant possède des défauts. En effet, le modèle présente encore des points faux (certains points ne sont pas nettoyés par le traitement effectué sur le nuage de points) et des zones de vide, dues notamment, à la présence d obstacles entre le laser scanner et la façade (arbres... ). De plus, le temps de calcul pour l échantillon traité a été d environ 40 min pour un fichier de sortie de plus de 150 000 points, ce qui reste assez long et lourd sachant la quantité de données à traiter. Le principal frein à la vitesse du programme, selon moi, est le nombre de pixels traités (plus de 2 000 000 dans l échantillon utilisé), et donc le nombre de distances calculées pour chaque direction. Le fichier de points reste, à mon sens, trop important. Une solution serait peut être de ne traiter, sur un profil IR, qu un pixel sur deux et donc qu une droite sur deux (ou moins). Une autre solution serait de développer une fonction permettant non pas d attribuer la valeur IR au point le plus proche, mais de, à partir d un maillage de bonne qualité, calculer les intersections directions IR/maillage afin de générer directement les points IR au lieu d associer leur valeur à un point laser. 43

Chapitre 4 Figure 4.9 Schéma récapitulatif du processus de recalage entre les données laser et infrarouges 44

Chapitre 5 Evaluation de la qualité des modèles produits Après le développement des algorithmes permettant le traitement et le géoréférencement des données laser et infrarouges, il est important d apporter une vérification des résultats qui permettra de contrôler les formules théoriques exposées précédemment. La qualité du modèle généré peut être évaluée à plusieurs niveaux. En effet, le nuage représente une scène urbaine servant à la visualisation de données thermique. Le nuage produit en sortie peut être contrôlé sur plusieurs critères : la cohérence globale du nuage de points laser, le géoréférencement absolu de ce dernier et l agencement des données IR recalées. Ainsi, dans cette partie, nous aborderons la question de la qualité des nuages de points générés (positionnement relatif des points les uns par rapport aux autres), de leur exactitude et de la qualité du recalage infrarouge. 5.1 Qualité des nuages de points générés La cohérence globale du nuage de points laser fait référence directement à la qualité du géoréférencement relatif. C est-à-dire, à la capacité de l algorithme de fournir un résultat correspondant fidèlement à la réalité, dans la position des différents profils les uns par rapport aux autres. En effet, le modèle final est construit à partir des fichiers indépendants. Des erreurs peuvent subvenir au niveau de l agencement et de la gestion des fichiers. Afin d effectuer ces vérifications, une comparaison des levés, effectués par la chaîne d acquisition SYSCAM et un scanner laser fixe, a été réalisée. Ces levés (voir figure 5.1) se sont portés sur une façade d un des bâtiments de l INSA de Strasbourg. Ces levés, bien qu effectués avec des densités de points différentes ont permis, bon nombres de vérifications et comparaisons. Ces dernières ont été réalisées à l aide du 45

Chapitre 5 logiciel 3DReshaper. Le levé statique de la façade a été maillé et recalé avec le nuage de points issus des traitements réalisés. Le but ici étant de comparer relativement ces deux nuages, un simple recalage par trois points a permis de les recaler l un par rapport à l autre. Afin d effectuer les mesures, le nuage de point le plus dense (c est-à-dire, celui effectué en statique) a été maillé de manière à pouvoir plus facilement, par la suite effectuer des mesures de distance entre le nuage recalé et le maillage. Figure 5.1 Représentation de la façade levée par la chaîne SYS- CAM (à gauche) et par un scanner laser fixe (à droite) Figure 5.2 Recalage du nuage de points et du maillage Afin de comparer au mieux les deux échantillons, deux critères ont été considérés : le critère géométrique et le critère d exactitude (avec comme référence le nuage dense). Concernant le critère d exactitude, le maillage ainsi obtenu a été utilisé pour mesurer chaque distance entre le nuage recalé et le maillage. Les résultats sont visibles en figure 5.3. Au final, on obtient 79% (visible en vert sur la figure 5.3) des points contenus dans une enveloppe de 15 cm d épaisseur autour du maillage. 46

Chapitre 5 Figure 5.3 Comparatif entre le maillage et le nuage de points issu d un levé statique Le critère géométrique, quant à lui, est plus difficile à estimer, et concerne principalement les correspondances entre les deux géométries globales des nuages. C est donc dans ce but qu un comparatif des strucures globales a été réalisé, notamment sur les structures caractéristiques, comme les armatures les lots de quatre fenêtres. Ainsi, plusieurs distances ont été mesurées : Ecart entre les distance mesurées (en cm) Sol - 3e étages 5.5 Coin de bâtiment - 1ère fenêtre RDC 6.2 Largeur lot de quatre fenêtres 4.3 Les résultats sont clairement encourageants, compte tenu de la différence de densité des deux nuages et donc de la difficulté de l opérateur à pointer correctement l endroit souhaité. 47

Chapitre 5 5.2 Exactitude des nuages de points générés Dans cette section, nous allons nous intéresser à la position absolue du nuage obtenu en sortie de la chaîne de traitement. Cependant, les deux nuages n ont pas été acquis dans le même système de coordonnées. Le nuage de points levés en statique a été acquis en NTF Lambert 1 (france Nord) (en planimétrie) et NGF IGN 69 (en altimétrie). Le nuage acquis par le système de cartographie mobile a été, quant à lui, levé en UTM 32 (WGS 84) (en planimétrie) et EGM96 (en altimétrie). Ainsi, les points du premier nuage ont été replacés dans le repère du second nuage à l aide du logiciel CIRCE de l IGN. Les résultats, fournis avec une précision de 2 à 5 m, indiquent en majorité, une imprécision suivant la direction Nord de l ordre d une dizaine de centimètres en planimétrie. En altimétrie, la différence est un petit peu plus importante et atteint environ 20 cm. Cependant, ces résultats nous indiquent que les points sont correctement positionnés à l issu des traitements (de type matrice rotations et translations) et confirme la justesse de la formule définie en section 3.1.2. De plus, les imprécisions peuvent provenir de plusieurs facteurs. Le principal facteur est la calibration des bras de levier de l armature soutenant les différents appareils. En effet, une erreur, même minime, peut modifier l orientation finale du système et donc reporter une importante erreur en sortie. Les deux autres sources d erreurs proviennent de la précision des orientations fournies par la centrale inertielle et la précision des coordonnées données par le récepteur GPS. 5.3 Qualité du recalage infrarouge La qualité du recalage infrarouge est plus compliquée à vérifier que précédemment. En effet, seule une vérification de valeurs IR en des endroits spécifiques peut conforter ce processus. C est donc dans ce but, qu un pointé a été effectué entre l image brute et le nuage de points colorisé (concernant le même échantillon, voir figures 3.3 et 4.8). Ainsi, un comparatif a été établi en se basant sur plusieurs endroits caractéristiques de la scène. Les points sont situés, par exemple, à la jointure de deux fenêtres ou sur une partie de mur identifiable. Les résultats sont visibles sur le tableau ci-dessous. 48

Chapitre 5 Pointé effectué sur l image figure 3.3 Pointé effectué sur le modèle 3D figure 4.8 0.627 0.629 0.668 0.656 0.576 0.573 0.604 0.613 0.730 0.740 0.450 0.455 0.418 0.423 0.452 0.453 Cependant, les points attribués et les pixels de l image ne sont jamais en parfaite correspondance. En réalité, ce pointé a été effectué simplement pour estimer les valeurs IR d une zone caractéristique, étant donné la méthode de recalage. Les résultats présentés ci-dessus représentent les valeurs IR des pointés (compris entre 0 et 1) et donnent un écart maximal de 0.01. En conclusion, le nuage de points colorisé, représente fidèlement la structure des objets scannés et permet l observation des valeurs infrarouges correspondantes. Cependant, la méthode de recalage implique forcément une imprécision à la suite du processus de traitement. En effet, les valeurs des pixels de l image sont projetées selon un cône autour de la direction définie par les fichiers de données associées au pixel IR. 49

Conclusion générale et perspectives Les objectifs de ce projet de fin d étude étaient de compléter les travaux réalisés par M. Hakim BOULAASSAL concernant le développement du post-traitement de la chaîne d acsquisition SYSCAM. C est-à-dire, gérer l importation des différents types de données infrarouges thermiques et mettre en place une méthode de recalage permettant la création automatique d un modèle final facilitant la visualisation 3D de ces données. Lors des travaux réalisés durant ce stage, des erreurs (ou bugs) ont été détectées et corrigées lors de la phase de géoréférencement des données laser. En plus de cela, un développement permettant la gestion (et la correction de bugs) des données IR a été réalisé. Enfin, la méthode de recalage entre les différentes données a été définie. C est à l aide du géoréférencement des données IR et donc de chaque direction associée aux pixels IR que le recalage a été défini. Le processus de création du modèle final, pour chaque direction (associée aux pixels) segmente (par rapport au temps d acquisition) tout d abord le nuage de points laser afin de pouvoir calculer toutes les distances points/droites. La plus petite distance est ensuite détectée et c est donc la valeur IR de cette droite qui sera retenue afin de l associer avec le point laser. Evidemment, un certain nombre de cas particuliers ont été gérés afin d assurer le bon fonctionnement de toute la chaîne de traitement. Au final, un fichier texte est créé en sortie possédant les points laser ainsi que les valeurs IR associées. Afin de réaliser au mieux ce traitement, plusieurs fonctions permettant la segmentation du nuage de points et la suppression des erreurs de compteur ont été développées. Ces dernières permettent notamment de supprimer un grands nombres de points aberrants dans le nuage de points laser. Toutefois, le traitement de ces points peut être directement désactivé depuis l interface. Au final, la qualité du résultat final peut être ajustée en fonction de la nature de la scène scannée. Ainsi, le levé thermique de façades peut être amélioré en utilisant le traitement des points laser permettant la détection des façades et donc une suppres- 51

Conclusion sion des points indésirables. Cependant, le modèle final n est pas parfait, son temps de création reste important et, s avère être un frein à la modélisation de scènes de grande envergure. Bien que la géométrie des objets scannés soit de bonne qualité, le géoréférencement absolu de ces derniers conserve une imprécision suivant l axe Nord et l altitude. Si les valeurs (de l ordre de la dizaine de centimètres) n influent pas sur la qualité des renseignements thermiques, elles sont un frein à l exploitation des données dans un SIG de bonne précision. Plusieurs possibilités peuvent être encore exploitées à la suite de ces travaux afin d améliorer la qualité générale des nuages de sortie. En effet, concernant le temps de calcul, il pourrait être réduit en ne traitant qu un pixel sur deux des images, ce qui réduirait la quantité des données IR et donc, par conséquent, le temps de traitement du modèle final. De plus, la sous-segmentation du nuage de points laser réalisée pour chaque pixel (et donc direction centre optique du scanner IR / pixel) pourrait être, quant à elle, aussi améliorée. En effet, une sélection des points laser pourrait être effectuée à partir d un cône modélisé autour de la droite traitée. La sous-segmentation pourrait alors être réalisée en fonction du temps d acquisition, mais aussi, de l inclinaison de la droite. Ainsi, le calcul d un grand nombre de distances points/droite pourrait être évité, ce qui aurait pour résultat de sauvegarder un temps précieux de calculs. Enfin, il serait possible, au lieu de projeter les valeurs IR sur les points laser, de calculer directement l intersection formée par les directions associées aux pixels et un maillage préalablement établi. Cette méthode pourrait alors améliorer la qualité du rendu final. M investir dans ce projet m a donné l occasion de travailler avec des doctorants et chercheurs d un grand laboratoire national. Leurs conseils ont été d une aide précieuse et m ont permis d améliorer ma capacité d autocritique. De plus, ces travaux m ont permis de perfectionner mon aptitude à formuler ou reformuler un problème de plusieurs manières différentes et à pouvoir alors, imaginer des solutions efficaces. En définitive, la volonté d optimiser les processus de traitement, m a conduit à un travail de recherches et de tests relativement chronophage, me permettant finalement d améliorer ma capacité d adaptation faces aux situations imprévues. 52

Glossaire Recalage : Technique qui consiste à mettre en correspondance deux ou plusieurs images, ceci afin de pouvoir comparer ou combiner leurs informations respectives. IFOV : Instantaneous Field of View, c est le champ de visée instantanée correspondant au champ de visée d un pixel. FOV : Field of View, c est le champs total du système. Compteur : Elément apportant une numérotation aux différents profils infrarouges. Tops GPS : Mesure de temps (fictive) permettant l association d une acquisition GPS avec le temps réel. Roulis : Le roulis est un mouvement de rotation d un objet autour de son axe longitudinal. Tangage : Le tangage est un mouvement de rotation d un objet autour de son axe transversal. Lacet : Le lacet est un mouvement de rotation d un objet autour de son axe vertical. Réhaussement : Le réhaussement d une image est une opération modifiant les comptes numériques de l image (vers une image de sortie) permettant de faciliter l interprétation visuelle et la compréhension de l image. Repère Applanix : Ce repère correspond au référentiel de la structure rigide supportant les différents appareils d acquisition. 53

Table des figures 1 La chaîne d acquisition SYSCAM.................... 2 1.1 Le modèle de géoréférencement direct (source : [Ip et al., 2004])... 8 2.1 Aménagement intérieur de la camionnette supportant la chaîne d acquisition SYSCAM............................ 14 2.2 Coupe du scanner infrarouge....................... 16 2.3 Schéma représentatif du levé effectué par le scanner laser....... 18 2.4 Organigramme représentant la stucture et le contenu des fichiers de sortie.................................... 20 2.5 Erreurs de numérotation du compteur.................. 21 2.6 Schéma récapitulatif représentant la chaîne d acquisition SYSCAM. 22 3.1 Représentation des différents repères appartenant à la chaîne d acquisition SYSCAM dans le cas où le véhicule est placé plein Nord.... 25 3.2 Représentation des angles de roulis tangage lacet (source : [NGA, 2011]) 26 3.3 Echantillon de données IR brutes.................... 28 3.4 Image IR brute associée du résultat du processus de traitement IR.. 31 3.5 Représentation des pixels IR dans le système Applanix........ 32 4.1 Représentation de la densité de points pour un profil laser (l axe des x correspond à la distance depuis le scanner laser et l axe des y correspond au nombre de points détectés dans un intervalle)....... 36 4.2 Représentation du nuage de points laser sans traitement (vue des façades, de dessus)............................ 37 4.3 Représentation du nuage de points laser avec traitement (vue des façades, de dessus)............................ 37 4.4 Histogramme des valeurs IR avec fonction de transfert en rouge correspondant au réhaussement....................... 38 4.5 Représentation du scanner laser, de la centrale inertielle et du scanner IR..................................... 40 55

Table des figures 4.6 Segmentation du nuage de point et calcul des distances points/droite 41 4.7 Calcul de la distance point/droite.................... 41 4.8 Données IR géoréférencées (à l aide de l échantillon visible en figure 3.3) et visualisées avec Cloud Compare................. 42 4.9 Schéma récapitulatif du processus de recalage entre les données laser et infrarouges............................... 44 5.1 Représentation de la façade levée par la chaîne SYSCAM (à gauche) et par un scanner laser fixe (à droite).................. 46 5.2 Recalage du nuage de points et du maillage............... 46 5.3 Comparatif entre le maillage et le nuage de points issu d un levé statique 47 4 Présentation de l interface........................ 61 56

Bibliographie [NGA, 2011] (2011). NGA STANDARDIZATION DOCUMENT Frame Sensor Model Metadata Profile Supporting Precise Geopositioning. Rapport technique. [Al-Kheder et al., 2009] Al-Kheder, S., Al-Shawabkeh, Y. et Haala, N. (2009). Developing a documentation system for desert palaces in jordan using 3d laser scanning and digital photogrammetry. Journal of Archaeological Science, 36(2):537 546. [Alba et al., 2011] Alba, M. I., Barazzetti, L., Scaioni, M., Rosina, E. et Previtali, M. (2011). Mapping infrared data on terrestrial laser scanning 3d models of buildings. Remote Sensing, 3(9):1847 1870. [Alj et al., 2012] Alj, Y., Boisson, G., Bordes, P., Pressigout, M. et Morin, L. (2012). Space carving mvd sequences for modeling natural 3d scenes. In IS&T/SPIE Electronic Imaging, pages 829005 829005. International Society for Optics and Photonics. [Alshawa, 2010] Alshawa, M. (2010). Contribution à la cartographie mobile : développement et caractérisation d un système basé sur un scanner laser terrestre. Thèse de doctorat, INSA de Strasbourg. [Alshawabkeh et Haala, 2005] Alshawabkeh, Y. et Haala, N. (2005). Automatic multi-image photo texturing of complex 3d scenes. [Bennis et al., 2011] Bennis, A., Bombardier, V., Thiriet, P., Brie, D. et al. (2011). Recalage d un nuage de points de scanner laser terrestre avec une image de bâtiment. In XXIIIe Colloque GRETSI Traitement du Signal & des Images, GRETSI 2011. [Brun et al., 2007] Brun, X., Deschaud, J.-E., Goulette, F. et Paris, M. (2007). On-the-way city mobile mapping using laser range scanner and fisheye camera. Mobile Mapping Technologies, Padoue, Italie, pages 29 31. 57

Bibliographie [El-sheimy, 2005] El-sheimy, N. (2005). An Overview of Mobile Mapping Systems. [Fabio et al., 2003] Fabio, R. et al. (2003). From point cloud to surface : the modeling and visualization problem. In International Workshop on Visualization and Animation of Reality-based 3D Models, volume 34, page 5. [Frueh et al., 2005] Frueh, C., Jain, S. et Zakhor, A. (2005). Data processing algorithms for generating textured 3d building facade meshes from laser scans and camera images. International Journal of Computer Vision, 61(2):159 184. [Gal et al., 2010] Gal, R., Wexler, Y., Ofek, E., Hoppe, H. et Cohen-Or, D. (2010). Seamless montage for texturing models. In Computer Graphics Forum, volume 29, pages 479 486. Wiley Online Library. [Grammatikopoulos et al., 2004] Grammatikopoulos, L., Kalisperakis, I., Karras, G., Kokkinos, T. et Petsa, E. (2004). Automatic multi-image phototexturing of 3d surface models obtained with laser scanning. In CIPA International Workshop on" Vision Techniques Applied to the Rehabilitation of City Centres", Lisbon, pages 25 27. [Hernández et Marcotegui, 2013] Hernández, J. et Marcotegui, B. (2013). Segmentation et interprétation de nuages de points pour la modélisation d environnements urbains. arxiv preprint arxiv :1306.3084. [Hoegner et Stilla, 2007] Hoegner, L. et Stilla, U. (2007). Texture extraction for building models from ir sequences of urban areas. In Urban Remote Sensing Joint Event, 2007, pages 1 6. IEEE. [Ip et al., 2004] Ip, A., El-Sheimy, N. et Mostafa, M. (2004). System performance analysis of ins/dgps integrated system for mobile mapping system (mms). In Proceedings of the 4th International Symposium on Mobile Mapping Technology (MMT2004), pages 29 31. [Lagüela et al., 2013] Lagüela, S., Díaz-Vilariño, L., Martinez, J. et Armesto, J. (2013). Automatic thermographic and rgb texture of as-built bim for energy rehabilitation purposes. Automation in Construction, 31:230 240. 58

Bibliographie [Madeira et al., 2012] Madeira, S., Gonçalves, J. A. et Bastos, L. (2012). Sensor integration in a low cost land mobile mapping system. Sensors, 12(3):2935 2953. [Rocchini et al., 1999] Rocchini, C., Cignoni, P., Montani, C. et Scopigno, R. (1999). Multiple textures stitching and blending on 3d objects. In Proceedings of the 10th Eurographics conference on Rendering, pages 119 130. Eurographics Association. [Stilla et al., 2009] Stilla, U., Kolecki, J. et Hoegner, L. (2009). Texture mapping of 3d building models with oblique direct geo-referenced airborne ir image sequences. In ISPRS Workshop : High-resolution earth Imaging for geospatial information. [Weinmann et al., 2012] Weinmann, M., Hoegner, L., Leitloff, J., Stilla, U., Hinz, S. et Jutzi, B. (2012). FUSING PASSIVE AND ACTIVE SENSED IMAGES TO GAIN INFRARED-TEXTURED 3D MODELS. Remote Sensing and Spatial Information Sciences, XXXIX(September):71 76. 59

Annexe Cette annexe présente les fonctions MATLAB réalisées au cours de ce mémoire de fin d étude. Notice de l interface Afin de faire fonctionner au mieux l ensemble des fonctions je vais décrire ici les principales étapes à respecter dans un processus standard de traitement du nuage. Tout d abord, l interface est composée de six boutons, de deux listes (permettant la visualisation des fichiers sélectionnés) et d une case à cocher (voir figure 4) servant à l utilisation ou non du traitement effectué sur le nuage de points. Figure 4 Présentation de l interface Bouton Prétraitement : Durant cette phase, l utilisateur doit cliquer sur ce bouton pour lancer le calcul du géoréférencement. Une fenêtre d exploration de fichiers s ouvre et invite alors l utilisateur à sélectionner le fichier de points GPS laser (dans la plupart des cas c est le fichier GPS event 2 qui sera sélectionné). Cette commande 61

Annexe va ensuite générer autant de fichiers GPS que de fichiers *.csv de la série. Cependant, si le dossier a déjà été traité une fois auparavant, cette opération n est plus nécessaire. Les «fichiers de pts GPS» sont générés dans le répertoire contenant les fichiers laser. Après cette étape, une autre fenêtre s ouvre et demande à l utilisateur de cliquer sur un fichier de point laser. Cette étape sert ici uniquement à définir le chemin contenant les fichiers de points laser. Liste des fonctions utilisées durant cette étape : pretraitement Ouvrir les fichiers laser : Cette étape demande à l utilisateur de définir simplement la liste des fichiers dans leur système d origine devant être géoréférencés. (prédéfinie en.csv) Liste des fonctions utilisées durant cette étape : loadlaser Calcul du géoréférencement : C est ici que les points vont être géoréférencés. L utilisateur peut, préalablement au calcul, décider d utiliser le traitement effectué sur le nuage de points ou non. Pour cela il suffit simplement de cocher ou décocher l option Traitement sur le nuage de points. Une fois les fichiers de points géoréférencer, on peut s occuper de la partie traitement des données IR située sur la droite de l interface. Liste des fonctions utilisées durant cette étape : importfilecsv, segmentation, georef, recuperateur Ouvrir les fichiers IR : Durant cette étape, l utilisateur va devoir choisir les fichiers qui vont être utilisés dans la suite du processus de traitement. Les fichiers apparaissent dans la listbox Fichiers IR. Liste des fonctions utilisées durant cette étape : loadir Traitement des données IR : Ici, le programme va demander à l utilisateur de sélectionner successivement le fichier GPS, dédié aux données IR, et le fichiers relatif aux tops GPS. C est ici, qu à chaque profil IR va être associé la position et les orientations correspondantes. 62

Annexe Liste des fonctions utilisées durant cette étape : IRread Génération modèle IR 3D : C est durant cette dernière étape que l information IR est recalée sur le nuage de points. L utilisateur n a pas de contrôle sur la génération du modèle. Cependant, le seul paramètre intéressant à modifier serait la distance minimum au delà duquel la valeur IR n est plus associée au point laser (cette valeur est directement accessible dans la fonction interface_geo sous le nom de variable param_minimum). IR, resampling2, georefir Liste des fonctions utilisées durant cette étape : 63