FUSION DE DONNEES LiDAR ET MULTISPECTRALES

Transcription

1 Institut National des Sciences Appliquées de Strasbourg Mémoire de soutenance de Diplôme d Ingénieur INSA Spécialité TOPOGRAPHIE FUSION DE DONNEES LiDAR ET MULTISPECTRALES Etude des techniques de segmentation et de classification de données LiDAR, d images multispectrales et de leur fusion Proposition d une nouvelle technique de traitement de la fusion des données et analyse des résultats Présenté le 20 Septembre 2013 par Ophélie SINAGRA Réalisé au sein de l université : High St, Kensington NSW 2052 AUSTRALIA Directeur de PFE : Samsung LIM Correctrice: Tania LANDES

2 Ophélie SINAGRA Projet de fin d études 1

3 Avant-Propos Objet et portée du projet Three dimensional mapping of land, water and vegetation resources demands a paradigm shift from a single-wavelength LiDAR system to a multispectral LiDAR system that enables simultaneous mapping of the feature of interest (e.g. soils, forests, water channels, dikes, levees, coastlines, etc.) at as many wavelengths as possible because a single wavelength system performs poorly when vegetation and water features are separated from ground features. Multispectral mapping enhances the feature extraction because each wavelength corresponds to the feature differently. For example, tree leaves are highly reflective in near infrared and therefore the combination of green, red, and near infrared bands is desirable for vegetation mapping. On the other hand, the combination of blue, near infrared and midinfrared bands is very useful for soil moisture mapping, fire detection, water depth monitoring, etc. Hence the fusion of LiDAR data and multispectral imagery has been recently used; however, existing work on data fusion is significantly limited by two factors: lack of concurrency and lack of homogeneous spatial resolution. Firstly, LiDAR data and multispectral imagery are not acquired simultaneously because there is no combined system that includes LiDAR and multispectral imaging even though latest commercial development has been successful for a combined aerial LiDAR and orthophoto acquisition system. Lack of concurrency between LiDAR data and multispectral imagery degrades the quality of the data fusion e.g. vegetation growth in the two datasets can be averaged out. Secondly, spatial resolution of multispectral imagery is significantly lower than that of LiDAR data. Many algorithms have been tested to tackle the multi-level resolution problem. Today, a synthesis is needed in order to scope the previous algorithms and to suggest a new one that will take into consideration those previous methods (especially the problems encountered, the disadvantages of those algorithms). First, the LiDAR and the multispectral imagery processing needs to be investigated, then the fusion of both types of data. La cartographie en trois dimensions, simultanément, des terres, des eaux et de la végétation peut être faite par, à la fois, une unique longueur d onde (LiDAR) ou par un système multispectral (images satellites). Un grand nombre de longueurs d ondes permet de meilleures performances des algorithmes de par la quantité d informations utilisables : la cartographie multispectrale améliore l extraction des différents objets. Par exemple, les feuilles d arbres réfléchissent mieux dans le proche-infrarouge et la combinaison de cette bande avec une bande de visible (rouge) permet de donner un indice de végétation (NDVI). D un autre côté, la combinaison de cette bande du proche-infrarouge avec une autre bande du visible (bleu) est très utile pour calculer un indice concernant les sols (humidité, feu, eau, etc.) cette fois-ci. La fusion de données LiDAR et d images multispectrales a récemment été utilisée, cependant le nombre de ces travaux reste limité à cause de deux facteurs : le manque de concordance et d homogénéité dans les résolutions spatiales. Ophélie SINAGRA Projet de fin d études 2

4 Tout d abord, ces deux types de données n ont pas été acquis à la même date et aucun système combinant l acquisition des deux simultanément n est commercialisé. Le manque de concordance entre les deux types de données résulte en une perte de qualité suite à une fusion. Puis la résolution spatiale des images satellites est bien plus faible que celle du LiDAR. De nombreux algorithmes ont été testés pour contrer ce problème de multirésolution. Aujourd hui, une synthèse des algorithmes étudiés doit être réalisée et analysée (avantages et inconvénients de chaque technique) afin d en tirer les conclusions avant de proposer une nouvelle méthode de classification des données. Tout d abord les méthodes de traitement des données LiDAR et des données multispectrales devront être étudiées avant de travailler sur la fusion. Ophélie SINAGRA Projet de fin d études 3

5 Remerciements J aimerai remercier tout d abord le Dr Samsung LIM pour m avoir supervisée et pour m avoir accordé sa confiance durant ce projet de fin d études que j ai pu effectuer à l Université de la Nouvelle Galle du Sud (University of New South Wales - UNSW) de Sydney, Australie. Merci également l INSA de Strasbourg, et tout particulièrement Tania LANDES, pour les données LiDAR les images multispectrales sur lesquelles je me suis appuyée pour cette étude. J aimerai aussi remercier Yincai ZHOU pour son soutien au point de vue technique et plus particulièrement informatique. Je remercie également l UNSW (University of New South Wales) pour m avoir accueillie durant ces vingt semaines, et plus particulièrement Catherine SCHEDLICH, conseillère pour les participants au Practiculum Exchange Program (PEP) auquel j ai participé. Ophélie SINAGRA Projet de fin d études 4

6 Sommaire AVANT- PROPOS... 2 Objet et portée du projet... 2 REMERCIEMENTS... 4 SOMMAIRE... 5 INTRODUCTION ) Présentation de la structure d accueil ) Sujet d étude... 7 I. ETAT DE L ART... 9 a. Introduction... 9 b. Glossaire ) Analyse concernant le LiDAR: Techniques de segmentation, de classification et d extraction... 9 a. Comparaison des différentes techniques... 9 b. Tableau comparatif ) Analyse concernant les images multispectrales: Techniques de segmentation, de classification et d extraction a. Comparaison des différentes techniques b. Tableau comparatif ) Analyse de la fusion de données LiDAR et des images multispectrales: Techniques de segmentation, de classification d extraction a. Comparaison des différentes techniques b. Tableau comparatif II. CHANGEMENT DANS LE SUJET III. TRAITEMENT DE LA FUSION DES DONNEES ) 2) 3) Méthodes utilisées : l algorithme choisi a. Variation d altitude b. L indice NDVI c. L indice SAVI, prenant en compte l influence des sols d. L indice GEMI, prenant en compte les effets de l atmosphère e. L algorithme SVM Les données a. Les données LiDAR b. L image multispectrale La création des couches rasters - les techniques utilisées a. Variation d altitude b. L indice NDVI Ophélie SINAGRA Projet de fin d études 5

7 4) c. L indice SAVI d. L indice GEMI e. Création d une image à partir de tous les rasters f. Problèmes rencontrés pour la création des rasters L algorithme SVM les techniques utilisées a. Création des zones échantillons b. Classification des données IV. RESULTATS FINAUX Suppression de l une des classes V. ANALYSE ) 2) 3) 4) Comparaison de la classification des points sol / sursol a. SAGA b. CloudCompare Comparaison des classifications a. Création du raster de référence b. Comparaison L apport des informations issues de chaque couche a. Suppression de la couche créée à l aide du lever LiDAR : RasterHauteur b. Suppression de certaines couches d indice de végétation c. Suppression des couches GEMI et SAVI, puis GEMI et NDVI d. Conclusion des tests réalisés Les erreurs a. Les erreurs liées au LiDAR b. Les erreurs liées à l image satellite c. Les erreurs liées à l espacement temporel entre les deux acquisitions d. Les erreurs liées aux SVM VI. DISCUSSION VII. CONCLUSION VIII. TABLE DES ILLUSTRATIONS IX. TABLE DES TABLEAUX X. BIBLIOGRAPHIE XI. SOMMAIRE DES ANNEXES XII. ANNEXES Ophélie SINAGRA Projet de fin d études 6

8 Introduction 1) Présentation de la structure d accueil Présentation de l UNSW L Université de Nouvelle-Galles du Sud (en anglais, University of New South Wales) est l une des universités publiques australienne située à Kensington, l un des quartiers de l est de Sydney. Elle fut fondée en 1949 et compte aujourd hui plus de 50,500 étudiants (dont plus de 24,000 Undergraduates et plus de 12,000 Postgraduates) répartis dans neuf facultés : Arts, Force de Défense Australienne, Business, Environnent, Ingénierie Droit, Médecine, Sciences et Beaux-Arts. Elle est classée 52 e université par le QS World University Rankings en Durant ces cinq mois, je me suis jointe à l équipe de recherche du Dr Samsung LIM, qui appartient au département School of Civil and Environmental Engineering (anciennement School of Surveying and Geospatial Engineering). Présentation de l équipe de recherche Le Dr Samsung LIM a joint l équipe académique de l école de topographie et d ingénierie géo spatiale (School of Civil and Environmental Engineering) de l Université de Nouvelle- Galle du Sud (University of New South Wales, UNSW) en Auparavant il était professeur associé à l Université de Inha de Corée du Sud pendant 8 années. Il est titulaire d un Bachelor degree (équivalent d une Licence) ainsi que d un Master degree (équivalent d un Master) de l Université de Séoul, Corée du Sud, et d un PhD de l Université d Austin au Texas, USA. Depuis les années 1990, il a publié plus de 130 articles, principalement sur le thème du GPS, du SIG ou encore du LiDAR. Cela lui a permis d obtenir de nombreux prix dans les domaines cités précédemment. Le Dr Samsung LIM m a proposé de me joindre à lui pour effectuer des recherches dans le domaine de la fusion des données LiDAR et multispectrales dans le cadre de mon projet de fin d études à l INSA de Strasbourg. 2) Sujet d étude Le but de mon projet de fin d études est le traitement de la fusion de nuages de points LiDAR et d images multispectrales, la segmentation, la classification et, si le temps le permet, l extraction d informations issues de cette fusion. Plusieurs études ont été menées dans ce domaine de la fusion au cours des dernières années, mais des progrès restent à faire. En effet, aucune des techniques n a réellement fait ses preuves et la plus part d entre elles n en sont qu au stade de la recherche et des premières publications. Ophélie SINAGRA Projet de fin d études 7

9 La fusion de ces deux types de données permettrait une meilleure classification de par les différentes caractéristiques que présentent ces dernières. Le nuage de points issu d un lever LiDAR donne des informations tridimensionnelles, et plus particulièrement une information sur l altitude du point mesuré. De plus, ce type de données a une plus grande résolution que les images multispectrales. Cependant ces images permettent de calculer des indices en combinant les bandes spectrales et ainsi obtenir des informations concernant la composition de l élément, et plus précisément des informations sur la végétation. Une étude approfondie des techniques de segmentation, de classification et d extraction de données LiDAR, d images multispectrales et de la fusion de ces deux types de données sera effectuée. Cela permettra de comprendre le traitement des deux types de données séparément et comment celles-ci peuvent nous donner de plus amples informations si elles étaient fusionnées. Cette étude pourra être faite lors d une analyse bibliographique d une trentaine d articles récents en lien direct avec mon sujet. Le but de l étude, l algorithme testé et les résultats tirés de chaque article seront présentés (uniquement dans le rapport en anglais) avant d en tirer les principaux avantages et inconvénients. De tous ces articles, nous pourrons proposer une nouvelle technique de traitement qui s orientera sur la classification. Cette technique sera donc inspirée des expériences réalisées dans le passé (algorithme, données utilisées, etc.) et sera ensuite testée avec un jeu de données LiDAR et multispectrales. Nous analyserons et quantifierons les résultats obtenus (exactitude, précision, etc.). Ce traitement aura été, au préalable, approuvé par l équipe de recherche encadrant le PFE Une fois des résultats concluants obtenus nous pourrons tester d autres variantes à notre technique (ajout ou suppression d éléments pour notre classification, etc.) afin d améliorer notre classification. En conclusion, ce mémoire sera donc composé de cinq parties : 1. L état de l art reprenant trois types d articles (techniques de traitement de données LiDAR, de données multispectrales et de la fusion de ces deux types). 2. La description détaillée de la méthode choisie (algorithme, calculs des informations extraites des données brutes servant à la classification, etc.). 3. La technique de calculs utilisée et les résultats obtenus. 4. Les expériences réalisées afin d améliorer ces résultats. 5. Le bilan de cette étude. Ophélie SINAGRA Projet de fin d études 8

10 I. Etat de l art a. Introduction L analyse documentaire n est pas développée dans ce rapport en français, seul un bref récapitulatif ainsi que des tableaux concernant les avantages et les inconvénients de chaque méthode sont présentés. La recherche documentaire s est portée sur les techniques de classification des données LiDAR dans un premier temps, puis multispectrales et pour finir de la fusion de ces deux types. Cela m a permis d avoir une vision détaillée des différents traitements déjà existants et ayant prouvé leur efficacité et exactitude. b. Glossaire Mon stage ayant été effectué en Australie, tous les documents à ma disposition sont en anglais. Afin de ne pas produire une traduction inexacte je me suis permise de rédiger un glossaire reprennent le vocabulaire scientifique dont la traduction peut porter à confusion. Accuracy : exactitude. Cluster : grappe. CHM (Canopy Height Model) : modèle de hauteur de canopée. 1) Analyse concernant le LiDAR: Techniques de segmentation, de classification et d extraction a. Comparaison des différentes techniques Neuf articles ont été sélectionnés pour cette partie. Chacun d entre eux présente une technique différente, utilisée sur des données différentes. Cela m a permis d avoir une vision détaillée concernant le traitement possible d un nuage de points issu d un lever LiDAR et ainsi pouvoir mieux appréhender la question de la fusion du LiDAR avec un autre type de données. La plupart des articles étudiés commencent par la même étape : classification des points du sol et du sursol. Pour ce faire, plusieurs choix sont possibles avec tout d abord l utilisation de logiciels tels que Terrasolid (logiciel de traitement de données obtenues à l aide de capteurs aéroportés) ([LI & al, 2012], [RAHMAN & al, 2009], [HE & al, 2012]). Ou encore la création de grappes/nœuds qui sont ensuite triés suivant des seuils sur la surface, la hauteur, la forme, etc. ([WANG & al, 2009], ([WANG & al, 2004], [OKAGAWA, 2001], [WEIR, 2012]). Cette classification permet ensuite de ne s intéresser qu aux points du sursol et ainsi déterminer leur classe (bâtiments, arbres, etc.). A ce niveau de la classification, beaucoup se focalisent sur l étude de zones uniquement forestières ou mixtes. Pour les zones uniquement forestières, il est possible de tout d abord classer les points du sursol du plus haut (A) au plus bas (Z) puis de déterminer si les points aux alentours de l arbre dont le sommet est A (le point le plus haut) appartiennent à cet arbre ([LI & al, 2012]). Une autre solution repose sur la création du modèle de hauteur de canopée (CHM) puis de Ophélie SINAGRA Projet de fin d études 9

11 l utilisation d un algorithme (comme Inverse Watershed (tournant inverse)) permettant la détection d arbres ([RAHMAN & al, 2009], [HE & al, 2012]).Ces techniques permettent d obtenir la position ainsi que la taille de la couronne de chaque arbre identifié. Pour les zones mixtes, c est-à-dire où se trouvent à la fois des arbres et des bâtiments, il est testé plusieurs techniques où les limites de chaque objet repéré sont reconstituées puis analysées et classées en fonction de leur taille, forme, etc. ([WANG & al, 2009], [WANG & al, 2004], [WANG, 2012]). Il a également été testé des techniques où des filtres sont appliqués sur les points du sursol afin de pouvoir les classer ([WEIR & al, 2012]). b. Tableau comparatif Ci-dessous un tableau reprenant les avantages et inconvénients de chaque article : A new method for segmenting individual trees from the LiDAR point cloud Table 1 - Avantages et inconvénients des méthodes pour le LiDAR Articles Avantages Inconvénients Bonne détection d arbres Sous-segmentation si la forêt est conifères dense La forme est prise en Sur-segmentation si la forêt est compte clairsemée Fort coefficient de corrélation Uniquement pour la détection (r = 0.91) entre les données d arbres de référence et les résultats A new method for individual tree measurement from airborne LiDAR Estimation of individual tree parameters using small-footprint LiDAR with different density in a coniferous forest Segmentation of LiDAR point clouds for building extraction LiDAR data segmentation and classification based on Octree structure Automated Building Extraction and Reconstruction from LiDAR Data Alternative par rapport au CHM (Canopy Height Model) Bonne précision concernant la détermination de la hauteur des arbres Seuil de densité des points utiles (à partir d un certain chiffre les résultats restent inchangés) Bonne détection des contours de bâtiments Détection de bâtiments et d arbres Utilisation de la quasi-totalité des points Classification sur beaucoup de critères (surface, forme, hauteur, etc.) Très efficace et exacte (91% pour une zone résidentielle et 92% pour une zone de centreville) Paramètres choisis par l utilisateur (Seuils pour la classification) Seulement 63% des arbres détectés Uniquement pour la détection d arbres Seulement 31% des arbres détectés Uniquement pour la détection d arbres Pas de précision calculée Première étude, besoin d amélioration Méthode de classification sous développée Détection de 3 sortes de toits Sélection manuelle de la forme des toits si pas dans les formes prédéfinies Ophélie SINAGRA Projet de fin d études 10

12 Aerial LiDAR Data Classification using Expectation- Maximization Assessment of processing different types of vegetative data using LiDAR Segmentation of 3D LiDAR Data in non-flat Urban Environments using a Local Convexity Criterion Gde exactitude (94%) Beaucoup de classes peuvent être saisies (zones échantillons) Les zones échantillons peuvent être petites Bonne classification (entre 80 et 95% de bonne classification suivant les classes) MNT correct (comparaison avec le MNT de l Australie d une résolution de 90 mètres) Algorithme simple et facile Extraction de bâtiments et d arbres Dans le futur, utilisation d une image aérienne pour améliorer les résultats Quelques points mal classés Zones échantillons saisies manuellement Aucune comparaison avec des points connus (références) Classification manuelle à quelques endroits Problème de classification au niveau des ombres des arbres Nombre limité de points pouvant être classés Pas de précision calculée Résultats non satisfaisants (mauvaise distinction des toits dans les zones urbaines et non distinction des différents arbres en forêt dense) En conclusion, la meilleure solution parmi les articles étudiés concernant la détection de bâtiments est l article Automated Building Extraction and Reconstruction from LiDAR Data ([WANG, 2012]). En effet, l algorithme proposé permet de détecter précisément trois types de toits et de sélectionner manuellement les limites pour d autres formes de toits. La meilleure solution pour la détection d arbres est A new method for individual tree measurement from airborne LiDAR ([LI & al, 2012]) car l algorithme permet de détecter tous types d arbres (conifères et feuillus). La méthode à utiliser pour classer et extraire les informations issus d un nuage de points LiDAR serait tout d abord de procéder à une première classification : les points du sol et du sursol. Puis d extraire les points appartenant à des bâtiments et ceux appartenant à de la végétation et de la traiter séparément avec les algorithmes présentés afin d en extraire les informations caractéristiques (hauteur et dimension d un arbre, limite et surface d un bâtiment, etc.). Cependant, chaque méthode présente évidemment des inconvénients : les algorithmes ont une limite dans la détection et dans la précision de cette détection. 2) Analyse concernant les images multispectrales: Techniques de segmentation, de classification et d extraction Seulement quatre articles ont été étudiés car, de nombreuses techniques ont été énumérées dans les annexes (voir Annexe I. 1) b. Opérations de traitement). Plus d informations sur ces techniques et leur emploi sont visibles dans «Cours de télédétection de G5» (Landes, 2012). Ophélie SINAGRA Projet de fin d études 11

13 a. Comparaison des différentes techniques Les quatre articles sélectionnés utilisent des algorithmes non présentés dans «Cours de télédétection de G5» (Landes, 2012). Cela permettra ainsi d envisager de nouvelles techniques de traitements ou encore d analyser les inconvénients de ces dernières afin de les minimiser lors d une future utilisation. Les méthodes de classification choisies sont soit supervisées soit non-supervisées. Une première méthode consiste à fusionner des données de résolutions différentes et ensuite utiliser une classification supervisée telle que celles étudiées lors du cours dispensé en télédétection de 5 eme année de l INSA Strasbourg (hyperboite, maximum de vraisemblance) ou encore le K-nearest et SVM 1 ([BRUZZONE & al, 2006]). Cet algorithme SVM a aussi été utilisé pour classer une image composée de quinze bandes calculées à partir de l image multispectrale et du MNT 2 de la zone disponible en ligne ([DURO & al, 2012]). La méthode de classification non-supervisée est utilisée sur les longueurs d ondes que renvoie chaque pixel dans chaque bande ([DENG & al, 2011]). b. Tableau comparatif Ci-dessous un tableau reprenant les avantages et inconvénients de chaque article : Can multiresolution fusion techniques improve classification accuracy? Table 2 - Avantages et inconvénients des méthodes pour les images multispectrales Articles Avantages Inconvénients La fusion selon EGS présente les meilleurs Ajout de distorsions spatiales résultats Object based image analysis for remote sensing Multi-spectral and hyperspectral image processing based on the waveform characteristics of spectral remote sensing classification method of large area Amélioration des détails Seules les fusions complexes spatiaux améliorent les résultats Image panchromatique Image panchromatique peut améliore la classification introduire des erreurs GEOBIA est la technique la plus efficace Analyse documentaire 820 articles analysés Pas de test, pas de résultat Applicable sur de grandes zones Autant de classes que souhaité Pas de précision calculée 1 SVM : Support Vector Machine 2 MNT : Modèle Numérique de Terrain Ophélie SINAGRA Projet de fin d études 12

14 A comparison of pixel-based and object-based image analysis with selected machine learning algorithms for the classification of agricultural landscapes using SPOT-5 HRG imagery La classification orientée objet et supervisée (SVM) donne les meilleurs résultats (94% d exactitude) Classification orientée objet donne aussi de bon résultats (90% d exactitude) Besoin de beaucoup de données (MNT, etc.) Pas de grande différence entre classification orientée objet ou pixel Peu de conclusions peuvent être tirées des articles concernant la classification des images multispectrales. En effet, l utilisation d une classification orientée objet ou pixel ne semble pas avoir d importance sur les résultats finaux. De plus, la fusion de données issues de différentes sources peuvent améliorer les résultats mais entraine par la même occasion l intégration d erreurs (distorsions, etc.). Nous observons cependant l utilisation de l algorithme SVM. 3) Analyse de la fusion de données LiDAR et des images multispectrales: Techniques de segmentation, de classification d extraction a. Comparaison des différentes techniques La lecture des onze articles concernant la fusion des données multispectrales et LiDAR fut très importante car, tout d abord, cet aspect n a jamais était abordé durant les cours dispensés à l INSA (d où le sujet du PFE). De plus il est important pour la suite de notre étude de savoir et comprendre les techniques déjà utilisées. Très souvent les données LiDAR sont tout d abord traitées avec la classification des points du sol et du sursol, puis le calcul de la hauteur de ces derniers ([ROTTENSTEINER & al, 2002], [ROTTENSTEINER & al, 2004], [NORDKVIST & al, 2012], [CHEN & al, 2004], [KE& al, 2010], [DALPONTE & al, 2008], [SOHN & al, 2007], [GARCIA & al, 2011], [DEMIR & al, 2010]. [LUO & al, 2010]). Puis des indices (NDVI principalement) sont calculés à partir des images multispectrales. Deux différentes classifications sont exposées : la première basée sur les pixels et la deuxième basée sur les objets. Cette classification est faite sur les données fusionnées (transformation du nuage des points LiDAR en raster) ou sur l un des types de données (le deuxième type servant de contrôle ou d affinement des résultats). Pour la classification orientée pixels, plusieurs techniques ont été étudiées. Nous pouvons citer tout d abord une technique dont l image aérienne est utilisée pour vérifier la bonne classification : l application de masques selon la hauteur, la surface ou l aspérité des éléments détectés puis une vérification de ce classement avec l image aérienne ([ROTTENSTEINER & al, 2002]). Ophélie SINAGRA Projet de fin d études 13

15 Concernant la fusion réelle nous pouvons citer une première technique qui est de constituer une image composée de plusieurs couches (hauteur, NDVI, etc.) et d attribuer un poids à chacune de ces couches avant de classer cette image ([ROTTENSTEINER & al, 2004]). Les algorithmes utilisés peuvent être supervisés avec le SVM ([DALPONTE & al, 2008], [ALONSO & al, 2010], [GARCIA & al, 2011], [LUO & al, 2011]) ou non-supervisés. Une deuxième étude a permis de quantifier l apport d informations extraites des données LiDAR en comparant le taux de pixels correctement classé avec et sans ces informations ([NORDKVIST & al, 2012]). Pour la classification orientée objets, les informations, comme pour la classification orientée pixels, sont rastérisées puis peuvent être segmentées et chaque région obtenue est classée selon des filtres selon la hauteur, les valeurs spectrales, etc. ([CHEN & al, 2004]). Cette segmentation peut être basée sur les propriétés spectrales de chaque image, ou celle LiDAR ou encore sur les propriétés de la fusion de ces deux types ([KE & al, 2004]). Un dernier type de classification, qui n est ni basé sur les pixels ou sur les objets, est proposé : le nuage de points du sursol est classé dans une classe «bâtiments» ou «végétation» suivant la valeur du pixel de la couche NDVI dans lequel il se trouve. Ainsi la résolution spatiale du nuage n est pas perdue ([SOHN & al, 2007]). b. Tableau comparatif Ci-dessous un tableau reprenant les différents avantages et inconvénients de chaque article étudié. Automatic extraction of buildings from LiDAR data and aerial images Building detection by Dempster-Shafer fusion of LiDAR data and multispectral aerial imagery Combining optical satellite data and airborne laser scanner data for vegetation classification Fusion of LiDAR and optical imagery for building modelling Table 3 - Avantages et inconvénients de chaque méthode Articles Avantages Inconvénients Utilisation d une image aérienne pour améliorer l extraction des bâtiments Image aérienne et non multispectrale RMS très bas Méthode facile et rapide Travail toujours en cours Utilisation de statistiques L image multispectrale n est Besoin de points connus au sol pas la seule source pour pour le calcul de précision de la calculer l exactitude de la classification classification Bonne classification Exactitude améliorée de 16% si l on utilise les deux Exactitude maximum = 71.9% types de données Le ratio végétation améliore considérablement la Pas de détection de bâtiments classification Bonne détection des bâtiments (presque 90%) Bâtiments détection sont de Utilisation de 3 types de formes simples données Ophélie SINAGRA Projet de fin d études 14

16 Synergistic use of QuickBird multispectral imagery and LIDAR data for object-based forest species classification Fusion of Hyperspectral and LIDAR Remote Sensing Data for Classification of Complex Forest Areas Data fusion of highresolution satellite imagery and LiDAR data for automatic building extraction Satellite imagery classification with LiDAR data Multispectral and LiDAR data fusion for fuel type mapping using Support Vector Machine and decision rules Combination of image and LiDAR for building and tree extraction A new method of building footprints detection using airborne laser scanning data and multispectral image Nombreux paramètres testés Comparaison des classifications basées sur les différentes segmentations Bonne classification et détermination de la meilleure méthode possible (SVM) Utilisation des données LiDAR pour améliorer la classification des images hyper spectrales Utilisation des deux types de données dans les étapes de classification Exactitude de 97% Processus simple (uniquement SVM) Contrôle indépendant (Kappa et courbe ROC) Utilisation du SVM (classification de données acquises par différents capteurs) Amélioration des résultats avec la règle de décision Combinaison de plusieurs techniques 94% des bâtiments correctement extraits Utilisation de SVM Amélioration des résultats avec l image additionnée au LiDAR (comparaison) Procédure non automatisée Pas de test pour la classification orientée pixel Test pour les milieux forestiers Pas d extraction des données Densité du lever LiDAR élevée Que 5 classes (espèces d arbres, etc.?). Test sur une région forestière uniquement Méthode 3 est exclue car résultats non disponibles Pas de calcul d exactitude pour la végétation Image classique, pas multispectrale Les techniques étudiées procèdent de la même façon généralement, c est-à-dire classer les points afin de pouvoir calculer la hauteur des points du sursol puis de se servir de cette information soit en la rastérisant afin d avoir des données sous le même format, soit en classant ces points directement à l aide des informations multispectrales. De nouveau, nous constatons les bons résultats obtenus à l aide de l algorithme SVM. Ophélie SINAGRA Projet de fin d études 15

17 Pour conclure, la lecture de ces articles a permis de réfléchir à une technique permettant la fusion des données. De plus, le choix de l algorithme de classification fut grandement influencé par les résultats présentés dans les différents articles. Dans la suite nous présenterons la technique de fusion créée et l algorithme de classification choisi avant de tester nos choix. Ophélie SINAGRA Projet de fin d études 16

18 II. Changement dans le sujet Initialement, le sujet du projet de fin d études (PFE) contenait une plus petite analyse documentaire. Cependant Mr Samsung LIM a pensé plus judicieux d approfondir sur cette partie afin de partir sur des bases solides et une bonne connaissance des traitements des données possibles. Deux semaines supplémentaires ont donc été consacrées à la lecture et analyse d articles. La suite du projet s est donc déroulée comme initialement prévu. Ophélie SINAGRA Projet de fin d études 17

19 III. Traitement de la fusion des données Mes connaissances acquises durant les trois années d études à l INSA de Strasbourg ainsi que les nombreux articles étudiés m ont permis d établir une méthode de classification utilisant à la fois les données LiDAR et les images multispectrales. Un lever LiDAR permet d obtenir les informations concernant la position ainsi que l intensité de chaque point mesuré. Les images multispectrales peuvent, grâce à une conversion des luminances en variables thématiques, nous informer sur la composition et donc la classe de l élément étudié. Pour cela le calcul d indices multispectraux, combinaison de bandes spectrales, et des connaissances sur les valeurs prises par les éléments en général sont nécessaires. La combinaison de ces deux types de données permet de combler les lacunes de chacune d entre elles et ainsi donner une bonne classification. 1) Méthodes utilisées : l algorithme choisi Après l analyse des articles j ai constaté que l algorithme SVM est de plus en plus utilisé pour les classifications: cet algorithme est assez récent et encore peu testé dans le domaine de la fusion de données. C est pourquoi il m a semblé intéressant de continuer les recherches sur cette technique. Les informations provenant du LiDAR et des images multispectrales pourront être utilisées. Pour cela ces informations devront être extraites sous une même résolution et sous un même format puis exploitées à l aide d un logiciel permettant l utilisation de l algorithme SVM. NDVI SVM Image multispectrale SAVI GEMI Sol artifi Eau LiDAR Points sur le sol Points du sursol Variation d altitude Bâtiment Végétation Figure 1 - Organigramme des étapes de classification L organigramme ci-dessus (voir figure 1) montre les informations pouvant être extraites de chaque type de données en entrée et la classification attendue en sortie. Ophélie SINAGRA Projet de fin d études 18

20 En effet, les images multispectrales peuvent fournir des indices de végétation qui sont propres à chaque type d éléments de la zone. Le LiDAR permet quant à lui, grâce aux coordonnées en trois dimensions, de fournir une information sur l altitude et plus précisément sur la différence d altitude. Nous développerons donc la méthode de calcul de chacun des éléments nécessaires à la classification avant d exposer l algorithme SVM plus en détail. a. Variation d altitude La variation d altitude d un point correspond à la distance entre le sol et le point considéré. Cette variation est calculable en deux étapes : classification des points sur le sol et des points du sursol et calcul de la distance entre ces deux classes. Ce calcul pourra ensuite être assimilé à un raster : la valeur du compte numérique de chaque cellule correspond à la variation d altitude moyenne des points contenus dans cette cellule. b. L indice NDVI L indice NDVI, ou indice de végétation normalisé (Normalized Difference Vegetation Index), est un indicateur numérique qui utilise la bande rouge du visible et la bande du proche-infrarouge. Il est utilisé en télédétection afin d estimer si la cible est végétale ou non. Il a été proposé en 1974 par Rouse et al. En général, la végétation absorbera en grande partie la lumière visible (bande rouge) et réfléchira la lumière proche-infrarouge alors que les minéraux réfléchiront la lumière visible et absorberont celle du proche-infrarouge. La formule utilisée est donc : NDVI =!"#!!!"#!! (1) Avec PIR: la valeur dans la bande procheinfrarouge R : la valeur dans la bande rouge du visible Cela donne donc des valeurs comprises entre 1 et -1 : 1 < NDVI < 1. Les différentes valeurs de l indice NDVI permet de déterminer le type d éléments analysés. Holben (Characteristics of maximum-value composite images from temporal AVHRR data, 1986) fournit les valeurs suivantes : Type Table 4 - Valeurs prises par l'indice NDVI Valeur dans la bande rouge Valeur dans la bande procheinfrarouge Indice NDVI Végétation dense Végétation moyenne Végétation faible Sol nu (terre) Nuage Neige et glace Eau Ophélie SINAGRA Projet de fin d études 19

21 Il faut aussi savoir que le calcul de l indice NDVI est sensible à plusieurs facteurs tels que les effets atmosphériques, les nuages, les effets anisotropes ou encore les effets spectraux. Pour ces raisons, l indice doit être utilisé avec précaution. c. L indice SAVI, prenant en compte l influence des sols L indice SAVI, ou indice de végétation ajusté pour le sol (Soil Adjusted Vegetation Index), est un indicateur introduisant un paramètre d ajustement, noté L, qui caractérise le taux de recouvrement par de la végétation des sols. Cet indice a été introduit en 1988 par Huete et limite l influence des sols lors du calcul de l indice de végétation. La formule utilisée est donc : SAVI =!"#!!!"#!!!! (1 + L) (2) Le paramètre L prend des valeurs différentes selon la densité du couvert végétal (entre 0 et 1). Il permet de minimiser l effet de la brillance des sols. Cela donne donc des valeurs comprises entre -1 et 1 : 1 < SAVI < 1. Avec PIR: la valeur dans la bande procheinfrarouge R : la valeur dans la bande rouge du visible L : facteur d ajustement des sols d. L indice GEMI, prenant en compte les effets de l atmosphère L indice GEMI, ou indice de contrôle environnemental global (Global Environmental Monitoring Index), est un indicateur issu d une relation non linéaire minimisant l influence de l atmosphère sur la mesure de l indice de végétation. Il est introduit en 1992 par Pinty et Verstraete. La formule utilisée est: GEMI = η η!!!.!"!!! (3) R : la valeur dans la bande rouge du visible Avec η =!(!"#!!!! )!!.!!"#!!.!!!"#!!!!.! (4) Cela donne donc des valeurs comprises entre 0 et 1 : 0 < GEMI < 1. e. L algorithme SVM L algorithme SVM, ou Support Vector Machine (machines à vecteurs de support ou séparateur à vaste marge), est une technique permettant une classification supervisée non linéaire d un ensemble de données. Il a été inventé par Cortes et Vapornik en 1995 (Support-Vector Networks) et est de nos jours considéré comme l un des algorithmes de nouvelle génération permettant une classification. En effet, cet algorithme possède plusieurs caractéristiques intéressantes telles que le fait qu il soit basé sur une méthode statistique ou encore qu il ne nécessite que peu de zones échantillons. Cet algorithme est originalement conçu pour une classification en deux groupes : des objets dits positifs et des objets dits négatifs. Un hyperplan est recherché dans l espace où se trouvent les objets afin de maximiser la séparation entre les deux classes cibles. Ophélie SINAGRA Projet de fin d études 20

22 La suite est inspirée du cours du centre de Mathématiques Appliquées de l Ecole Polytechnique de Palaiseau (O. Bousquet, Introduction aux «Support Vector Machines» (SVM)) ainsi que de plusieurs articles de divers auteurs. L apprentissage L apprentissage permet d obtenir un ensemble de résultats en sortie grâce à un ensemble de paramètres en entrée. Ces paramètres sont issus de l apprentissage supervisé des zones échantillons. Donc, à partir d échantillons S = X!, Y!,, (X!, Y! ) il faut établir une fonction h X Y telle que P(h X Y), où le couple X, Y est aléatoire dans X Y et Y = 1,1. Le nombre de zones échantillons est à prendre en compte afin de ne pas être en sousapprentissage ou en sur-apprentissage. Fonctionnement des machines à vecteurs de support (SVM) Généralités Le problème peut être généralisé par f X R. Ainsi, on cherche à retrouver un phénomène f à partir de l observation d une certaine quantité de couples entrée-sortie : Phénomène : Jeu d entrée : Produit de sortie : f x y = f(x) Figure 2 - L'apprentissage La classe est alors donnée par le signe de f : h = sgn(f) et l erreur se calcule par P h X Y = P Yf X 0, où Yf X est la marge de f en X, Y. Les entrées sont ensuite transformées en vecteurs dans un espace F (Φ X F) où F dispose d un produit scalaire. Hyperplan L étape suivante est donc de trouver un hyperplan qui est une séparation qui classera correctement les données (voir figure 3). Optimal Valide Figure 3 - Choix de l'hyperplan Ophélie SINAGRA Projet de fin d études 21

23 Marge Durant cette étape intervient la notion de marge maximale qui est la distance entre la séparation, ou hyperplan, et les échantillons les plus proches, ou vecteurs supports (voir figure 4). Figure 4 Définition de la marge La fonction est linéarisée : 𝑓 𝑥 = 𝑤 𝑥 + 𝑏 (5) et l hyperplan est alors égal à : 𝑤 𝑥 + 𝑏 = 0 (6). La distance d un point au plan est donnée par : 𝑑 𝑥 =!!!!! (7) et calculer la marge maximale revient à minimiser 𝑤. Problèmes primal et dual Les contraintes sont issues du problème primal et du problème dual. Le premier pose un min problème de minimisation sous contrainte:!! 𝑤! (8) 𝑖, 𝑦! (𝑤 𝑥!!!)!! Et l on passe au deuxième en introduisant des multiplicateurs de Lagrange à chaque 𝑚𝑎𝑥 contrainte d apprentissage :!! 𝛼!!!!,! 𝛼! 𝛼! 𝑦! 𝑦! 𝑥! 𝑖, 𝛼! 0!!!! 𝛼! 𝑦! = 0 𝑥! (9) Les échantillons, ou vecteurs supports, sont situés à une distance non nulle de la marge, c est-à-dire que 𝑤 =!!!! 𝛼! 𝑦! 𝑥! (10). La fonction de décision devient alors : 𝑓 𝑥 =!!!! 𝛼! 𝑦! 𝑥! 𝑥 + 𝑏 (11). Fonction noyau Dans des cas non linéaires, comme celui dans lequel nous nous trouvons, il faut passer dans un espace de plus grande dimension, un espace de représentation intermédiaire ou feature space. Cela est possible à l aide de la fonction noyau. 𝑚𝑎𝑥 Il faut donc maintenant résoudre :!! 𝛼!!!!,! 𝛼! 𝛼! 𝑦! 𝑦! Φ(𝑥! ) Φ(𝑥! ) car Φ ℝ! ℱ (12) 𝑥 Φ(x). 𝑖, 𝛼! 0!!!! 𝛼! 𝑦! = 0 Et la fonction de décision est de la forme : 𝑓 𝑥 =!!!! 𝛼! 𝑦! Φ(𝑥! ) Φ(𝑥) + 𝑏 (13). Ophélie SINAGRA Projet de fin d études 22

24 Ainsi le problème ne dépend que des produits scalaires Φ(x) Φ(x ) : au lieu de choisir la transformation Φ X F, nous choisissons k X X R avec k la fonction noyau. Donc k x, x = Φ(x) Φ x! (14). Si la fonction k est trop complexe il faut les combiner. Les noyaux peuvent être linéaires (k x, x! = x x ), polynomiaux (k x, x! = (x x )! ), gaussiens (k x, x! = e!!!!!! /! ) ou laplaciens (k x, x! = e!!!!!! /! ). Bénéfices de l algorithme La technique SVM est un bon algorithme car il permet un calcul rapide et flexible grâce au noyau. 2) Les données Deux séries de données ont été testées lors de ce projet. Un premier jeu de données d un site situé en Australie et un second en France. Le premier jeu comprend des données LiDAR et des images satellites issues du capteur Landsat7 ETM+ (Coffs Harbour, Nouvelle Galles du Sud, Australie). Ces données ont été utilisées afin de vérifier le bon fonctionnement des formules et des étapes de traitement. Cependant, la résolution spatiale de l image satellite étant faible (résolution spatiale = 30 mètres), nous avons préféré analyser les résultats avec des données ayant une meilleure résolution spatiale. C est pour cette raison que nous avons demandé un jeu données à l INSA de Strasbourg. En effet, l INSA était en capacité de nous fournir des images satellites issues du capteur QuickBird dont la résolution spatiale est de 2.44 mètres (contre 30 mètres avec le capteur Landsat7). Cette résolution se rapproche beaucoup plus de la résolution du nuage de points LiDAR associé (1.3 points / mètre carré). a. Les données LiDAR Les données LiDAR ont été acquises le 5 septembre 2004 sur la ville de Strasbourg (Bas- Rhin, France). Le nuage de points est géoréférencé dans le système de projection Lambert I (planimétrie) et IGN69 (altimétrie). Le fichier fournit est au format ASCII et comprend points connus dans les trois dimensions XYZ. b. L image multispectrale L image multispectrale a été acquise le 10 Mai 2002 par le satellite QuickBird et est géoréférencée dans le système UTM 32 Nord (Universal Transverse Mercator) avec le datum WGS84. Ce satellite permet d acquérir des images à une résolution très élevée (2.44 mètres pour les bandes multispectrales et 0.61 mètre pour la bande panchromatique) tout en ayant un géoréférencement de précision. La fauchée obtenue par le capteur est de 16.5 kilomètres à une altitude de 450 kilomètres. Ophélie SINAGRA Projet de fin d études 23

25 3) Table 5 - Caractéristiques des bandes de QuickBird Bande Longueur d onde (µm) Résolution spatiale (m) 1 Bleue Verte Rouge Proche Infra-rouge Panchromatique La création des couches rasters - les techniques utilisées Les logiciels utilisés pour créer chaque couche et les assembler sont : - le logiciel ArcGIS, version Ce logiciel est exploité sous Windows 7 Enterprise Version le logiciel LAStools, version 1. Ce logiciel est exploité sous Windows 7 Enterprise Version le logiciel LASutility, version 1.1. Ce logiciel est exploité sous Windows XP. NDVI SAVI GEMI Variation Alt Figure 5 - Organigramme du processus a. Variation d altitude Comme indiqué précédemment il y a trois étapes menant au calcul de la variation d altitude. Ces trois étapes sont exécutables avec le logiciel LAStools. Ce logiciel est open source et permet de nombreux traitements des fichiers dont l extension est.las (c est-à-dire les fichiers issus d un lever LiDAR) à l aide d une programmation en C++. Il peut soit être utilisé dans son propre module ou alors en tant que Toolbox dans ArcGIS. Nous l utiliserons dans ArcGIS afin de l inclure dans un ModelBuilder où tous les rasters pourront être calculés. Le sujet étudié durant ce projet repose sur la fusion de données et non les algorithmes permettant d obtenir ces données (classification des points sol et sursol, etc.), c est pour cela que je ne m attarderai pas sur les calculs effectués par LAStools. De plus, les créateurs de LAStools n ont pas dévoilé les algorithmes utilisés dans leur logiciel, il agit comme une boite noire. Cependant, nous comparerons les résultats qu il nous fournit avec d autres logiciels afin de vérifier leur cohérence. Conversion du fichier ASCII en fichier LAS Les modules utilisés pour les étapes suivantes nécessitent des données au format.las (format d échange standard des données issues d un lever LiDAR). Ce type de fichier comprend pour chaque point les coordonnées X, Y, Z ainsi que l intensité du signal retour, le numéro du retour, le nombre de retours total pour le signal émis, la direction du miroir (positive ou négative), etc. Ophélie SINAGRA Projet de fin d études 24

26 Or le fichier à notre disposition est au format ASCII, comprenant uniquement les coordonnées X, Y et Z. Nous pouvons convertir ce fichier vers une extension.las à l aide du logiciel LASutility. Les valeurs des champs non renseignées seront laissées vierges. Classification des points du sol et des points du sursol Le logiciel LAStools propose une toolbox permettant de classer les points du sol et ceux du sursol : lasground. Si le fichier LiDAR comprend plusieurs zones distinctes telles que des zones naturelles (forêts, montagnes, champs, etc.) et des zones urbaines (villages, villes, etc.), il est important de diviser le nuage en fonction de ces zones. En effet, les paramètres utilisés par LAStools vont changer selon le type de zone à traiter. Ici nous allons traiter un lever sur la ville de Strasbourg, c est pourquoi nous choisissons l option «metropolis» après plusieurs essais et comparaisons : l option «city and warehouse» (ville et entrepôt) était à envisager et à comparer avec l option «metropolis» (voir figure 6). Figure 6 - Capture d'écran pour comparaison des options Nous constatons, grâce à la superposition des deux nuages de points issus de la classification «metropolis» (rouge) et «city and warehouse» (jaune) sur l image satellite QuickBird, que certains points, notamment situés sur des arbres, ne sont pas inclus dans le nuage sursol avec l option «city and warehouse». Pour cette raison nous gardons le nuage issu de la classification «metropolis». Divers paramètres peuvent être indiqués tels le type de terrain, la granulosité, le format de sortie, etc. Ces éléments vont directement influencer le traitement effectué sur les données : selon le type de terrain et la granulosité, les coefficients utilisés dans l algorithme vont être différents. C est pourquoi il est important de savoir plus ou moins le type de terrain à traiter avant de commencer et, s il est nécessaire, de diviser le nuage de points bruts. Le fichier classe les points en deux catégories : la classe 1 qui sont les points du sursol (non classé) et la classe 2 qui sont les points sur le sol. Ophélie SINAGRA Projet de fin d études 25

27 Valeur de classification Table 6- Valeur de classification Signification 1 Sursol 2 Sol Pour faire cette classification, LAStools ne considère que le dernier retour pour chaque signal envoyé et les retours précédents sont considérés comme points du sursol. Cependant une option permet de considérer tous les retours pour la classification. Cela peut être utile pour les zones urbaines sans couvert végétal. Notre fichier de points ne nous donne pas d indication concernant le numéro du retour, l ensemble des points sera utilisé pour cette classification. Nous pouvons trianguler une surface à partir des points classés dans la catégorie «sol» : Figure 7 - Extrait de la surface triangulée Calcul de la distance entre le sol et chaque point La toolbox lasheight permet de calculer la hauteur (H) des points du sursol par rapport à la surface triangulée du sol (issue des points de la classe 2 du classement précédent). Puis de substituer cette hauteur (H) à l altitude du point. Cela permet d obtenir directement la variation d altitude que nous cherchons pour notre méthode de classification. L un des problèmes lors de cette étape est dû aux fortes pentes du terrain. Ces dernières donnent une mauvaise interprétation de la hauteur de chaque point. Nos données présentent une forte pente au niveau de l Ill (rivière traversant notre zone), cependant aucun point n est situé à proximité de ces pentes (berges). Filtre des points Le fichier obtenu comprend les points des deux classes sol et sursol. Il faut donc filtrer ces points afin de ne garder que les points du sursol (classe 1). La toolbox las2las permet d effectuer ce filtrage en indiquant de ne garder que les points appartenant à la classe 1 (keep_classification 1). Un deuxième filtre est à appliquer afin de ne garder que le premier retour, c est-à-dire le point dont la hauteur est la plus élevée. En effet, si nous avons plusieurs points ayant la même position planimétriquement mais dont la hauteur est différente cela peut poser des problèmes pour la suite du traitement, lors de la création du TIN. Ophélie SINAGRA Projet de fin d études 26

28 Création d un TIN Un TIN est un ensemble de triangles joints par trois points et dont les valeurs d altitude sont connues. La création d un TIN va permettre ensuite de créer un raster. Ce raster indiquera donc la variation de hauteur : c est-à-dire la différence d altitude entre les points du sursol et le sol. Figure 8- ModelBuilder pour la création du raster de variation de hauteur Ce ModelBuilder n a pu être validé car, premièrement, le filtre en fonction des classes ne fonctionnait pas. De plus, le TIN créé ne présente pas de références géographiques et ne peut donc être utilisé. Afin de supprimer ces problèmes nous avons donc effectué le filtrage des classes avec le propre module de LAStools : las2las.exe. Nous y précisons que nous gardons la classe 1 et que nous excluons les points dont l altitude (z, qui correspond à la hauteur par rapport au sol) est inférieure à 0 mètre (les points ayant subis une mauvaise interprétation de leur hauteur dûe aux fortes pentes par exemple). Nous avons ensuite importé les points dans ArcGIS en tant que multipoints (3D Analyst Tools > Conversion > From File > LAS to Multipoint) avant créer un TIN (3D Analyst Tools > Data Management > TIN > Create a TIN). Afin de pouvoir utiliser les données pour notre classification nous devons avoir toutes nos données au même format. Nous créons une image raster à partir de ce TIN (3D Analyst Tools > Conversion > From TIN > From TIN to Raster) dont la taille des cellules correspond à la taille des cellules des rasters des indices de végétation, c est-à-dire 2.44 mètres (images QuickBird): RasterHauteur (voir figure 9). Ophélie SINAGRA Projet de fin d études 27

29 Figure 9 - Raster Hauteur b. L indice NDVI Le calcul de l indice NDVI peut être exécuté sous ArcGIS Le but est de créer un raster dont les cellules contiennent les valeurs de l indice calculé. Tout d abord, il est important de repérer chaque bande mise à notre disposition. La bande numéro 3 correspond à la bande rouge et la bande numéro 4 à la bande proche-infra-rouge. Puis nous utilisons l outil Raster Calculator se trouvant dans le menu Spatial Analyst > Math Algebra. Cet outil utilise le langage Python à l aide d une interface de type calculateur, le calcul est donc à coder dans ce langage (voir Figure 10). Float ([Band NIR] - [Band R]) / Float ([Band NIR] + [Band R]) (15) Figure 10 - Codage calcul image NDVI Ce calcul va permettre de produire une image raster comprenant les valeurs de l indice NDVI dans les comptes numériques : RasterNDVI. Figure 11 Extrait du raster NDVI c. L indice SAVI De la même manière que pour l indice NDVI, nous pouvons calculer l indice SAVI, toujours dans le langage Python : (Float ([Band NIR] - [Band R])) / (Float ([Band NIR] + [Band R]) + L) x (1 + L) (16) Figure 12 - Codage calcul image SAVI Ophélie SINAGRA Projet de fin d études 28

30 Généralement, les valeurs attribuées au paramètre L est 0.25 en cas de végétation dense, 0.5 si la végétation est moyenne et 1 si il y a peu de végétation. Ici nous donnerons L = 0.5. Nous obtenons la couche RasterSAVI. Figure 13 - Extrait du raster SAVI d. L indice GEMI Toujours dans le langage Python nous pouvons calculer l indice GEMI : (2 x((float([band NIR]))^2 + (Float ([Band R]))^ x Float([Band NIR]) x Float ([Band R])) / (Float ([Band NIR] + [Band R]) +0.5 )) x ( x (2 x((float([band NIR]))^2 + (Float ([Band R]))^ x Float([Band NIR]) x Float ([Band R])) / (Float ([Band NIR] + [Band R]) +0.5 )) ) - (Float ([Band R]) 0.25) / (1 - Float ([Band R])) (17) Figure 14 - Codage calcul image GEMI Nous obtenons la couche RasterGEMI. Figure 15 - Extrait du raster GEMI Les calculs de ces rasters (NDVI, SAVI et GEMI) peuvent être effectués sous ArcGIS comme nous l avons dit précédemment, et plus précisément à l aide d un ModelBuilder que nous avons-nous même créé : Ophélie SINAGRA Projet de fin d études 29

31 Figure 16 - ModelBuilder pour les calculs des rasters d'indice de végétation En bleu nous avons les données d entrée, c est-à-dire les différentes bandes spectrales issues de l image satellite. Nous nous servons uniquement des bandes rouges et procheinfrarouges. En jaune nous avons les outils proposés dans le Toolbox de ArcGIS, ici il s agit chaque fois de Raster Calculator où l on applique les différentes formules citées précédemment (voir IV. 2) b., c., d.). Et pour finir, en vert, ce sont les éléments obtenus après les quatre calculs. e. Création d une image à partir de tous les rasters A partir de différents rasters créés il nous faut maintenant n en avoir qu un seul et unique contenant donc quatre couches (NDVI, SAVI, GEMI, Hauteur). Il faut tout d abord s assurer que tous les rasters créés sont dans le même système de projection. Pour cela il nous suffit de vérifier dans les propriétés de chaque couche. Ici les données satellites sont dans le système WGS84-UTM32 alors que les données LiDAR sont en Lambert Zone I. Une simple reprojection des données LiDAR dans le système des données satellites suffit (Data Managment Tools > Projection > Feature > Project). Puis, avec ArcGIS, il est possible de créer un nouveau raster dont les bandes seront composées des rasters précédents (Data Management Tools > Raster > Raster Processing > Composite Bands). Nous obtenons donc un raster composé de quatre bandes : Raster4. Ophélie SINAGRA Projet de fin d études 30

32 Figure 17 - ModelBuilder pour la création du Raster4 Seule une partie de la zone disponible est couverte par le lever de points LiDAR. Il faut donc extraire cette zone avant la classification. Dans le cas contraire, la classification se ferait sur l ensemble de la zone et une grande partie serait faussée par manque de valeurs dans la couche RasterHauteur. Encore une fois il existe une toolbox permettant d extraire par polygone la zone désirée (Spatial Analyst > Extraction > Extract by Polygon). Il faut y préciser les coins du polygone, en reprenant la première coordonnée à la fin pour fermer le polygone : Table 7 - Coins du polygone d'extraction X Y Figure 18 - ModelBuilder pour la création du RasterALL Nous obtenons le raster RasterALL. Ophélie SINAGRA Projet de fin d études 31

33 f. Problèmes rencontrés pour la création des rasters Géoréférencement Il faut vérifier que les données sont correctement géoréférencées. Les données satellites sont en général moins bien géoréférencées que les données LiDAR. Nous nous appuierons sur ces dernières pour bien recaler l image satellite à l aide de l outil de géoréférencement d ArcGIS. Nous sélectionnons cinq points homologues sur les deux sources de données et obtenons les résidus suivants sur chacun des points : Table 8 - Résidus de la transformation Point Résidus en x (m) Résidus en y (m) Résidus 2D (m) Nous constatons qu il y a donc une transformation qui a été effectuée à l aide d un polynôme du premier degré. L ordre de grandeur des résidus obtenus est inférieur au mètre, sachant que la résolution de l image satellite est de 2.44 mètre, cela est correct. Les couches d indices végétaux sont à recalculer après la transformation. Les étapes permettant de créer un raster ayant quatre bandes et de le découper selon la zone désirée sont à ré effectuer avec les rasters bien géoréférencés. Décalage des grilles Nous constatons que les grilles créées à partir des données LiDAR et à partir des données satellites ne sont pas superposables, nous observons un décalage planimétrique (1.1 mètres selon l axe des X et 0.55 mètre selon l axe des Y) : Figure 19 - Décalage des grilles Afin d avoir une superposition parfaite et ainsi pouvoir, par la suite, classer correctement les données il nous faut «convertir» l un des deux types de données vers l autre. Nous choisissons de convertir les données LiDAR vers la grille des données satellites. Tout d abord nous convertissons l un des rasters d indice de végétation issu de l image multispectrale (RasterNDVI par exemple) en points (Raster to Points). Puis nous extrayons les valeurs des autres rasters qui nous intéressent (RasterSAVI, RasterGEMI, RasteurHauteur) avec l outil d extraction de valeurs multiples vers des points (Spatial Ophélie SINAGRA Projet de fin d études 32

34 Analyst Tools > Extraction > Extract Multi Values to Points) avant de convertir ces points en raster de nouveau (Conversion Tools > To Raster > Point to Raster) avec une résolution spatiale identique à celle de départ, c est-à-dire ici 2.44 mètres. RasterNDVI Figure 20 - ModelBuilder pour le recalage des grilles Le raster est prêt pour être classé : il est correctement géoréférencé et ne présente plus d incohérence. 4) L algorithme SVM les techniques utilisées Une fois le raster créé, il est possible de classer les données : NDVI SAVI GEMI Variation Alt Zones échantillons Classification SVM Figure 21 - Organigramme du processus Ophélie SINAGRA Projet de fin d études 33

35 Cela est fait avec les logiciels : - le logiciel SAGA, version Ce logiciel open source est exploité sous Windows 7 Enterprise Version le logiciel OSGeo4W avec le plugin OTB. Ces deux logiciels open source sont exploités sous Windows 7 Enterprise Version 6.1. a. Création des zones échantillons Les zones sont tout simplement des polygones créés sous ArcGIS. L image satellite, les rasters correspondant aux indices de végétation ou le raster correspondant aux hauteurs issues du lever LiDAR nous permettent de délimiter ces polygones et de les classer selon les valeurs suivantes : Table 9 - Valeurs de classification Valeur de Signification classification 1 Végétation 2 Bâtiment 3 Eau 4 Sol Au final nous délimitons 67 polygones, et les classons selon les quatre classes définies. Ces polygones sont répartis sur toute la zone à classer. Figure 22 - Polygones b. Classification des données L étape suivante est d apprendre ces zones à l algorithme SVM. Pour ce faire, nous utilisons le logiciel open source OTB (Orfeo Tool Box) créé par le CNES (Centre National d Etudes Spatiales) pour le traitement d images (accès, filtrage, extraction d informations, segmentation, classification, etc.) sous le langage Python. Cela se fait en trois lignes de commandes : une première pour extraire les informations statistiques de l image à classer (voir figure 23), une deuxième pour apprendre à l algorithme les zones échantillons (voir figure 25), et une dernière pour classer l image (voir figure 26). Informations statistiques La première ligne de commandes à utiliser permet d obtenir la moyenne ainsi que la variance de chacune des bandes qui composent le raster. Ces données seront utilisées pour centrer et réduire les intensités des zones échantillons, donc pour normaliser ces échantillons avant leur apprentissage par l algorithme. Ophélie SINAGRA Projet de fin d études 34

36 Soit : - il: l image à classer RasterALL.tif - out : le fichier de statistiques en sortie - RasterALLstat.xml La commande à taper est : otbcli_computeimagesstatistics -il RasterALL.tif out RasterALLstat.xml Figure 23 - Ligne de commandes pour l'extraction des statistiques Le fichier obtenu ne nous fournit pas les mêmes valeurs que le fichier original crée avec ArcGIS (automatique lorsque l on crée un raster). Les valeurs produites sont d un ordre de grandeur très important et faux (voir Annexe II a. - Valeurs fournis par OTB). Cela est dû au fait qu ArcGIS attribue la valeur aux cellules n ayant pas de valeur («NoData»), les statistiques calculées avec la ligne de commandes prennent donc cette valeur (-9999) en considération pour le calcul de la valeur moyenne et de l écart-type. J ai donc décidé de garder la structure du fichier et de replacer les valeurs par celles obtenues dans le fichier original (voir Annexe II - b. Valeur fournis par ArcGIS). Création du fichier SVM La deuxième ligne de commandes permet de créer le fichier.svm, c est-à-dire le fichier permettant la classification. Ce dernier est composé des valeurs que prennent les pixels des zones échantillons de chaque bande (ici des quatre bandes). Ces valeurs sont centrées et optimisées grâce au fichier XML précédemment créé. Les zones échantillons doivent être délimitées dans un fichier de type shape (donc un fichier vecteur) et les classes doivent être identifiées sous forme de chiffres entiers positifs (ici de 1 à 4). Choix des paramètres Plusieurs paramètres sont modifiables. Afin de déterminer les plus adaptés nous allons calculer le coefficient κ de Cohen à partir de la matrice de confusion (obtenue à partir des échantillons dit d apprentissage et ceux dits de validation) lors du calcul de chaque fichier SVM. Ce coefficient permet d estimer la qualité du fichier SVM grâce à une comparaison de l erreur obtenue et celle que l on obtiendrait avec une classification au hasard. κ =!"(!)!!"(!)!!!" (!) (18) Avec Pr(a) = Et Pr(e) = ( é!é!"#$%!"!"!"#$%&#'(!"!"#$!"# é!é!"#$% é!é!"#$%!"!"#$!"!"#$!"# é!é!"#$% Figure 24 - Coefficient Kappa de Cohen (19) é!é!"#$%!"!"!"#"$$%!"!"#$!"# é!é!"#$% ) (20) Les paramètres seront testés un à un en ne faisant varier que l un d entre eux : Choix du noyau Quatre noyaux sont envisageables : linéaire, polynomial, gaussien ou sigmoïde. Ophélie SINAGRA Projet de fin d études 35

37 Après calculs (voir Annexe III - a. Choix du noyau), nous choisissons le noyau de type Gaussien (RBF) car nous obtenons le coefficient Kappa considéré comme accord presque parfait (κ = 94.7%). Le noyau polynomial et le linéaire donnent également de bons résultats. Le noyau RBF (Radial Basis Function) est le noyau le plus populaire dans la classification SVM Choix du coefficient C Le coefficient C détermine à quel point l algorithme SVM doit éviter la mauvaise classification d un échantillon. Une grande valeur pour C indiquera une petite marge, c est-àdire une petite distance entre l hyperplan et les échantillons, donc une meilleure classification car nous essayons de nous rapprocher au maximum du modèle. Et au contraire, une petite valeur pour C donnera une grande distance et donc plus de points mal classés. Cependant, une valeur trop grande comprend des risques de sur-maximisation. Ce coefficient est directement lié au noyau, c est pourquoi il est important de définir le noyau en premier lieu puis le coefficient C. Après calculs (voir Annexe III - b. Choix du paramètre C), le coefficient nous donnant le meilleur coefficient Kappa (κ = 95.6%) est pour C = 3. Choix du ratio entre échantillons d apprentissage et échantillons de validation Le ratio permet de contrôler le pourcentage du nombre d échantillons utilisés pour valider le modèle SVM. La valeur 0 désigne que tous les échantillons sont de type apprentissage alors qu une valeur 1 désigne qu ils sont tous pour la validation. Après calculs (voir Annexe III - c. Choix du ratio), le ratio nous donnant le meilleur Kappa (κ = 95.6%) est pour r = 0.5, c est-à-dire autant d échantillons d apprentissage que d échantillons de validation. Choix de la taille maximale des zones échantillons et des zones de validation Ici, nos polygones étant de relativement petite taille, nous indiquerons une taille maximum de 1000 pixels qui devrait être suffisante pour prendre le polygone complet lors de la sélection des zones. Tous ces paramètres se retrouvent dans la ligne de commandes permettant la création du fichier SVM, le fichier qui permettra de classer notre raster. Ophélie SINAGRA Projet de fin d études 36

38 Soit : - io.il: l image à classer RasterALL.tif - io.vd: les données vecteurs contenant les polygones Polygones2.shp - io.imstat: le fichier contenant les statistiques de l image à classer RasterALLstat.xml - sample.mv: la taille maximale des zones échantillons de validation sample.mt: la taille maximale des zones échantillons d apprentissage sample.vtr: le ratio entre les échantillons d apprentissage et de validation sample.vfn : le nom de la caractéristique dans le fichier shape Id - svm.k : type de de noyau - RBF - svm.c : valeur du paramètre C io.out: le nom du fichier de sortie (format.svm) Train.svm La commande à taper est : otbcli_trainsvmimagesclassifier -io.il RasterALL.tif -io.vd Polygones.shp -io.imstat RasterALLstat.xml -sample.mv sample.mt sample.vtr 0.5 sample.vfn Id svm.k rbf svm.c 3 -io.out Train.svm Figure 25 - Ligne de commandes d'apprentissage Le coefficient ϒ Le choix du coefficient ϒ n est pas proposé par notre application. Or ce coefficient détermine la largeur du RBF, c est-à-dire l influence qu a chaque zone échantillon dans l algorithme. Nous pouvons effectuer des tests en changeant directement sa valeur dans le fichier.svm et évaluer les images classées en sortie. Il existe plusieurs couples (C, ϒ) possibles, nous cherchons donc le ϒ correspondant à notre coefficient C. L analyse visuelle des différents rasters obtenus avec ϒ = 0.001, 0.05, 0.35, 0.3, 0.25, 0.1, 1, 2, 10 permet de garder r = 1 comme meilleure valeur. Classification du raster La dernière ligne de commandes permet de classer notre fichier raster selon les quatre classes que nous avons prédéfinies. Soit : - in: l image à classer RasterALL.tif - imstat: le fichier contenant les statistiques de l image à classer RasterALLstat.xml - svm : le fichier SVM modèle Train.svm - out: l image classée RasterAllClassif.tif La commande à taper est : otbcli_imagesvmclassifier -in RasterALL.tif -imstat RasterALLstat.xml -svm Train.svm -out RasterALLClassif.tif Figure 26 - Ligne de commandes pour la classification Ophélie SINAGRA Projet de fin d études 37

39 IV. Résultats finaux Après apprentissage et une première classification par l algorithme SVM nous obtenons le raster suivant : Figure 27 - Classification du raster 4 couches Suppression de l une des classes Nous observons un certain nombre de pixels isolés mal classés, principalement classés dans la catégorie «eau». En effet, sur l image satellite nous avons constaté que certains pixels censés se trouver au niveau de l Ill (rivière traversant Strasbourg) ne correspondent vraisemblablement pas à de l eau (voir figure 28 ci-dessous). Figure 28 - Zone posant problème Afin de corriger ce problème, nous avons décidé de supprimer cette classe, de ré effectuer le classement et de diviser notre raster en deux zones (voir figure 29) que nous observerons. Ophélie SINAGRA Projet de fin d études 38

40 Pour supprimer cette classe nous supprimons simplement les deux polygones de la classe et réexportons le fichier shape contenant les polygones à utiliser (suppression des polygones de la classe «eau»). Lors du calcul de fichier.svm nous obtenons un coefficient 𝜅 de Cohen de 99.1% ce qui nous indique que notre fichier est toujours de très bonne qualité (voir Annexe IV - a. Calcul du coefficient Kappa de Cohen sans la classe eau) et que nous pouvons l utiliser pour notre deuxième classification (sans la catégorie eau). 1 2 Figure 29 - Découpage en deux zones Nous constatons que les pixels isolés ont quasiment totalement disparus (moins d une trentaine restant, principalement classé dans la catégorie «bâtiments» au lieu de «voirie»). Nous pouvons dès à présent effectuer notre analyse à partir de ce raster (RasterSVM). Ophélie SINAGRA Projet de fin d études 39

41 V. Analyse Les résultats seront analysés et comparés à une classification de référence. 1) Comparaison de la classification des points sol / sursol Afin de vérifier la cohérence des données classées par LAStools, nous pouvons comparer le nuage de points du sol obtenu avec LAStools et celui obtenu d une manière différente. Plusieurs solutions sont envisageables. La première envisagée, longue et fastidieuse, revient à visualiser le nuage de points bruts et définir un seuil de l altitude maximum des points situés au sol. Cette altitude maximum doit être définie localement bien souvent (nous n avons que très rarement un terrain quasi plat). Pour cette raison nous exclurons cette piste. La deuxième solution, qui sera celle choisie, est d utiliser le logiciel SAGA (logiciel Open Source). Cela nous permet de garder une rapidité de traitement et d avoir une classification ayant fait ses preuves dans le passé. a. SAGA Le logiciel SAGA propose d importer un fichier au format.las et d en extraire les points servant à la création d un MNT : DTM Filter. DTM Filter ne fonctionne pas sur le nuage de points en soit mais sur une grille dérivée du nuage. La technique utilisée se base sur l algorithme de Vosselman (2000) selon lequel un noyau (kernel, dont la dimension est à définir) se déplace sur cette grille. Il est peu probable qu il y ait une pente supérieure à la pente moyenne approximative du terrain, le filtre admet une différence de hauteur acceptable entre deux cellules en fonction de la distance entre ces cellules : la cellule centrale du noyau sera classée en tant que «sol» si il n y a pas d autres cellules dans le noyau dont la différence de hauteur est supérieure à la hauteur maximum. Il faut donc y indiquer deux paramètres : la taille du noyau (search radius) et la pente approximative du terrain (approx. terrain slop). Après de nombreux tests nous choisirons search radius = 11 et approx. terrain slope = 2. Un nuage de points en format.xyz est disponible en sortie et pourra être comparé avec celui obtenu sous LAStools. b. CloudCompare Les nuages seront comparés avec CloudCompare. Ce logiciel nous indique tout d abord le nombre de points issus de chaque nuage. Etant donné que les techniques de classification utilisées ne sont pas les mêmes, nous n obtenons pas le même nombre de points entre les deux nuages : Table 10 - Comparaison du nombre de points dans chaque nuage Logiciel Nombre de points LAStools SAGA Différence 644 Ophélie SINAGRA Projet de fin d études 40

42 Le résultat de la comparaison nous donne quatre valeurs : la distance minimale entre les deux nuages, la distance maximale, la distance moyenne et l écart-type σ : Table 11 - Valeur de comparaison des nuages sol Distance minimale Distance maximale Distance moyenne Ecart-type σ Valeur 0.00 m 9.99 m 0.12 m 1.11 m L histogramme ci-dessous nous montre bien que très peu de points (en réalité ce sont les 644 points «manquants» à la classification SAGA) se situent proches de la distance maximale. Figure 30 - Histogramme des distances entre les nuages En effet, la distance maximale observée entre les deux nuages est relativement élevée : plus de 9 mètres. Il suffit de visualiser le nuage de points issu de SAGA à l aide d un visualiser 3D pour s apercevoir que certains points sont visiblement mal classés : ils sont soit situés bien au-dessous du terrain soit bien au-dessus. Il s agit très probablement de bruit pour les points localisés sous le terrain et de points localisés sur des bâtiments ou végétation pour ceux localisés au-dessus. Figure 31 - Extrait du nuage de points SAGA (sans échelle) Ophélie SINAGRA Projet de fin d études 41

43 Au final, cette comparaison a servi non seulement à valider notre nuage de points issus de LAStools mais aussi à voir que LAStools semble mieux classer les points que SAGA, tout du moins pour notre nuage test. Ainsi nous constatons que LAStools est un logiciel fiable et très rapide concernant les classifications des points du sol et sursol. Nous pouvons donc utiliser les informations, la hauteur des points du sursol par rapport au sol, dans notre classification. 2) Comparaison des classifications a. Création du raster de référence Pour comparer la classification effectuée avec l algorithme SVM nous avons besoin d une référence. Cette référence doit être une image raster classée à l aide d une autre méthode ayant fait ses preuves dans le passé. Classement des points LiDAR Nous choisissons de classer le nuage de points car il est de meilleure résolution spatiale que les images multispectrales : cela nous donne donc une meilleure qualité des résultats et une bonne base de comparaison. Nous convertirons donc le nuage de points une fois classé en un raster puis nous comparerons les deux rasters classés obtenus. Nous voulions classer le lever LiDAR à l aide de LAStools qui a fait ses preuves dans d autres études. Cependant, notre nuage de points étant de faible densité (1.3 points / m2) cela n a pas été possible (2 points / m 2 au minimum recommandé). C est pourquoi nous classons les données manuellement sous ArcGIS à l aide des outils LAS Dataset. Le classement effectué est le même que pour les polygones servant à la délimitation des zones échantillons. C est-à-dire : Table 12 - Valeurs de classification Valeur de Signification classification 1 Végétation 2 Bâtiment 3 Eau 4 Sol 5 Bruit Certains points sont localisés sur des voitures ou sur du mobilier urbain. Il faut donc supprimer ces points qui sont au final du bruit (classe 5) ou qui ne sont pas classés. Pour ce faire il suffit de supprimer ces classes dans les propriétés de la couche où se trouvent les points LiDAR. Ophélie SINAGRA Projet de fin d études 42

44 La fonction LAS Point Statistics as Raster permet d obtenir un raster à partir de la localisation et valeur de classification des points. Nous choisissons une conversion basée sur la méthode de la classe prédominante, c est-à-dire que la valeur du pixel sera attribuée en fonction de la classe la plus représentée dans cette zone de 2.44 mètres sur 2.44 mètres (voir figure 32). Figure 32 - Raster classé manuellement Nous constatons que le raster obtenu présente des «trous» dûs au manque de points dans cette zone. Lors de la comparaison du raster classé avec l algorithme SVM et celui classé manuellement, ces pixels ne sont pas à prendre en compte. Amélioration du raster de référence L acquisition des données n a pas été faite au même moment (près de 2 ans et demi séparent les deux acquisitions) ce qui peut grandement influencer nos résultats, particulièrement en ce qui concernent la végétation. Par exemple, nous constatons ci-dessous que, un arbre a visiblement été coupé entre les deux acquisitions. Cela entraine la non-apparition de cet arbre sur notre raster de référence (issu du LiDAR qui a été acquis après les images satellites) et donc des pixels considérés comme mal classés alors qu au point de vue spectral ils sont correctement classés. Figure 33 - Raster NDVI et Hauteur de la même zone Pour avoir une meilleure analyse de nos résultats obtenus avec l algorithme SVM nous choisissons de créer un raster à partir du premier raster de référence (obtenu avec les points LiDAR classés) et d un raster de l un des indices de végétation. Ophélie SINAGRA Projet de fin d études 43

45 Le premier raster de référence sera utilisé pour identifier les classes «bâtiments» et «sol» alors que le raster de l un des indices de végétation sera utilisé pour identifier la classe «végétation». En effet, les bâtiments dans une zone si urbanisée ont peu évolué contrairement à la végétation. En ce qui concerne ce deuxième raster, notre choix d indices se porte sur le NDVI. Cet indice n est corrigé d aucun effet extérieur (sol, atmosphère, etc.) mais il est calculé très simplement et a prouvé son efficacité depuis sa création en De plus, nous pouvons utiliser les valeurs introduites par Holben (voir IV. 1) b. L indice NDVI) et ainsi extraire les pixels dont la valeur est supérieure à 0.2 (valeur entre végétation moyenne et forte). Nous attribuons la valeur 1 aux pixels extraits (valeur de la classe «végétation») et créons un raster de référence nouveau comprenant nos trois classes. Pour ce faire nous utilisions le module Raster Calculator (Spatial Analyst > Map Algebra > Raster Calculator) avec une condition (Voir figure 34). Con( Extrait Raster NDVI_> 0.2 = 1", 1, "Raster LiDAR Classé", "Value = 1" ) (21) Figure 34 - Condition pour création du raster de référence Figure 35 - Raster classé manuellement avec LiDAR et IV b. Comparaison Modifications préliminaires Tout d abord, il faut supprimer la partie «rivière» de notre image de référence. La classe «eau» disparait. Calcul de la matrice de confusion Afin de pouvoir chiffrer notre comparaison nous avons calculé un raster de comparaison à partir des données de référence et des données classées par le SVM. Pour ce faire nous combinons nos deux rasters (Spatial Analyst > Local > Combine) et nous exportons la table des attributs correspondant à ce nouveau raster. Ophélie SINAGRA Projet de fin d études 44

46 Figure 36 - Raster de comparaison (vert = bien classé, rouge = mal classé) Table 13 - Table des attributs A partir de la table des attributs nous pouvons créer la matrice de confusion et calculer les estimateurs de précision : Table 14 - Matrice de confusion de la classification Référence Végétation Bâtiments Voirie Total Classification Végétation Bâtiments Voirie Total Soit les estimateurs de précision suivant (Landes, Cours de télédétection G5, 2012) : - Erreur de commission = Pourcentage de pixels qui après classification se retrouvent dans une autre classe que celle de référence. - Précision pour l utilisateur = 100 % - erreur de commission. - Erreur d omission = Pourcentage de pixels d une classe de référence affecté à d autres classes par la classification. - Précision pour le réalisateur = 100% - erreur d omission. - Erreur d affectation = erreur de commission + erreur d omission. - Précision totale = rapport du nombre de pixels bien classés sur le nombre total d individus. Ophélie SINAGRA Projet de fin d études 45

47 Table 15 - Estimateurs de précision Erreur de commission 6.69% Précision pour l'utilisateur 93.31% Erreur d'omission 9.68% Précision pour le réalisateur 90.32% Erreur d'affectation 16.37% Précision totale 83.63% Analyse Nous observons que plus de 83% des données sont correctement classées, c est-à-dire seulement un peu plus de 16% d erreur d affectation. Ces chiffres apparaissent similaires à ceux obtenus lors de l analyse des articles étudiés. En effet les classifications présentaient des précisions totales comprises entre 89.2% et 97.1%. (a) (b) (c) Figure 37 - Image aérienne (a), Classification de référence (b), Classification SVM (c) Nous observons que la plus grande erreur de classification concerne les points de la classe «bâtiments», c est-à-dire que de la végétation ou de la voirie sont classées en tant que bâtiment. Nous observons ce phénomène particulièrement autour des arbres où les pixels de type «végétation» sont confondus avec des pixels de type «bâtiments», ou encore dans les zones où les bâtiments sont rapprochés (rue étroite, etc.) et ou la voirie est encore une fois confondue avec un bâtiment. De plus, nous observons que la classification réalisée avec l algorithme SVM présente des bâtiments irréguliers. Cela est dû au fait que nous utilisons une classification orientée pixels et objets. Ophélie SINAGRA Projet de fin d études 46

48 3) L apport des informations issues de chaque couche Afin de constater ce qu apporte la fusion du LiDAR et des images satellites nous pouvons comparer les matrices de confusion issues de classification d un raster contenant que certaines couches calculées avec notre classification faisant intervenir toutes les couches. a. Suppression de la couche créée à l aide du lever LiDAR : RasterHauteur Tout d abord nous souhaitons quantifier l apport des données LiDAR à notre classification, ou qu apporte la fusion des données à notre classification? Fichier d apprentissage Il faut donc que nous recalculions un fichier d apprentissage SVM avec un raster ne comprenant que trois couches : NDVI, GEMI, SAVI. Nous obtenons une première matrice de confusion issue de fichier d apprentissage SVM (obtenue à partir des échantillons dit d apprentissage et ceux dits de validation) qui nous donne un coefficient κ de Cohen de %, c est-à-dire une baisse de plus de 31% (voir matrice en Annexe IV - b. Calcul de la précision obtenue sans la couche RasterHauteur). Classification Après classification de notre raster et comparaison avec notre raster de référence nous obtenons une précision totale de % contre 83.6% lorsque la couche RasterHauteur est utilisée (voir matrice en Annexe IV - b. Calcul de la précision obtenue sans la couche RasterHauteur). Conclusion Nous constatons que la fusion de nos données permet d améliorer grandement notre classification de près de 20%. Cette couche (la seule issue du nuage de points LiDAR) est donc essentielle à une classification correcte. En effet, comme nous observons ci-dessous (voir figure 38), l algorithme n arrive pas à différencier le sol (la voirie) et les bâtiments. L information sur la hauteur du pixel permet donc de différencier ces deux catégories. Cependant, la classification de la végétation reste de bonne qualité (l algorithme s appuyant sur les données multispectrales a la capacité de classer correctement les végétaux étant donné que leur valeur est plus élevée que pour les pixels de type minéral). Ophélie SINAGRA Projet de fin d études 47

49 (a) (b) (c) Figure 38 - Classification de référence (a), Classification SVM (b), Classification SVM sans les données LiDAR (c) b. Suppression de certaines couches d indice de végétation Nous pouvons aussi identifier les couches d indice de végétation qui jouent un rôle majeur dans la classification. Nous procédons toujours de la même manière, c est-à-dire que nous calculons à chaque fois un fichier d apprentissage et classons les données avec ce dernier. Etant donné le nombre de possibilités nous indiquerons les résultats sous forme de tableau où nous faisons apparaitre le coefficient κ de Cohen de notre fichier d apprentissage ainsi que la précision totale de la classification : Couches Table 16 - Evaluation des données lorsqu'une couche est supprimée κ de Cohen du SVM Précision totale de la classification NDVI + SAVI + H % % GEMI + SAVI + H % % NDVI + GEMI + H % % Nous constatons que la couche GEMI introduirait des erreurs dans la classification étant donné que lorsque celle-ci n est pas utilisée, les résultats s améliorent de 0.6 %. Les couches NDVI et SAVI semblent avoir la même importance pour notre classification. Ophélie SINAGRA Projet de fin d études 48

50 c. Suppression des couches GEMI et SAVI, puis GEMI et NDVI D après les résultats obtenus précédemment nous pouvons penser que la couche GEMI est inutile à notre classification étant donné que lorsqu elle n est pas présente la qualité de nos résultats s améliore. De plus, lorsque les couches NDVI et SAVI ne sont pas utilisées individuellement nos résultats ne changent pas. C est pourquoi nous cherchons à savoir si les résultats obtenus sans la couche GEMI (84.3% de classification correcte) sont issus de la combinaison de ces deux couches avec la couche hauteur ou si l utilisation d uniquement l une d entre elles est importante. Après calcul du coefficient κ de Cohen de fichier d apprentissage et la précision totale des classifications nous pouvons dire que l utilisation d une seule de ces couches est en réalité nécessaire : Couches Table 17 - Evaluation des données avec 2 couches κ de Cohen du SVM Précision totale de la classification NDVI + H % % SAVI + H % % Les couches NDVI et SAVI sont en réalité très proches. Seul un facteur d ajustement des sols diffère des deux formules. d. Conclusion des tests réalisés En conclusion nous pouvons effectuer notre classification à partir d uniquement de deux couches, par exemple NDVI et hauteur. En effet cela permet d obtenir un meilleur taux de précision plus important que lorsque toutes nos couches sont prises en compte (84.2 % contre 83.6 %, voir figure 40). La couche hauteur étant essentielle au classement dans les classes bâtiments et voirie alors que la couche NDVI est essentielle au classement de la classe végétation (voir figure 39). 100,00% 80,00% 60,00% 40,00% 20,00% 0,00% Figure 39 - Comparaison de tous les tests réalisés Ophélie SINAGRA Projet de fin d études 49

51 84,50% 84,00% 83,50% 83,00% Hauteur + NDVI + SAVI + GEMI Hauteur + NDVI Figure 40 - Comparaison de la précision totale entre deux classifications 4) Les erreurs a. Les erreurs liées au LiDAR L erreur introduite par le LiDAR concerne le positionnement. En effet, un lever laser consiste à observer la distance entre le transmetteur et l objet. La position 3D de cet objet peut être calculée si, à chaque instant t, nous connaissons la position et l orientation du système : un DGPS et une centrale inertielle sont utilisés pour cela. Les erreurs de positionnement viennent donc de ces deux appareils. GPS: Référence au sol GPS: A bord INS: Angle d altitude X, Y, Z Avion Laser: Distance Orientation du rayon Figure 41 Système de positionnement X, Y, Z Objet Pour chaque bande de vol, la position 3D de chaque point est calculée à l aide de cette formule: X! X! lx! Y = Y + (R!"#. R!"# ) ly (22) Z! Z lz!"# X! Avec Y : Coordonnées objet Z! X! Y : Coordonnées du laser dans le repère local Z R!"# : Matrice rotation entre le repère local et le repère de la centrale inertielle!"# : Matrice rotation entre le repère de la centrale inertielle et le repère du laser R!"# Ophélie SINAGRA Projet de fin d études 50

52 ! lx ly : Coordonnées du rayon laser dans le repère du laser lz!"# Nous obtenons en moyenne les précisions citées ci-dessous pour chaque point : La précision de la position donnée par le GPS est de σ! = ± 5 to 30 cm; σ!" = ± 2 to 20 cm. La précision angulaire donnée par la centrale inertielle est de σ! = ± La précision sur la distance donne par le laser est de σ! = ± 15 cm. La précision globale est de σ! 15 cm; σ!" 20 cm. Cette erreur de positionnement n a que très peu d influence dans notre cas étant donné que nous utilisons les données LiDAR à une résolution planimétrique de 2.44 mètres (la précision planimétrique étant de 20 centimètres minimum). Au point de vue altimétrique cela n influencera pas nos résultats : l information nécessaire est la hauteur des points au-dessus du sol (la précision minimum étant de 30 centimètres ce qui n influencera pas notre raster). b. Les erreurs liées à l image satellite A l heure d aujourd hui, la résolution des images satellites est la principale limite pour une classification orientée pixel comme le SVM. Les erreurs proviennent donc de cette limite. Dans notre cas la résolution est de 2.44 mètres ce qui est correct comparé à d autres capteurs comme Landsat où la résolution est de 30 mètres. De plus, les images présentent des distorsions qui dépendent de la distance focale du capteur (plus cette distance est petite, plus les distorsions sont grandes) ou d autres déformations dûes aux conditions atmosphériques, au relief de la surface, etc.. L image satellite présente un géoréférencement moins précis qu un nuage de points LiDAR. Nous avons pu le constater lors de notre étude (résidus de 76 centimètres en moyenne) ainsi que dans certains articles indiquant que les images QuickBird présentent un décalage d une soixantaine de centimètres par rapport à la position réelle de points de contrôles ([BUYUKSALIH & al, 2004], Precise georeferencing of rectified high resolution space images). Les deux erreurs citées ci-dessus vont donc aussi être présentes dans les couches d indices végétaux. c. Les erreurs liées à l espacement temporel entre les deux acquisitions Comme nous l avons constaté lors de la création de notre raster de référence, l un des plus gros problèmes auquel nous sommes confrontés est la date d acquisition des données. En milieu urbain cela peut poser problème lors d une classification voulant utiliser plusieurs types de données (abattage d arbres, construction de nouveaux bâtiments, etc.). Ophélie SINAGRA Projet de fin d études 51

53 d. Les erreurs liées aux SVM Les erreurs liées à l algorithme SVM sont issues du choix des paramètres mais sont principalement liées aux zones échantillons. En effet, un nombre insuffisant de zones pour l une des classes peut entrainer une mauvaise détection de cette classe et donc une mauvaise classification. Un nombre trop important sera considéré comme une perte de temps car inutile. La première chose à faire est donc de préparer correctement le fichier contenant les polygones car ils seront utilisés pour le choix des paramètres de l algorithme (noyau, coefficient C, ratio, γ, etc.). De plus, comme nous l avons constaté lors de nos différents tests, chaque couche amène des erreurs. En effet, les erreurs de commission sont différentes selon les couches, la combinaison de ces couches permet de combiner les précisions mais aussi les erreurs. Erreur de Commission Couche 2 Erreur de Commission Couche 1 Précision Couche 1 Précision Couche 2 Figure 42 - Combinaison des erreurs et précisions Le choix des couches est donc primordial lors de la classification car la combinaison influe directement sur les erreurs de commission. Ophélie SINAGRA Projet de fin d études 52

54 VI. Discussion Lors de cette étude nous avons développé et testé une technique de fusion des données en utilisant une classification supervisée. Les résultats indiquent que l information sur la hauteur issue du LiDAR améliore la classification d image multispectrale. En effet, l information sur la hauteur permet à l algorithme de séparer les points du sol de ceux du sursol alors que l indice de végétation sépare les éléments végétaux des éléments artificiels. Lors de nos tests, nous avons pu établir que les données LiDAR améliorent de 20 % notre classification lorsque ces dernières sont assemblées et traitées avec un ou plusieurs indices végétaux. L information sur la hauteur va permettre à l algorithme de différencier le sol des bâtiments dans un milieu urbain, les champs d une forêt dans un milieu naturel, etc. Ces résultats sont soutenus par ceux de Nordkvist (2012) qui obtenait une amélioration de 16% de sa classification lorsqu il utilisait deux sources différentes de données. La principale limite de cette technique est la perte de la haute résolution spatiale des données LiDAR. À l heure d aujourd hui, il n existe pas de capteur multispectral pouvant atteindre une résolution aussi haute que celle du LiDAR. De plus, l algorithme SVM est une méthode de classification supervisée, c est-à-dire non reproductible et extrêmement influencée par le choix des zones échantillons. Cependant, ces bonnes performances ont été de nouveau démontrées dans notre étude. Pour finir, lors de notre comparaison nous utilisons des données non indépendantes. En effet nous avons créé une image de référence basée sur les données LiDAR classée manuellement et sur les données multispectrales (utilisation de l indice NDVI). Notre calcul de précision est donc fait à partir de données non indépendantes. Une campagne de levé terrestre aurait permis d obtenir une indépendance et une plus grande précision de notre référence. Cela n a malheureusement pas été possible pour cette étude. Ophélie SINAGRA Projet de fin d études 53

55 VII. Conclusion Au terme de ce travail, nous pouvons affirmer que la fusion des données permet une classification précise d une zone. Pour ce faire, nos données LiDAR sont tout d abord traitées afin d extraire l information principale qu elles nous fournissent, c est-à-dire la hauteur des points. Puis les données multispectrales sont utilisées pour calculer un indice de végétation. Les premiers résultats obtenus sont rasterisés et les couches sont assemblées avant d appliquer l algorithme SVM qui classifiera cela. Les zones échantillons sont créées en s appuyant sur le maximum d informations possibles (s aider du maximum de données comme l image satellite, le raster représentant la variation de hauteur, etc.) et doivent être définies le plus précisément possible. Les paramètres de l algorithme sont quant à eux choisis après avoir effectués des tests des différentes valeurs. Les tests effectués avec notre jeu de données nous donne une précision de classification de plus de 84 % lorsque l indice NDVI et les informations sur la hauteur sont utilisés. Ces résultats ont permis une proposition de publication d un article pour la conférence ACM SIGSPATIAL GIS La principale contrainte imposée lorsque deux types de données sont fusionnés est de respecter la résolution spatiale. Il est primordial que toutes les données présentent la même résolution, celle choisie est la plus basse de notre jeu de données. L une des données perdra donc sa résolution. Généralement le levé LiDAR présente la résolution la plus haute et devra donc être rééchantillonée. Il est possible d utiliser des images issues des capteurs comme Geoeye (1.65 mètres de résolution), Wordview 2 (1.84 mètres de résolution) ou encore Pleiades (50 centimètres de résolution) qui présentent des résolutions se rapprochant de celle du LiDAR et ainsi permettant de ne perdre qu un minimum d information lors du rééchantillonnage. De plus, des capteurs tels que MODIS, (MODerate-resolution Imaging Spectroradiometer, capteur enregistrant dans 36 bandes) permettant de calculer l EVI (Enhanced Vegetation Index - un indice corrigé à la fois les effets de sols et à la fois ceux liés à l atmosphère), pourraient améliorer nos résultats. En effet, il serait intéressant d observer les résultats obtenus lorsque une couche EVI remplacerait la couche NDVI dans notre raster à classer. Pour finir, la piste principale à explorer dans le futur concerne la fusion. Il est possible de réaliser une fusion encore plus importante en normalisant l intensité de chaque point du lever LiDAR et d utiliser cette donnée pour calculer l indice NDVI. En effet, il est possible de substituer cette information à la bande du proche-infrarouge. L indice pourra alors être de nouveau calculé avec cette nouvelle bande et la bande rouge d une image satellite ou d une image aérienne (meilleure résolution spatiale). Cette couche pourra être assemblée avec un raster reprenant les hauteurs des points avant d être utilisée pour une classification avec l algorithme SVM. Ophélie SINAGRA Projet de fin d études 54

56 VIII. Table des illustrations Figure 1 - Organigramme des étapes de classification Figure 2 - L'apprentissage Figure 3 - Choix de l'hyperplan Figure 4 Définition de la marge Figure 5 - Organigramme du processus Figure 6 - Capture d'écran pour comparaison des options Figure 7 - Extrait de la surface triangulée Figure 8- ModelBuilder pour la création du raster de variation de hauteur Figure 9 - Raster Hauteur Figure 10 - Codage calcul image NDVI Figure 11 Extrait du raster NDVI Figure 12 - Codage calcul image SAVI Figure 13 - Extrait du raster SAVI Figure 14 - Codage calcul image GEMI Figure 15 - Extrait du raster GEMI Figure 16 - ModelBuilder pour les calculs des rasters d'indice de végétation Figure 17 - ModelBuilder pour la création du Raster Figure 18 - ModelBuilder pour la création du RasterALL Figure 19 - Décalage des grilles Figure 20 - ModelBuilder pour le recalage des grilles Figure 21 - Organigramme du processus Figure 22 - Polygones Figure 23 - Ligne de commandes pour l'extraction des statistiques Figure 24 - Coefficient Kappa de Cohen Figure 25 - Ligne de commandes d'apprentissage Figure 26 - Ligne de commandes pour la classification Figure 27 - Classification du raster 4 couches Figure 28 - Zone posant problème Figure 29 - Découpage en deux zones Figure 30 - Histogramme des distances entre les nuages Figure 31 - Extrait du nuage de points SAGA (sans échelle) Figure 32 - Raster classé manuellement Figure 33 - Raster NDVI et Hauteur de la même zone Figure 34 - Condition pour création du raster de référence Figure 35 - Raster classé manuellement avec LiDAR et IV Figure 36 - Raster de comparaison (vert = bien classé, rouge = mal classé) Figure 37 - Image aérienne (a), Classification de référence (b), Classification SVM (c) Figure 38 - Classification de référence (a), Classification SVM (b), Classification SVM sans les données LiDAR (c) Figure 39 - Comparaison de tous les tests réalisés Figure 40 - Comparaison de la précision totale entre deux classifications Figure 41 Système de positionnement Figure 42 - Combinaison des erreurs et précisions Figure 43 - Eléments constitutifs du LiDAR (Shan & Toth, 2008) Ophélie SINAGRA Projet de fin d études 55

57 Figure 44 Trace au sol en fonction des différents types de balayage (Brenner, 2006) Figure 45 Système de positionnement Figure 46 Retours multiples Figure 47 Système passif (Landes, 2012) Figure 48 - Spacing for separate trees (Li & al., 2012) Figure 49 - Segmentation process (Li & al., 2012) Figure 50 - Shape of the elongated convex hull (Li & al., 2012) Figure 51 - Flowchart of the algorithm (Li & al., 2012) Figure 52 - Views of tree (Rahman & al., 2009) Figure 53 - Algorithm 1 (Wang & al., 2009) Figure 54 - Algorithm 2 (Wang & al., 2009) Figure 55 - Correlation dimension (Wang & al., 2009) Figure 56 - Correlation dimension of point clouds (Wang & al., 2009) Figure 57 - Calculating best-fit planar of point cloud (Wang & al., 2004) Figure 58 - Results of building simplifying (Wang & al., 2000) Figure 59 Cluster analysis (Okagawa, 2001) Figure 60 Distance analysis (Okagawa, 2001) Figure 61 Data processing (Okagawa, 2001) Figure 62 Algorithm to calculate the order value (Peng & al, 2011) Figure 63 Work flow (Rottensteiner & al., 2002) Figure 64 The Dempster-Shafer fusion (Rottensteiner and al., 2004) Figure 65 Flow of the knowledge-based classification (Chen & al. 2004) Figure 66 Data-driven method (Sohn & al. 2007) Figure 67 Model-driven method (Sohn & al. 2007) Figure 68 Flow chart (Alonso & al. 2010) IX. Table des tableaux Table 1 - Avantages et inconvénients des méthodes pour le LiDAR Table 2 - Avantages et inconvénients des méthodes pour les images multispectrales Table 3 - Avantages et inconvénients de chaque méthode Table 4 - Valeurs prises par l'indice NDVI Table 5 - Caractéristiques des bandes de QuickBird Table 6- Valeur de classification Table 7 - Coins du polygone d'extraction Table 8 - Résidus de la transformation Table 9 - Valeurs de classification Table 10 - Comparaison du nombre de points dans chaque nuage Table 11 - Valeur de comparaison des nuages sol Table 12 - Valeurs de classification Table 13 - Table des attributs Table 14 - Matrice de confusion de la classification Table 15 - Estimateurs de précision Table 16 - Evaluation des données lorsqu'une couche est supprimée Table 17 - Evaluation des données avec 2 couches Ophélie SINAGRA Projet de fin d études 56

58 Table 18 - Pros and cons for A new method for segmenting individual trees from the LiDAR point cloud Table 19 - Pros and cons for "A new method for individual tree measurement from airborne LiDAR" Table 20 - Pros and cons for Estimation of individual tree parameters using small-footprint LiDAR with different density in a coniferous forest" Table 21 - Pros and cons for Segmentation of LiDAR point clouds for building extraction Table 22- Pros and cons for LiDAR data segmentation and classification based on Octree structure Table 23 - Pros and cons for Automated Building Extraction and Reconstruction from LiDAR Data Table 24 - Pros and cons for Aerial LiDAR Data Classification using Expectation- Maximization Table 25 - Pros and cons for Assessment of processing different types of vegetative data using LiDAR Table 26 - Pros and cons for Algorithm of Multiple Filter to Extract DSM from LiDAR Data Table 27 - Pros and cons for Can multiresolution fusion techniques improve classification accuracy? Table 28 - Pros and cons for Object based image analysis for remote sensing Table 29 - Pros and cons for Multi-spectral and hyperspectral image processing based on the waveform characteristics of spectral remote sensing classification method of large area Table 30 - Pros and cons for Multi-spectral and hyperspectral image processing based on the waveform characteristics of spectral remote sensing classification method of large area Table 31 - Pros and cons for Automatic extraction of buildings from LiDAR data and aerial images Table 32 - Pros and cons for Building detection by Dempster-Shafer fusion of LiDAR data and multi-spectral aerial imagery Table 33 - Pros and cons for Combining optical satellite data and airborne laser scanner data for vegetation classification Table 34 - Pros and cons for Fusion of LiDAR and optical imagery for building modelling Tableau 35 - Pros and cons for Synergistic use of QuickBird multi-spectral imagery and LIDAR data for object-based forest species classification Tableau 36 Pros and cons for Fusion of Hyperspectral and LIDAR Remote Sensing Data for Classification of Complex Forest Areas Tableau 37 Pros and cons for Data fusion of high-resolution satellite imagery and LiDAR data for automatic building extraction Tableau 38 Pros and cons for Satellite imagery classification with LiDAR data Tableau 39 Pros and cons for Multispectral and LiDAR data fusion for fuel type mapping using Support Vector Machine and decision rules Ophélie SINAGRA Projet de fin d études 57

59 Tableau 40 Pros and cons for Combination of image and LiDAR for building and tree extraction Tableau 41 Pros and cons for A new method of building footprints detection using airborne laser scanning data and multispectral image Ophélie SINAGRA Projet de fin d études 58

60 X. Bibliographie [1] ALONSO M., MALPICA J. [2010] Satellite imagery classification with LiDAR data The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Vol. XXXVIII, Part 8, Kyoto Japan pages [2] BLASCHKE T. [Juin 2009] Object based image analysis for remote sensing ISPRS Journal of Photogrammetry and Remote Sensing, Vol pages [3] BOUSQUET O. [Novembre 2001] Introduction aux Support Vector Machine (SVM) Centre de Mathématiques Appliquées, Ecole Polytechnique, Palaiseau 42 pages [4] BRANDTBBERG T., WARNER T., LANDENBERG R., MCGRAW J. [Décembre 2002] Detection and analysis of individual leaf-off tree crowns in small footprint, high sampling density LiDAR data from the eastern deciduous forest in North America Remote Sensing of Environment 14 pages [5] BRUZZONE L., CARLIN L., ALPARONE L., BARONTI S., GARZELLI A., NENCINI F. [Octobre 2006] Can multiresolution fusion techniques improve classification accuracy? Image and Signal Processing for Remote Sensing XII 12 pages [6] CHEN L., TEO T., SHAO Y., LAI Y., RAU J. [2004] Fusion of LiDAR and optical imagery for building modelling International Archives of Photogrammetry Remote Sensing and Spatial Information Services 6 pages Ophélie SINAGRA Projet de fin d études 59

61 [7] COLLINS C., PARKER R., EVANS D. [Mai 2004] Using multi-spectral imagery and multi-return LiDAR to estimate tree and stands attributes in Southern bottomland hardwood forest. ASPRS Annual conference proceeding 12 pages [8] DALPONTE M., BRUZZONE L., GIANELLE D. [Mai 2008] Fusion of Hyperspectral and LIDAR Remote Sensing Data for Classification of Complex Forest Areas Geoscience and Remote Sensing, IEEE Transactions on, Vol. 46, Issue: 5 12 Pages (1416 à 1427) [9] DEMIR N., BALTSAVIAS E. [September 2010] Combination of image and LiDAR for building and tree extraction International Archives of the photogrammetry, Remote Sensing and Spatial Information Sciences, Vol. XXXVIII, Part 3B 6 pages [10] DURO D., FRANKLIN S., DUBE M. [Mars 2012] A comparison of pixel-based and object-based image analysis with selected machine learning algorithms for the classification of agricultural landscapes using SPOT-5 HRG imagery Remote Sensing of Environment, Vol pages (259 à 272) [11] GARCIA M., RIANO D., CHUVIECO E., SALS J., DANSON F. [Juin 2011] Multispectral and LiDAR data fusion for fuel type mapping using Support Vector Machine and decision rules Remote Sensing of Environment, Vol. 115, Issue 6, 11 Pages (1369 à 1379) [12] EVANS J., HUDAK A. [Avril 2007] A multispectrale curvature algorithm for classifying discrete return LiDAR in Forested environments IEEE Transactions on Geoscience and Remote Sensing, Vol. 45, No Pages Ophélie SINAGRA Projet de fin d études 60

62 [13] HE Q., LI N. [Septembre 2012] Estimation of individual tree parameters using small-footprint LiDAR with different density in a coniferous forest Advanced materials research, Vol Pages (5320 à 5323) [14] HOLBEN B. [Novembre 1986] Characteristics of maximum-value composite images from temporal AVHRR data International Journal of Remote Sensing, Vol. 7, Issue Pages (1417 à 1434) [15] HUDAK A., BRIGHT B., NEGRON J., MCGAUGHEY R., ANDERSON H-E. [Septembre 2011] Predicting live and dead tree basal area in bark beetle-affected forests from discrete-return SilviLaser 2012: First Return; 12th International Conference on LiDAR Applications for Assessing Forest Ecosystems, Ref: SL Pages (123 à 128) [16] KE Y., QUACKENBUSH L., IM J. [Juin 2010] Synergistic use of QuickBird multi-spectral imagery and LIDAR data for object-based forest species classification Remote Sensing of Environment, Vol. 114, Issue 6 14 Pages (1141 à 11549) [17] LANDES T. [Septembre 2013] Cours de télédétection G5 Institut National des Sciences Appliquées de Strasbourg 109 Pages [18] LECKIE D., GOUGEON F., HILL D., QUINN R., ARMSTRONG L., SHREENAN R. [Septembre 2003] Combined high-density LiDAR and multi-spectral imagery for individual tree crown analysis Canadian Journal of Remote Sensing, Vol. 29, No Pages (633 à 649) [19] LEWIS P. [ ] LiDAR for vegetation applications Course of London s global University 51 Slides Ophélie SINAGRA Projet de fin d études 61

63 [20] LI W., GUO Q., JAKUBOWSKI M., KELLY M. [Janvier 2012] A New Method for Segmenting Individual Trees from the LiDAR Point Cloud Photogrammetric Engineering & Remote Sensing, Vol. 78, No Pages (75 à 84) [21] LODHA S., FITZPATRICK D., HELMBOLD D. [Janvier 2007] Aerial LiDAR Data Classification using Expectation-Maximization SPIE Proceedings, Vol Pages (11 à 19) [22] LUO Y., JIANG T., GAO S., WANG X. [Octobre 2010] A new method of building footprint detection using airborne laser scanning data and multispectral image SPIE Proceedings, Vol Pages [23] NORDKVIST K., GRANHOLM A., HOLMGREN J., OLSSON H., NILSSON M. [Décembre 2012] Combining optical satellite data and airborne laser scanner data for vegetation classification Remote Sensing Letters Vol. 3, Issue 5 10 Pages [24] OKAGAWA M. [Juillet 2001] Algorithm of Multiple Filters to Extract DSM from LiDAR Data ESRI International User Conference, July 2001, San Diego 9 Pages [25] PENG Q. [Novembre 2011] Multi-spectral and hyperspectral image processing based on the waveform characteristics of spectral remote sensing classification method of large area Proceedings of SPIE, Vol. 8002, MIPPR 2011: Multi-spectral Image Acquisition, Processing, and Analysis 6 Pages Ophélie SINAGRA Projet de fin d études 62

64 [26] RAHMAN M., GORTE B., BUCKSCH A. [Octobre 2009] Automatic extraction of buildings from LiDAR data and aerial images SilviLaser 2009 proceedings, October 2009, Austin, Texas, USA 10 Pages [27] ROTTENSTEINER F., JANSA J. [Juillet 2002] A new method for individual tree measurement from airborne LiDAR ISPRS Commission IV, Symposium 2002 July 9-12, 2002, Ottawa 6 Pages [28] ROTTENSTEINER F., TRINDER J., CLODE S., KUBIK K., LOVELL B. [Aout 2004] Building detection by Dempster-Shafer fusion of LiDAR data and multi-spectral aerial imagery Proceedings of the 17th International Conference on Pattern Recognition, ICPR Pages [29] SANKEY T., GLENN N. [Décembre 2011] Landsat-5 TM and LiDAR Fusion for Sub-pixel Juniper Tree Cover Estimates in a Western Rangeland Photogrammetric Engineering & Remote Sensing, Vol. 77, No Pages (1241 à 1248) [30] SOHN G., DOWMAN I. [2007] Data Fusion of High-Resolution Satellite Imagery and LiDAR Data for Automatic Building Extraction ISPRS Journal of Photogrammetry and Remote Sensing, Vol Pages (43 à 63) [31] TINKHAM W. & al. [2011] A comparison of two open source LiDAR surface classification algorithms Remote Sensing, vol. 3, issue 3 12 Pages (638 à 649) Ophélie SINAGRA Projet de fin d études 63

65 [32] WANG J., SHAN J. [Mars 2009] Segmentation of LiDAR point cloud for building extraction American Society of Photogrammetry and Remote Sensing Annual Conference 13 Pages [33] WANG M., TSENG Y-H. [2009] LiDAR data segmentation and classification based on Octree structure Geo-imagery bridging continents, 20 th ISPRS congress 6 Pages [34] WANG Z. [2012] Automated Building Extraction and Reconstruction from LIDAR Data International Archives of Photogrammetry and Remote Sensing. Vol. XXXIII, Part B3 7 Pages [35] WEIR D., LIM S. [2012] Assessment of processing different types of vegetative data using LiDAR Thesis report, Bachelor of engineering (surveying and spatial information systems) 65 Pages Ophélie SINAGRA Projet de fin d études 64

66 XI. Sommaire des annexes 1) 2) 3) 4) Annexe I: Rappel des techniques utilisées a. LiDAR b. Images multispectrales Annexe II : Valeurs du fichier statistiques XML a. Valeurs fournies par OTB b. Valeurs fournies par ArcGIS Annexe III: Choix des paramètres a. Choix du noyau b. Choix du paramètre C c. Choix du ratio Annexe IV : tests pour une meilleure classification a. Calcul de κ de Cohen du fichier SVM sans la classe «eau» b. Calcul de la précision obtenue sans la couche RasterHauteur c. Calcul de la précision obtenue sans l une des couches des indices de végétation d. Calcul de la précision obtenue avec uniquement 2 couches ) Annexe V : Analyse bibliographique détaillée (anglais) LiDAR review: Techniques of segmentation, classification and extraction e. A new method for segmenting individual trees from the LiDAR point cloud, W. Li, Q. Guo, M. Jakubowski, and M. Kelly f. A new method for individual tree measurement from airborne LiDAR, M. Rahman, B. Gorte and A. Bucksch g. Estimation of individual tree parameters using small-footprint LiDAR with different density in a coniferous forest, Q. He and N. Li h. Segmentation of LiDAR point clouds for building extraction, J. Wang and J. Shan i. LiDAR data segmentation and classification based on Octree structure, M. Wang and, Y-H. Tseng 87 j. Automated Building Extraction and Reconstruction from LiDAR Data, Z. Wang k. Aerial LiDAR Data Classification using Expectation-Maximization, S. Lodha, D. Fitzpatrick and D. Helmbold l. Assessment of processing different types of vegetative data using LiDAR, D. Weir & al m. Algorithm of Multiple Filters to Extract DSM from LiDAR Data, M. Okagawa Multi-spectral imagery review: techniques of segmentation, classification and extraction a. Can multiresolution fusion techniques improve classification accuracy?, L. Bruzzone, L. Carlin, L. Alparone, S. Baronti, A. Garzelli, and F. Nencini b. Object based image analysis for remote sensing, T. Blaschke c. Multi-spectral and hyperspectral image processing based on the waveform characteristics of spectral remote sensing classification method of large area, Q. Peng, L. Yang and J. Shen d. A comparison of pixel-based and object-based image analysis with selected machine learning algorithms for the classification of agricultural landscapes using SPOT-5 HRG imagery, D. Duro, S. Franklin and M. Dubé Ophélie SINAGRA Projet de fin d études 65

67 Data fusion of LiDAR point cloud and multi-spectral imagery review: Techniques of segmentation, classification and extraction a. Automatic extraction of buildings from LiDAR data and aerial images, F. Rottensteiner and J. Jansa 99 b. Building detection by Dempster-Shafer fusion of LiDAR data and multi-spectral aerial imagery, F. Rottensteiner, J. Trinder, S. Clode, K. Kubik, B. Lovell c. Combining optical satellite data and airborne laser scanner data for vegetation classification, K. Nordkvist, A. Granholm, J. Holmgren, H. Olsson, M. Nilsson d. Fusion of LiDAR and optical imagery for building modelling, L. Chen, T. Teo, Y. Shao, Y. Lai, J. Rau 103 e. Synergistic use of QuickBird multi-spectral imagery and LIDAR data for object-based forest species classification, Y. Ke, L. Quackenbush and J. Im f. Fusion of Hyperspectral and LIDAR Remote Sensing Data for Classification of Complex Forest Areas, M. Dalponte, L. Bruzzone and D Gianelle g. Data fusion of high-resolution satellite imagery and LiDAR data for automatic building extraction, G. Sohn and I. Dowman h. Satellite imagery classification with LiDAR data, M. Alonso, J. Malpica i. Multispectral and LiDAR data fusion for fuel type mapping using Support Vector Machine and decision rules, M. Garcia, D. Riano, E. Chuvieco, J. Sals, F.Danson j. Combination of image and LiDAR for building and tree extraction, N. Demir, E. Baltsavias. 110 k. A new method of building footprints detection using airborne laser scanning data and multispectral image, Y. Luo, T. Jiang, S. Gao, X. Wang Ophélie SINAGRA Projet de fin d études 66

68 XII. Annexes 1) Annexe I: Rappel des techniques utilisées a. LiDAR Le principe Light Detection And Ranging est un capteur ou système laser aéroporté qui enregistre l énergie renvoyée par l objet après l avoir éclairé artificiellement (système actif). Le temps de trajet émetteur- objet récepteur mis par l onde cohérente va nous informer sur la distance séparant l objet de l émetteur. D autre part, l intensité de l onde réfléchie donnera des indications sur la nature des objets images (Landes, 2012). Eléments constitutive du LiDAR Le LiDAR aéroporté est composé des éléments suivant (Landes, 2012): - Un émetteur et un récepteur, - Un système de déflection permettant le balayage au sol, - Un système de positionnement (DGPS 3 et IMU 4 ), - Un logiciel de coordination et de contrôle des opérations, - Un système imageur (caméra numérique, caméra vidéo ou capteur à barrette de détecteurs), - Un système d enregistrement. Figure 43 - Eléments constitutifs du LiDAR (Shan & Toth, 2008) Les différents types de LiDAR Il existe plusieurs types de LiDAR (Landes, 2012): - Faisceau vertical scannant la surface de la Terre sous forme de profils unidirectionnels, - Balayage opto-mécanique à l aide d un miroir oscillant, d un miroir en rotation ou de fibres optiques. 3 DGPS : Differential Global Positioning System 4 IMU : Inertial Measurement Unit Plate forme inertielle Ophélie SINAGRA Projet de fin d études 67

69 Figure 44 Trace au sol en fonction des différents types de balayage (Brenner, 2006) Système de positionnement Un lever laser consiste à observer la distance entre le transmetteur et l objet. La position 3D de cet objet peut être calculé si, à chaque instant t, nous connaissons la position et l orientation du système : un DGPS et une centrale inertielle sont utilisés pour cela. GPS: Référence au sol GPS: A bord INS: Angle d altitude X, Y, Z Avion Laser: Distance Orientation du rayon Figure 45 Système de positionnement X, Y, Z Objet Pour chaque bande de vol, la position 3D de chaque point est calculée à l aide de cette formule: X! X! lx! Y = Y + (R!"#. R!"# ) ly (23) Z! Z lz!"# X! Avec Y : Coordonnées objet Z! X! Y : Coordonnées du laser dans le repère local Z R!"# : Matrice rotation entre le repère local et le repère de la centrale inertielle!"# : Matrice rotation entre le repère de la centrale inertielle et le repère du laser R!"#! lx ly lz!"# : Coordonnées du rayon laser dans le repère du laser Ophélie SINAGRA Projet de fin d études 68

70 La précision de la position donnée par le GPS est de σ! = ± 5 to 30 cm; σ!" = ± 2 to 20 cm. La précision angulaire donnée par la centrale inertielle est de σ! = ± La précision sur la distance donnée par le laser est de σ! = ± 15 cm. La précision globale est de σ! 15 cm; σ!" 20 cm. Un recouvrement entre chaque bande de vol est généralement supérieur à 30%, cela permet d avoir toutes les zones correctement levées. Opération de traitements Une fois que les données sont calculées (calcul des coordonnées de chaque point), il est possible de les visualiser : nous obtenons donc un nuage de points. A partir de ce nuage il est possible de réaliser des profils et d obtenir diverses informations comme l altitude du sol ou de la canopée, etc. Il est ensuite possible, grâce à des méthodes de filtrage (interpolation bilinéaire, Krigeage, etc.), de créer une image raster à l aide de ce nuage : les coordonnées de chaque point sont connues et l altitude devient le compte numérique du pixel. Retours multiples Le laser arrive à la surface de la Terre sous forme de tache lumineuse. Ce rayon peut atteindre plusieurs objets sur son passage, dans ce cas, l onde présentera plusieurs retours. Tronc Cime de l arbre Figure 46 Retours multiples b. Images multispectrales Le principe Les images multispectrales sont les images enregistrées par un capteur nonphotographique à bord d un satellite (Le grand dictionnaire). L acquisition Depuis l objet à l utilisateur il y deux segments : le segment spatial et le segment sol. Le segment spatial concerne l acquisition par les satellites, soit à l aide de capteur passif soit de capteur actif. Et le segment sol concerne les moyens de transmission, de réception et de distribution à l aide de station au sol. Les satellites permettant l acquisition sont composés d une plate-forme (contrôle de l altitude, système de navigation, panneaux solaires pour l énergie), d instruments de Ophélie SINAGRA Projet de fin d études 69

71 mesures (capteurs actifs ou passifs, caméra RBV) et d éléments de télécommunication (station de réception et de transmission des données). Ces satellites sont positionnés sur différentes orbites: une orbite géostationnaire pour une observation d une zone fixe de la Terre ou une orbite à défilement pour lever la quasi-totalité de la Terre en plusieurs passages. Le rayonnement électromagnétique est converti en informations perceptibles qu un utilisateur peut interpréter. Il existe deux types de capteurs : les capteurs passifs et les capteurs actifs. Le capteur passif est un radiomètre qui va capter et enregistrer la lumière émise ou réfléchie par un objet. Il est composé d un système optique (miroir ou lentille), d un filtre spectral (définissant la bande spectrale dans laquelle l information est enregistrée), de détecteurs (photodiode convertissant l énergie radiative en signal électrique) et un amplificateur couplé à un convertisseur (l intensité du courant est convertie en nombres entiers). Ces capteurs sont utilisés pour capturer des images multispectrales Système optique Filtre spectral Détecteurs Figure 47 Système passif (Landes, 2012) Amplificateur + convertisseur 255 Codage binaire Ces capteurs peuvent être ponctuels ou imageurs. Les capteurs ponctuels vont produire des valeurs numériques mais pas d images alors que les capteurs imageurs vont produire un ensemble de points en balayant la surface grâce à un système opto-mécanique. Ce système opto-mécanique est soit perpendiculaire ou parallèle (appelé «pushbroom») à la trajectoire La résolution caractérise les performances radiométrique, spectrale, spatiale et temporelle des capteurs. La résolution spatiale est la capacité pour un capteur de distinguer deux objets. Cela dépend du champ de visée instantané (CVI), qui est le plus petit angle auquel le capteur est sensible, et qui est donc la plus petite unité formant l image. Elle est souvent caractérisée par la taille du pixel au sol. La résolution radiométrique est la capacité pour un capteur de détecter des signaux électromagnétiques d énergies différentes. La résolution spectrale est la capacité pour un capteur de distinguer des bandes de longueurs d ondes. Un capteur doit recevoir un minimum d énergie pour être activé et enregistrer une information pour un pixel de l image. Ophélie SINAGRA Projet de fin d études 70

72 La résolution temporelle est la fréquence de passage à laquelle le satellite passe audessus d un même lieu. Lors de l acquisition, les données sont transmises sous forme de signaux numériques, et sont envoyées puis stockées (Landes, 2012). Distorsions et corrections Il y a deux types de distorsions: les distorsions radiométriques et les géométriques. Elles peuvent être corrigées numériquement, c est le prétraitement. Les effets radiométriques sont causés par l orientation (angle d incidence, ombre, topographie du terrain), l atmosphère et/ou le système d acquisition. Ces effets affectent la luminance ou la réflectance, ce qui pose problème lors de la comparaison d images d un même lieu mais prises à des périodes différentes. Pour résoudre ce problème, des corrections peuvent être apportées, cela s appelle la normalisation radiométrique (atténuation des fluctuations radiométriques). Les effets géométriques sont eux causés par le système d acquisition (mouvements de la plate-forme, erreur panoramique, etc.), la zone observée (courbure et rotation de la Terre) et la projection cartographique (approximation du géoïde, etc.). Cette erreur peut être réduite en choisissant un modèle de correction (suivant une méthode mathématique, une transformation polynomiale D ou une orthorectification) et en ré échantillonnant l image (calcul de nouvelles valeurs pour chaque pixel selon une nouvelle grille grâce aux valeurs de l ancienne grille et à la méthode du plus proche voisin, une interpolation bilinéaire ou bi cubique). Opérations de traitement Le traitement des images est utilisé pour pouvoir extraire des informations issues de ces dernières. Le but étant de faciliter l interprétation des données, d aider l extraction automatique des objets, de supprimer ou réduire les détériorations de l image. L amélioration du contraste des images est effectuée par le rehaussement de cette dernière : l histogramme des fréquences est étalé grâce à la technique d étalement linéaire ou d étalement linéaire discontinu (cela permet aussi de mettre en évidence une population). La combinaison linéaire entre les différentes bandes spectrales peut calculer des indices comme celui de la végétation (NDVI) pour, par exemple, évaluer la biomasse. Un filtrage supprimera les informations inutiles ou les mettra en évidence à l aide d une transformation des valeurs radiométriques : les filtres passe-haut ou passe-bas. Ces filtres peuvent être appliqués localement (opérateurs de convolution) ou globalement (transformation de Fourier). La classification peut enfin être faite. Il en existe deux types : supervisée ou non supervisée. La classification supervisée est utilisée lorsque la nature de l objet est connue à priori par l utilisateur. Il sélectionnera des zones échantillons et évaluera leur qualité avant de lancer Ophélie SINAGRA Projet de fin d études 71

73 l algorithme (maximum de vraisemblance, distance de Mahalanobis, etc.) qui classera chaque pixel dans la bonne classe. La classification non supervisée est utilisée quand l utilisateur ne connait pas la nature des objets. Il ne choisira alors que le nombre de classe et/ou le seuil de la variance intra-classe et l algorithme utilisé (K-means, ISODATA, etc.). Une fois la classification faite, cet utilisateur nommera chaque classe. Ophélie SINAGRA Projet de fin d études 72

74 2) Annexe II : Valeurs du fichier statistiques XML a. Valeurs fournies par OTB <?xml version="1.0"?> - <FeatureStatistics> - <Statistic name="mean"> <StatisticVector value=" e+038" /> <StatisticVector value=" e+038" /> <StatisticVector value=" e+038" /> <StatisticVector value=" e+038" /> <StatisticVector value=" e+038" /> </Statistic> - <Statistic name="stddev"> <StatisticVector value=" e+037" /> <StatisticVector value=" e+037" /> <StatisticVector value=" e+037" /> <StatisticVector value=" e+037" /> <StatisticVector value=" e+037" /> </Statistic> </FeatureStatistics> b. Valeurs fournies par ArcGIS <?xml version="1.0"?> - <FeatureStatistics> - <Statistic name="mean"> <StatisticVector value=" " /> <StatisticVector value=" " /> <StatisticVector value=" " /> <StatisticVector value=" " /> <StatisticVector value=" " /> </Statistic> - <Statistic name="stddev"> <StatisticVector value=" " /> <StatisticVector value=" " /> <StatisticVector value=" " /> <StatisticVector value=" " /> <StatisticVector value=" " /> </Statistic> </FeatureStatistics> Ophélie SINAGRA Projet de fin d études 73

75 3) Annexe III: Choix des paramètres Les valeurs ci-dessous ont été calculées avec les cinq classes initialement déterminées : végétation, bâtiments hauts, bâtiments bas, eau, voirie. Les données à traiter étant les mêmes, les paramètres ne sont pas modifiés. a. Choix du noyau Linéaire Pr (a) Pr (e) Kappa Gaussien Pr (a) Pr (e) Kappa Polynomial Sigmoïde Pr (a) Pr (e) Kappa Pr (a) Pr (e) Kappa b. Choix du paramètre C C = Pr (a) Pr (e) Kappa Ophélie SINAGRA Projet de fin d études 74

76 C = Pr (a) Pr (e) Kappa C = Pr (a) Pr (e) Kappa 0 C = Pr (a) Pr (e) Kappa C = Pr (a) Pr (e) Kappa C = Pr (a) Pr (e) Kappa C = Pr (a) Pr (e) Kappa Ophélie SINAGRA Projet de fin d études 75

77 c. Choix du ratio R = Pr (a) Pr (e) Kappa R = Pr (a) Pr (e) Kappa R = Pr (a) Pr (e) Kappa Ophélie SINAGRA Projet de fin d études 76

78 4) Annexe IV : tests pour une meilleure classification a. Calcul de κ de Cohen du fichier SVM sans la classe «eau» Trois classes (végétation, bâtiments, voirie) Pr (a) Pr (e) Kappa b. Calcul de la précision obtenue sans la couche RasterHauteur Fichier d apprentissage Pr (a) Pr (e) Kappa Classification Ref_1 Ref_2 Ref_3 Total SVM_ SVM_ SVM_ Total Erreur de Commission 11.07% Précision pour l'utilisateur 88.93% Erreur d'omission 25.89% Précision pour le réalisateur 74.11% Erreur d'affectation 36.95% Précision totale 63.05% c. Calcul de la précision obtenue sans l une des couches des indices de végétation NDVI + H + SAVI Fichier d apprentissage Classification Ref_1 Ref_2 Ref_3 Total SVM_ SVM_ SVM_ Total Pr (a) Pr (e) Kappa Ophélie SINAGRA Projet de fin d études 77

79 Erreur de Commission 6.95% Précision pour l'utilisateur 93.05% Erreur d'omission 8.74% Précision pour le réalisateur 91.26% Erreur d'affectation 15.69% Précision totale 84.31% SAVI + H + GEMI Fichier d apprentissage Pr (a) Pr (e) Kappa Classification Ref_1 Ref_2 Ref_3 Total SVM_ SVM_ SVM_ Total Erreur de Commission 6.84% Précision pour l'utilisateur 93.16% Erreur d'omission 9.49% Précision pour le réalisateur 90.51% Erreur d'affectation 16.33% Précision totale 83.67% NDVI + H + GEMI Fichier d apprentissage Pr (a) Pr (e) Kappa Classification Ref_1 Ref_2 Ref_3 Total SVM_ SVM_ SVM_ Total Erreur de Commission 6.84% Précision pour l'utilisateur 93.16% Erreur d'omission 9.49% Précision pour le réalisateur 90.51% Erreur d'affectation 16.33% Précision totale 83.67% Ophélie SINAGRA Projet de fin d études 78

80 d. Calcul de la précision obtenue avec uniquement 2 couches NDVI + H Fichier d apprentissage Classification Ref_1 Ref_2 Ref_3 Total SVM_ SVM_ SVM_ Total Pr (a) Pr (e) Kappa Erreur de Commission 7.12% Précision pour l'utilisateur 92.88% Erreur d'omission 8.73% Précision pour le réalisateur 91.27% Erreur d'affectation 15.85% Précision totale 84.15% SAVI + H Fichier d apprentissage Pr (a) Pr (e) Kappa Classification Ref_1 Ref_2 Ref_3 Total SVM_ SVM_ SVM_ Total Erreur de Commission 7.12% Précision pour l'utilisateur 92.88% Erreur d'omission 8.73% Précision pour le réalisateur 91.27% Erreur d'affectation 15.85% Précision totale 84.15% Ophélie SINAGRA Projet de fin d études 79

81 5) Annexe V : Analyse bibliographique détaillée (anglais) LiDAR review: Techniques of segmentation, classification and extraction The following articles only concern airborne LiDAR data since we are going to find an algorithm using that type of data. e. A new method for segmenting individual trees from the LiDAR point cloud, W. Li, Q. Guo, M. Jakubowski, and M. Kelly Goal Create a new algorithm to segment trees in a mixed conifer forest. Elements of each trees can be then determined (tree height crown diameter, canopy based height, basal area, DBH 5, wood volume, biomass, species type). Segmentation steps First, the process involves TerraSolid s TerraScan (software to process airborne and mobile LiDAR data and images) to delimitate ground from above-ground points. Kriging is used to interpolate the ground points and generate a DEM 6. The above-ground points are used for tree segmentation after normalization, the elevation values become the height of the point from the ground. The algorithm consists in classifying points from the highest to the lowest. The segmentation starts for the highest one, a threshold is chosen to consider only the points that could belong to the target tree (radius of the tree is the maximum spacing between the top and the lowest point of the crown). Below, on figure 6, we can see that the distance between A and B (d AB ) is too large, so B would be consider as the top of the tree #2.. Figure 48 - Spacing for separate trees (Li & al., 2012) 5 DBH : Diameter at Breast Height 6 DEM : Digital Elevation Model Ophélie SINAGRA Projet de fin d études 80

82 The next step is to determine to which tree the points below the top belong to. The classification is made sequentially; first, point B is classified as tree #2 because of the d AB, which is too large for it to belong to tree #1. Then point C belongs to tree #1 because the spacing d AC is smaller than the threshold and d AC is also smaller than d BC. This process is made for each point considered as tops. Figure 49 - Segmentation process (Li & al., 2012) To improve the accuracy, they add another criterion to know if, for example, point B belongs to an elongated branch of tree #1 or is the top of tree #2. To do so, points in the area are projected in a 2D Euclidean space and the shape index of convex hull is calculated (SI =!!!, (24) with P the perimeter and A the area of convex hull). A high value of SI means that it is an elongated shape, so a branch. If a branch is detected there are two possibilities: it belongs to the target tree or to a nearby tree. The choice will be made according to the distribution of the point after projection into a 2D Euclidean space (near which tree do the points of the branch are). Figure 50 - Shape of the elongated convex hull (Li & al., 2012) To summarize, the trees are segmented based on spacing threshold, a minimum spacing rule and a horizontal profile. The size of the threshold is very important, not to undersegmented or over-segmented. Moreover, it is an oriented object-classification algorithm which can be modified depending on the characteristics of the trees to be segmented. This algorithm is implemented in order to segment all the trees from the point cloud, see figure 9 with I the iteration number. Ophélie SINAGRA Projet de fin d études 81

83 Figure 51 - Flowchart of the algorithm (Li & al., 2012) Accuracy assessment After the segmentation, a comparison between the segmented trees and reference trees in twenty plots is made. Three different levels of accuracy is made: True Positive (TP) which means that the tree is correctly segmented, False Negative (FN) which means that the tree is not segmented but assigned to a nearby tree, False Positive (FP) which means the tree hasn t been segmented. Those levels of accuracy will enable us to calculate Recall (R detection rate), Precision (P correctness of the detection) and F-score (F overall accuracy). R = P =!"!"!!"!"!"!!" F = 2!!!!! (27) Results The rate detection (R) varies between 0.71 and 1, with an overall value of The correctness of detection (P) varies between 0.8 and 1, with an overall value of In dense tree areas the trees are under-segmented and the R value is the lowest. However, the P values in those areas are 1, which means that there are no trees falsely segmented. In sparse areas the R values are the highest and P values are lower than in dense areas. The F-score, that combines R and P, varies from 0.83 and 0.95 with an overall value of We observe a correlation coefficient of r = 0.91 which is relatively strong. Yet, this method under-estimate the number of trees segmented: 347 segmented on 380 in total, 53 trees are missing and 20 are falsely detected. (25) (26) Ophélie SINAGRA Projet de fin d études 82

84 Discussion Overall, 86% of the trees were detected by the algorithm, and 94% of the segmented trees were correct. This method uses the shape of the trees. Tree tops detection is then the most important step in the segmentation. The size of the search window (threshold corresponding to the tree radius) is difficult to estimate. In sparse forest it can be large; however in dense forest it is still hard to define it. Trees are segmented, classified and removed from the point cloud. The segmentation is individual and sequential, from the highest tree to the lowest. Deciduous forest segmentation should include more rules concerning shape and size of the crown. This would increase the computing time. Table 18 - Pros and cons for A new method for segmenting individual trees from the LiDAR point cloud Benefits Drawbacks Good detection in a confer forest Under-segmentation for dense forests Shape taken into account Over-segmentation for spare forests Strong correlation coefficient Only for tree detection (conifer) f. A new method for individual tree measurement from airborne LiDAR, M. Rahman, B. Gorte and A. Bucksch Goal Delineation of individual tree crown based of DHP 7. The DHP method relies on the fact that the density of points above a certain height is high at the centre of a tree crown and decreases towards the edge of the crown (see figure 10). But a relationship between crown dimension, tree height and DBH needs to be established. The problem is this relationship might be dependent on tree species and site. In consequence, regression model with low regression coefficient value will introduce error in tree variable estimations. Figure 52 - Views of tree (Rahman & al., 2009) Previously, the delineation was based on local maximum of the CHM 8. The results obtained using the CHM methods were unsatisfactory since, among other things, only a small amount of trees could be found (40% with Pitkanen and al method (2004)). Delineation procedure Firstly, the DTM 9 was extracted and the point clouds were normalized. 7 DHP : Density of High Points 8 CHM : Canopy Height Model Ophélie SINAGRA Projet de fin d études 83

85 Then, the Inverse Watershed segmentation algorithm is used on the DHP to delineate tree crowns. This algorithm gives tree crown segment and tree location (where DHP is the higher for each segment), but it needs some parameters such as point buffer, cell size of raster data, minimum and maximum crown radius. A filter can be applied to calculate element of each tree (height of the trunk, DBH, etc.). Results The individual tree crown delineation identified 72 trees out of 114 (63 % accuracy), with 4 % of commission error, and 36 % omission error. The omission error is due to the size of trees, in the study area there were many small trees (DBH < 0.2 m) that could not be detected. Table 19 - Pros and cons for "A new method for individual tree measurement from airborne LiDAR" Benefits Alternative to CHM methods Drawbacks Only 63% of trees detected Only for tree detection g. Estimation of individual tree parameters using small-footprint LiDAR with different density in a coniferous forest, Q. He and N. Li Goal Extraction of tree height and crown diameter from different LiDAR point density in a coniferous forest. In general, a high density is used to detect each tree of forests while low density is used for forests stand variable. Methods Ten different strips of a same plot have been surveyed, each with a different density (from points/m 2 to points/m 2 ). By summing up the different strips the density varies from points/m 2 to points/m 2. A double-tangent crown recognition algorithm was used to extract tree height and crown diameter. The process starts with the generation of the DEM with Terrasolid, then generation of the DSM 10 (interpolation to a raster image, where the maximum value echo value, if multiple echoes, is chosen). To finish the CHM is generated and an algorithm with a search window of 3 x 3 smooth it. It enables the algorithm to get tree location, tree height and crown diameter and extract those parameters. Results The number of extraction point and the extraction accuracy for tree height and crown size arrived to a high level for a density of about 2.5 points/m 2. After this density the increase is less significant. 9 DTM : Digital Terrain Model 10 DSM: Digital Surface Model Ophélie SINAGRA Projet de fin d études 84

86 However, only 458 trees out of 1465 were detected (31%). But the accuracy for this detection and extraction is high for the height but lower for the crown size (R 2 = for the height and R 2 = for the diameter of the crown). The reason why the crown size accuracy is lower could be the overlapping of the crown. Table 20 - Pros and cons for Estimation of individual tree parameters using small-footprint LiDAR with different density in a coniferous forest" Benefits Good accuracy for the height detection Threshold for the density of point useful Drawbacks Only 31% of trees detected Only for coniferous forest h. Segmentation of LiDAR point clouds for building extraction, J. Wang and J. Shan Goal Segment LiDAR point clouds data model with no loss of information thanks to an algorithm based on advanced similarity measures and supported by fast nearest neighbourhood search. Then extract the buildings. Algorithm The process to extract the buildings is divided into three parts: finding the points at jump edges, then connecting those points to form jump edges, and to finish separation of trees and buildings. Step 1: Points at jump edges define the shape of the top of a building. The convex hull can capture a rough idea of the shape and classify points into two groups: boundary points and inside points by following an algorithm (two theorems: a point fails to be an boundary point of a plane convex set only if it lies in some triangle whose vertices are in that set but is not itself a vertex of the triangle, a point is not a boundary of the convex hull if it is inside this convex hull of n point called subset)). A last parameter is added, to consider points located at less than a certain distance to the nearest boundary point as boundary point too (algorithm 1, see figure 52). Algorithm 1: Enhanced boundary labelling algorithm Input (points, n, ε) Output: {boundary points} 1. For all the points: 2. Pick up n nearest neighbors of point p 3. Construct convex hull of (p, {pi}) 4. Calculate the minimum distance from point p to the convex hull boundary 5. If dist > ε, label point p as non-boundary point 6. Label all the non-labelled points as boundary point Figure 53 - Algorithm 1 (Wang & al., 2009) Step 2: Points labelled as boundary points needs to be connected to represent the jump edges. First a k-nearest-neighbour network is made (weighted graph G(V, E), where V are the points, E are the edges, and the weight is the distance between two connected points). For each edge, if the weight is higher than a certain value then it is discarded (algorithm 2, see figure 53) to get rid of isolated points. Ophélie SINAGRA Projet de fin d études 85

87 S Algorithm 2: Points connecting algorithms Input (boundary points, k, ε) Output: {jump edges} 1. For all the points: 2. Pick up k nearest neighbors of point p 3. Construct graph edges from point p to its nearest neighbors, distance as the weight 4. Discard edges whose weight is larger than ε 5. Partition knn-graph into disconnected sub-graphs if necessary 6. Calculate MST 11 for each sub graph 7. Return MSTs as jump edges Figure 54 - Algorithm 2 (Wang & al., 2009) Step 3: The separation between trees and buildings can be hard when they are close to each other. If they are not, the separation can be made by a quick analysis based on size, shape, linearity, etc. of the jump edges created in step 2. A dimensionality learning method is used to separate them, the intrinsic dimension (define by the correlation dimension, see figure 54) can capture the complexity of a point cloud. For a finite set S n = {p 1 p n } in a metric set!!! C! (r) = 1! (!!!)!!!!!!!! : if distance (p i, p j ) < r (28) Where, r is the search radius. If the limit exists, C(r) = lim!! C! (r), the correlation dimension of S is defined as:!"#!(!) D!"## = lim!! (29)!"#! Figure 55 - Correlation dimension (Wang & al., 2009) The correlation dimension is approximately equal to 1 for a straight line, to 2 for a surface and to 3 for a volume. The building can be considered as a surface while a tree as a volume (since laser beam penetrate the top surface). Figure 56 - Correlation dimension of point clouds (Wang & al., 2009) 11 MST: Minimum Spanning Trees Ophélie SINAGRA Projet de fin d études 86

88 Results The algorithm is tested on two set of LiDAR data. The results show that the jump edges have been correctly detected around the different building parts. Table 21 - Pros and cons for Segmentation of LiDAR point clouds for building extraction Benefits Drawbacks Good detection of jump edges No accuracy calculated Detects buildings and trees Only for building and trees i. LiDAR data segmentation and classification based on Octree structure, M. Wang and, Y-H. Tseng Goal Split and merge the LiDAR data based on the octree structure (tree data structure in which each external node has exactly eight children). It will organise the point cloud into clusters of 3D planes by splitting it until the pints contained in each sub-nod are coplanar. Then segment and classify those data. Algorithm First the data are split: the data set is divided into eight equal sub-spaces or sub-nodes. Each sub-node will be split until the points in the sub-node created best fit a 3D plane. To calculate if the points represent a 3D plane a least-squares estimation is used (minimization of the square sum of the distances from point to the fitting plane, see figure 56). Ophélie SINAGRA Projet de fin d études 87

89 Equation of the 3D plane: 𝐴𝑥 + 𝐵𝑦 + 𝐶𝑧 + 𝐷 = 0 The distance from a point to the plane: 𝑑! =!!!!!!!!!!!!!!!!!!!!!! (30) (31) The best-fit is for:!! (32)!!! 𝑑! 𝑀𝑖𝑛 The initial approximation parameters (A, B, C, D) are calculated in two stages: - The plane can be characterized by three different types of equations: 𝑥 = 𝑎𝑦 + 𝑏𝑧 + 𝑐 (33) 𝑦 = 𝑎𝑥 + 𝑏𝑧 + 𝑐 (34) 𝑧 = 𝑎𝑥 + 𝑏𝑦 + 𝑐 (35) To avoid infinite numbers for a and b parameter it is decided to use the distribution ranges of the point cloud as shown below. - One the plane type chosen, the three parameters are calculated with a leastsquare linear regression: 𝑉 = 𝐴. 𝑋 𝑙 (36) 𝑣! 𝑥! 𝑦! 𝑧! 1 𝑎!! 𝑏!!!!! =! (37) 𝑥! 𝑣! 𝑦! 𝑧! 1 𝑐 𝑋! = (𝐴! 𝐴)!! 𝐴! 𝐿 (38) Once the parameters are calculated, the residual can be as well. Split will proceed until there is no residual lager than a threshold. Figure 57 - Calculating best-fit planar of point cloud (Wang & al., 2004) In order to find the good size of each sub-node, area is checked for more splitting, until the area of distributing points on each fitting plane is larger than a threshold. Then, similar neighbouring place are reunited thanks to the octree structure. The normal vectors of the planes need to be similar; the parameters of the merge plane are calculated as well as the residuals to check this merge. After the merging process, each plane is recorded as four plane parameters and its border points. The classification of those planes can be made using their characteristics (area, height, intensity, shape, gradient, etc.). Results The algorithm can be used for airborne and ground LiDAR data. Concerning the airborne data, for an area of 500 x 500 m2, it took 25.6 seconds to split and seconds to merge it. In total, nine octree layers were created with a total of leave nodes, which makes Ophélie SINAGRA Projet de fin d études 88

90 planes made with 96.7% of the data ( leave nodes having less than three points). Table 22- Pros and cons for LiDAR data segmentation and classification based on Octree structure Benefits Use of most of the points Classification based on many criteria (need investigation) Drawbacks First study, need improvement Classification undeveloped j. Automated Building Extraction and Reconstruction from LiDAR Data, Z. Wang Goal Extract building outline and reconstruct them from airborne LiDAR data. Algorithm First the DSM is created in order to detect all the points above the ground: points are interpolated into a regular grid with the nearest neighbor method to preserve the shape difference between building and their surrounding ground. It contains the ground and the points of objects above it (buildings, trees, etc.). To isolate the ground, terrain surface information is derived from the DSM using a morphology algorithm. Then building outlines are extracted thanks to their geometric characteristics (size, height, shape). A height and size threshold is used to eliminate cars and other objects that have a lower height or a smaller size than buildings (cars, small trees, etc.). The shape that characterise buildings (polyhedrons usually) is different from the one of trees (irregular). This characteristic will be used to differentiate buildings from vegetation in mixed areas: a convolution calculation (Gaussian kernel) is used to determine the gradient magnitude between a point and its neighbours (how rapidly pixel values are changing with the distance). A magnitude threshold is then used to extract trees and building boundaries. Buildings outlines are simplified: the raster outlines are transformed into vector in order to be integrated into a GIS as a layer. An orthogonal simplification algorithm reduces the outlines details while keeping the essential shape and size of buildings (number of vertices is reduced but the building areas is the same as before, see figure 57). Figure 58 - Results of building simplifying (Wang & al., 2000) Ophélie SINAGRA Projet de fin d études 89

91 The last step is to reconstruct those buildings from the outlines and the DSM. The goal is to know what type of roof we are dealing with thanks to the DSM: flat, hipped or gabled. A slope analysis will detect flat buildings (flatness threshold), and the height will be the average height of the pixels within the building boundary. Hipped and gabled are differentiate with their ridgeline (gabled roofs have only one ridgeline parallel to the long side of the building and hipped roofs have forked line segments with different directions). Watershed boundaries are defined thanks to the direction of the flow and ridges and eave can be detected (their respective height are the average height of the ridgelines and the average of the corners of the building height). Results After testing the algorithm on two sets of data, some particular buildings need more care: rounded ones and the ones with holes in the centre. For those types of buildings, boundaries need to be integrated separately before the reconstruction. For a residential scene, the algorithm detects 93.7% of the buildings, with a correctness of 97.4% and a classification accuracy of 90.9%. The horizontal RMS 12 is 1.01 and the overlay between extracted building and reference is 22.9%. For the downtown scene, 100% of the buildings were detected, with a correctness of 86.7% and a classification accuracy of 91.7%. The RMS is 1.09 and the overlay is 11.5%. Table 23 - Pros and cons for Automated Building Extraction and Reconstruction from LiDAR Data Benefits Very efficient and accurate Parameters chosen by the user Drawbacks Detection of 3 types of roof Manual boundaries for unusual shaped buildings k. Aerial LiDAR Data Classification using Expectation-Maximization, S. Lodha, D. Fitzpatrick and D. Helmbold Goal Classification of 3D aerial LiDAR data into three categories (roads-grass, buildings, trees) by analysing the different features of those data (height, height variation, normal variation, LiDAR return intensity and image intensity). Algorithm First of all, the data is resampled into a regular grid with a spacing of 0.5m using nearestneighbour interpolation. The elements needed for the classification are processed: - The height is normalized (H) by subtracting terrain elevation from the LiDAR data. - The height variation (HV) is calculated in a 3 x 3 pixel window (absolute difference between the minimal and the maximal value of the H in the window). 12 RMS: Root Mean Square Ophélie SINAGRA Projet de fin d études 90

92 - The normal variation (NV) is calculated in a 11 x 11 pixel window (average dot product of each normal with other normal) to give a measure of planarity. - The LiDAR return intensity (LRI) is the amplitude of the response reflected back to the laser scanner. - The image intensity (I) is the response of the object to visible light (obtain with a grey scale aerial image). A manual training for each class is made. About 25 to 30% are labelled using a graphical user interface to cover all the classes adequately. The expectation-maximisation (EM) is used to supervise the classification after the training. First the assignment to a class label c, taken from a set of possible labels C, to a feature vector x, the posterior probability of x belonging to c may be computed using Bayes rule: P (c x) =!!!!(!) (39)!(!) The label assigned to x is the one for which P (c x) has the higher value. Then, the class-conditional density is estimated by using a mixture model: independent Gaussian is chosen after some analysis. The probability of observing a set of measurement x given labelling c as:! p c x =!!! P! G x μ j, j (40) The parameters will be iteratively determined by EM automatically after manually choosing the remaining model parameter K (number of components in the mixture which choice is made thanks to the Bayesian information Criterion (BIC)). Results The accuracy are created using leave-one-out testing (here nine out of the ten labelled regions serve as the source of training sample for the EM algorithm). If a down sampling is made, as one tenth of the available size, there is no major effect on the results. Two different types of accuracy are calculated: sample and class weighted (percentage of correctly classified points and percentage of correctly classified from each class). The overall sample-weighted accuracy is 97% and the overall class-weighted accuracy is similar. The overall accuracy rate is about 94%. However some test region didn t perform as well as others due to differences in features (luminance and LiDAR return intensity varied in some classes): the road-grass class or building class (misclassified as tree). Table 24 - Pros and cons for Aerial LiDAR Data Classification using Expectation-Maximization Benefits Drawbacks High accuracy (94%) Some points misclassified Many classes can be trained The training is manual Training data can be small No comparison with references Ophélie SINAGRA Projet de fin d études 91

93 l. Assessment of processing different types of vegetative data using LiDAR, D. Weir & al. Goal Compare and contrast between processing of three different types of vegetative LiDAR data and determine which provides the most accurate results or ease of processing using LP360. Algorithm First of all, points needed to be classified. A low point filter was used to remove any erroneous points (points that are located below the ground surface) Then the ground point were classified thanks to a filter (settings including seed sample distance, angular threshold, maximum distance, omit edge climbing algorithm and number of iteration). A building filter was also applied with different settings (point spacing, maximum grow window area, Z threshold, plane fit, min and max slope, min and max height). All the building points were not correctly classified, therefore, the remaining ones were manually classified and the misclassified ones were removed. A last filter, the vegetation filter, was applied to classify trees: a height filter to separate low and high vegetation. Some features could not be classified as ground, buildings or trees. They were classified into a reserve points in order to not classify them in the previous steps. To finish the TIN 13 is created and it is converted into a DEM. Results The processing time is independent of the content of the dataset but is dependent of the number and the density of points. If the number of point is too important the software is not able to work properly, the dataset needs to be divided and processed after. The classification is generally good, but sometimes, at some places (trees hanging over buildings, benches, etc.), there were some mistakes. A manual reclassification was done to ensure the quality. Overall, approximately 80-95% of ground points were successfully classified, 90-95% of isolates tree points, 80-85% of building points depending of the type of area surveyed. The trees can be modelled after the classification of the vegetation points: tall trees are easier to interpret than the small (more points are located on big trees than small trees). The modelling also depends on the average point spacing (which will characterize the level of details), the type of area (better interpretation if there is no building near the trees), the species of trees (palm trees have a very different structure than a gum tree). 13 TIN: Triangular Irregular Network Ophélie SINAGRA Projet de fin d études 92

94 Bare earth is hard to model under the vegetation due to the density of trees: there is a shadow under each tree. In heavy forest area, bare earth is hardly model The beam did not penetrate the canopy. The comparison between LiDAR data and imagery data shows that the sizes of the trees are almost the same. Absolutes errors may exist in the LiDAR (small measurement error) and imagery data (low resolution, data not obtain at the same time). The comparison between LiDAR DEM and Australian DEM shows that the DEM crated with the LiDAR data is close to the Australian DEM in the uncovered zone, but where trees or low bushes are located the two DEM don t fit (lack of points under trees). Table 25 - Pros and cons for Assessment of processing different types of vegetative data using LiDAR Benefits Good classification Good DEM Drawbacks Manual classification in some areas Shadow under trees Number of point classified limited m. Algorithm of Multiple Filters to Extract DSM from LiDAR Data, M. Okagawa Goal Classification of LiDAR data by the neighbourhood height effect: filtering process of the data based on the edges extraction method. Algorithm First of all, a cluster analysis is performed. It is a classification of the raw data into some groups that have the same characteristics. When P i = (i=1 n) is given to characteristic space P (P i P, P i = (P ix, P iy, P iz, P ir )), for any P j N(P i ), a unique classification exists such that P i P j T P i, P j C k P i P j > T P i C k, P j C l (k l) (N(P i ) is a neighbor of set of P i. * is a comparative function (derived from a height difference in Z value or an inclination). T is a threshold value. Steps: Make a cluster C 1 where P 1 belongs Check if P j N (P 1 ) belongs to C 1 such that P 1 P j T P i, P j C 1 Make cluster S 1 where P 1 belongs For neighbor P j N (P k ) NOT S 1 of P k C 1 NOT S 1 P k P j T P j C i P k S i Repeat last step until C 1 = S 1 Make cluster C i where P i P NOT C (i is the smaller one, C= C! ) belongs For neighbor P j N (P k ) NOT S i of P k C i NOT S i P k P j T P j C i P k S i Repeat last step until it becomes C i = S i Repeat the last 3 steps until P = C Figure 59 Cluster analysis (Okagawa, 2001) Ophélie SINAGRA Projet de fin d études 93

95 Each cluster is classified as terrain or non-surface objects thanks to its height with the help of the land model. The terrain has many numbers of clusters: each cluster that contains more than D.S 1 points is terrain or non-surface objects such as buildings (where D is the raw data density, S 1 is the area of the biggest buildings). And the cluster that contains less than D.S 2 points (where S2 is the area of small buildings) is small non-surface object (roadside tree, car, etc.). Clusters are now classified in three different types: terrain (A), terrain + non surface objects (B) and cars + roadside trees + (C). Group B needs to be sorted: terrain (B2) and non-surface objects (B2). The methods used are Euclid Distance of the XY plane and Nearest Neighbor Method. Calculate the minimum distance between group A and each cluster of group B. Sort group B in ascending order and execute the following: B i A T B i B 1 Add B i to group A and execute the first step. B i A >T B i B 2 Execute this last step with B i+1 Figure 60 Distance analysis (Okagawa, 2001) Then the DTM is generated. The terrain under the building is estimated from the neighbor terrain of group B2. The rest of the terrain is estimated with group A and B1. The building shapes are generated from group B2: a boundary line is calculated for each building (problem for buildings that have different height, it will be represented as several buildings). LiDAR data Height difference T=0.3m Max building = 5000m 2 Min building = 100m 2 A Terrain B Terrain/Non-surface objects Inclination T=10 C Cars/Roadside trees B 1 Terrain B 2 Non-surface objects DTM Building shapes / Trees Figure 61 Data processing (Okagawa, 2001) Results No numbers are obtained, though the results were not very satisfying because of the nonsurface objects extraction: various rooftops conditions in urban area and indistinctness in forest area. The idea for future research would be to use images in order to combine them with the LiDAR data and get a better extraction. Table 26 - Pros and cons for Algorithm of Multiple Filter to Extract DSM from LiDAR Data Ophélie SINAGRA Projet de fin d études 94

96 Benefits Easy algorithm Buildings and trees extracted Perspective (use of images) Drawbacks No accuracies calculated No good results Multi-spectral imagery review: techniques of segmentation, classification and extraction This section summarizes the classification technique of multi-spectral imageries. It is a brief review of literature since, previously (see XII. Annexe 1) b. Operation de traitement), I listed common techniques used. a. Can multiresolution fusion techniques improve classification accuracy?, L. Bruzzone, L. Carlin, L. Alparone, S. Baronti, A. Garzelli, and F. Nencini Goal Analysis of the effects of the multiresolution fusion process on the accuracy provided by supervised classification algorithms: how those mergers affect the classification accuracy? Algorithm First, two types of fusions have been performed: pixel-based and spatial filtering. Pixel-based fusion methods are three different techniques: GIHS 14 (Kernel transform on a 3x3 matrix), EGS 15 spectral sharpening (different weight for different spectral channels to rectify GS drawbacks) and GIHS-GA 16 technique (GIHS technique and then computation of optimal parameters with a GA 17 ). Fusion methods based on spatial filtering are two techniques: HPF 18 technique (addition of spatial details, taken from a high resolution Pan observation, into a bicubically resampled version of the low-resolution MS image) and AWL 19 technique (combination of a highresolution PAN image and a low-resolution MS image with an addition of some wavelet planes of the PAN image to the intensity component of the MS image). The classification is divided into 4 supervised techniques: Parallelepiped (simple and fast by considering the upper and lower bounds for a class), maximum likelihood (probability that a pixel belongs to a class, with the Bayes formula), K-nearest neighbors (closest training samples) and SVM 20 Results 14 GIHS: Generalized Intensity Hue Saturation 15 EGS: Enhanced Gram-Schmidt 16 GIHS-GA: Generalized IHS Genetic Algorithm 17 GA: Generic Algorithm 18 HPF: High Pass Filtering 19 AWL: Additive wavelet-based 20 SVM: Support Vector Machine Ophélie SINAGRA Projet de fin d études 95

97 Five different fusions are made, one for each algorithm, of the four multi-spectral bands (blue, green, red and near infra-red). Those fusions give five pan-shaped images (composed of four images). After the classification, there are twenty classified maps to analyse: accuracies, effects of the fusion process and of the spectral distortions. Concerning homogeneous area, Kappa coefficient shows that fusion does not increase the classification results because it introduces spectral distortions leading to classification errors. But a complex fusion technique (GIHS-GA or EGS) will limit those errors but won t increase the classification accuracy. On edge area Kappa coefficient shows that, with complex fusion algorithm (especially EGS), the classification accuracy is increased. A last Kappa coefficient is calculated for homogeneous and edge areas. Only the EGS fusion shows slightly better results than no fusion. For all the fusion techniques, the SVM classifier gives always the best results. Table 27 - Pros and cons for Can multiresolution fusion techniques improve classification accuracy? Benefits EGS increase the classification accuracy Better characterization of the spatial details PAN images can help the classifier Drawbacks Introduction of spectral distortions Only complex techniques can improve the results PAN can introduce errors sometimes Test on an urban area only b. Object based image analysis for remote sensing, T. Blaschke Goal Assessment of the developments in object based image analysis or GEOBIA 21 thanks to the analysis of more than 820 articles. Results For the images to be analysed, segmentation needs to be done. This segmentation can be divided into four categories: point-based, edge-based, region-based and combined. It will always produce block of objects. It is considered that an object can be well detected if the size of the pixel is one tenth of the size of the object (certainty of position, orientation, etc.). Over the years, GEOBIA improved, it overcame with problems such as salt-and-pepper effect, became able to identify forest parameters (tree location, tree crown size, etc.), to classify the objects (road, building, vegetation, etc.). Table 28 - Pros and cons for Object based image analysis for remote sensing Benefits Drawbacks GEOBIA is highly efficient Only papers review Many articles analysed No test, no real results 21 GEOBIA: Geospatial Object Based Image Analysis Ophélie SINAGRA Projet de fin d études 96

98 c. Multi-spectral and hyperspectral image processing based on the waveform characteristics of spectral remote sensing classification method of large area, Q. Peng, L. Yang and J. Shen Goal Classification of multi-spectral images (large data area) thanks to the analysis of the spectral waveform. Thanks to the distinctive spectral curve features of objects it is possible to interpret remote sensing images Algorithm First, atmospheric effects were removed. Then, with ecognition, the image is segmented to object at an over-fine scale of 20. It is exported to shape file (including mean value of each band). Each object value can now be calculated (see figure 61, Algorithm 1), as well as the count of every order value: Algorithm 1: IDL language Object_value = [a, b, c, d, e, f], Object_sort = [A, B, C, D, E, F] = SORT (Object_value) Object_value = Object[0]*6^0 + Object[1]*6^1 + Object[2]*6^2 + Object[3]*6^3 + Object[4]*6^4 + Object[5]*6^5 The shape file can be used as a thematic layer to segment the image which is used for the segmentation and to choose the segmentation scale (100 or larger). The classification of the objects extracted from the segmentation is made using ecognition depending of the order value (lower than it is classified as water, between and it is crop, equal to it is crop or high vegetation cover, between and it is middle vegetation cover or crop or urban, equal to it is low vegetation cover and equal to it is bare land). Six different classes are made. Results This classification is made from the spectral curve characteristics. It is suitable for big areas and the process is fast. Some order value contains less than 10 counts: they do not represent a specific land cover. Those objects should be classified as their space neighbour. Table 29 - Pros and cons for Multi-spectral and hyperspectral image processing based on the waveform characteristics of spectral remote sensing classification method of large area Benefits For large area More classes could be made Figure 62 Algorithm to calculate the order value (Peng & al, 2011) Drawbacks No accuracies calculated Ophélie SINAGRA Projet de fin d études 97

99 d. A comparison of pixel-based and object-based image analysis with selected machine learning algorithms for the classification of agricultural landscapes using SPOT-5 HRG imagery, D. Duro, S. Franklin and M. Dubé Goal Use and comparison of three supervised classification techniques on an agricultural landscape image. The analysis will be pixel-based or object-based, so six different classifications will be compared. Algorithm The DEM of the area was downloaded from a data base and used as variable in the classification and other datasets (road networks, administrative boundaries, etc.) as reference layers for corrections of the image (ortho rectification of the PAN imagery gave a RMSE of 0.3 pixels and of the multi-spectral imagery gave a RMSE of 0.5 pixels). A NDVI layer was calculated from the multi-spectral imagery as well as a texture layer. They were put in a single data set with the four bands of the multi-spectral imagery, the DEM and the landscape variable. That data set is then composed of fifteen layers or variables (G, R, NIR, SWIR, NDVI, elevation, slope, aspect, topographic class and the texture measures). For the object-based classification, a multi-resolution segmentation algorithm (scale = 5, 15 and 30) was used to segment the data set. Each scale gives a different number of objects detected, the smallest scale parameter delineates fine scale features of interest and the two others are used to represent larger objects of interest. Object features layer (mean, standard deviation, mean difference to neighbors, etc.) will also be used to have a greater accuracy due to contextual relationships between image and objects. So, object-based classification is made thanks to 300 variables versus 15 for the pixelbased classification. The classifications were made with the software R: DT 22 model, RF 23 model and SVM. Six different classifications are produced. Results The highest overall classification accuracy is 85.4% for the pixel-based algorithm and 83.3% for the object-based one. For the pixel-based classification, the RF model gives the best results (89.7%). And for the object-based classification, the SVM model is the best (94.2%). After visual comparison between the two types of classification-based, each models give advantages for the different classes (SVM for grassland for example). 22 DT: Decision Tree 23 RF: Random Forest Ophélie SINAGRA Projet de fin d études 98

100 Table 30 - Pros and cons for Multi-spectral and hyperspectral image processing based on the waveform characteristics of spectral remote sensing classification method of large area Benefits Object-based classification is the best (SVM) Pixel-based also gives good results Lots of references Drawbacks Needs lots of data (DEM,etc.) No advantage of choosing an image analysis approach Data fusion of LiDAR point cloud and multi-spectral imagery review: Techniques of segmentation, classification and extraction a. Automatic extraction of buildings from LiDAR data and aerial images, F. Rottensteiner and J. Jansa Goal Automatic building extraction from LiDAR point clouds and aerial images. First the building will be extracted from the LiDAR data and then will be verified with the aerial image to improve the accuracy Algorithm Using the LIDAR data, the DTM is created with (Kraus and Pfeifer, 1998) technique (vegetation and terrain points are separated with a linear prediction). The DSM is made and, thanks to a height threshold, an initial building mask is created (containing most of the buildings, and some vegetation). A filter is applied to this mask to, as Rottensteiner and Jansa stated, get rid of small elongated objects and to separate regions bridged by a thin line of pixels (region smaller than 40 m 2 and at the border of the DSM are discarded). The remaining regions of group of trees are eliminated by evaluation of and by using a morphological opening (square structural element). A segment label image is generated (each pixel is labelled) and 3D planar segments are created with a polymorphic feature extraction applied to the first derivatives of the DSM. Planar patches are detectable from those data using a morphological opening. Some errors persist in the segmentation. To suppress them, an iterative technique is applied: the patches that best fit (RMS error less than ±10 cm) are considered as seed regions that are grown iteratively (add neighbouring pixel to the patch if the distance between it and the original patch are below a threshold). The morphological opening structure size decreases with the iteration. Ophélie SINAGRA Projet de fin d études 99

101 Figure 63 Work flow (Rottensteiner & al., 2002) Smaller and smaller regions are found and can be split to more than one roof plane using the RMS as an indicator. Some pixel in a planar region can t be classified as homogeneous (borders of buildings for example), a morphological opening operation is used to eliminate them. The next step is to group planar segments. To do so, a Voronoi diagram is created (each pixel inside a region of interest that is not assigned to any planar segment will be to the nearest one), the borders are extracted and the neighbourhood relations of the planar segments are derived and grouped. Those neighbour segments can either be co-planar (need to merge them), intersect consistently (need to compute the intersection line) or present a step edge (need to insert a vertical wall between them). To finish polygons of each planar region are completed and their shape is regularized. They are then combined to form a polyhedral model (vertical walls and floor are created). Results Planar adjustment RMS varies between ±5 cm and ±15 cm for the homogeneous point forming a segment. If this RMS is too important, patches still need to be split. The polyhedral model is back-projected to the image to improve the accuracy of the building models: straight image line segment are match with the object edges (Rottensteiner and al., 2002). Table 31 - Pros and cons for Automatic extraction of buildings from LiDAR data and aerial images Benefits Drawbacks Use of an aerial image to improve the building extraction Aerial and not multi-spectral image RMS is very low Method easy and quick Work was still in progress Ophélie SINAGRA Projet de fin d études 100

102 b. Building detection by Dempster-Shafer fusion of LiDAR data and multispectral aerial imagery, F. Rottensteiner, J. Trinder, S. Clode, K. Kubik, B. Lovell Goal Classification of the fusion of the first and last pulse LiDAR data and multi-spectral images into several classes (building, tree, grass land, bare soil) using the theory of Dempster- Shafer. Generally, terrain and non-terrain points need to be separated. The DTM can be created and the non-terrain classified: distinction between building and tree can be done by evaluating the surface roughness, the height difference of the point between the first and last pulse return and the multi-spectral images to improve this classification. Algorithm First, the first and last pulses of the LiDAR are sampled into a grid and those are computed to get the height differences between them. The NDVI 24 is also computed from the NIR 25 and the red bands of the multi-spectral image. The DTM is generated based on, as Rottensteiner and al. (2004, p.1) stated, morphological grey scale opening structural elements of different size. Iteratively, a rule-based classification algorithm detects large building and the morphological opening is applied on those regions (smaller structure element used at each iteration). The buildings are detected using Dempster-Shafer fusion. It uses five types of data (height difference between DTM and DSM, the one between first and last pulse return, the NDVI, two surface roughness parameters) to classified into four classes (building: B, tree: t, grass land: G, bare soil: B). Probability mass is calculated for: the height differences, P ΔH, between DSM and DTM (ascending with ΔH, pixel assigned to class B U T and (1 P ΔH ) to G U S), the one between first and last pulse, P FL, (ascending with ΔH FL, pixel assigned to T and (1 P FL _ to B U G U S), the NDVI, P N, (ascending with NDVI, pixel assigned to T U G and (1 P N ) to B U S) and the strength R of surface roughness, P R, (ascending with R, pixel assigned to T and (1 P R ) to B U G U S). 24 NDVI: Normalized Difference Vegetation Index 25 NIR: Near Infra-Red Ophélie SINAGRA Projet de fin d études 101

103 Algorithm 1: probability masses are equal to a constant P 1 for input parameters x < x 1 and for input parameters x > x 2, equal to another constant P 2, with 0 P 1 P 2 1. Between x 1 and x 2, the probability mass is described by a cubic parabola using x =!!!! (18) and i { H, R, FL, N}: P i (x ) = P1 + (P2 P1).(3. x 2 2. x 3 ) (41)!!!!! With P 1 = 1% and P 2 = 99%, (x 1, x 2 ) = (1.5 m, 3.0 m) for ΔH and ΔH FL and (x 1, x 2 ) = (0.46, 0.66) for the NDVI. And Sup(A) =!!! m(b) with m(a) =!!!!!!!!!!!!!!!!(!")!!!!!!!!!!!!!!!!!!!(!")! (42) Figure 64 The Dempster-Shafer fusion (Rottensteiner and al., 2004) The pixel is assigned to the class maximum support m A. Results After the classification a binary image is obtained for the building class. It contains some classification errors which can be fixed with a morphological opening. A visual inspection showed that about 3% of buildings were misclassified (small buildings which were not detected considering the resolution of the LiDAR data) and 3% were not building (belonging to another class). Table 32 - Pros and cons for Building detection by Dempster-Shafer fusion of LiDAR data and multi-spectral aerial imagery Benefits Use of statistics Good classification Multi-spectral imagery not only used to assess the accuracy Drawbacks Need ground data to have a real calculation of the accuracy c. Combining optical satellite data and airborne laser scanner data for vegetation classification, K. Nordkvist, A. Granholm, J. Holmgren, H. Olsson, M. Nilsson Goal Improvement of the vegetation classification accuracy from optical satellite data with a LiDAR data. Algorithm The DEM is created by interpolation of the linear TIN made with the ground point from LiDAR data (after classification between ground and vegetation from the last return pulse): ground elevation calculated in 0.5m raster cells (mean elevation of the ground in each cell), empty cells are given the value from the TIN interpolation in this cell The LiDAR data are also extracted in 10m x 10m grid cells to match the multi-spectral image resolution. To separate the ground/low vegetation/stones from canopy a height (difference between z-value of the LiDAR data and the one form the DEM) threshold is applied. Features are extracted from each cells: vegetation ratio V (number of returns above Ophélie SINAGRA Projet de fin d études 102

104 the height threshold and the total number of returns) and percentiles of laser returns above the height threshold P (10 th,, 100 th ). The classification is made with the technique of the maximum of likelihood: training plots are made on the multi-spectral image and on the LiDAR raster image produced before. A first classification is done with only the multi-spectral image bands, then one with only the LiDAR data and to finish a combination of both types of data. The influence of the LiDAR point cloud could be assessed. Results Using only the multi-spectral image the accuracy of the classification is only 55.8%. And LiDAR data alone gives an overall accuracy of 50.4%. But adding some of the features (V and P) to help the classification gives better results concerning this overall accuracy, up to 70% for the multi-spectral data sat and up to 58.5% for the LiDAR data set. Table 33 - Pros and cons for Combining optical satellite data and airborne laser scanner data for vegetation classification Benefits Drawbacks Accuracy increased by 16% if both data Highest accuracy = 71.9% used Feature V improves a lot the classification No detection of buildings d. Fusion of LiDAR and optical imagery for building modelling, L. Chen, T. Teo, Y. Shao, Y. Lai, J. Rau Goal Detection and reconstruction of buildings from LiDAR data and optical imagery by segmenting classifying them. The LiDAR data provide accurate 3D point and multi-spectral images provide breaklines information. Algorithm The LiDAR data is pre-processed: resampling into a regular grid a raterization. The DSM and DTM are created and registered in the same space as the imagery. A region based-segmentation is performed (region growing technique) and information for LiDAR (elevation: DSM - DTM) and from imagery (radiometric attribute) are combined and pixels with the same information are merged into a region. An object-knowledge-based classification (see figure 64 below) is performed to detect building region from the previous segmentation (considering elevation, shape, texture and spectral information). Ophélie SINAGRA Projet de fin d études 103

105 LiDAR (DSM, DTM) Multi-spectral image Aerial orthoimage SEGMENTATION Above ground Elevation Ground Spectral Vegetation Non Vegetation Shape Texture Non-Building Building Figure 65 Flow of the knowledge-based classification (Chen & al. 2004) The reconstruction of each building is performed from the LiDAR point cloud, the LiDAR DSM and the aerial image (which have a better resolution than the multi-spectral image). 3D planar patch are extracted from the LiDAR data and a TIN is made on those patches. Two coplanarity condition need to be filled to merge two triangles in the same plane: the angle between normal vectors for neighbouring triangles and the height difference between triangle as Chen and al. (2004) stated. The edge of the building are detected on the raster image from the LiDAR data, filtered (removal of short lines) and classified to the 3D planar patch corresponding. Straight lines are extracted from the aerial image and the 3D edges obtained by the previous detection/filtration/classification. The building reconstruction is performed with the SMS (Split Merge Shape) method developed by Rau and Chen (2004). Results More than 81% buildings are correctly detected with this technique and the accuracy is sub-metric concerning the models reconstructed. The non-building elements are correctly detected with a rate of 98% which makes a correct detection of 89.5% in general. Table 34 - Pros and cons for Fusion of LiDAR and optical imagery for building modelling Benefits Drawbacks Good detection (almost 90%) Uses of 3 types of data Non-complex building detection Ophélie SINAGRA Projet de fin d études 104

106 e. Synergistic use of QuickBird multi-spectral imagery and LIDAR data for object-based forest species classification, Y. Ke, L. Quackenbush and J. Im Goal Object-based classification from a multi-spectral imagery and low-density LiDAR data (3m) of a forest. Three different segmentations and four different samplings were performed, giving twelve data to be analysed. Quantitative assessment and classification accuracy were calculated to identify the best technique. Algorithm First the image is segmented following some parameters (weight of the input image layers, colour/shape ratio, compactness/smoothness ratio, and scale). Three segmentation schemes were used: spectral-based (same weight for the four bands), LiDAR-based (four layers used: DEM, DSM, height and intensity), and spectral/lidar-based (multi-spectral bands and LiDAR layers) at different scales (twelve different, from 20 to 800). Since the intensity can easily vary (depending on atmospheric condition, angle of incidence, etc.), the weight given to that layer will be lower than the other ones. Then the classification is preceded, using an object-based method. Since geometric metrics of objects only have little contribution in vegetation classification, they were not used. Only spectral, topographic, heights, intensity, mean and standard intensity deviation were used. A decision tree classification method is used on the data. Results After the classification, 38 metrics were generated (18 derived from the multi-spectral imagery, eight for LiDAR topographic-layer, seven from the LiDAR height-layer and 5 from the LiDAR intensity layer). At the end, 216 classifications are performed (18 segmentationclassifications at 12 scales). Concerning the segmentation, a visual examination enables to say that larger scales will delineate larger forest stands and vice versa. The accuracy can be assessed by calculating the distance between the centroid of the segmented object and the one of the referenced object. For the spectral-based segmentation, a scale from 200 to 250 is recommended, a scale of 100 for the LiDAR-based segmentation and 250 for the spectral/lidar-based one. That last segmentation with the right scale (250) gives the best results. Concerning the classification accuracy, the three segmentation methods give similar features. The spectral-based classification is the least precise, especially for the smaller scale. Topographic and derived LiDAR data elements improve the classification for 1 to 20% depending on the type of segmentation and scale. The best classification is provided with a spectral/lidar-based segmentation, at a scale of 250 : Kappa reach 92% (Cohen s Kappa measuring the inter-rater agreement for qualitative items). Ophélie SINAGRA Projet de fin d études 105

107 Tableau 35 - Pros and cons for Synergistic use of QuickBird multi-spectral imagery and LIDAR data for object-based forest species classification Benefits Many parameters tested Classification comparison based on different type of segmentations Drawbacks Non automatic process No test for the pixel-based classification f. Fusion of Hyperspectral and LIDAR Remote Sensing Data for Classification of Complex Forest Areas, M. Dalponte, L. Bruzzone and D Gianelle But Supervised classification of complex forest areas from multispectrales images and LiDAR data (improvement of the classification thanks to the LiDAR data). Features will be classified in more than twenty classes, some showing similar characteristics (species form the same family). Algorithm With the LiDAR data, it is possible de extract the DTM with a 1 meter resolution. Hyperspectral images are normalized following a linear method based on the meanstandard deviation algorithm, allowing creating a mosaic. Control ground points enable the coregistration of LiDAR and Hyperspectral data. Two raster images are created with the same resolution of the hyperspectral data: one of them uses the height and the other the intensity of the LiDAR return. The elevation of the vegetation is calculated by subtracting the DTM to the elevation. Two types of classifier are used: GLM 26 and SVM. For the GLM classifier, the ratio between the number of training samples and the dimension of feature space needs to be high, higher than 1 if possible. If it is not the case, the covariance matrix used in the decision rule become singular and the GML can t be used. To avoid this problem the LOOC algorithm is used, it will estimate a non-singular covariance matrix (removal of one sample, computing the mean and covariance from the remaining samples, computing the likelihood of the sample which was left out and select the value that maximizes the average log likelihood) Results Kappa coefficient (Cohen s Kappa measuring the inter-rater agreement for qualitative items) is calculated for different number of hyperspectral bands: 25, 40 and 126 bands. At the end, SVM classifier gives better results than the GLM one, the accuracy is bigger. This is due to the non-linearity of the SVM algorithm. The elevation parameter from the LiDAR data improves the accuracy for the classification: it improves the classification from more than 1% for the SVM method (and even more for the other methods). Indeed, two species can have the same spectral values but different height. 26 GML: Gaussian Maximum Likelihood - Maximum de Vraisemblance Gaussienne Ophélie SINAGRA Projet de fin d études 106

108 The returns LiDAR pulse, apart from the first one, don t give any advantage for our classification from the fusion of imagery and LiDAR data, the reverse is the case. Tableau 36 Pros and cons for Fusion of Hyperspectral and LIDAR Remote Sensing Data for Classification of Complex Forest Areas Benefits Good classification and comparison of algorithm (SVM the best) Use of LiDAR data to improve the classification Drawbacks Only for forest areas Classification not made from a real fusion g. Data fusion of high-resolution satellite imagery and LiDAR data for automatic building extraction, G. Sohn and I. Dowman Goal Automatic building extraction from LiDAR data and multispectral imagery. Fusion of those two types of data will allow to overcome the weakness of each (LiDAR does not enable to extract building edges with height discontinuity when under-sampled, satellite images will show weak reflectance around buildings). Algorithm LiDAR point on buildings are classified following those steps : segmentation between ground and non-ground points (using the RTF 27 filter), exclusion of the «vegetation» points thanks to the NDVI indices, the remaining points are located on buildings and are delimited by rectangles. To build the outlines of each building, BUS 28 method is used: for each rectangle, features from the multispectral imagery are extracted and used to create those outlines with a data and model-driven methods (using two methods will overcome the weakness of each). Data-driven method uses Burns algorithm : straight lines are extracted from the multispectral image and filtered to only keep long enough segments located on the boundaries of buildings (to know if it is located on buildings, there is a comparison with the location of building LiDAR points). Then rectangles are created on each side of each segment, and analysed to know if they contain or not building LiDAR points. Figure 66 Data-driven method (Sohn & al. 2007) 27 RTF: Recursive Terrain Fragmentation 28 BUS : Building Unit Shape Ophélie SINAGRA Projet de fin d études 107

109 Model-driven method will complete the boundary detection: boxes are created around each line extracted previously and grow until they contain non-building LiDAR points. Those outlines are back-projected on the multispectral image and adjusted by gradient weighted least-square method. Figure 67 Model-driven method (Sohn & al. 2007) From the outlines, points are extracted, every 2 meters along each segments. Their planimetric location is known and their height is interpolated from a TIN, created with the LiDAR point cloud (known in the three dimensions), inside the delimited area. A new TIN is produced and densified (creation of a new point in the middle of each TIN triangle that has a side bigger than 5 meters). Results Comparison between detected buildings following this method and the one of a reference data base. 88.3% of the buildings have been extracted with a correctness of 90.1%, the quality of the results are then of 80.5%. Better results could be obtained with a denser LiDAR survey, with an equal distributed. Tableau 37 Pros and cons for Data fusion of high-resolution satellite imagery and LiDAR data for automatic building extraction Benefits Use of the two types of data for the classification Drawbacks High density for the LiDAR data is needed h. Satellite imagery classification with LiDAR data, M. Alonso, J. Malpica Goal Automatic building and other objects extraction from LiDAR data and multispectral imageries. SVM algorithm is used to classify into five classes the elements (trees, shrubs, natural ground, artificial ground and buildings). Algorithm To proceed to the classification, three types of data are used: a multispectral image (R, G, NIR, MIR), a panchromatic image and a LiDAR survey. The LiDAR point cloud and the multispectral image are resampled to the same resolution as the panchromatic image (2.5 meters). SVM algorithm is applied to those data and the quality of the classification is assessed: comparison between classification using all the data and classification excluding the LiDAR point cloud (10% of the known points are used as training sample and the rest to assess the accuracy). Ophélie SINAGRA Projet de fin d études 108

110 Figure 68 Flow chart (Alonso & al. 2010) Results Using different kind of data to classify them allow a better accuracy, especially for the classification of flat rooftop (misinterpretation if only multispectral imageries used due to the lack of height information). When the LiDAR is added for the classification, it gives a sharper discrimination. The quality is estimated thanks to the confusion matrices for two classifications, with and without LiDAR. The accuracy is over 97% (Kappa coefficient = 0.96) when the LiDAR is used while it is only of 80.3% when it is not used (Kappa coefficient = 0.75), which make a 16% increase. The second control is the ROC curve: more the result is closed to 1, more accurate it is. An increase of almost 0.1 between with and without the use of LiDAR for the classification is observed. Tableau 38 Pros and cons for Satellite imagery classification with LiDAR data Benefits Accuracy of 97% Simple process (only SVM) Independent control (Kappa and ROC curve) Drawbacks Only 5 classes (tree species, etc.?) i. Multispectral and LiDAR data fusion for fuel type mapping using Support Vector Machine and decision rules, M. Garcia, D. Riano, E. Chuvieco, J. Sals, F.Danson Goal Fuel classification in a forestry area into seven classes from a fusion of LiDAR and multispectral data. Two algorithms will be used to proceed to this classification: SVM and decision rules. Ophélie SINAGRA Projet de fin d études 109

111 Algorithm The multispectral image needs to be resampled in order to have a similar resolution as the LiDAR data (which has a low density). Moreover, a topographic correction is applied to those data, especially to the reflectance. The NDVI, NDII 29 and SAVI 30 are calculated from the image as well. Concerning the LiDAR data, ground and non-ground points are filtered and a DEM is created. Each point height is calculated (h = Z i Z interpolated (42) avec Z interpolated on the DEM). Then the average, maximum and median height is extracted for each cell of 6 x 6 meters. Other elements enabling to identify the vegetation s structure are calculated: standard deviation, range, skewness, the kurtosis, the coefficient of variation and height interval (percentage of points located in each interval). All the data calculated are computed into a single raster image. Training data are determined from field work: 70% is used by the classification algorithm SVM and 30% is used to validate the results of this classification. To avoid large numerical value, data are put up to scale!!! (X!"#$%& =!"# 43 ). After a first classification by the SVM algorithm, the decision!!"#!!!"# rules are applied to refine the results. Results After the both algorithm applied, more than 94% of the elements are correctly classified (comparison with the 30% not used in the training). We can see an improvement of 3% if the decision rules is used (91% correctness if only SVM used). The most important elements involved in the SVM classification are two parameters: C and γ (values given by a library, LIBSVM (Chen and Line (2009))). Tableau 39 Pros and cons for Multispectral and LiDAR data fusion for fuel type mapping using Support Vector Machine and decision rules Benefits SVM classification (for classification of data from different sensor) Improvement of the results thanks to the decision rules Drawbacks Only on a forest area j. Combination of image and LiDAR for building and tree extraction, N. Demir, E. Baltsavias Goal Detection of building (roofs) and trees on multispectral images and LiDAR data by using four different methods: the first one is based on the comparison between DTM and DSM, the second one on the supervised classification of the multispectral image and height information extracted from the LiDAR data, the third one on the DTM form the LiDAR and the NDVI index and to finish, the last one, on the DSM density from the LiDAR raw data. In the end, the results will be improved by combining the methods. 29 NDII: Normalized Difference Infrared Index 30 SAVI: Soil Adjusted Vegetation Index Ophélie SINAGRA Projet de fin d études 110

112 Algorithm Satellite imageries are radiometrically pre-processed, then the DSM is generated thanks to the NIR band (50cm grid spacing). The raw point cloud enables us to generate a DSM and a DTM (holes where the buildings and trees are located) of the area surveyed. The first method to extract the objects is based on the DTM and the DSM: the DTM is substracted to the DSM, only leaving the points on the objects (buildings, trees, etc.). The NDVI index is calculated and an image is created. The intersection between the points and this image gives us the points located on trees and therefor also the points belonging to buildings. The second method is a supervised classification of the multispectral image with an extra layer including the height information form the LiDAR data. The training areas are manually selected and the maximum likelihood process is used for the classification. The information given by the height allows the process to distinguish artificial ground from natural one. The third method uses the NDVI index as well as the DTM from the LiDAR data. The NDVI index will enable to classify the vegetation from other objects and the DTM density will enable us to filter the smallest objects (< 25 m 2 ) and to supress them before classifying the rest of the points into buildings. To finish, the last and fourth method, can extract elements of both classes (vegetation and building) by using the DSM density: point density is higher on the trees areas. The points will be projected on an xz plan and on a yz plan and then both are divided into eight zones. One hypothesis is submitted in order to identify trees: points belonging to trees are not located on a same plan contrary to roof or ground. N surface normal vectors are calculated from three points and the values are compared between them. The ones showing similar values (+1) are analysed: if this value is inferior to 2 then the analysis continue (if not the point is classified as building). The second analysis concern the vertical density (if it is more than 4 then a third analysis is processed (minimal height of points of 3 meters) and a last one (minimum density of 20 points for 25 m2)). Results The first method gives a rate of 83% for the correct detection of buildings. For the second, that rate increases of 1% (84%), for the third one it is up to 85% and the last one of 84%. For all the methods, one of the problems is that cars and other object not classified as vegetation are classified into building which causes then main error. The combination of methods permits the improvement of the correct detection of the buildings by suppressing some errors ( ((1 2) 3) 4 et (1 2) 4 ). The rate is increased to 92% with the combination of three methods. RANSAC algorithm allows to sharpen the roofs detection and to increase the results by 2% (94% of the buildings are correctly detected). Tableau 40 Pros and cons for Combination of image and LiDAR for building and tree extraction Benefits Drawbacks Combination of several technics Method 3 excluded because no results available 94% of buildings correctly extracted No accuracy calculated for the vegetation class Ophélie SINAGRA Projet de fin d études 111

113 k. A new method of building footprints detection using airborne laser scanning data and multispectral image, Y. Luo, T. Jiang, S. Gao, X. Wang Goal Building detection from LiDAR and multispectral imageries. This detection is made following two steps : selecting points that could belong to a building and classify them. Algorithm The LiDAR data are pre-processed : a grid (1 x 1 m) is superimposed to the point cloud and height information (Z) is extracted from points located in each cell (if more than one point are in one cell the lowest one will be chosen, if there is no point then the information from the nearest neighbourhood point is chosen). From those information a DSM is created This DSM is filtered in order to only keep ground points (2.5 m threshold in height between ground and building), a DEM is created and the DSM is normalised (ndsm = DSM DEM (44)). In order to do so, the 2.5 meters threshold is used: if the height is not higher than the threshold then the height becomes 0 m, otherwise the height is preserved. A binary label image of candidate point is produced (1 if height 0 and 0 if height = 0) and an analysis is proceed to exclude all the area smaller than 20 m 2. The RGB values are linked to each point that could be on a building and the SVM algorithm is launched. Features are selected and will be used for the SVM (here: RGV, height, height variation (calculated into a 3 x 3 m window), x and y) and training data set are created. The library LIBSVM is also used for this classification. Results Two classifications are made: only using the features extracted from the LiDAR data and another only where the features from the image (RGB) are added. The first classification gives an accuracy of 84.6%, so when some features are added this result are increasing of 8.5% giving and accuracy of 93.1% in the classification. Tableau 41 Pros and cons for A new method of building footprints detection using airborne laser scanning data and multispectral image Benefits SVM algorithm is used Results are improved thanks to image features Drawbacks Regular image, not multispectral Ophélie SINAGRA Projet de fin d études 112