Analyse Sémantique de Nuages de Points 3D et d Images dans les Milieux Urbains

Transcription

1 Analyse Sémantique de Nuages de Points 3D et d Images dans les Milieux Urbains Andrés Felipe SERNA MORALES Directrice de thèse: Beatriz MARCOTEGUI ITURMENDI serna@cmm.ensmp.fr MINES ParisTech, Mathématiques et Systèmes, CMM Centre de Morphologie Mathématique Paris, France, 24 Mai 2012 Andrés SERNA dans les Milieux Urbains 1 / 36

2 Plan 1 Projet TerraMobilita Objectifs de la thèse État de l Art 2 Systèmes d acquisition Nuages de points 3D et images de projection 3 Division en pâtés de maisons Segmentation façade sol Détection du trottoir Segmentation d objets urbains Classification d objets urbains 4 5 Andrés SERNA dans les Milieux Urbains 2 / 36

3 Contexte Projet TerraMobilita Objectifs de la thèse État de l Art Données 3D Applications en cartographie, foresterie, géophysique, ainsi que la modélisation urbaine. L information sémantique (sol, façades et objets urbains) : (a) Planification de transports (b) Construction de modèles complets 3D et (c) Documentation du (d) Cartes d obstacles et et gestion urbaine tourisme virtuel patrimoine culturel analyse d accessibilité (loi ) Andrés SERNA dans les Milieux Urbains 3 / 36

4 Projet TerraMobilita Objectifs de la thèse État de l Art Andrés SERNA dans les Milieux Urbains 4 / 36

5 Objectifs du projet TerraMobilita Projet TerraMobilita Objectifs de la thèse État de l Art Intégrer des données 3D dans les cartes 2D actuelles (des images et des nuages de points laser). Construire des modèles 3D complets en intégrant l information sémantique : (a) La carte d obstacles (b) L utilisation de la (c) Estimations de distances dans l espace 3D (d) Diagnostics d accessibilité voirie (e) L état de la surface Développer des nouveaux services et applications pour : La gestion des voiries. La production d itinéraires de déplacement pour différents types de mobilités. L automatisation des diagnostics d accessibilité pour PMR. Andrés SERNA dans les Milieux Urbains 5 / 36

6 Objectifs du projet TerraMobilita Projet TerraMobilita Objectifs de la thèse État de l Art Intégrer des données 3D dans les cartes 2D actuelles (des images et des nuages de points laser). Construire des modèles 3D complets en intégrant l information sémantique : (a) La carte d obstacles (b) L utilisation de la (c) Estimations de distances dans l espace 3D (d) Diagnostics d accessibilité voirie (e) L état de la surface Développer des nouveaux services et applications pour : La gestion des voiries. La production d itinéraires de déplacement pour différents types de mobilités. L automatisation des diagnostics d accessibilité pour PMR. Andrés SERNA dans les Milieux Urbains 5 / 36

7 Objectifs de la thèse Projet TerraMobilita Objectifs de la thèse État de l Art Objectif Global : Segmentation et interprétation sémantique des données 3D dans les milieux urbains. Objectifs spécifiques : Détection d entités sémantiques urbaines (façades, sol, objets). Extraction de caractéristiques des objets urbains. Classification d objets dans différentes catégories. Caractérisation du sol. Andrés SERNA dans les Milieux Urbains 6 / 36

8 Projet TerraNumerica Projet TerraMobilita Objectifs de la thèse État de l Art La numérisation du patrimoine urbain :... Plate-forme massive pour la représentation et visualisation des espaces urbains de grande dimension, de façon réaliste, en 3D et haute définition... Travail de Hernández et Marcotegui (2009) : Analyse morphologique d images pour la modélisation d environnements urbains, Thèse, MINES ParisTech, Filtrage, segmentation et classification d objets urbains 3D. Nouvelles méthodes devraient être développées selon les actuelles exigences du projet TerraMobilita. Andrés SERNA dans les Milieux Urbains 7 / 36

9 Projet TerraNumerica Projet TerraMobilita Objectifs de la thèse État de l Art La numérisation du patrimoine urbain :... Plate-forme massive pour la représentation et visualisation des espaces urbains de grande dimension, de façon réaliste, en 3D et haute définition... Travail de Hernández et Marcotegui (2009) : Analyse morphologique d images pour la modélisation d environnements urbains, Thèse, MINES ParisTech, Filtrage, segmentation et classification d objets urbains 3D. Nouvelles méthodes devraient être développées selon les actuelles exigences du projet TerraMobilita. Andrés SERNA dans les Milieux Urbains 7 / 36

10 Projet TerraNumerica Projet TerraMobilita Objectifs de la thèse État de l Art La numérisation du patrimoine urbain :... Plate-forme massive pour la représentation et visualisation des espaces urbains de grande dimension, de façon réaliste, en 3D et haute définition... Travail de Hernández et Marcotegui (2009) : Analyse morphologique d images pour la modélisation d environnements urbains, Thèse, MINES ParisTech, Filtrage, segmentation et classification d objets urbains 3D. Nouvelles méthodes devraient être développées selon les actuelles exigences du projet TerraMobilita. Andrés SERNA dans les Milieux Urbains 7 / 36

11 État de l Art Projet TerraMobilita Objectifs de la thèse État de l Art Les formes alpha 3D (Edelsbrunner et al., 1994) et les squelettes 3D (Bucksch et al., 2008) peuvent être utiles pour caractériser des objets 3D en réduisant les besoins en mémoire. L extraction de cylindres (Chaperon et al., 2001) et l analyse par des sections verticales (Pu et al., 2011) peuvent être utiles pour caractériser des arbres et des lampadaires. Des descripteurs contextuels (Golovinskiy et al., 2009) peuvent être utiles pour la classification d objets (Owechko et al., 2010) avec un modèle de distribution spécifique. Des caractéristiques de dimensionnalité (Demantke et al., 2010) peuvent aider à distinguer des structures 1D, 2D et 3D. Des algorithmes de clustering (Douillard et al., 2011) sont utilisés habituellement pour la segmentation et la classification. La classification SVM dans des applications similaires (Mountrakis et al., 2011) a augmenté sa popularité dans ces dernières années. L analyse de forme de l écho laser (Mallet et al., 2011) peut être utile pour la discrimination d objets urbains en fonction de leurs intensités. Andrés SERNA dans les Milieux Urbains 8 / 36

12 État de l Art Projet TerraMobilita Objectifs de la thèse État de l Art Les formes alpha 3D (Edelsbrunner et al., 1994) et les squelettes 3D (Bucksch et al., 2008) peuvent être utiles pour caractériser des objets 3D en réduisant les besoins en mémoire. L extraction de cylindres (Chaperon et al., 2001) et l analyse par des sections verticales (Pu et al., 2011) peuvent être utiles pour caractériser des arbres et des lampadaires. Des descripteurs contextuels (Golovinskiy et al., 2009) peuvent être utiles pour la classification d objets (Owechko et al., 2010) avec un modèle de distribution spécifique. Des caractéristiques de dimensionnalité (Demantke et al., 2010) peuvent aider à distinguer des structures 1D, 2D et 3D. Des algorithmes de clustering (Douillard et al., 2011) sont utilisés habituellement pour la segmentation et la classification. La classification SVM dans des applications similaires (Mountrakis et al., 2011) a augmenté sa popularité dans ces dernières années. L analyse de forme de l écho laser (Mallet et al., 2011) peut être utile pour la discrimination d objets urbains en fonction de leurs intensités. Andrés SERNA dans les Milieux Urbains 8 / 36

13 État de l Art Projet TerraMobilita Objectifs de la thèse État de l Art Les formes alpha 3D (Edelsbrunner et al., 1994) et les squelettes 3D (Bucksch et al., 2008) peuvent être utiles pour caractériser des objets 3D en réduisant les besoins en mémoire. L extraction de cylindres (Chaperon et al., 2001) et l analyse par des sections verticales (Pu et al., 2011) peuvent être utiles pour caractériser des arbres et des lampadaires. Des descripteurs contextuels (Golovinskiy et al., 2009) peuvent être utiles pour la classification d objets (Owechko et al., 2010) avec un modèle de distribution spécifique. Des caractéristiques de dimensionnalité (Demantke et al., 2010) peuvent aider à distinguer des structures 1D, 2D et 3D. Des algorithmes de clustering (Douillard et al., 2011) sont utilisés habituellement pour la segmentation et la classification. La classification SVM dans des applications similaires (Mountrakis et al., 2011) a augmenté sa popularité dans ces dernières années. L analyse de forme de l écho laser (Mallet et al., 2011) peut être utile pour la discrimination d objets urbains en fonction de leurs intensités. Andrés SERNA dans les Milieux Urbains 8 / 36

14 État de l Art Projet TerraMobilita Objectifs de la thèse État de l Art Les formes alpha 3D (Edelsbrunner et al., 1994) et les squelettes 3D (Bucksch et al., 2008) peuvent être utiles pour caractériser des objets 3D en réduisant les besoins en mémoire. L extraction de cylindres (Chaperon et al., 2001) et l analyse par des sections verticales (Pu et al., 2011) peuvent être utiles pour caractériser des arbres et des lampadaires. Des descripteurs contextuels (Golovinskiy et al., 2009) peuvent être utiles pour la classification d objets (Owechko et al., 2010) avec un modèle de distribution spécifique. Des caractéristiques de dimensionnalité (Demantke et al., 2010) peuvent aider à distinguer des structures 1D, 2D et 3D. Des algorithmes de clustering (Douillard et al., 2011) sont utilisés habituellement pour la segmentation et la classification. La classification SVM dans des applications similaires (Mountrakis et al., 2011) a augmenté sa popularité dans ces dernières années. L analyse de forme de l écho laser (Mallet et al., 2011) peut être utile pour la discrimination d objets urbains en fonction de leurs intensités. Andrés SERNA dans les Milieux Urbains 8 / 36

15 État de l Art Projet TerraMobilita Objectifs de la thèse État de l Art Les formes alpha 3D (Edelsbrunner et al., 1994) et les squelettes 3D (Bucksch et al., 2008) peuvent être utiles pour caractériser des objets 3D en réduisant les besoins en mémoire. L extraction de cylindres (Chaperon et al., 2001) et l analyse par des sections verticales (Pu et al., 2011) peuvent être utiles pour caractériser des arbres et des lampadaires. Des descripteurs contextuels (Golovinskiy et al., 2009) peuvent être utiles pour la classification d objets (Owechko et al., 2010) avec un modèle de distribution spécifique. Des caractéristiques de dimensionnalité (Demantke et al., 2010) peuvent aider à distinguer des structures 1D, 2D et 3D. Des algorithmes de clustering (Douillard et al., 2011) sont utilisés habituellement pour la segmentation et la classification. La classification SVM dans des applications similaires (Mountrakis et al., 2011) a augmenté sa popularité dans ces dernières années. L analyse de forme de l écho laser (Mallet et al., 2011) peut être utile pour la discrimination d objets urbains en fonction de leurs intensités. Andrés SERNA dans les Milieux Urbains 8 / 36

16 État de l Art Projet TerraMobilita Objectifs de la thèse État de l Art Les formes alpha 3D (Edelsbrunner et al., 1994) et les squelettes 3D (Bucksch et al., 2008) peuvent être utiles pour caractériser des objets 3D en réduisant les besoins en mémoire. L extraction de cylindres (Chaperon et al., 2001) et l analyse par des sections verticales (Pu et al., 2011) peuvent être utiles pour caractériser des arbres et des lampadaires. Des descripteurs contextuels (Golovinskiy et al., 2009) peuvent être utiles pour la classification d objets (Owechko et al., 2010) avec un modèle de distribution spécifique. Des caractéristiques de dimensionnalité (Demantke et al., 2010) peuvent aider à distinguer des structures 1D, 2D et 3D. Des algorithmes de clustering (Douillard et al., 2011) sont utilisés habituellement pour la segmentation et la classification. La classification SVM dans des applications similaires (Mountrakis et al., 2011) a augmenté sa popularité dans ces dernières années. L analyse de forme de l écho laser (Mallet et al., 2011) peut être utile pour la discrimination d objets urbains en fonction de leurs intensités. Andrés SERNA dans les Milieux Urbains 8 / 36

17 État de l Art Projet TerraMobilita Objectifs de la thèse État de l Art Les formes alpha 3D (Edelsbrunner et al., 1994) et les squelettes 3D (Bucksch et al., 2008) peuvent être utiles pour caractériser des objets 3D en réduisant les besoins en mémoire. L extraction de cylindres (Chaperon et al., 2001) et l analyse par des sections verticales (Pu et al., 2011) peuvent être utiles pour caractériser des arbres et des lampadaires. Des descripteurs contextuels (Golovinskiy et al., 2009) peuvent être utiles pour la classification d objets (Owechko et al., 2010) avec un modèle de distribution spécifique. Des caractéristiques de dimensionnalité (Demantke et al., 2010) peuvent aider à distinguer des structures 1D, 2D et 3D. Des algorithmes de clustering (Douillard et al., 2011) sont utilisés habituellement pour la segmentation et la classification. La classification SVM dans des applications similaires (Mountrakis et al., 2011) a augmenté sa popularité dans ces dernières années. L analyse de forme de l écho laser (Mallet et al., 2011) peut être utile pour la discrimination d objets urbains en fonction de leurs intensités. Andrés SERNA dans les Milieux Urbains 8 / 36

18 État de l Art Projet TerraMobilita Objectifs de la thèse État de l Art Auteurs Structure de données Traitement Classification Nombre de classes Précision Mallet et al. (2008) Golovinskiy et al. (2009) Hernández et Marcotegui (2009) Owechko et al. (2010) Demantke al. (2010) et Douillard et al. (2011) Rutzinger et al. (2011) Munoz et al. (2011) Pu et al. (2011) Nuage de points 3D Analyse de forme d onde, morphologie mathématique Images de projection Graphes, analyse contextuelle Images de projection Morphologie mathématique Images de projection Segmentation par lignes de balayage SVM 3 (bâtiments, sol, végétation) Clustering hiérarchique, SVM, LDA SVM Basé sur des règles de décision Nuage de points 3D Voisinage adapté, PCA Basé sur des règles, caractéristiques dimensionnalité de 95.0% 2 (sol, objets) 80.5% 4 (voitures, lampadaires, piétons, autres) 17 (Bâtiments, sol, voitures, poteaux, lampadaires, arbres,...) 86.21% 70.0% 4 (1D-, 2D-, 3D-, bruit) 69.3% Images de projection Clustering hiérarchique Basé sur des règles, INSAC, clustering 16 (sol et différents objets urbains) 89.0% Formes alpha 3D T. de Hough 3D, croissance Modèles de forme 2 (arbres, non-arbres) 86.0% de régions Nuage de points 3D analyse contextuelle, High-order Markov 5 (végétation, fils, poteaux, 87.1% clustering models portances, façades) Nuage de points 3D caractéristiques géométriques et relations topologiques Basé sur des règles 3 (sol, objets sur le sol, autres) 86.9% Andrés SERNA dans les Milieux Urbains 9 / 36

19 Systèmes d acquisition Systèmes d acquisition Nuages de points 3D et images de projection Les données sont acquises par des systèmes terrestres fixes et mobiles, et présentées comme des nuages de points 3D. LARA 3D du laboratoire CAOR MINES ParisTech Stereopolis du laboratoire MATIS de l IGN Mensi XV de Mensi-Trimble (f) Système mobile LARA 3D (g) Système fixe Mensi-XV (h) Profil d acquisition Andrés SERNA dans les Milieux Urbains 10 / 36

20 Mate riel Expe rimental Analyse Se mantique 3D Syste mes d acquisition Nuages de points 3D et images de projection Des nuages de points 3D et des images de projection Ces nuages de points 3D sont analyse s en utilisant des images de projection (Images 2.5-D). P P 1 P 1 P 1 (i) Nuage de points (j) Profondeur (k) Hauteur (l) Accumulation Nous avons travaille sur les donne es suivantes : Rue Soufflot et Bd. St. Michel (TerraNumerica IGN) Rue Vaugirard (TerraMobilita CAOR) Andre s SERNA Analyse Se mantique 3D dans les Milieux Urbains 11 / 36

21 Mate riel Expe rimental Analyse Se mantique 3D Syste mes d acquisition Nuages de points 3D et images de projection Des nuages de points 3D et des images de projection II Jusqu a maintenant, nous avons seulement utilise l information spatiale disponible dans le nuage de points. Cependant, des caracte ristiques supple mentaires telles que l intensite du laser et la texture seront disponibles biento t. (m) Hauteur (n) Couleur Figure: Rue Soufflot, Paris. Acquis par LARA 3D. Andre s SERNA Analyse Se mantique 3D dans les Milieux Urbains 12 / 36

22 Analyse sémantique 3D Division en pâtés de maisons Segmentation façade sol Détection du trottoir Segmentation d objets urbains Classification d objets urbains Dans cette présentation, nous résumons les travaux de recherche que nous avons effectués depuis Octobre À chaque étape, nous présentons le travail précédent et le travail en cours. (a) Division en pâtés de maisons (b) Segmentation façade sol (c) Détection du trottoir (d) Segmentation et (e) Classification d objets urbains Andrés SERNA dans les Milieux Urbains 13 / 36

23 Division en pâtés de maisons Division en pâtés de maisons Segmentation façade sol Détection du trottoir Segmentation d objets urbains Classification d objets urbains Un pâté de maisons est l entité sémantique autour de la quelle se trouve le trottoir. Ils sont traités séparément et rejoints à la fin de l analyse réduction en besoins de mémoire. Méthode TerraNumerica : Extraction de marqueurs de façade en utilisant de contraintes minimales de hauteur (4m), séparation (3.5m) et longueur (5m) des bâtiments. Ensuite, un SKIZ fait la division en attribuant chaque point au marqueur le plus proche. (e) Rue Vaugirard, Paris (f) Marqueurs de façade (g) Division Andrés SERNA dans les Milieux Urbains 14 / 36

24 Mate riel Expe rimental Analyse Se mantique 3D Division en pa te s de maisons Segmentation fac ade sol De tection du trottoir Segmentation d objets urbains Classification d objets urbains Division en pa te s de maisons II Proble mes : 1 Des alignements d arbres sont de tecte s comme fac ades. 2 Des arbres proches des fac ades ou derrie re des grilles. 3 Des passerelles peuvent connecter des fac ades. Andre s SERNA Analyse Se mantique 3D dans les Milieux Urbains 15 / 36

25 Division en pâtés de maisons III Division en pâtés de maisons Segmentation façade sol Détection du trottoir Segmentation d objets urbains Classification d objets urbains Solution TerraMobilita : Discrimination façades arbres par critères de forme. (h) Bd. Saint Michel. LARA-3D. (i) Façade (bleu) et arbres (rouge) Andrés SERNA dans les Milieux Urbains 16 / 36

26 Division en pâtés de maisons IV Division en pâtés de maisons Segmentation façade sol Détection du trottoir Segmentation d objets urbains Classification d objets urbains Bilan : Bonne division et discrimination pour n importe quelle forme de façade, par rapport aux méthodes basées sur la T. de Hough ou RANSAC. Nous attendons pour des nouvelles données pour valider les approches et la fréquence d apparition des problèmes détectés. Figure: Rue Vaugirard, Paris. Acquis par LARA 3D. Andrés SERNA dans les Milieux Urbains 17 / 36

27 Segmentation façade sol Division en pâtés de maisons Segmentation façade sol Détection du trottoir Segmentation d objets urbains Classification d objets urbains Méthode TerraNumerica : Extraction de zones quasi-plates : Problème : Sol la CC la plus grande. Façade le reste. (a) Déconnexions à cause de la densité variable de points. (b) Non verticalité de la façade. Andrés SERNA dans les Milieux Urbains 18 / 36

28 Segmentation façade sol II Division en pâtés de maisons Segmentation façade sol Détection du trottoir Segmentation d objets urbains Classification d objets urbains Solution TerraMobilita : Marqueur façade (le même que dans la division en pâtés de maisons) Reconstruction géodésique sur l image de hauteur. (a) Marqueur de façade (b) Façade reconstruite Bilan : Bonne détection pour n importe quelle forme de façade, par rapport aux méthodes basées sur la T. de Hough ou RANSAC. Robuste à des problèmes de déconnexion et non verticalité. Andrés SERNA dans les Milieux Urbains 19 / 36

29 Mate riel Expe rimental Analyse Se mantique 3D Division en pa te s de maisons Segmentation fac ade sol De tection du trottoir Segmentation d objets urbains Classification d objets urbains De tection du trottoir Me thode TerraNumerica : Zones quasi-plates et watershed contraint. Proble me : L algorithme de zones quasi-plates peut s e chapper vers les rampes d acce s PMR. Andre s SERNA Analyse Se mantique 3D dans les Milieux Urbains 20 / 36

30 Détection du trottoir II Division en pâtés de maisons Segmentation façade sol Détection du trottoir Segmentation d objets urbains Classification d objets urbains Solution TerraMobilita : Utiliser un seuil sur l image de hauteur (entre 3 et 20 cm). Fermeture ( 5cm) pour éviter les déconnexions et un amincissement par diamètre géodésique (1m) pour sélectionner les structures suffisamment longues. Bilan : Bonne détection des bords du trottoir visibles. Besoin de reconnecter les morceaux pour gérer les occultations et les accès PMR. Andrés SERNA dans les Milieux Urbains 21 / 36

31 Détection d objets urbains Division en pâtés de maisons Segmentation façade sol Détection du trottoir Segmentation d objets urbains Classification d objets urbains Méthode TerraNumerica : Hypothèse : Les objets sont sur le sol et apparaissent comme des bosses sur l image de projection. La méthode de détection est basée sur le top-hat par fermeture de trous. FTH(f ) = Fill(f ) f (c) Profil d acquisition (d) Top-hat par fermeture de trous Andrés SERNA dans les Milieux Urbains 22 / 36

32 Détection d objets urbains II Division en pâtés de maisons Segmentation façade sol Détection du trottoir Segmentation d objets urbains Classification d objets urbains Problème : L ouverture surfacique élimine le bruit mais aussi des petits objets tels que les poteaux. Andrés SERNA dans les Milieux Urbains 23 / 36

33 Détection d objets urbains III Division en pâtés de maisons Segmentation façade sol Détection du trottoir Segmentation d objets urbains Classification d objets urbains Solution TerraMobilita : Les objets d accumulation importante sont réinsérés. Figure: Réinsertion des petits objets Andrés SERNA dans les Milieux Urbains 24 / 36

34 Re segmentation des objets connectés Division en pâtés de maisons Segmentation façade sol Détection du trottoir Segmentation d objets urbains Classification d objets urbains Méthode TerraNumerica : Le nombre d objets connectés dans la même CC est égal au nombre maxima. Des filtres morphologiques sont appliqués pour l élimination de pics de faible contraste. Ensuite, un watershed effectue la segmentation. (a) Objets connectés dans la même CC (b) Objets correctement re segmentés Andrés SERNA dans les Milieux Urbains 25 / 36

35 Re segmentation des objets connectés II Division en pâtés de maisons Segmentation façade sol Détection du trottoir Segmentation d objets urbains Classification d objets urbains Problème : Certains objets tels que des motos et des lampadaires peuvent être sur-segmentés parce qu ils ont plusieurs maxima significatifs. (c) Lampadaire sur-segmenté (d) Motos sur-segmentées Solution TerraMobilita : Critères de forme et texture pour décider si une CC doit être re segmentée ou non. Il n y a pas encore de résultats. Andrés SERNA dans les Milieux Urbains 26 / 36

36 Classification d objets urbains Division en pâtés de maisons Segmentation façade sol Détection du trottoir Segmentation d objets urbains Classification d objets urbains Nous avons annoté manuellement une base de données pour établir une vérité terrain de 304 objets : Catégorie Quantité Piétons 101 Poteaux 39 Mobiliers 30 Voitures 27 Arbres 25 Autres 17 Lampadaires 12 Motos 10 Façades 9 Panneaux 7 Grilles 5 Feux 4 Vélos 4 Corbeilles 3 Murs 3 Poubelles 2 Andrés SERNA dans les Milieux Urbains 27 / 36

37 Classification d objets urbains II Division en pâtés de maisons Segmentation façade sol Détection du trottoir Segmentation d objets urbains Classification d objets urbains Méthode TerraNumerica : Classification SVM avec des caractéristiques géométriques : L aire de l objet. La moyenne, l écart type, le maximum, le minimum et le mode de la profondeur et de l accumulation. Détectés Vérité Terrain Voitures Lampadaires Piétons Autres Voitures 100% 0.0% 0.0% 0.0% Lampadaires 0.0% 100% 0.0% 0.0% Piétons 0.0% 0.0% 69.56% 30.44% Autres 0.0% 0.0% 20.83% 79.17% Pourcentage de bonne classification = % Dans la classe piétons : précision=76.19 %, rappel=69.56 % Andrés SERNA dans les Milieux Urbains 28 / 36

38 Classification d objets urbains III Division en pâtés de maisons Segmentation façade sol Détection du trottoir Segmentation d objets urbains Classification d objets urbains Problème : Confusion entre les classes piétons et autres. Solution TerraMobilita : Classification SVM hiérarchique. Augmenter le nombre de catégories, échantillons et descripteurs. Bilan : Les classes en bleu sont bien discriminées (bonne classification=95.57 %) Dans la classe piétons : précision=86.36 %, rappel=86.36 % Classes avec peu d exemples sont encore confondues. Andrés SERNA dans les Milieux Urbains 29 / 36

39 Conclusions Méthode d analyse sémantique de nuages de points 3D et d images dans les milieux urbains. À chaque étape, nous partons des méthodes déjà existantes, nous identifions les problèmes, puis nous proposons des solutions et présentons des résultats préliminaires. Division en pâtés de maisons Extraction de façade Détection de trottoir Détection d objets Resegmentation d objets connectés Classification d objets Méthode précédente Problème identifié Solution proposée SKIZ à partir de marqueurs de façade Les alignements d arbres peuvent remplir Séparation des façades et des arbres en en utilisant des contraintes de hauteur les mêmes contraintes. utilisant des descripteurs de forme. et longueur. Algorithme de zones quasi-plates Non robuste à des problèmes de connectivité et non-verticalité des façades. Zones quasi-plates et watershed contraint. Filtrage morphologique et top hat par fermeture de trous. Filtre H-minima, watershed contraint SVM, 4 catégories, 11 caractéristiques géométriques. L algorithme de zones quasi-plates peut s échapper vers les rampes d accès PMR. Les petits objets sont supprimés pour une ouverture surfacique. Sur-segmentation d objets qui ont plusieurs maxima significatifs. Confusion entre les classes piétons et autres. Réutilisation de marqueurs de façade pour faire une reconstruction géodésique de la façade. Fermeture morphologique et amincissement géodésique sur l image de différence de profondeur. Les objets avec accumulation importante sont réinsérés. Critères de forme et texture pour décider si une CC doit être re segmentée ou non. Classification hiérarchique SVM, 12 catégories, 14 caractéristiques géométriques. Les méthodes sont disponibles et prêtes pour être testées à plus grande échelle. Andrés SERNA dans les Milieux Urbains 30 / 36

40 Problèmes non encore résolus Composantes connexes mixtes dans la détection de façades : façades, arbres et grilles. Reconnexion du bord du trottoir. Algorithmes du chemin plus court, ouvertures par chemins incomplets, la transformée de Hough, la position relative par rapport à la façade, etc. Sur-segmentation d objets à plusieurs maxima significatifs. Développer l approche classification : Descripteurs 3D et de couleur. Plus d échantillons et plus de catégories. Andrés SERNA dans les Milieux Urbains 31 / 36

41 Perspectives En plus de l information spatiale, l intensité du laser et la texture peuvent améliorer les performances dans les étapes de détection, segmentation et classification. Développer des outils pour traiter des données 3D texturées. Filtrage en tenant compte des informations de voisinage, textures et profondeur. Un filtre, avec la même philosophie que le filtrage bilatéral, peut être utilisé pour filtrer des objets urbains sans fusionner l information d objets à différentes profondeurs et textures. La densité de points dépend des caractéristiques du capteur et de la vitesse du véhicule d acquisition. Donc, des structures de données de taille et densité adaptatives pourraient être plus appropriées pour l analyse. Certains objets complexes peuvent être analysés directement sur le nuage de points 3D. En ce sens, les opérateurs d analyse d images ou morphologie mathématique devraient être généralisés pour le cas 3D. Des structures telles que kd-trees, octrees, triangulations, ou encore réseaux de Kohonen peuvent offrir les relations de voisinage nécessaires pour ce type d analyse. Andrés SERNA dans les Milieux Urbains 32 / 36

42 Perspectives En plus de l information spatiale, l intensité du laser et la texture peuvent améliorer les performances dans les étapes de détection, segmentation et classification. Développer des outils pour traiter des données 3D texturées. Filtrage en tenant compte des informations de voisinage, textures et profondeur. Un filtre, avec la même philosophie que le filtrage bilatéral, peut être utilisé pour filtrer des objets urbains sans fusionner l information d objets à différentes profondeurs et textures. La densité de points dépend des caractéristiques du capteur et de la vitesse du véhicule d acquisition. Donc, des structures de données de taille et densité adaptatives pourraient être plus appropriées pour l analyse. Certains objets complexes peuvent être analysés directement sur le nuage de points 3D. En ce sens, les opérateurs d analyse d images ou morphologie mathématique devraient être généralisés pour le cas 3D. Des structures telles que kd-trees, octrees, triangulations, ou encore réseaux de Kohonen peuvent offrir les relations de voisinage nécessaires pour ce type d analyse. Andrés SERNA dans les Milieux Urbains 32 / 36

43 Perspectives En plus de l information spatiale, l intensité du laser et la texture peuvent améliorer les performances dans les étapes de détection, segmentation et classification. Développer des outils pour traiter des données 3D texturées. Filtrage en tenant compte des informations de voisinage, textures et profondeur. Un filtre, avec la même philosophie que le filtrage bilatéral, peut être utilisé pour filtrer des objets urbains sans fusionner l information d objets à différentes profondeurs et textures. La densité de points dépend des caractéristiques du capteur et de la vitesse du véhicule d acquisition. Donc, des structures de données de taille et densité adaptatives pourraient être plus appropriées pour l analyse. Certains objets complexes peuvent être analysés directement sur le nuage de points 3D. En ce sens, les opérateurs d analyse d images ou morphologie mathématique devraient être généralisés pour le cas 3D. Des structures telles que kd-trees, octrees, triangulations, ou encore réseaux de Kohonen peuvent offrir les relations de voisinage nécessaires pour ce type d analyse. Andrés SERNA dans les Milieux Urbains 32 / 36