Développements algorithmiques au LIAMA et àamap en vue de l'analyse d'une scène forestière

Développements algorithmiques au LIAMA et àamap en vue de l'analyse d'une scène forestière Principaux contributeurs: Zhang Xiaopeng (CASIA-NLPR-LIAMA Coordinateur Groupe Image) Li HongJun (CASIA-NLPR-LIAMA / BJFU) Jaeger Marc (CIRAD-AMAP coordinateur GreenLab) ANR EMERGE NANCY 18/19 septembre 2013. Développements logiciels T-Lidar. M. Jaeger 1

Plan Contexte enjeux - objectifs Acquis. Difficultés spécifiques Méthodologie proposée. Structuration des données. Segmentation. Analyse et caractérisation Reconnaissance. Reconstruction 3D Applications. Bilan, Impact et perspectives ANR EMERGE NANCY 18/19 septembre 2013. Développements logiciels T-Lidar. M. Jaeger 2

Contexte et enjeux L étude de la structure, sa représentation, sa visualisation Modèle structure et Modèle structure fonction Géométrie 3D et sa visualisation Premières expériences laser en 2007 en partenariat Contexte partenarial Un projet commun depuis 1998 (GreenLab) Expérience dans l ingénierie inverse Une compétence reconnue en traitement d image, classification ANR EMERGE NANCY 18/19 septembre 2013. Développements logiciels T-Lidar. M. Jaeger 3

Objectifs Méthodes et Algorithmes pour: La classification des points La reconnaissance de structures (branches, feuilles) L extraction d un arbre parmi d autres Dans le but d obtenir une géométrie (et structure) explicite d un objet depuis un ensemble complexe de points Outils prototypes Pour l étude de la structure de l arbre et des peuplements Pour la visualisation et/ou la représentation de l environnement ANR EMERGE NANCY 18/19 septembre 2013. Développements logiciels T-Lidar. M. Jaeger 4

Acquis Travaux existants Plante seule (au sein de GreenLab) Détection d axes principaux et reconstruction 3D àpartir d un squelette Analyse structurelle de squelettes Liées au contexte forestier Quelques approches statistiques Des approches par examen partiel du nuage de point Dans l industrie et l héritage culturel Structuration des données Reconstruction de surface Analyse de surfaces ANR EMERGE NANCY 18/19 septembre 2013. Développements logiciels T-Lidar. M. Jaeger 5

Acquis Travaux existants Z. CHENG, X. ZHANG, B. CHEN, JCST 2007 Distance géodésique Directions principales Ajustement cylindrique et squelette Diamètres et Reconstruction 3D B. CURLES, SIGGRAPH, 2000 M. SIMONSE, 2003 Filtrage, sol (par moyenne d altitude), DBH ANR EMERGE NANCY 18/19 septembre 2013. Développements logiciels T-Lidar. M. Jaeger 6

Difficultés particulières Liées à la géométrie du végétal Géométries complexes, éparses, volumineuses Variabilité des individus Liées au contexte forestier Volume d information Bruits, occlusions importantes, interpénétrations, flous Aspects quantitatifs demandés (volume) Références géométriques pas forcément disponible ou fiable Contextuelles Partenariat (langue, méthodologies de travail, env. technique) Données (disponibilités, volume) ANR EMERGE NANCY 18/19 septembre 2013. Développements logiciels T-Lidar. M. Jaeger 7

Principes des approches développées Exploitation des acquis Approches pas à pas, incrémentales Optimisation en limitant le volume de données ANR EMERGE NANCY 18/19 septembre 2013. Développements logiciels T-Lidar. M. Jaeger 8

Principes des approches développées Une boucle de traitement type Filtrage des données pour réduction du volume. Encodage du nuage de points sélectionnés dans un Kd-Tree Calculs sur chaque point en fonction du voisinage Segmentation selon la distance, la normale, la courbure (variation des normales) Application d ajustements (plans, cylindres) Classification des ajustements Fusion de classification pour la reconnaissance Reconstruction et/ou mesures ANR EMERGE NANCY 18/19 septembre 2013. Développements logiciels T-Lidar. M. Jaeger 9

La structuration des données Réduction du volume de données Chargement partiel (demi-scan, boite englobante, ) Echantillonnage (1 point sur n) Encodage dans un Kd-Tree Un kd-tree, est une structure de données de partition de l'espace. Le Kd-Tree stocke les points, et permet des recherches rapides de voisinage selon un arbre binaire Systématiquement utilisé (librairie ANN) ANR EMERGE NANCY 18/19 septembre 2013. Développements logiciels T-Lidar. M. Jaeger 10

Segmentation des points Calcul de la distance en chaque point du KdTree Calcul de la normale en chaque point On considère un voisinage proche de 3 à9 points Estimation locale des directions principales et secondaires, de la courbure Définition de classes par seuillage Cas simple: seuillage par distance et normales Ning et al, PMA09, 2009 ANR EMERGE NANCY 18/19 septembre 2013. Développements logiciels T-Lidar. M. Jaeger 11

Analyse et caractérisation Ajustement par rapport à des formes simples Reconnaissance de portion de plans, de sphères, de cylindres Normales locales Directions et ajustements Données originelles branches reconnues avec feuilles reconnues Dai et al, ACCV09, 2009 ANR EMERGE NANCY 18/19 septembre 2013. Développements logiciels T-Lidar. M. Jaeger 12

Reconnaissance et reconstruction Analyse des résidus lors des ajustements Ning et al, VRCAI09, 2009 Fusion des résultats d ajustement Dai et al, CJSIA, 2010 Reconstruction à partir des primitives ajustées ANR EMERGE NANCY 18/19 septembre 2013. Développements logiciels T-Lidar. M. Jaeger 13

Application Reconstruction 3D Reconstruction fine d arbres isolés Données Segmentation Ajustements Squelette Ajouts d axes Dai et al, ISSN, 2010 Avec des axes feuillés ANR EMERGE NANCY 18/19 septembre 2013. Développements logiciels T-Lidar. M. Jaeger 14

Application -Aide àl inventaire Principes LI et al, VRCAI, 2010 ANR EMERGE NANCY 18/19 septembre 2013. Développements logiciels T-Lidar. M. Jaeger 15

Outil prototype Intégration de modules se déroulant par étape avec sauvegarde, export, vue 3D. Spécifications: Chargement dans un Kd-tree de tout ou partie d un scan sous format.obj ou.xyz Découpage des points en volume tronc/ couronne selon une altitude donnée Calcul de normal en volume bas. Segmentation et classification des points selon les normales. Détection du terrain et affinage de la géométrie Ajustement géométrique des troncs, fusion des portions et identification Chargement du volume haut et identification des couronnes depuis les troncs Représentation graphique 3D interactive Technique: Language C++. Environnement: Windows. Compilation: Visual Studio, Visual express Librairies: ANN (k node tree library) http://www.cs.umd.edu/~mount/ann/ GLUT (OpenGl minimal GUI) http://www.opengl.org/resources/libraries/glut/ Exécution: depuis une console ou un fichier de commande avec fichier de paramètres Démo LI et al, VRCAI, 2010 2010-2013 ANR EMERGE NANCY 18/19 septembre 2013. Développements logiciels T-Lidar. M. Jaeger 16

Bilan Bilan, impacts et perspectives Problématique difficile sur le végétal (isolé ou en peuplement) Volume de données, Bruit et précision Le T-Lidar permet d obtenir les grands axes de la structure d une plante (seule) Le T-Lidar permet la détection des individus une placette D autres pistes Reconstruction de la couronne (ok, mais à un coût prohibitif) Traitements en coordonnées sphériques? (biblio faible) Chu et al, PMA09 2009 Echanges et production scientifique 5 séjour CASIA/NLPR en France, 2 (sur 4 prévues) AMAP en Chine 6 publications communes, 4 annexes ANR EMERGE NANCY 18/19 septembre 2013. Développements logiciels T-Lidar. M. Jaeger 17

Impacts (et perspectives) Impact àl UMR AMAP, CIRAD. Acquisition d un T-Lidar? Groupe de chercheurs s impliquant sur cette modalité dans le contexte des forêts tropicales Caractérisation des houppiers Liaison avec des modèle de croissance (structure et biomasse) Participation aux ateliers Lidar initiés par Thiéry Constant grâce àemerge Nouveaux partenariats et projets Impact au CASIA Acquisition d un T-Lidar par le partenaire CAF Chinese Academy of Forestry Activitéanimée en Chine par HongJun LI, enseignant àle BJFU (Beijing Forestry University), qui a monté un réseau (CASIA, BJFU, CAF) Interactions élargies (France Chine). Echanges et publications impliquant les institutions : INRA-ONF-CIRAD CASIA- CAF-BJFU. Propositions de projets (NSFC) ANR EMERGE NANCY 18/19 septembre 2013. Développements logiciels T-Lidar. M. Jaeger 18

Publications 1. Mingrui Dai, Xiaopeng Zhang, Yi-Kuan Zhang, Marc Jaeger. 2009. Segmentation of Point Cloud Scanned from Trees. In Proceedings of Workshop on 3D content and applications with ACCV2009, September 24, 2009, Xi'an, China. pp. 1-12. 2. Xiaojuan Ning, Xiaopeng Zhang, Yinghui Wang, Marc Jaeger. 2009. Segmentation of architecture shape information from 3D point cloud. In Proceedings of the 8th international Conference on Virtual Reality Continuum and Its Applications in industry (Yokohama, Japan, December 14-15, 2009). S. N. Spencer, Ed. VRCAI '09. ACM, New York, NY, pp. 127-132. 3. Dai Mingrui, Zhang Xiaopeng, Li Hongjun. 2010. Tree reconstruction based on range image with strong noise. In: Chinese Journal of Sterology and Image Analysis, Vol.15, No.2, pp. 109-114, 2010. In Chinese with English abstract. 4. Mingrui Dai, Hongjun Li, Xiaopeng Zhang. 2010. Tree Modeling Through Range Image Segmentation and 3D Shape Analysis, 7th International Symposium on Neural Networks (ISNN 2010), in: Adv. in Neural Network Research & Appli., LNEE 67, pp. 413 422. 2010. 5. Chao Zhu, Xiaopeng Zhang and Marc Jaeger. 2010. Cluster based Construction of Tree Crown from Scanned Data. In: Li, B. and Jaeger, M. and Guo, Y. (Eds). 2010. Proceedings of Plant growth Modeling, and their Applications (PMA09), Beijing, China, November 9-13, 2009, IEEE CPS, pp. 352-359. 6. Hongjun LI, Xiaopeng Zhang, Marc Jaeger, Thiery Constant. 2010. Segmentation of Forest Terrain Laser Scan Data. In: Proceedings of VRCAI 2010 (9th ACM SIGGRAPH International Conference on Virtual-Reality Continuum and its Applications in Industry). Dec. 12-13, 2010, Seoul,Korea. ACM New York, NY, USA. ISBN: 978-1-4503-0459-7, pp. 47-54. 7. Marc Jaeger. 2010. Représenter et visualiser les objets naturels biologiques. De la plante au paysage. Habilitation à diriger les Recherches. Discipline Informatique. UniversitéBlaise Pascal, Clermont-Ferrand II. 2010 December 15th, 151 p. 8. LI HongJun. 2011. 3D model Processing and Plant Scene Realistic Rendering. PhD defense at Institute of Automation of Chinese Academy of Sciences in Computer Application Technology. Beijing, 2011, November 29th, 2011. ANR EMERGE NANCY 18/19 septembre 2013. Développements logiciels T-Lidar. M. Jaeger 19

La reconstruction des troncs LI et al, VRCAI, 2010 Résultat de la segmentation Reconstruction 3D Classification par voisinage Interpolation des rayons Fusion (direction et B.E) Ajustement de cercles ANR EMERGE NANCY 18/19 septembre 2013. Développements logiciels T-Lidar. M. Jaeger 20

Assigner les points des couronnes L affectation d un point C àla couronne issue d un tronc i est obtenu comme la plus petite contrainte distance, orientation du tronc. Cela permet de gérer des cas inclinés. LI et al, VRCAI, 2010 ANR EMERGE NANCY 18/19 septembre 2013. Développements logiciels T-Lidar. M. Jaeger 21

Publications avec URL 1. Mingrui Dai, Xiaopeng Zhang, Yi-Kuan Zhang, Marc Jaeger. 2009. Segmentation of Point Cloud Scanned from Trees. In Proceedings of Workshop on 3D content and applications with ACCV2009, September 24, 2009, Xi'an, China. pp. 1-12. Url: http://www.mendeley.com/research/segmentation-point-cloud-scanned-trees-4 2. Xiaojuan Ning, Xiaopeng Zhang, Yinghui Wang, Marc Jaeger. 2009. Segmentation of architecture shape information from 3D point cloud. In Proceedings of the 8th international Conference on Virtual Reality Continuum and Its Applications in industry (Yokohama, Japan, December 14-15, 2009). S. N. Spencer, Ed. VRCAI '09. ACM, New York, NY, pp. 127-132. Url : http://dl.acm.org/citation.cfm?id=1670280 3. Dai Mingrui, Zhang Xiaopeng, Li Hongjun. 2010. Tree reconstruction based on range image with strong noise. In: Chinese Journal of Sterology and Image Analysis, Vol.15, No.2, pp. 109-114, 2010. In Chinese with English abstract. Url: http://en.cnki.com.cn/article_en/cjfdtotal-ztsx201002005.htm 4. Mingrui Dai, Hongjun Li, Xiaopeng Zhang. 2010. Tree Modeling Through Range Image Segmentation and 3D Shape Analysis, 7th International Symposium on Neural Networks (ISNN 2010), in: Adv. in Neural Network Research & Appli., LNEE 67, pp. 413 422. 2010. Url: http://link.springer.com/chapter/10.1007%2f978-3-642-12990-2_47 5. Chao Zhu, Xiaopeng Zhang and Marc Jaeger. 2010. Cluster based Construction of Tree Crown from Scanned Data. In: Li, B. and Jaeger, M. and Guo, Y. (Eds). 2010. Proceedings of Plant growth Modeling, and their Applications (PMA09), Beijing, China, November 9-13, 2009, IEEE CPS, pp. 352-359. Url: http://dl.acm.org/citation.cfm?id=1800435 6. Hongjun LI, Xiaopeng Zhang, Marc Jaeger, Thiery Constant. 2010. Segmentation of Forest Terrain Laser Scan Data. In: Proceedings of VRCAI 2010 (9th ACM SIGGRAPH International Conference on Virtual-Reality Continuum and its Applications in Industry). Dec. 12-13, 2010, Seoul,Korea. 2010, Dec. 12-13. ACM New York, NY, USA. ISBN: 978-1-4503-0459-7, pp. 47-54. Url: http://doi.acm.org/10.1145/1900179.1900188 7. Marc Jaeger. 2010. Représenter et visualiser les objets naturels biologiques. De la plante au paysage. Habilitation à diriger les Recherches. Discipline Informatique. UniversitéBlaise Pascal, Clermont-Ferrand II. 2010 December 15th, 151 p. Url: http://pma.cirad.fr/hdr_memoire_mj.pdf. ANR EMERGE NANCY 18/19 septembre 2013. Développements logiciels T-Lidar. M. Jaeger 22