Evaluation de la technologie des caméras 3D (Kinect 2) pour la mesure et la reconstruction d objets à courte portée

Transcription

1 Institut National des Sciences Appliquées de Strasbourg Mémoire de soutenance de Diplôme d Ingénieur INSA Spécialité TOPOGRAPHIE Evaluation de la technologie des caméras 3D (Kinect 2) pour la mesure et la reconstruction d objets à courte portée Soutenu le 16 juin 2015 par Elise LACHAT Réalisé au sein du Laboratoire ICube UMR 7357 Groupe Photogrammétrie Architecturale et GEomatique Membre de l équipe TRIO INSA de Strasbourg 24, Boulevard de la Victoire STRASBOURG Directrice et correctrice de PFE : Mme Tania LANDES Maître de Conférences - INSA de Strasbourg

2

3 i REMERCIEMENTS Avant d entrer dans le vif du sujet, je tenais à adresser mes remerciements à toutes les personnes qui, de près comme de loin, ont été acteurs au cours de la réalisation de ce projet ou au cours des dernières années. Je commencerai par remercier Mme Tania Landes, encadrante et correctrice de ce mémoire, pour m avoir proposé ce sujet qui s est avéré tant prenant que passionnant. Je la remercie pour son suivi et ses interventions constructives, tout en me laissant une large marge de manœuvre afin de mener à bien ce projet. Je remercie également M. Pierre Grussenmeyer, responsable du Laboratoire de Photogrammétrie, pour m avoir accueillie au sein de son laboratoire. Que tous deux soient également remerciés pour m avoir offert la possibilité de présenter mes travaux à travers deux publications en conférences, et pour m avoir fait confiance dans cette démarche. Mes remerciements iront également à MM. Samuel Guillemin, Bernard Grandmougin et Daniel Levy, pour leur aide appréciée dans la résolution des problèmes techniques et informatiques. Merci aux deux doctorantes que j ai eu l occasion de rencontrer lors de ce séjour au laboratoire : Marie-Anne Mittet, pour m avoir transmis la «vision Kinect», et Hélène Macher, pour ses «trucs et astuces» Matlab en tous genres. J adresse également un clin d œil amical aux étudiants en PFE arrivés en février au laboratoire, pour les discussions / pauses café partagées. Comment oublier dans cette liste les personnes qui ont participé à l enrichissement de ces années d études en topographie : merci particulièrement aux «Stef» qui sauront répondre à cette appellation, ainsi qu aux camarades que j ai pu côtoyer lors de travaux collectifs. Je n oublierai pas ma partenaire d aventure double-diplôme, Thaïs de Turckheim, ainsi que tous les étudiants «Geodäten» rencontrés au KIT, pour leur accueil fort sympathique et leur aide. Parce qu ils ont toujours été là, et parce que leurs nerfs ont toujours supporté mes humeurs sinusoïdales, je tenais à dire merci à mes parents. Last but not least, un merci tout particulier à Marc Steinmetz pour ses métaphores toujours adaptées, pour ses relectures, et plus généralement pour sa capacité à me supporter tous les jours.

4 ii

5 iii SOMMAIRE Remerciements... i Sommaire... iii Introduction... 1 Chapitre I : Une nouvelle venue parmi les capteurs 3D 3 1 Etat de l art des technologies de caméras 3D Diversité des systèmes d acquisition tridimensionnelle Domaines d application Avantages et nouveaux apports Principe de fonctionnement d une caméra 3D temps de vol Distinction entre temps de vol direct et indirect Application de la mesure par temps de vol aux capteurs imageurs Limites liées à la technologie... 9 Chapitre II : Etude des propriétés du capteur Kinect v Prise en main du capteur Quelques caractéristiques techniques de Kinect v Différents types de données à acquérir Logiciels et fonctionnalités Le SDK de Microsoft Diverses fonctions de mise en correspondance Solution implémentée pour l enregistrement des fenêtres Procédé d obtention de nuages de points Amélioration de la donnée acquise Test de mise en chauffe Influence du moyennage des mesures Analyse sur un mur plan Analyse d une scène plus complexe Influence de l environnement et des propriétés de la scène sur la mesure Influence des matériaux et de la radiométrie Cas des matériaux très réfléchissants Cas des matériaux sombres Test sur un damier de nuances de gris Efficacité à l extérieur... 25

6 iv Chapitre III : Méthodes de calibration d'une caméra 3D 29 1 Calibration géométrique Analyse des distorsions Détermination des paramètres Influence de la calibration géométrique Calibration en distance Bilan des erreurs influant sur la mesure de distance Evaluation et modélisation de l erreur systématique sur la mesure de distance : diverses approches Approches paramétriques Une correction en deux temps Vers une approche non paramétrique Mise en place du protocole expérimental Mise en place de la méthode de calibration retenue Analyse et correction des écarts de mesures en fonction de la portée Traitement des données brutes Analyse des résultats Correction de l erreur systématique de mesure Correction des déformations locales du capteur Calcul des résidus par rapport à un plan Approximation des surfaces résiduelles Application de la correction Résultats obtenus Influence des corrections combinées Limites de l approche mise en place Chapitre IV : Application à la réalisation de modèles 3D 48 1 Des données brutes à la création du maillage Acquisition d objets à courte portée Fragment de balustrade, Cathédrale de Strasbourg Fragment calcaire d un chapiteau Alignement de fenêtres successives Approches envisageables Présentation de l outil Kinect Fusion Consolidation semi-automatique de nuages individuels Alignement de points communs De nombreuses sources d erreur Du nuage de points complet au maillage... 54

7 v 2 Evaluation qualitative des modèles réalisés Méthodes de comparaison : aperçu Evaluation de la précision des modèles réalisés Acquisition de modèles de référence Résultats de l étude comparative Pistes d amélioration Conclusion Table des illustrations Liste des tableaux Références bibliographiques Sommaire des annexes Annexe A : Exemples illustrés de domaines d application des caméras 3D Annexe B : Principe de la modulation en amplitude Annexe C : Rappels sur la première version de Kinect Annexe D : Interface graphique du navigateur proposé par le SDK Annexe E : De la carte de profondeur (2D) au nuage de points 3D rappels sur le modèle du sténopé et la projection perspective Annexe F : Modèle mathématique pour la correction des distorsions géométriques Annexe G : Analyses complémentaires pour la calibration en distance Annexe H : Représentation des résidus par rapport à un plan pour des nuages de points à différentes portées Annexe I : Interface graphique de la Surface Fitting Toolbox du logiciel Matlab Annexe J : Chaîne de traitement finale pour la création de modèles 3D Annexe K : Analyse des nuages de points individuels en vue de la réalisation d un nuage de points complet

8 vi

9 Introduction et objectifs Page 1 INTRODUCTION Forte du succès avec lequel avait été accueillie sa première caméra 3D en 2010, c est au cours de l été 2014 que la firme américaine Microsoft a lancé la vente individuelle d une nouvelle version de cet accessoire, le capteur Kinect v2 pour Windows. Initialement couplée à une console de jeux, la première version du capteur de mouvement Kinect avait également remporté un franc succès lors de sa commercialisation individuelle, notamment auprès des développeurs pour qui ce nouvel outil se voulait «révolutionnaire». Caméra à bas coût, permettant l acquisition en temps réel d un flux vidéo de scènes en trois dimensions, celle-ci s avérait alors fort intéressante pour le développement de nouvelles applications toujours plus interactives. Un des principaux domaines ciblés est celui de l interaction homme/machine. C est donc le même chemin qu a emprunté la version 2 de Kinect, commercialisée avec console à sa sortie, puis individuellement quelques mois plus tard. Au fil de ce mémoire, il sera question d évaluer ce récent capteur dans sa nouvelle version. Contexte de l étude Bien qu au premier abord de résolution et de qualité insuffisante pour être adopté dans des études métrologiques, le concept de caméra 3D possède l avantage de permettre l acquisition en temps réel d une succession de nuages de points. Si l on considère de surcroit la portabilité d un tel outil, ainsi que son coût très réduit par rapport aux scanners laser terrestres ou à main, c est tout naturellement que les professionnels de la modélisation tridimensionnelle s y sont intéressés. Ainsi, bon nombre d études réalisées au cours de la dernière décennie cherchent à détourner l usage fait de ce type de capteur, en explorant ses multiples capacités. Dans l optique de la conception d un système de localisation en milieu urbain, le groupe PAGE (Photogrammétrie Architecturale et GEomatique) de l INSA de Strasbourg a accueilli récemment les travaux de thèse de Marie-Anne Mittet. Le prototype réalisé pour répondre à cette attente s est appuyé sur l emploi simultané de trois caméras 3D de la gamme Asus Xtion. Ces capteurs, utilisant des composants internes identiques à ceux présents dans le capteur Kinect v1, peuvent être mis sur un pied d égalité avec le système développé par Microsoft. Un des problèmes majeurs rencontrés avec ces capteurs lorsqu ils sont appliqués à la localisation en milieu urbain, se traduit par leur quasi-inefficacité lors d acquisitions réalisées en extérieur. S ajoute à cela un souci intrinsèque à la technologie, à savoir le bruit observé sur les nuages de points alors obtenus. La venue sur le marché en 2014 d un nouveau capteur Kinect a donc ouvert de nouvelles perspectives d étude. C est dans cette dynamique que le présent Projet de Fin d Etudes a été proposé par le groupe PAGE, membre du laboratoire ICube de l Université de Strasbourg. Les travaux de cette équipe étant essentiellement tournés vers la numérisation 3D du patrimoine bâti et sa mise en valeur, c est tout naturellement que le sujet a été orienté vers la reconstruction tridimensionnelle d objets. La thématique de ce sujet s inscrit également dans une logique d intérêt pour ces systèmes novateurs et prometteurs, ayant conduit depuis quelques années à l apparition de sujets de PFE consacrés à l étude de capteurs 3D. Ainsi, Nicolas Bernard en 2011 s était intéressé aux améliorations métrologiques apportées par la calibration sur deux modèles de caméras 3D, dont le capteur Kinect v1. En 2013, Philippe Fabre avait cherché à répondre à la problématique d acquisition de nuages de points adaptés aux relevés d intérieur de grande

10 Introduction et objectifs Page 2 ampleur, à l aide de l outil Kinect v1. En ce sens, le projet résumé à travers le présent mémoire ne s inscrit pas dans une suite logique de ces deux PFE, puisqu il propose davantage d envisager une autre utilisation d un capteur plus récent, le capteur Kinect v2. Problématique et objectifs S appuyant sur une technologie tout à fait différente de celle employée par la précédente version de Kinect, Microsoft a présenté sa Kinect v2 pour Windows en vantant le gain en termes de qualité et de résolution des images que celle-ci doit apporter. Si ces considérations ne forment pas uniquement un solide argument commercial, le capteur Kinect v2 pourrait alors s avérer d un réel intérêt pour des applications dans le domaine de la métrologie ou de la localisation. La problématique du projet développé et présenté dans le présent mémoire s inscrit ainsi dans cette logique de réflexion. Système prometteur pour le domaine de la modélisation 3D, ou accessoire encore perfectible en vue de son utilisation dans un tel contexte, c est autour de ce questionnement que s est formée la rédaction du sujet de ce Projet de Fin d Etudes. En gardant à l esprit qu un tel dispositif initialement destiné au grand public ne peut être adopté que dans le cas de relevés à courte portée, il ne sera alors pas tant question de relevés intégraux de bâtiments, mais davantage de mesure et de reconstruction de petits objets. On comprendra sous ce terme de «petits objets» notamment des statues, des éléments architecturaux de détails d une façade, mais également des recoins de pièces bien souvent inaccessibles ou masqués lors de relevés avec un scanner laser terrestre. Ainsi, la fonctionnalité envisagée pour cette nouvelle caméra 3D s inscrirait plutôt en complément des relevés tridimensionnels effectués par scanner laser. Dans le domaine de la documentation du patrimoine, des technologies similaires de type scanners à main ont déjà été largement étudiées et confrontées au relevé photogrammétrique plus traditionnel (Boehler & Marbs [2004], Remondino et al. [2005], Guidi et al. [2007]). Si l on tient compte des attentes citées précédemment, une question se pose alors à nous : la qualité des acquisitions sera-t-elle suffisante afin de compléter ou de se greffer sur des modèles 3D préexistants? Plus qu une évaluation technologique du nouvel outil Kinect v2, ce projet aura davantage matière à déterminer et évaluer les aspects qualitatifs du nouveau capteur proposé par Microsoft. L objectif fixé peut alors être résumé à l évaluation du système pour la mesure et la reconstruction d entités à courte portée. Il conviendra tout d abord de resituer l outil Kinect de nouvelle génération parmi un ensemble de capteurs aux qualités semblables. Sans pour autant établir une liste exhaustive des caméras 3D présentes sur le marché à l heure actuelle, une première partie de ce mémoire sera consacrée à la classification des capteurs 3D selon leur mode d acquisition des données. Cette classification se fera à travers un état de l art qui mènera à considérer plus en détails la technologie employée par le nouveau capteur de l entreprise Microsoft. C est dans une seconde partie que les propriétés physiques du capteur Kinect v2 seront abordées, de l acquisition des données à l influence de l environnement sur celles-ci. Avant d entamer le processus d évaluation constituant l aboutissement de ce projet, une troisième partie viendra introduire l amélioration des données grâce à la calibration du système. On s apercevra alors que seule une calibration adaptée à la technologie peut être envisagée, du fait de ses particularités techniques. Plusieurs méthodes abordées dans la littérature pourront pour ce faire être confrontées. S ensuivra dans le reste du mémoire le processus d évaluation mis en place, à travers diverses expérimentations et comparaisons à des données de référence. Cette étape finale du projet permettra alors d aborder les notions de qualité des données acquises, ainsi que leur validation ou non pour un objectif de modélisation tridimensionnelle d objets à courte portée.

11 Chapitre I - Etat de l art Page 3 Chapitre I Une nouvelle venue parmi les capteurs 3D 1 Etat de l art des technologies de caméras 3D Diversité des systèmes d acquisition tridimensionnelle Domaines d application Avantages et nouveaux apports Principe de fonctionnement d une caméra 3D temps de vol Distinction entre temps de vol direct et indirect Application de la mesure par temps de vol aux capteurs imageurs Limites liées à la technologie... 9 Dans un domaine en perpétuelle évolution depuis les années 2000, à savoir la vision par ordinateur et plus particulièrement la vision tridimensionnelle, il peut s avérer parfois difficile de suivre en temps réel l apparition des nouveaux systèmes et des nouveaux outils. Afin d introduire et de resituer dans un contexte assez vaste mais également assez spécifique la caméra qui va faire l objet de ces travaux, il conviendra de dresser un état de l art des systèmes pouvant être actuellement rencontrés. En effet, bien que ce chapitre ne doive pas constituer l élément central de cette étude, il reste néanmoins judicieux de parvenir à mieux comprendre le système à évaluer, afin d en déduire de potentielles pistes d expérimentation. Ce chapitre introductif permettra également de présenter quelques exemples d applications, ainsi que les avantages et inconvénients liés à cette technologie. 1 Etat de l art des technologies de caméras 3D Avant toute chose, et afin de lever toute ambiguïté avec les caméras digitales 3D proposées par des marques telles que Panasonic ou Fujifilm, effectuant des clichés «en relief» dont l aspect se veut surtout «marketing», il conviendra d effectuer une distinction de terme importante. Dans ce mémoire, nous nous intéressons en effet à une caméra 3D, terme à comprendre au sens de caméra de profondeur, ou encore caméra RGB-D. Cette dernière dénomination laisse d ores et déjà suggérer le type de données acquises, puisque les lettres RGB y figurent pour Red, Green, Blue, ce qui correspond à un objectif couleur auquel vient s ajouter une information de profondeur (D pour Depth), sous forme de distance au capteur. Ainsi, on peut se représenter de façon simplifiée cette technologie comme étant à la croisée des chemins entre l appareil photographique (voire même la caméra), et le scanner laser pour l acquisition de la troisième composante.

12 Chapitre I - Etat de l art Page Diversité des systèmes d acquisition tridimensionnelle Lorsqu on parle d acquisition tridimensionnelle de l environnement local, il vient naturellement à l esprit la représentation d un nuage de points pouvant mener à la construction d un modèle. Afin d arriver à l un de ces deux rendus, et ce malgré ses quelques inconvénients notamment en matière de coût et de taille des données, l outil qui s avère être le plus répandu est le scanner laser terrestre. Ainsi à l instar du scanner laser terrestre, outil de mesure sans contact, il est possible d établir une classification des capteurs de profondeur fortement semblable à celle qui pourrait être effectuée pour le scanner laser. Dans le cas de cet instrument, une classification détaillée est lisible dans un certain nombre d ouvrages, et un bon aperçu se trouve dans le cours de lasergrammétrie de T. Landes [2013]. En outre, un état de l art incluant les nombreux systèmes d acquisition 3D (notamment la lumière structurée ou les techniques d extraction de formes, Shape from X) pourra être lu dans l article de Sansoni et al. [2009], ou de manière plus détaillée dans la thèse de Loriot [2009]. Partant de cette base connue, la Figure 1.1 présente un aperçu de la diversité des systèmes d acquisition tridimensionnelle, au sein desquels nous souhaitons positionner la technologie des caméras 3D. Il s agit naturellement de méthodes de mesure sans contact, réflectives, dans le sens où l information est acquise par réflexion d une onde au contact de la surface à estimer. L onde en question étant en l occurrence une onde lumineuse et non acoustique (cet aspect sera développé en sous-partie 2.1), on parlera alors de système optique. Puis, considérant le fait que les caméras de profondeur possèdent leur propre source émettrice, ces dernières seront dites actives - ceci par opposition aux systèmes passifs nécessitant une source de rayonnement extérieure. Caméras 3D FIGURE Taxinomie des capteurs de mesure de distance sans contact (source personnelle - inspiré de Luhmann et al. [2013])

13 Chapitre I - Etat de l art Page 5 On distingue au sein des capteurs actifs trois modes de fonctionnement distincts, parmi lesquels deux peuvent être utilisés dans le cas des caméras 3D classiques : la triangulation active, notion sous laquelle se cache dans ce cas le principe de la lumière structurée, et la mesure du temps de vol, ou plus couramment dans la littérature majoritairement anglophone time-of-flight (ToF). Dans ces deux cas, auxquels nous nous intéresserons davantage dans la suite de ce chapitre, le résultat acquis reste de même type. Ainsi, par opposition à la plupart des scanners laser où l action mécanique de balayage fait partie intégrante du système, aucun mouvement de la caméra 3D n est nécessaire pour acquérir une scène unique. Le but est de pouvoir associer directement à chaque pixel représentant la scène capturée une information de distance au capteur, sous forme matricielle. Ce principe de fonctionnement, qui sera explicité dans la partie 2.2, compose la particularité de ce type de capteur et en fait son atout majeur pour de nombreux cas d applications. 1.2 Domaines d application Non destinées à une commercialisation grand public initialement (elles ont été popularisées essentiellement par le lancement de Kinect 1 en 2010), les caméras de profondeur ont pour autant engendré une petite «révolution» dans certains domaines bien spécifiques, en permettant d observer des pistes nouvelles. Moins onéreuses que des outils utilisant le laser, de taille réduite, c est en robotique notamment que l arrivée de ces capteurs a été très appréciée. Comme on peut le lire sur de nombreux sites Internet dédiés à la robotique ou au développement informatique, les caméras de profondeur permettent de repérer des objets beaucoup plus facilement et rapidement, et de répondre aux gestes humains grâce à l extraction de squelettes. C est d ailleurs principalement ce dernier aspect qui est mis à l œuvre avec Kinect pour commander la console à distance et interagir avec elle lors du jeu. En outre, cette interaction homme/machine grâce à des capteurs toujours plus «intelligents» et miniaturisés, est un des projets phares de la société allemande PMD Technologies. Une interface NUI 1 gérée par leur capteur de profondeur basé sur la technique du temps de vol est présentée sous forme de vidéo sur leur site Un ordinateur personnel y est commandé à distance par détection des mouvements de mains et de doigts. La liste des exemples d application peut encore englober les domaines de l industrie, de l automobile, de la réalité augmentée, les approches de type SLAM 2 mais aussi la médecine. Hussmann et al. [2008] en font un résumé illustré, notamment concernant les travaux développés avec l industrie automobile afin d augmenter la sécurité de déplacement des véhicules. Citons également l article de Sansoni et al. [2009], qui fournit un aperçu de ces domaines d application. Diverses approches sont illustrées dans l Annexe A (p. 81). 1.3 Avantages et nouveaux apports Les principaux avantages ayant conduit à un développement toujours plus poussé des caméras 3D ont déjà été partiellement évoqués dans les paragraphes précédents. Ces quelques lignes en dressent donc le résumé, et apporteront également une comparaison élémentaire à une méthode d acquisition tridimensionnelle passive qu est la vision stéréoscopique. D un point de vue ergonomie et coût, il est certain que les caméras 3D possèdent un net avantage sur les scanners laser terrestres. En s affranchissant notamment du mécanisme de balayage qui permet l acquisition de nuages de points lasergrammétriques, les coûts et 1 Natural User Interface 2 Simultaneous Localization And Mapping, soit cartographie et localisation simultanées

14 Chapitre I - Etat de l art Page 6 imprécisions liés à cette partie sont contournés. Il est à noter que ceci n annihile pas pour autant les autres sources d erreurs et le manque de résolution directement liés à la technologie des capteurs de profondeur, et dont il sera question dans le second chapitre de ce mémoire. Du fait de la limite en termes de résolution, il reste cependant nécessaire la plupart du temps d effectuer des acquisitions depuis plusieurs positions, afin d obtenir une couverture globale de la scène. Enfin, les avantages du système actif que forme la technologie des caméras 3D peuvent être mis en avant par comparaison avec le système passif de vision stéréoscopique. La Figure 1.2 présentant en parallèle les deux modes de fonctionnement donne déjà quelques éléments de réponse. FIGURE Principe de fonctionnement de la vision stéréoscopique (a) et de la mesure de distance par temps de vol (b) (source : Hussmann et al. [2008]) Alors que le système stéréoscopique nécessite l utilisation de deux caméras calibrées, un seul appareil est nécessaire dans le cas des caméras 3D, puisqu émetteur et récepteur sont placés dans un même ensemble (voir description plus détaillée dans le paragraphe 2.2). Ceci réduit le problème de correspondance des pixels entre les deux appareils propre au système stéréoscopique, phénomène pouvant conduire à des temps de traitement élevés si les pixels ne sont pas détectés. Enfin, l information de distance est acquise automatiquement par le capteur 3D, à l opposé du système stéréoscopique où des calculs coûteux en temps sont nécessaires à l acquisition de la composante tridimensionnelle. Après avoir dressé un bilan des possibilités et des capacités d exploitation de la technologie des caméras 3D, une seconde partie s intéressera plus particulièrement à la méthode de mesure de distance employée par le capteur Kinect v2. 2 Principe de fonctionnement d une caméra 3D temps de vol Il a été évoqué jusqu ici le fait que les caméras 3D permettent d acquérir, sans mouvement, une représentation tridimensionnelle d une scène observée. Pour ce faire, la mesure de distance résulte soit du principe de la triangulation, soit de la mesure par temps de vol. Comme ceci sera précisé dans le second chapitre de ce mémoire, la récente Kinect v2 s appuie sur la mesure du temps de vol. Ainsi la partie qui suit sera dédiée à une rapide exploration du mode de fonctionnement retenu.

15 Chapitre I - Etat de l art Page Distinction entre temps de vol direct et indirect Rappelons tout d abord les informations recueillies jusqu à présent : la technologie d acquisition 3D par temps de vol (qu il s agisse de capteurs 3D ou de scanners laser) est une méthode active et optique, c est-à-dire qu elle est basée sur l émission puis la réception d un signal lumineux. L onde employée dans ce procédé peut cependant être modulée de deux manières différentes, ce qui conduit dans la littérature à quelques ambiguïtés lexicales. On distingue en effet : les ondes pulsées, ou lumière pulsée. Un décalage de temps est alors mesuré (ou «temps de vol»), et la célérité c de la lumière étant connue et constante, alors le calcul de distance se veut direct. En effet, la relation d = c* t / 2 (avec t le temps mis par l onde) lie directement la distance au temps, c est le principe bien connu employé notamment par les télémètres. les ondes modulées en amplitude de façon continue. Dans ce cas de figure, c est un décalage de phase entre onde émise et onde reçue qui sera évalué : la relation qui lie le décalage de phase mesuré à la distance recherchée n est alors pas directe. Ces relations seront explicitées dans le paragraphe suivant. A ce niveau, une question se pose quant au lexique à employer : alors que certains articles font une distinction nette entre mesure du temps de vol (des impulsions lumineuses) et mesure du décalage de phase (des ondes modulées continues), nous préférerons plutôt dans ce mémoire parler de temps de vol direct et indirect. Bien que pour la modulation en amplitude des ondes, l évaluation se fasse sur un décalage de phase, il s agit pour autant toujours d en déduire un temps de propagation en vue de déterminer la distance. Ainsi, la classification retenue pour ces deux méthodes sera celle représentée par la Figure 1.3. FIGURE Distinction entre mesure directe et indirecte (source personnelle) L angle choisi pour envisager cette classification ne se veut pour autant pas universel. De ce fait, en l absence de convention pour la classification des méthodes de mesure de distance, il conviendra de rester attentif aux termes rencontrés dans la littérature. La méthode de mesure de distance par détection d impulsions (ou mesure du temps de vol direct), ne sera pas explicitée davantage dans la suite du rapport, et ce pour deux raisons. D une part, le principe de calcul de la distance reste assez intuitif du fait de la relation directe. D autre part, bien que plus intuitive, cette méthode possède un inconvénient majeur qui repose sur l évaluation du temps de vol de l onde. En effet, cette estimation ne peut être effectuée qu à l aide d une horloge de haute précision parfaitement synchronisée, ce qui entraîne une hausse considérable des prix de tels systèmes. Bien qu aucun document ne le

16 Chapitre I - Etat de l art Page 8 signifie explicitement, du fait de la grande majorité des systèmes appliquant la modulation en amplitude 3 et de son coût plus réduit, on pourra supposer que la Kinect v2 s appuie également sur un temps de vol indirect. Un autre argument joue également en faveur de cette hypothèse, à savoir que l entreprise Canesta, qui a développé la technologie de Kinect v2, est spécialisée dans les capteurs basés sur des ondes modulées. Cependant, cette approximation n aura pour ce projet qu un impact minimal. C est pourquoi notre étude se portera davantage sur le temps de vol qualifié d indirect. A cet effet, le principe physique de la modulation en amplitude et le lien avec la mesure de distance sont présentés en Annexe B (p. 83). 2.2 Application de la mesure par temps de vol aux capteurs imageurs L idée d éviter l action mécanique de balayage des scanners lasers afin d acquérir des représentations 3D n est pas aussi récente que le développement des caméras 3D. A la fin des années 1980, un système de mesure de profondeur basé sur des diodes laser et visant à obtenir une mesure pour chaque pixel est envisagé (Cathey & Davis [1986]). Cependant il serait difficile de donner une date à l invention du principe de caméra 3D. L évolution vers l utilisation d ondes lumineuses modulées en amplitude est concomitante. On notera notamment dans les articles de Schwarte et al. [1995], et Schwarte et al. [1997], la mention de caméras 3D utilisant un capteur CCD ou CMOS, ainsi que des ondes modulées dont le temps de vol est déterminé. Par la suite, c est essentiellement à travers la thèse de Lange [2000], qu est mis en valeur le prototype d un capteur imageur fournissant une information de profondeur «tout en un» (solid-state), vu en Figure 1.4. Le principe revient à illuminer, en une prise, la scène entière avec le cône lumineux modulé émis. Par la suite, avec un capteur imageur adapté à la démodulation à l intérieur du système, c est de manière simultanée que s effectuera la mesure de distance pour les milliers de pixels. Le concept de pixels participant à l enregistrement et à la démodulation du signal reçu est emprunté à Spirig et al. [1995] - on y trouve la dénomination de «lock-in pixels». FIGURE Photographie d un prototype de caméra 3D «tout en un» développé par Lange. On remarque à l avant du système, autour de la lentille optique, l ensemble de LED émettant dans l infrarouge. (source : Lange [2000]) L idée est donc, en appliquant un système de démodulation adapté à l objet «caméra», d obtenir un résultat sous forme de matrice dont chaque case possède une information de profondeur. Ainsi si l on se réfère à l ouvrage de Dal Mutto et al. [2012], qui constitue en 3 A titre indicatif, si l on se réfère à la thèse de Lindner [2010], sur les quelques entreprises productives dans le domaine des caméras 3D temps de vol, seule l une d entre elles développait des systèmes basés sur la détection de «pulses».

17 Chapitre I - Etat de l art Page 9 outre une bonne introduction aux capteurs temps de vol, la définition suivante (traduite de l anglais) est proposée : «Les caméras matricielles de profondeur à temps de vol (plus simplement caméras temps de vol dans cet ouvrage) sont des capteurs actifs capables d acquérir la géométrie tridimensionnelle de la scène observée à une fréquence vidéo (jusqu à 50 fps 4 )». Plus loin dans ce même ouvrage, c est la structure du système qui est décrite comme une «organisation matricielle d une multitude de dispositifs individuels, chacun composé d un émetteur ainsi que d un récepteur co-positionné». Ce système désormais maîtrisé connaît depuis un développement perpétuel. On recense à l heure actuelle sur le marché quelques firmes spécialisées dans le développement de caméras 3D temps de vol. On citera parmi celles-ci PMD Technologies, Mesa Imaging ou encore Fotonic. Les produits se distinguent désormais de par le dispositif exécutant le processus de modulation / démodulation qui leur est propre. Ce dispositif peut être basé sur des photodiodes classiques couplées à une électronique complexe, sur des capteurs CCD ou CMOS améliorés pour la démodulation, Il s agit dans tous les cas ici du domaine de recherche étant resté le plus actif, puisque de cet élément dépendent à la fois la qualité des acquisitions, mais aussi l optimisation et la miniaturisation du système. Il ne serait pour autant pas indispensable de rentrer plus en détails dans ces considérations de procédés électroniques. Aussi il sera possible de se reporter aux états de l art de thèses plus tardives, notamment celle de Kahlmann [2007], dans laquelle est présenté un aperçu complet des systèmes proposés jusqu à cette date. Enfin, bien que nous ne disposions pas des informations détaillées relatives à ce sujet pour la nouvelle Kinect, la question des différences de composants ou de procédés peut se poser. En effet, on peut se demander par quels moyens le capteur Kinect peut être vendu à un prix si compétitif (moins de 200 ), lorsque l on sait qu un ordre d idée de prix pour les modèles des marques citées plus haut avoisine les Limites liées à la technologie Les principaux inconvénients de cette technologie sont liés à la physique des capteurs. Leur taille réduite conduit directement à une faible résolution des données acquises, ainsi qu une portée limitée. En outre, l augmentation de la taille des capteurs entraine la plupart du temps une augmentation du bruit de mesure initialement présent. En effet, les propriétés de construction et de mesure de ces capteurs imageurs sont sources de nombreuses erreurs difficilement évitables, apparaissant notamment lors de l étape de démodulation du signal (Büttgen et al. [2005]). Ceci se traduit par une détérioration de la mesure de distance, qui sera entachée quelle que soit la taille du capteur par de multiples sources de bruit et d erreur. C est dans l optique de les étudier, et de limiter tant que faire se peut leur influence sur les mesures acquises avec la Kinect v2, que des étapes de calibration sont notamment envisagées. Grâce à cet état de l art, un bref historique de l apparition de la technologie a été présenté, mais aussi les principaux fondements physiques nécessaires à la compréhension de la mesure. Puisqu avantages comme inconvénients ont été évoqués, il sera alors intéressant d évaluer ces propos sur des acquisitions réalisées grâce au capteur étudié, soumis à différents tests présentés dans la suite de ce mémoire. 4 fps = frame per second. Il s agit d une unité s apparentant à la mesure d une fréquence en Hertz ; ainsi, 50 fps correspondent à 50 fenêtres acquises en une seconde.

18 Chapitre I - Etat de l art Page 10

19 Chapitre II - Etude des propriétés du capteur Page 11 Chapitre II Etude des propriétés du capteur Kinect v2 1 Prise en main du capteur Quelques caractéristiques techniques de Kinect v Différents types de données à acquérir Logiciels et fonctionnalités Le SDK de Microsoft Diverses fonctions de mise en correspondance Solution implémentée pour l enregistrement des fenêtres Procédé d obtention de nuages de points Amélioration de la donnée acquise Test de mise en chauffe Influence du moyennage des mesures Analyse sur un mur plan Analyse d une scène plus complexe Influence de l environnement et des propriétés de la scène sur la mesure Influence des matériaux et de la radiométrie Cas des matériaux très réfléchissants Cas des matériaux sombres Test sur un damier de nuances de gris Efficacité à l extérieur Après avoir rappelé les principes fondamentaux d acquisition sur lesquels se base une caméra 3D temps-de-vol, il est proposé dans ce second chapitre une approche orientée tout particulièrement sur le capteur utilisé dans ce projet, la Kinect v2 de Microsoft. Cela amène à se poser la question du format et des caractéristiques des données acquises, éléments dont la connaissance s avère indispensable en vue du post-traitement et de l évaluation des données obtenues. Du fait de ses particularités techniques, la prise en main du capteur sera présentée dans un premier temps afin d aboutir à un procédé à mettre en œuvre pour obtenir un nuage de points. Sitôt l acquisition des données effectuée, la question de la qualité des données se pose. A cet effet, la connaissance des sources d erreurs affectant les mesures de notre système est indispensable afin de quantifier leur influence sur la qualité des données acquises. Bien qu il s avère difficile de dénombrer et de nommer la totalité de ces sources d erreurs entrant en jeu, certaines d entre elles peuvent être observées de manière aisée à travers l analyse de quelques tests. En outre, les erreurs relatives aux lentilles utilisées feront l objet d une calibration dont l approche sera explicitée de façon détaillée dans la partie suivante. Ainsi, cette seconde partie sera davantage axée sur la présentation de premières expériences ayant pour but l étude de l influence de certains paramètres liés à l environnement, à la scène, mais également à la méthode adoptée pour effectuer l acquisition des données et les premières étapes de traitement.

20 Chapitre II - Etude des propriétés du capteur Page 12 1 Prise en main du capteur 1.1 Quelques caractéristiques techniques de Kinect v2 A la différence du premier modèle de Kinect dont la technologie est rappelée en Annexe C (p. 85), la nouvelle version qu il est question d évaluer dans ce projet se base sur une autre technique de mesure de distance. Celle-ci a été largement mentionnée et décrite dans le premier chapitre, puisqu il s agit de la mesure par temps de vol. En effet, bien que peu de documentation technique ne soit à l heure actuelle disponible sur la Kinect v2, la seule certitude établie à son sujet concerne le choix de la technologie adoptée. Cette idée est corroborée par le fait qu elle ait été conçue par l entreprise américaine Canesta, spécialisée dans la fabrication de capteurs temps de vol 5. Concernant les caractéristiques techniques de l appareil, celles-ci sont disponibles sur le site Internet dédié au capteur (Microsoft@). Les principales, à savoir le champ de vision, la fréquence d acquisition des images et les portées limites pour la mesure, sont consignées dans le Tableau 1. Enfin d autres capacités, davantage liées à un usage pour les jeux vidéo, sont mises en avant sur différents sites. Citons notamment la taille du plus petit objet détectable, qui devrait être abaissée à 2,5 cm (contre 7,5 cm minimum pour la version 1), ou encore la squelettisation qui devrait être améliorée, de manière à ce que les mouvements des doigts de la main ou la respiration au niveau du thorax soient perceptibles. Enfin, le tracking de personnes détectées serait aussi amélioré, passant de 2 à 6 personnes observées simultanément (Microsoft@). Champ de vision 70 x 60 degrés Fréquence des images Portées minimale et maximale pour les mesures de distance 30 Hz de 0,5 m à 4,5 m TABLEAU 1 Principales caractéristiques techniques du capteur Kinect v2. (source : Microsoft@) 1.2 Différents types de données à acquérir Le capteur Kinect v2 est composé de deux lentilles distinctes (Figure 2.1). L illumination active de la scène par plusieurs projecteurs infrarouges permet l acquisition d informations relatives à la profondeur et à l intensité par une première lentille. En parallèle, une seconde lentille de résolution plus élevée permet l acquisition de la couleur de la scène. De ces deux lentilles, il est donc possible d obtenir trois types de données distincts : FIGURE 2.1 Capteur Kinect v2, en fonctionnement, placé sur un trépied photographique. 5 Dans les faits, Microsoft a racheté l entreprise Canesta en 2010, peu de temps après la sortie de la première version de Kinect, sûrement d ores et déjà en vue du perfectionnement du capteur.

21 Chapitre II - Etude des propriétés du capteur Page 13 Une image infrarouge de la scène, en niveau de gris, qui fournit une information sur l intensité du faisceau retourné par l objet observé. Cette donnée est parfois également nommée «image d intensité» dans la littérature relative aux caméras RGB-D. Une carte de profondeur, ou image de profondeur, émanant de la même lentille que l image d intensité, puisque c est le traitement des faisceaux infrarouges qui permet de réaliser une mesure de distance entre le capteur et l objet. La carte de profondeur, qui se présente également sous la forme d une image en niveaux de gris codée sur 16 bits, est une matrice ayant pour taille la résolution de la lentille infrarouge (soit 512 par 424 pixels). La particularité est que la valeur de chaque pixel de cette matrice correspond directement à une mesure de distance entre le capteur et un point correspondant de la scène. Pour plus de visibilité, la carte de profondeur peut donc être colorée en fonction de la portée, comme dans l illustration proposée en Figure 2.2b. L image en couleurs réelles de la scène, enfin, possède une résolution beaucoup plus élevée que les images infrarouges et de profondeur, à savoir 1920 par 1080 pixels. a) b) c) FIGURE 2.2 Trois catégories de données issues du capteur Kinect v2 : image d intensité (a), carte de profondeur colorée en fonction de la distance (b), et image couleur (c). Les données brutes en sortie du capteur sont donc toutes bidimensionnelles dans le sens où il s agit d images. L acquisition des différents flux de données est rendue possible grâce aux solutions évoquées dans le paragraphe suivant. Il y sera également décrit la méthodologie d obtention de nuages de points. 1.3 Logiciels et fonctionnalités Le SDK de Microsoft La gestion du flux de données issues du capteur 3D Kinect est entièrement réalisée par ordinateur, puisqu aucun bouton sur le capteur ne permet la capture ou l enregistrement de données. Ainsi, l installation préalable de «pilotes» effectuant le lien entre l ordinateur et le capteur est nécessaire. En raison du succès de la première version de Kinect, des bibliothèques de code gratuites téléchargeables sur Internet remplissaient ce rôle, notamment Libfreenect (OpenKinect@) ou encore le pilote OpenNI (Structure@). Cependant, ces bibliothèques n ont pas encore été adaptées pour la nouvelle version de la caméra utilisée lors du projet. Depuis la sortie de cette seconde version de Kinect en revanche, un kit de développement logiciel (SDK, Software Development Kit) adapté est téléchargeable gratuitement sur le site de Microsoft. En effet, la version du capteur utilisée dans le cadre de ce projet possède une connectique adaptée à l ordinateur, pour les développeurs souhaitant réaliser des applications compatibles avec Kinect for Windows v2. Le kit remplit donc deux rôles essentiels : celui de

22 Chapitre II - Etude des propriétés du capteur Page 14 fournir les pilotes nécessaires à la reconnaissance du capteur par l ordinateur, mais il contient également un nombre important de ressources et d applicatifs au sein d un navigateur présenté en Annexe D (p. 87). On notera notamment la disponibilité dès la première version du SDK de l outil Kinect Fusion pour la création de maillages 3D (voir chapitre 4, 1.2.2). Chaque applicatif exécutable rend possible la visualisation ou l accès à une fonctionnalité du capteur. Ainsi par exemple, l utilisateur peut visualiser en temps réel l information infrarouge captée par l appareil, ou encore le flux d images couleurs perçu. Dans le cadre de nos travaux, nous pourrons être amenés à effectuer des acquisitions successives avec un intervalle de temps très court de l ordre de la seconde. L inconvénient majeur de ces outils de visualisation fournis par le SDK est que leurs modalités d acquisition sont limitées. En effet, ils ne permettent que la réalisation de captures manuelles du flux en temps réel. Ainsi, afin de contrôler au mieux l enregistrement des flux de données de façon minutée, il a rapidement été décidé de développer notre propre application d enregistrement grâce aux échantillons de codes disponibles en «open source» dans le SDK Diverses fonctions de mise en correspondance Si l on considère les trois flux de données mentionnés précédemment et fournis par le capteur Kinect, deux questions majeures se posent si l on souhaite en obtenir des nuages de points colorisés. En effet d une part, les cartes de profondeur acquises contiennent bien une information de distance à l objet, mais stockée dans une matrice 2D. Le passage de cette matrice bidimensionnelle à des coordonnées de points en trois dimensions représente donc une première étape à considérer. De plus, si l on souhaite appliquer la couleur réelle de la scène sitôt le nuage 3D obtenu, il faudra tenir compte du fait que les images RGB acquises possèdent une résolution (1920 x 1080) bien plus importante et non proportionnelle à la résolution des cartes de profondeur (512 x 424) fournissant les mesures. Ainsi, l établissement de correspondances entre les différents espaces devra être maîtrisé. A cet effet, des fonctions dites de «mapping» ont été implémentées dans le SDK. Ces fonctions permettent d établir des liens de correspondance entre trois espaces principaux (Figure 2.3), à savoir : l espace de profondeur (Depth Space), qui est l espace associé aux cartes de profondeur. Dans cet espace, les points possèdent 2 coordonnées x et y, qui sont les coordonnées pixels sur les cartes de profondeur. l espace caméra (Camera Space) se réfère au système de coordonnées tridimensionnelles utilisé par le capteur Kinect. Ce système a pour origine le centre de la lentille infrarouge, avec un axe Z perpendiculaire au capteur et évoluant en direction de la scène à acquérir. Ce système est représenté sur la Figure 2.3. Les coordonnées X, Y, Z obtenues après passage par cette fonction sont en mètres. Il est également à noter que les nuages de points 3D obtenus sont dans un repère local relatif à la caméra, et ne sont donc pas géoréférencés initialement. l espace couleur (Color Space) est associé aux coordonnées x et y, en pixels, d un point de l image RGB. Ces coordonnées varient respectivement de 0 à 1919 et de 0 à 1079 pixels, du fait de la résolution de l image RGB. Ces espaces sont décrits plus en détail dans le guide de programmation du SDK à l adresse

23 Chapitre II - Etude des propriétés du capteur Page 15 FIGURE 2.3 Schéma de principe des différents espaces reliés au capteur et à ses données. Pour pallier ces soucis de correspondances entre espaces, les fonctions MapDepthFrameToCameraSpace() et MapColorFrameToDepthSpace() ont été utilisées. Comme leurs noms le laissent deviner, la première méthode permet de projeter la carte de profondeur dans l espace caméra tridimensionnel, alors que la seconde permet le passage d une fenêtre de pixels couleurs dans l espace de profondeur. Ainsi, l information colorimétrique correspondante sera associée à un emplacement précis dans l espace profondeur de taille réduite. Cela provoque une réduction de la matrice couleur à la taille 512 par 424 pixels, avec les distorsions associées comme ceci est visible sur la Figure 2.4. Grâce à cette seconde fonction, il devient alors inutile de déterminer indépendamment les paramètres externes des deux lentilles, qui sont d ordinaire utilisés pour modéliser la rotation et la translation entre ces deux lentilles. FIGURE 2.4 Matrice contenant l information RGB, réduite et représentée dans l espace de profondeur grâce à une fonction de «mapping».

24 Chapitre II - Etude des propriétés du capteur Page Solution implémentée pour l enregistrement des fenêtres Dans le SDK décrit précédemment, outre les applicatifs prêts à l utilisation, il est également possible de trouver des exemples de codes essentiellement dans les langages C++ et C#, pour l enregistrement des données. La première étape réelle de prise en main du capteur a donc consisté en la réalisation d un rapide applicatif utilisable sous environnement Windows Visual Studio lors des levés. L environnement Visual Studio permet à la fois l écriture des fonctions, la gestion des liens entre les sous-programmes, ainsi que la compilation du code. Le code réalisé dans Visual Studio se base sur des fonctions implémentées en C#, dont la plupart sont explicitées dans le guide de programmation (documentation en ligne) du kit de développement de l outil Kinect for Windows. Une interface graphique a été développée (Figure 2.5), s affichant lors de la compilation du code et offrant plusieurs combinaisons possibles pour les acquisitions. Ces options sont visibles sur la capture d écran de la fenêtre (Figure 2.5). Ainsi, lors d acquisitions il sera possible de choisir entre la capture de cartes de profondeurs (aux formats.jpeg ou fichier Matlab.mat), la capture d images infrarouges (format.jpeg), mais également l information de couleur (sous forme de fichier texte contenant les trois colonnes R, G et B) ou encore directement le nuage colorisé, formé à partir des fonctions de «mapping» évoquées plus haut. Toutes ces acquisitions peuvent être réalisées de façon individuelle, ou combinée (par exemple carte de profondeur + couleur ou carte de profondeur + infrarouge). On notera également la possibilité de modifier l intervalle de temps entre deux fenêtres successives à capturer, ainsi que la définition d une portée maximale, uniquement pour les nuages colorisés obtenus directement. FIGURE 2.5 Capture d écran de l interface graphique développée en C# et permettant la gestion du capteur Kinect. 1.4 Procédé d obtention de nuages de points Bien que les outils présentés précédemment tels que Kinect Fusion ou les méthodes de «mapping» soient des outils efficaces permettant d accéder rapidement à de la donnée interprétable, l effet «boîte noire» reste présent notamment au niveau des fonctions de mise en correspondance. En effet, l implémentation de ces fonctions n étant pas totalement transparente, il est difficile d estimer si les nuages de points obtenus ont subi un quelconque traitement tel que, par exemple, une étape de calibration.

25 Chapitre II - Etude des propriétés du capteur Page 17 Etant donné que l on ne maîtrise pas entièrement la fonction de «mapping» alors que la géométrie acquise est l élément clé de notre étude, il semble intéressant de se pencher sur l obtention de la donnée tridimensionnelle à partir de données brutes, à savoir les cartes de profondeur. Il apparait alors que ce problème de transformation des coordonnées pixels en coordonnées tridimensionnelles se reporte au modèle bien connu du sténopé. Chaque pixel de la matrice de profondeur contenant une information de distance Z, la relation liant les coordonnées pixels (u,v) aux coordonnées 3D (X,Y,Z) est démontrée dans l Annexe E (p. 89). Il en vient le système d équations suivant : avec c x et c y : coordonnées du point p principal (en pixels) f x et f y : longueur focale (en pixels) (2.1) Ces équations ont été appliquées dans une routine développée sous le logiciel de calcul matriciel Matlab. Cette routine permet l ouverture des cartes de profondeur qui seront transformées en coordonnées XYZ grâce aux relations de projection perspective énoncées plus haut. Chaque pixel pouvant générer un point dans les nuages acquis, le nombre maximal de points contenus dans un nuage est de 512*424, soit points. 2 Amélioration de la donnée acquise A ce stade de l étude, les nuages de points acquis sont issus de données brutes. De ce fait, leur qualité peut être entachée d erreurs systématiques dont la connaissance permet parfois de s en affranchir. Si l on se réfère à la littérature relative au scanner laser terrestre, plus abondante, ces erreurs sont parfois propres à la technologie de mesure de distance, parfois propres au capteur lui-même. Bien que souvent ces sources d erreurs soient interdépendantes, Staiger [2005] en propose une classification selon leur origine, classification reprise et synthétisée en quatre groupes majeurs affectant la mesure d un scanner laser par Reshetyuk [2009] : erreurs instrumentales, erreurs relatives à l objet mesuré, erreurs environnementales et enfin erreurs méthodologiques. Si l on part du principe que cette répartition des erreurs peut être observée également pour une caméra 3D employant le temps de vol, c est dans l objectif d en déterminer l impact que les tests présentés dans le reste de ce chapitre ont été mis en place. Les tests exposés dans ce paragraphe 2 relatent essentiellement des erreurs instrumentales. 2.1 Test de mise en chauffe Il a été montré dans certaines études réalisées sur des caméras 3D en général (Kahlmann et al. [2006], Chiabrando et al. [2009]) et notamment sur la première version de Kinect (PFE N. Bernard [2011], Chow et al. [2012]), que les capteurs nécessitaient un temps de mise en chauffe (ou préchauffage). Cet intervalle de temps après mise en fonction doit être respecté afin de fournir des mesures de distance fiables. Ce délai impactant la qualité de la mesure correspond au temps de montée en température de certains composants à l intérieur du capteur. Ceci se traduit par une mesure de distance initialement faussée (trop courte ou trop longue), qui se stabilise sitôt cet intervalle de temps écoulé. La réalisation d une telle expérience permet donc de déterminer le délai d attente qu il faudra prévoir si l on souhaite que la mesure de distance ne varie plus que dans un intervalle satisfaisant.

26 Chapitre II - Etude des propriétés du capteur Page 18 Pour ce faire, le capteur Kinect fixé sur un tripode photographique a été placé devant un plan distant d environ 1,40 mètre. Durant une heure et demie à compter du branchement de la caméra à l ordinateur, une acquisition a été effectuée toutes les 15 secondes, soit un total de 360 cartes de profondeur successives enregistrées. A l aide du logiciel de calcul matriciel Matlab, un patch central de 5 x 5 pixels a ensuite été sélectionné sur chaque carte de profondeur alors enregistrée. Les valeurs inscrites dans les pixels correspondant à des distances capteur/plan, la distance moyenne pour chaque patch a été calculée. Ceci permet de tracer le graphe de l évolution de la distance en fonction du temps de fonctionnement, présenté sur la Figure 2.6. FIGURE Courbe de détermination du temps de mise en chauffe : évolution de la mesure de distance en fonction du temps de fonctionnement. Les valeurs de distances peuvent être approximées par une courbe de tendance logarithmique (coefficient de détermination R² égal à 0,736, du fait de la dispersion des points). Il apparaît sur ce graphique une nette augmentation de la distance mesurée durant les 30 premières minutes de fonctionnement. Cette augmentation représente environ 6 à 7 millimètres. A l issue de cette période que l on qualifiera de temps de mise en chauffe (ou préchauffage), les distances semblent se stabiliser autour d une valeur moyenne. Cependant, celles-ci continuent à fluctuer dans un intervalle de plus ou moins 1 mm (en vert sur la figure). Bien que l augmentation de distance lors des 30 premières minutes soit acceptable au vu des variations restantes par la suite, afin d éviter une accumulation des erreurs, ce temps de mise en chauffe sera respecté lors de la réalisation des acquisitions futures. Notons également qu au bout de 20 à 30 minutes de fonctionnement, le ventilateur situé à l arrière de la caméra se met en route, ce qui corrobore le résultat obtenu. 2.2 Influence du moyennage des mesures Une donnée majeure que l on souhaite déterminer afin de pouvoir juger la qualité du capteur étudié est la précision obtenue sur la mesure de distance. Pour ce faire, une idée exploitée par Kahlmann et al. [2006] consiste à observer un certain nombre N de cartes de profondeur successives, afin de calculer pour chaque pixel la distance moyenne et d en déduire l écart-type résultant sur cet échantillon de N valeurs. Le fait de moyenner plusieurs

27 Chapitre II - Etude des propriétés du capteur Page 19 mesures de distances acquises depuis un même point de vue dans un temps restreint permet de réduire le bruit aléatoire (non-systématique) de mesure qui entache les mesures effectuées par temps de vol (Chow et al. [2012]). La réduction du bruit est une opération essentielle avant la prise en compte des erreurs systématiques de mesure, qui feront l objet d un traitement particulier explicité dans le chapitre suivant. Dans cette partie, on s intéressera donc à l influence du nombre de cartes de profondeur moyennées sur la précision de mesure, en faisant varier la taille de l échantillon utilisé Analyse sur un mur plan Dans un premier temps, des acquisitions successives ont été répétées avec un intervalle de 0,5 s sur un mur plan et blanc, statique, et observé depuis un emplacement fixe de la caméra (environ 1,5 m du mur). L analyse statistique est ainsi effectuée sur un large échantillon de 500 cartes de profondeur successives au maximum ; cependant le comportement observé avec des échantillons plus réduits de 20, 50, 100 ou 200 acquisitions successives est également étudié. Dans chaque cas de figure envisagé, la totalité des cartes de profondeur comprises dans l échantillon sont moyennées pixel par pixel. L écart-type calculé pour chaque pixel peut alors être représenté sur l ensemble du capteur, par exemple pour 10 acquisitions (Figure 2.7a), 50 acquisitions (Figure 2.7b) ou 200 acquisitions successives (Figure2.7c). Au-delà de 100 acquisitions pour ce plan, les évolutions ne sont plus vraiment perceptibles visuellement. a) b) c) FIGURE Représentation sous forme matricielle de l écart-type calculé (mm), pour chaque pixel, sur la base de plusieurs acquisitions successives d un plan : (a) 10 acquisitions, (b) 50 acquisitions, (c) 200 acquisitions. De ces mesures réalisées sur un plan, deux phénomènes peuvent être observés. Premièrement, il apparait sur la Figure 2.7 que l écart-type sur les mesures répétées est plus faible au centre du capteur, mais augmente lorsqu on s approche des bords du capteur. L augmentation atteint un peu plus d un centimètre. Les mesures acquises dans la partie centrale du capteur sont donc plus précises que celles acquises sur les bords. Cependant, avec l augmentation du nombre de fenêtres moyennées, cet effet tend à être lissé. Afin de confirmer ce phénomène, une coupe horizontale a été réalisée dans ces figures, le long de la ligne rouge visible en Figure 2.8a. L évolution de l écart-type sur les mesures le long d une ligne de pixels centrale est alors observée en Figure 2.8b, pour 10 fenêtres (courbe orange) ou 100 fenêtres successives (courbe bleue). Il apparait clairement sur ces graphiques que d une part l écart-type est plus faible au centre du capteur, et d autre part le phénomène observé s apparente davantage à un lissage qu à un gain en termes de précision. En effet, la dispersion des écarts-types est plus importante pour 10 acquisitions. Ainsi, l amplitude des pics de la courbe est diminuée avec 100 acquisitions, cependant l écart-type moyen n est pas diminué, et varie toujours entre 1 mm et 5 mm.

28 Chapitre II - Etude des propriétés du capteur Page 20 a) b) FIGURE Plan de coupe selon la ligne rouge (a), et courbe d évolution de l écart-type le long de cette ligne de pixels (b) : pour 10 acquisitions successives (orange) et 100 acquisitions successives (bleu). Deuxièmement, l intérêt de cette manipulation est de pouvoir prédire un nombre d acquisitions approximatif à effectuer afin d obtenir des résultats de précision optimale. Pour ce faire, l écart-type moyen sur une zone centrale peut être calculé, et représenté en fonction du nombre de fenêtres considérées. Cependant, la courbe retraçant l évolution de l écart-type en fonction de la taille de l échantillon ne fournit pas un résultat exploitable (telle qu une diminution significative de l écart-type, par exemple). Si l on trace l histogramme des distances moyennes sur un patch central de 9 pixels mesurées pour N fenêtres, la répartition s assimile à une répartition Gaussienne. L exemple de N = 100 fenêtres est illustré en Figure 2.9. L écart-type pour les distances moyennes sur cette petite zone centrale est légèrement inférieur à 1 mm (environ 0,7 mm). Pour autant, la valeur de ce même écart-type reste plus ou moins constante (variations de quelques dixièmes de mm) lorsque la taille de l échantillon considéré varie. FIGURE Histogramme représentant la répartition de 100 mesures moyennes d un patch central de 9 pixels. En conclusion, l emploi d un grand nombre de fenêtres à moyenner ne garantit pas un gain important en termes de précision. En revanche, l augmentation de ce nombre d acquisitions provoque un effet de lissage, pouvant s apparenter à une réduction du bruit inhérent à la mesure. Ceci s observe notamment sur une surface plane, avec la diminution des «vaguelettes» observées lorsqu une unique carte de profondeur est utilisée pour l obtention d un nuage de points. Cet effet de rugosité, probablement lié à des traitements internes opérés

29 Chapitre II - Etude des propriétés du capteur Page 21 dans le capteur, est partiellement lissé dès l emploi d un nombre raisonnable de 20 à 50 fenêtres successives. Afin de générer une quantité raisonnable de données qui n alourdiront pas le traitement, et du fait de l absence de gain considérable en termes de précision, dépasser ce nombre d acquisitions successives à réaliser ne semble pas justifié lors de campagnes d acquisitions futures Analyse d une scène plus complexe Afin d étudier davantage l influence du calcul de moyenne de cartes de profondeur, une manipulation identique (même tailles d échantillons, même intervalle entre des acquisitions successives) a été réalisée sur une scène statique mais complexe. Une scène de bureau composée d objets de différentes tailles et matières (Figure 2.10a) a été acquise depuis un emplacement fixe de la caméra. De la même manière que précédemment, pour les diverses tailles d échantillon, moyenne et écart-type ont été calculés pour chaque pixel composant les cartes de profondeur. Ici encore, une visualisation colorée des écarts-types est présentée en Figure 2.10, en considérant des échantillons respectifs de 20 acquisitions (Figure 2.10b) et 200 acquisitions successives (Figure 2.10c). Les bordures des objets ressortent principalement à l observation de ces figures, ainsi que les surfaces à haute réflectivité telles que les parties métalliques. En effet, en ces endroits bien particuliers des écarts-types très élevés sont relevés, pouvant atteindre plus de 30 cm. Ceci s explique par le bruit de mesure inhérent à la technologie et qui se remarque essentiellement au niveau des contours d objets (effets de bord) ou sur certaines surfaces spécifiques. En outre, l effet de lissage observé précédemment lorsque la taille de l échantillon augmente ressort également, puisque les zones comportant des écarts-types élevés sont affinées et mieux définies sur la Figure 2.10c. b) c) a) FIGURE Répartition des écarts-types (en cm) pour un échantillon de plusieurs cartes de profondeur successives. Scène acquise (a), échantillon de 20 acquisitions (b), puis de 200 acquisitions successives (c). 3 Influence de l environnement et des propriétés de la scène sur la mesure Les phénomènes dont on se propose d étudier les influences dans ce dernier paragraphe se rapportent à des erreurs liées à l objet observé ou à des erreurs environnementales, en référence au classement établi précédemment. Dans ce paragraphe également, les tests réalisés s inspirent largement des travaux de Boehler et al. [2003] ou encore de Voegtle et al. [2008].

30 Chapitre II - Etude des propriétés du capteur Page 22 Ceux-ci, pratiqués sur des scanners laser terrestres, s intéressent à l influence de divers matériaux, couleurs et formes, sur la précision de la mesure. Des bancs d étalonnage pour scanner laser sont confectionnés, basés sur l observation des résultats de tels tests. Ce paragraphe a donc pour but de détecter et d analyser si des phénomènes semblables peuvent être observés avec le capteur Kinect v Influence des matériaux et de la radiométrie Afin d évaluer tout d abord l influence de différents matériaux et couleurs, un panneau comportant des échantillons caractérisés par divers albédos et textures a été mesuré par le capteur Cas des matériaux très réfléchissants Le panneau employé lors de cette manipulation (Figure 2.11a) a été conçu à l INSA de Strasbourg, et est composé d échantillons de diverses natures. On distingue par exemple plusieurs essences de bois, des patchs imprimés colorés, des plaques de revêtements plus ou moins granuleux, mais également un disque compact. Le capteur a été placé à environ 1 mètre du plan, de façon approximativement parallèle. L image infrarouge recueillie au cours de cette acquisition fournit l intensité retour encodée sur 16 bits (valeurs comprises entre 0 et ), et est visible sur la Figure 2.11b. La tache rouge au centre, d intensité plus élevée, est liée uniquement à la position du centre optique de la caméra. Elle correspond ainsi à la zone du panneau la plus proche du capteur, fournissant donc une intensité plus élevée. a) b) FIGURE a) Panneau composé d échantillons de différentes couleurs, textures et rugosités. Le cadre rouge délimite une zone étudiée par la suite (cf Figure 2.12). b) Image d intensité colorisée fournie par le capteur Kinect v2 pour ce panneau. Tous les matériaux considérés réfléchissent la lumière, si bien qu ils renvoient tous en direction du capteur une intensité qui leur est propre. En revanche, si l on s intéresse en premier lieu au matériau possédant une forte réflectivité, à savoir le disque compact, l intensité la plus faible est observée pour cet objet. Partant de cette constatation sur l image infrarouge, il est intéressant de mettre en perspective les distances mesurées dans la zone correspondante sur la carte de profondeur. A cet effet, une représentation 3D surfacique des variations de distance au niveau du disque compact est proposée en Figure Des déformations non systématiques sont visibles, pouvant atteindre un maximum de quelques 5 cm. De plus, les déviations forment essentiellement une surface concave vue depuis le capteur (distances plus longues, formant un effet de renfoncement), pour autant certains pics sont davantage convexes (distances plus courtes). Ces déformations inexistantes à la surface du CD, et pourtant observables également dans le nuage de points généré, sont une preuve de l influence néfaste d un tel matériau pour la mesure.

31 Chapitre II - Etude des propriétés du capteur Page 23 FIGURE Représentation tridimensionnelle (en cm) des défauts de mesure au niveau de la surface d un CD (en haut à gauche), ainsi qu au niveau des carreaux noirs d une cible damier (en bas à droite). La zone surélevée en bas à gauche correspond à un panneau d enduit épais de quelques mm (cf Figure 2.11). Un test complémentaire a été réalisé en observant un miroir avec le capteur, placé ici encore à un peu plus d un mètre de cette surface. Il en découle deux remarques majeures illustrées par la Figure D une part, la présence d une zone circulaire non représentée au centre de l image infrarouge correspond probablement à une intensité retour trop élevée pour le capteur, provoquant une saturation des pixels correspondants (Figure 2.13a). Cette même zone apparaît comme un trou dans le nuage de points. D autre part, la déformation provoquée par le miroir consiste principalement en un bombement convexe de la surface, qui ne suit pas spécialement la forme des éléments vus dans le miroir lorsqu on se situe face à celui-ci (Figure 2.13b). Ce bombement est illustré par le nuage de points du miroir vu de profil sur la Figure 2.13c. Les déformations avoisinent les 5 cm sur la partie haute, et atteignent jusqu à 15 cm sur la partie basse. A l instar du phénomène de reproduction de la scène à l arrière du miroir qui peut être observé avec le scanner laser terrestre, seuls quelques points sont représentés derrière le miroir. Cependant afin de tirer davantage de conclusions sur ces phénomènes, des tests complémentaires avec d autres miroirs devraient être réalisés. a) b) c) FIGURE Effet de saturation sur une image d intensité colorisée acquise face à un miroir (a), et déformations des mesures observables dans le nuage de points correspondant : de face (b), puis de profil (c) Cas des matériaux sombres Le second constat que l on peut établir à l observation des acquisitions issues du panneau test concerne les surfaces très sombres. Il ressort dans ce cas une intensité faible en

32 Chapitre II - Etude des propriétés du capteur Page 24 comparaison du reste des échantillons. Ceci est vrai notamment pour l échantillon de revêtement composé de minéraux sombres, mais également pour la cible damier située à côté du CD. L effet associé à cette faible intensité pour la mesure de distance consiste en un renfoncement des zones sombres dans le panneau, que l on peut estimer à quelques millimètres. Autrement dit, les zones sombres s assimilent à des zones retournant de faibles intensités et pour lesquelles la distance mesurée est plus grande qu elle ne le devrait. Cet effet de renfoncement est illustré par la Figure Il est intéressant de noter qu à l inverse du CD ou du miroir pour lesquels les déformations surfaciques étaient aléatoires (points devant ou derrière la surface), il s agit dans ce second cas uniquement de renfoncements associés à des mesures trop longues. Le phénomène décrit précédemment se remarque plus légèrement au niveau de la feuille colorée en noir ou du damier en longueur sur la gauche du panneau. Ceci peut-être lié au type d impression utilisé pour la réalisation des échantillons, c est pourquoi le paragraphe suivant (3.1.3) viendra étoffer ces propos. Enfin, on notera également que le degré de rugosité des textures granuleuses (panneaux de revêtements) influence peu la mesure. En effet, l intensité retour est similaire pour tous ces échantillons, et les nuages de points correspondants ne laissent pas apparaître de déformations caractéristiques Test sur un damier de nuances de gris Dans un dernier temps, c est un damier de nuances de gris qui a été considéré. Ce damier, inspiré des travaux de Lindner et al. [2010], est visible sur la Figure 2.14a. Il est composé de carreaux noirs à 100% sur la rangée extérieure. Au centre, les teintes de gris sont dégradées toutes les deux rangées de carreaux, perdant à chaque palier 20% de couleur noire. En outre, le modèle de ce damier a été imprimé sur deux imprimantes différentes (laser et jet d encre) afin d en observer la potentielle influence. Placé à environ 1 mètre du panneau, 20 acquisitions successives (intervalle de 0,5 s) ont été réalisées avec le capteur, pour chacun des deux damiers. Dans un premier temps, les cartes de profondeur d une part et les images infrarouge d autre part ont été moyennées. Cette étape de moyennage a permis de diminuer le bruit de mesure qui aurait rendu l interprétation du résultat plus difficile, permettant ainsi d obtenir des transitions plus nettes entre les carreaux. Les images représentant l intensité sont visibles en Figure 2.14b, à gauche pour le damier provenant d une imprimante jet d encre, à droite pour celui imprimé sous imprimante laser. a) b) FIGURE a) Damier de nuances de gris, inspiré de Lindner et al. [2010]. b) Images d intensité moyennées de ce damier imprimé par impression jet d encre (à gauche) et par impression laser (à droite).

33 Chapitre II - Etude des propriétés du capteur Page 25 Il apparaît tout d abord que l intensité retournée par les carreaux augmente avec leur éclaircissement (diminution du pourcentage de noir). Les carreaux blancs, eux, présentent logiquement l intensité la plus élevée. Il semble en outre intéressant de noter que le contraste et l augmentation d intensité sont d autant plus marqués sur l impression laser que sur l impression jet d encre effet pourtant non visible lorsqu on observe à l œil nu ces deux damiers qui apparaissent similaires. Afin de souligner le lien entre intensité et mesure de distance, les variations de distances sur les cartes de profondeur associées sont illustrées en Figure De manière concomitante aux propos tenus plus haut, les distances observées pour les carreaux gris sont plus grandes que prévu. En outre, ces distances augmentent avec la diminution de l intensité et donc avec l augmentation du pourcentage de noir, pouvant atteindre jusqu à environ 1 cm pour les carreaux noirs. Ici encore, le phénomène de renfoncement des carreaux gris est davantage marqué sur l impression laser que sur l impression jet d encre, où les carreaux centraux sont plus difficilement perceptibles. FIGURE Variations (mm) des distances mesurées dans les cartes de profondeur moyennées (20 fenêtres), et acquises sur un damier issu d une impression jet d encre (à gauche) et d une impression laser (à droite). 3.2 Efficacité à l extérieur Bien que cela n ait pas été précisé en amont, l intégralité des tests présentés précédemment ainsi que les étapes de calibration qui feront l objet du chapitre suivant, ont été réalisés en intérieur - dans des salles ni trop sombres, ni trop exposées à la lumière du soleil, et possédant un éclairage artificiel. Du fait de la longueur d onde située dans l infrarouge employée par la technologie, un inconvénient notable réside dans la difficulté à utiliser ce type de capteur en extérieur, les rayons solaires faisant interférence lors de la mesure. La conséquence d acquisitions effectuées en extérieur se traduit par des mesures entachées d importantes erreurs, voire parfois même quasi-inexistantes. Ce phénomène avait été observé avec la Kinect v1 dans le PFE réalisé par N. Bernard [2011]. Afin d étudier d éventuelles améliorations technologiques dans le capteur Kinect v2, des tests ont été réalisés en extérieur lors d une journée très ensoleillée. La scène observée, présentée en Figure 2.15a, est composée d une table en bois d environ 80 cm sur 50 cm, sur laquelle a été posé un dé en carton d environ 25 cm de côté. Pour réaliser les acquisitions, le capteur Kinect a été placé à environ 1,25 m de la scène statique. Une vingtaine d acquisitions successives ont été réalisées avec un intervalle de deux secondes entre deux acquisitions, sans déplacer le capteur. L intervalle choisi est plutôt important comparé à la fréquence d acquisition possible de 30 Hz, et le nombre d acquisitions peut paraître faible. Ceci est lié à la difficulté d utilisation du capteur en plein soleil. En effet, malgré une connexion USB3 fonctionnant sans souci en intérieur, le capteur n avait de cesse de se déconnecter au bout de quelques secondes de l ordinateur, rendant compliqué le processus d acquisition. Ces coupures de liaison peuvent sûrement s expliquer par la surexposition du capteur, provoquant

34 Chapitre II - Etude des propriétés du capteur Page 26 son incapacité à mesurer. Il est également à noter que durant les acquisitions, le soleil initialement voilé s est découvert petit à petit, provoquant une nette augmentation de la luminosité ambiante. a) b) FIGURE Essais d acquisitions en extérieur : scène observée (a). Nuage de points acquis par le capteur Kinect v2 (b), et ce même nuage observé de profil (c) pour faire ressortir les «points volants» (en rouge). Sur la Figure 2.16b correspondant à un nuage de points calculé à l issue de ce test, on remarque deux choses. D une part, des points ont été acquis sur la scène, ce qui permet d en reconnaître les formes principales. D autre part, si l on pivote le nuage de points de façon à l observer de profil (Figure 2.16c), on s aperçoit que de nombreux points n appartenant pas à la scène semblent «flotter» en arrière plan. Ces points, en rouge sur la figure, sont parfois surnommés «pixels volants» dans la littérature («flying pixels», cf Kolb et al. [2009] ou Lindner et al. [2010]). Ils s apparentent à des artéfacts propres à la technologie des caméras temps-de-vol. Bien que toujours présents en faible quantité dans les mesures (quelques points en intérieur), on s aperçoit dans ce nuage que leur présence importante peut fausser la compréhension de la scène. En outre, il ressort clairement sur cet exemple que ceux-ci sont situés essentiellement le long des axes de vue du capteur (Figure 2.16c). Nos observations se sont ensuite portées sur les acquisitions réalisées lors de l augmentation lumineuse (environ 10 acquisitions). Grâce aux caractéristiques des cartes de profondeur enregistrées sous format d images jpeg (voir paragraphe 1.2), on s aperçoit que leur taille diminue, passant de 71 à 53 Ko. Ceci se traduit par une diminution du nombre de points dans les nuages calculés à partir de ces images, avec une perte d environ points (Tableau 2) en six acquisitions successives - soit quelques secondes. De manière générale lors de ces tests en extérieur, le nombre de points enregistrés est largement inférieur au nombre de points maximal (égal à , cf 1.4). En effet, de nombreux pixels dans les cartes de profondeur ayant été saturés, la mesure de distance produite au niveau de ces pixels est nulle. Lors du calcul du nuage de points, ces points de coordonnées nulles sont filtrés dans la routine développée du fait de leur non représentativité. Lors de mesures réalisées en intérieur, le pourcentage de pixels pour lesquels aucune mesure n a été acquise est d environ 5 à 25%. Ce chiffre varie en fonction de la scène et du lieu, et ces absences partielles de mesure peuvent s expliquer par un défaut de fonctionnement ponctuel de certains pixels. Dans le cadre des tests effectués en extérieur, le pourcentage de points non mesurés avoisine les 70% lorsque l illumination n est pas trop forte, et dépasse 80% de points nuls en plein soleil. Les nombres de points et pourcentages correspondant pour 6 nuages successifs acquis lors de l augmentation lumineuse sont consignés dans le Tableau 2. La perte de points lors de c)

35 Chapitre II - Etude des propriétés du capteur Page 27 ces quelques secondes de mesure équivaut à un pourcentage de points non mesurés passant de 81 à 86%. En comparaison, les artéfacts ou «pixels volants» mentionnés plus haut ont été segmentés afin d évaluer leur nombre. Bien que visuellement très présents dans la scène (Figure 2.15c), leur nombre moyen d environ 550 points n excède pas 2% du nombre total de points mesurés. Nombre de points dans le nuage % par rapport au nombre maximal soit % de points non représentés Nombre de «points volants» (approximatif) % par rapport au nombre de points dans le nuage Nuage ,3 81, ,5 Nuage ,5 83, ,7 Nuage ,3 84, ,7 Nuage ,4 85, Nuage ,9 86, ,6 Nuage ,5 86, ,6 TABLEAU 2 - Résumé des nombres et pourcentages de points représentés et points aberrants, dans six nuages acquis à la suite lors d une augmentation de la luminosité. Ce second chapitre a permis de mettre à jour les caractéristiques essentielles du capteur Kinect v2. La prise en main du capteur et la gestion primaire des acquisitions ont constitué une étape majeure avant de pouvoir débuter la série de tests développés dans la suite du chapitre. Ces expériences ont permis d établir des pistes d amélioration des données acquises, en explorant l influence de certaines sources d erreur telles que le bruit aléatoire de mesure, la luminosité ou encore les propriétés des surfaces observées (radiométrie, rugosité). Ne perdant pas de vue l objectif de ce projet qui repose sur l évaluation de la mesure à courte portée, d autres étapes sont nécessaires afin d améliorer la qualité métrique des données. A l instar des travaux photogrammétriques, une calibration adaptée au capteur doit être envisagée. Celle-ci est explicitée dans le chapitre suivant.

36 Chapitre II - Etude des propriétés du capteur Page 28

37 Chapitre III - Méthodes de calibration d une caméra 3D Page 29 Chapitre III Méthodes de calibration d une caméra 3D 1 Calibration géométrique Analyse des distorsions Détermination des paramètres Influence de la calibration géométrique Calibration en distance Bilan des erreurs influant sur la mesure de distance Evaluation et modélisation de l erreur systématique sur la mesure de distance : diverses approches Approches paramétriques Une correction en deux temps Vers une approche non paramétrique Mise en place du protocole expérimental Mise en place de la méthode de calibration retenue Analyse et correction des écarts de mesures en fonction de la portée Traitement des données brutes Analyse des résultats Correction de l erreur systématique de mesure Correction des déformations locales du capteur Calcul des résidus par rapport à un plan Approximation des surfaces résiduelles Application de la correction Résultats obtenus Influence des corrections combinées Limites de l approche mise en place Un inconvénient majeur associé à l utilisation de caméras 3D temps-de-vol est le nombre non négligeable d erreurs qui viennent entacher les données acquises. Celles-ci ont été mises à jour tant par les apports bibliographiques que par les premières manipulations réalisées avec le système Kinect v2. Il s agit d erreurs pouvant affecter les performances globales du système, tout comme ses performances métrologiques. Dans ce chapitre, ce sont essentiellement les erreurs systématiques de mesure de la distance qui seront évaluées en vue de leur correction. Pour ce faire, diverses procédures de calibration de caméras 3D seront présentées. La mise en place de l une d entre elles sur le capteur étudié apparait d autant plus primordiale que c est sa qualité métrique qu il est question d évaluer à travers ce projet. En outre, il semble nécessaire de garder en mémoire que les caméras 3D associent deux technologies. Ainsi la mesure de distance nécessite un étalonnage à l instar des scanners laser, mais la lentille employée à l intérieur du dispositif doit également subir une calibration. Cette étape déjà bien connue de la photogrammétrie permettra de corriger les distorsions

38 Chapitre III - Méthodes de calibration d une caméra 3D Page 30 géométriques dont souffre la lentille. C est donc un ensemble de corrections séparées en deux étapes majeures qui sera exposé dans ce chapitre : après la calibration géométrique de la lentille, c est celle que l on peut qualifier de calibration en distance qui sera appliquée. 1 Calibration géométrique 1.1 Analyse des distorsions Comme décrit précédemment dans ce mémoire (cf chapitre 2, 1.1), le capteur Kinect v2 est une caméra RGB-D et possède de ce fait deux capteurs optiques : une lentille infrarouge et une lentille couleur. De la même manière que pour un appareil photo classique, ces lentilles peuvent être affectées par des distorsions géométriques plus ou moins marquées. Du fait de la qualité réduite de ces composants spécifiques dans la Kinect v2 en comparaison aux appareils photo en général, ces distorsions sont clairement visibles. Ainsi, on remarque sur la Figure 3.1 des distorsions dites «en barillet» aussi bien sur l image infrarouge que sur l image couleur, provoquant un effet bombé vers l extérieur. FIGURE Acquisitions réalisées avec le capteur Kinect v2 sur un panneau rectangulaire, mettant en évidence les distorsions géométriques. De gauche à droite : image d intensité, carte de profondeur et image couleur. Ce phénomène peut être corrigé par détermination de paramètres de distorsion, comme explicité dans le paragraphe suivant. Il s agit dans ce cas d appliquer une calibration dite géométrique. Si l on considère le capteur Kinect v2 étudié dans le cadre de ce projet, la présence de deux lentilles distinctes entraine la survenue de paramètres de distorsions différents devant être déterminés à travers deux calibrations géométriques distinctes. Cependant, dans ce mémoire seule la calibration de la lentille infrarouge sera considérée. En effet, c est à partir de cette lentille que sont acquises les cartes de profondeur fournissant les mesures de distances, or c est essentiellement la qualité métrique des nuages de points qu il est question d évaluer. En outre, l information RGB qui peut être appliquée sur les nuages afin de les colorer subit préalablement une mise en correspondance avec la carte de profondeur (cf chapitre 2, 1.3). Ceci entraîne la création d une image contenant l information colorimétrique transformée et réduite à la résolution des cartes de profondeur, présentant alors les mêmes déformations. Les images RGB brutes (de plus haute résolution) n ayant pas été utilisées directement au cours de ce projet, la calibration de la lentille RGB ne sera donc pas traitée ici. 1.2 Détermination des paramètres Suite à la réalisation de la première version de Kinect, quelques algorithmes de calibration basés sur des méthodes issues de la vision par ordinateur avaient été développés pour ce capteur (Herrera et al. [2011], Burrus@). En l absence d adaptations connues pour le capteur Kinect v2, une méthode plus classique a été employée. De nombreuses «toolbox» de

39 Chapitre III - Méthodes de calibration d une caméra 3D Page 31 calibration existent dans différents langages informatiques, parmi celles-ci la «Camera Calibration Toolbox for Matlab» développée par J.-Y. Bouguet (Bouguet@) a été retenue. Dans cet outil, c est le modèle de distorsion de Brown qui a été implémenté afin de modéliser les paramètres de distorsions. Les fondements mathématiques de ce modèle et les équations associées sont consignés en Annexe F (p. 91). Le principal avantage de ce modèle repose sur sa large application en photogrammétrie, ce qui lui confère une efficacité avérée. En outre, il permet la détermination des paramètres de distorsion à la fois radiale et tangentielle, mais aussi celle des paramètres internes tels que focale et coordonnées du point principal. Une mire à damier plane avec des carreaux de dimension connue a été utilisée. Une vingtaine d images infrarouges de ce damier ont été acquises, en faisant varier l angle d incidence du faisceau lumineux sur l objet. Au total, 17 images ont été chargées dans la «toolbox». Durant le processus, la détection des damiers est semi-automatique puisque les contours doivent être déterminés par l utilisateur par un pointé à la souris. Du fait de la faible résolution des images d intensité (512 x 424 pixels pour rappel), les paramètres de distorsion obtenus par la calibration peuvent rapidement varier d un essai à l autre, ou lorsqu une image du jeu de données est échangée. Les paramètres internes et de distorsion retenus dans le Tableau 3 sont le résultat de trois essais de calibration moyennés. Une fonction appartenant au kit de développement de la Kinect permet également l écriture d un script contenant quelques-uns de ces coefficients. Ceux-ci ont donc été consignés dans le même tableau pour comparaison. Calibration personnelle Fonction du SDK Ecarts Valeurs (pixels) Ecart-type Valeurs (pixels) (valeurs absolues) Longueur focale (x) 364,7 1,6 366,0 1,3 Longueur focale (y) 366,1 1,5 366,0 0,1 Point principal (x) 255,8 2,4 258,6 2,8 Point principal (y) 203,7 3,1 206,5 2,8 Paramètres de distorsion (radiale, puis tangentielle) K1 0, , , ,00649 K2-0, , , ,10879 K3-0, , , ,09609 P1-0, , P TABLEAU 3 - Tableau comparatif des paramètres internes et des paramètres de distorsion obtenus par calibration géométrique de la lentille infrarouge, et par une fonction prévue dans le kit de développement. Il apparait que les valeurs calculées pour les paramètres internes (focale et point principal) sont très proches des valeurs fournies par la fonction du kit de développement, puisque les écarts représentent un peu moins de 1% de la valeur. En revanche, les résultats obtenus pour les paramètres de distorsion sont davantage discutables, notamment le troisième paramètre de distorsion radiale (K3), où le signe est inversé. En outre, la distorsion tangentielle n est pas prise en compte par la fonction du SDK (paramètres non disponibles). L influence de la correction des distorsions apportée grâce à ces deux jeux de paramètres différents est donc analysée dans le paragraphe suivant.

40 Chapitre III - Méthodes de calibration d une caméra 3D Page Influence de la calibration géométrique Sitôt les paramètres de distorsion estimés, ceux-ci sont appliqués aux images acquises par la lentille infrarouge afin de diminuer l influence des distorsions radiales et tangentielles. Dans la «toolbox» utilisée sous Matlab, une fonction incluse 6 permet d effectuer cette étape de traitement sur les images. Cependant, celle-ci effectue des corrections complémentaires adaptées au traitement d images RGB, ce qui n est le cas ni pour les cartes de profondeur, ni pour les images d intensité. Cette fonction de rectification étant inutilisable, les coordonnées images corrigées sont calculées à travers un script Matlab implémenté hors de la toolbox, permettant l obtention de cartes de profondeur et d images d intensité corrigées de leurs distorsions. Les équations employées sont celles présentées dans l Annexe F (p. 91). Ce script est en réalité celui permettant le calcul des nuages de points, à partir de ces cartes de profondeur corrigées. Ainsi, la calibration géométrique est appliquée directement au moment du calcul du nuage de points. L effet visuel de la calibration géométrique est dépeint en Figure 3.2. Ce phénomène d étirement dans les angles se retrouve également au niveau du nuage de points calculé, comme le montre la Figure 3.2b. Notons également que visuellement, cet effet est proche de celui observé sur des nuages acquis directement à partir des fonctions du SDK, ce qui laisse penser que des nuages obtenus par ce biais subissent également un traitement des distorsions lors de leur enregistrement. a) b) c) FIGURE a) Exemple d une carte de profondeur corrigée de ses distorsions géométriques ; b) Influence sur le nuage de points correspondant ; c) Pour comparaison, nuage de points obtenu à partir des fonctions du SDK. 2 Calibration en distance Après avoir corrigé les distorsions qui affectent le système optique du capteur, une seconde étape propre aux caméras de profondeur doit être envisagée. En effet, l information de distance délivrée est entachée par de nombreuses sources d erreur. De ce fait dans le cas d applications métrologiques, ces mesures de distance doivent faire l objet d un étalonnage. La seconde partie de ce chapitre sera donc consacrée à l analyse de ces sources d erreur ainsi qu aux solutions proposées pour y faire face. 2.1 Bilan des erreurs influant sur la mesure de distance Afin de minimiser l influence des sources d erreur qui interviennent sur la mesure de distance, la connaissance de leurs effets néfastes est requise. Bon nombre d entre elles sont listées notamment dans Lindner et al. [2010] ou encore dans Lefloch et al. [2013], au cours de travaux consacrés à l amélioration des données issues de caméras temps-de-vol. Foix et al. [2011] propose une classification de ces erreurs en fonction de leur caractère systématique ou non, et relève ainsi cinq erreurs systématiques et quatre non systématiques. 6 Il s agit de la fonction rect().

41 Chapitre III - Méthodes de calibration d une caméra 3D Page 33 La principale source d erreur que l on retiendra est l erreur systématique selon la distance, parfois dénommée dans la littérature comme erreur oscillatoire (wiggling error) ou circulaire. Elle est due notamment à des irrégularités apparaissant lors de la modulation de l onde infrarouge émise afin de mesurer la distance. En effet, la modulation sinusoïdale ne peut être parfaite. Le décalage de phase causé entraine un décalage en termes de distance mesurée, qui sera plus courte ou plus longue que la distance vraie effectuée par l onde. C est essentiellement cette erreur qui sera modélisée en vue de sa réduction grâce aux étapes de calibration décrites par la suite. D autres erreurs systématiques sont liées au temps d intégration choisi, ainsi qu à la réflectivité de la scène ou à l illumination environnante. Un décalage de la mesure de distance est alors observé lorsque ces paramètres sont modifiés (Kahlmann et al. [2006], Lindner et al. [2007]). Cependant, le temps d intégration ne pouvant être modifié avec le capteur Kinect, cette source d erreur n a pas été prise en compte dans le présent projet. En outre, les effets liés à la réflectivité de la scène ont été étudiés et quantifiés pour différentes surfaces et matières dans le chapitre 2. En revanche, une calibration propre prenant en compte à la fois intensité du signal et distance à l objet (Lindner & Kolb [2007]) n a pas été envisagée, faute de temps. La liste des erreurs systématiques peut être étendue à l erreur liée à la température, ainsi qu à l erreur liée à la position du pixel sur la matrice. L influence de la température interne a été prise en compte suite à la manipulation présentée au paragraphe 2.1 du chapitre 2, alors que l influence de la température externe n a pas été étudiée ici, les acquisitions étant réalisées dans des environnements de température peu variable lors de ce projet. Le défaut de mesure en fonction de la position du pixel sur le capteur, sera pris en compte et corrigé selon une méthode présentée dans le paragraphe 3.2. Notons que cette erreur est liée aux propriétés matérielles du capteur, puisque c est un retard de propagation du signal à l intérieur du capteur qui provoque cette erreur de mesure, en fonction de l emplacement du pixel (Fuchs & May [2007]). Enfin, du fait du caractère imprévisible des erreurs aléatoires, celles-ci ne feront pas l objet de davantage d attention dans la suite de ce manuscrit. Cependant, on pourra noter la présence d erreurs causées par des réflexions multiples sur certaines surfaces (Guomundsson et al. [2007]), ou encore l apparition de pixels aberrants sur les bords des objets provoquant un rendu flou. 2.2 Evaluation et modélisation de l erreur systématique sur la mesure de distance : diverses approches La correction de l erreur systématique de distance en vue d une calibration constitue l objet principal de la plupart des travaux consacrés aux caméras temps-de-vol. Un aperçu des différentes méthodes rencontrées est proposé ici Approches paramétriques Lorsqu on évalue l écart entre distance vraie et distance mesurée par le capteur temps-devol en fonction de la portée, il apparait généralement que cet écart suit une forme plus ou moins sinusoïdale et non constante. Une explication à ce phénomène a été proposée par Lange [2000], en rapport avec un problème d harmoniques dans le signal émis causant des perturbations dans la phase du signal reçu.

42 Chapitre III - Méthodes de calibration d une caméra 3D Page 34 Deux approches paramétriques principales émanent de la littérature et visent à modéliser les écarts de mesure dépendamment de la portée. Ainsi, Kahlmann et al. [2006] suggèrent d enregistrer ces écarts dans des tables (appelées Look-Up Table, LUT) en fonction de la distance mesurée. Le principal inconvénient de cette méthode repose sur le fait qu un grand nombre de données de référence doivent être acquises afin de constituer des tables fiables. En conséquence, ceci a pour effet d alourdir le temps de traitement. Une solution plus compacte mise en place par Lindner et al. [2006] afin de modéliser ces écarts en fonction de la portée, consiste à estimer une fonction de correction sous forme de courbe B-Spline. Ce polynôme répond à l aspect sinusoïdal de par sa forme, mais non constant de par son ordre plus élevé, observé pour les écarts en distance. Bien qu un nombre inférieur de mesures soit nécessaire en comparaison aux tables (LUT), ce procédé reste relativement chronophage dans sa mise en place. En outre, l utilisation d une courbe de type spline entraine certaines approximations non souhaitées dans la modélisation des écarts, pouvant fausser la qualité du modèle. Dans les deux cas de figure décrits précédemment, un point important influant sur la qualité finale du modèle est la détermination des mesures de référence (distances vraies). Ceci peut être effectué par déplacement du capteur sur un rail de mesure (Kahlmann et al. [2006], Lindner et al. [2006]), ou en utilisant un appareil photo calibré afin d estimer la pose du capteur par rapport au plan de référence (Schiller et al. [2008], Lindner et al. [2010]). Pour autant, dans le domaine de la robotique, Fuchs & May [2008] évitent l emploi de mesures de référence en limitant leur calibration à une portée restreinte, à partir de mesures relatives dans un repère global défini au préalable. Enfin, une nouvelle approche basée sur des algorithmes plus complexes et adaptés à la caméra PMD est proposée par Lindner et al. [2008]. Il y est question d agir sur les algorithmes de démodulation du signal, non pas dans l optique de corriger directement les erreurs en amont, mais pour pouvoir prédire de façon plus sûre le modèle de correction. En conclusion, il semble important de noter qu il n existe pas de méthode unique et simple à mettre en place lorsqu il s agit de calibrer une caméra de profondeur. Aussi, l idée de développer une procédure unique de calibration prenant en compte une grande partie des sources d erreurs systématiques (Lindner et al. [2010]) a déjà été abordée, mais reste un enjeu majeur pour la communauté qui s intéresse à ces problématiques Une correction en deux temps Les approches présentées précédemment agissent essentiellement sur l erreur systématique de mesure en fonction de la portée. Suite à cette étape l image entière est corrigée de façon globale. L idée dans un second temps est d étendre le principe de calibration à l ensemble des pixels, afin de corriger les déformations qui affectent chaque cellule de la matrice du capteur, dans son intégralité. Il apparait en effet un phénomène de dégradation de la mesure lorsqu on s éloigne du centre du capteur (cf 2.1). Ceci se traduit par des mesures généralement fausses (trop longues ou trop courtes) au niveau des bords du capteur, de telle sorte que les cartes de profondeur ou nuages de points correspondants sont bombés sur les côtés. Ces effets restent toujours visibles après la correction de la distance par une fonction polynomiale (type spline) ou une interpolation par les tables (LUT). Il arrive tout de même que cette correction plus globale intervienne en même temps que la correction des distorsions mentionnées plus haut. C est le cas notamment dans Fuchs & May [2008] ou encore Schiller et al. [2008], où l emplacement du pixel sur la matrice est un des paramètres du modèle de correction défini. Pour des raisons de simplification de l implémentation, il est pour autant plus courant que la correction globale (ou correction pixel-par-pixel) intervienne dans un second temps. Cette façon de procéder est relevée

43 Chapitre III - Méthodes de calibration d une caméra 3D Page 35 notamment dans Kahlmann et al. [2006] ou Lindner et al. [2006], bien que mise en place de manière différente dans les deux cas Vers une approche non paramétrique Les modèles d estimation et de correction des erreurs de distance présentés précédemment restent les plus employés. Il semble néanmoins intéressant de souligner l existence dans la littérature d une approche différente. Belhedi et al. [2012] propose une approche de calibration qualifiée de «non-paramétrique». Ainsi à la différence des méthodes énoncées plus haut, il ne cherche pas à définir un modèle paramétrique de type B-Spline ou LUT. Les travaux sont basés sur la définition d une formulation mathématique reposant sur des variables discrètes. La fonction décrite dans ce modèle mathématique discret inclut en paramètres d entrée à la fois la distance mesurée, mais également les coordonnées pixel (x,y) sur le capteur. L avantage principal mis en avant dans cette contribution repose donc sur la possibilité de corriger en une unique étape les distorsions propres à un pixel, en fonction de la distance mesurée mais également en fonction de sa position sur le capteur. Les résultats obtenus dans Belhedi et al. [2012] semblent satisfaisants en comparaison à d autres méthodes de calibration, annonçant des écarts moyens plus faibles par rapport à ces autres méthodes après correction avec cette approche non-paramétrique. Cependant malgré ces résultats, à notre connaissance cette technique n a pas été réemployée ou améliorée au cours des dernières années. En outre, du fait de sa complexité mathématique, il a été décidé dans le cadre de ce projet de ne pas expérimenter cette approche, entrainant une implémentation complexe et un temps de calcul long. 2.3 Mise en place du protocole expérimental Afin d appliquer une correction en fonction de la distance aux données acquises avec le capteur Kinect v2, la méthode d approximation des écarts par une fonction de type spline a été retenue. Ce choix émane essentiellement du fait de la rapidité d implémentation de cette méthode. La manipulation principale consiste en l acquisition de cartes de profondeur sur un mur blanc et plan, depuis différentes portées. Pour ce faire, des stations ont été implantées le long d une ligne virtuelle perpendiculairement au mur observé. Ces points au sol ont été implantés à l aide d un tachéomètre Leica TS02 (σ 1 mm pour les mesures de distance). L intervalle de mesure opérationnel annoncé par Microsoft pour la Kinect s étend de 0,5 à 4,5 mètres. Cependant ayant constaté que des mesures pouvaient être acquises bien au-delà de cette limite, l intervalle considéré lors de cette manipulation s étend de 0,8 à 6 mètres d éloignement au mur. Des points ont été implantés par intervalles de 25 cm entre 1 m et 6 m, ce qui représente un total de 22 stations. Le capteur Kinect a été placé sur un trépied, et stationné sur chaque point successivement à l aide d un plomb optique. Les mesures ont été effectuées à partir de 0,8 m, puis le capteur a été reculé petit à petit. Deux mini-prismes ont été placés à chaque extrémité du capteur, et à égale distance de sa face avant. En visant ces deux prismes au tachéomètre à chaque nouvelle mise en station, il devient possible de placer le capteur de manière parallèle au mur. La scène de la manipulation est visible en Figure 3.3. Enfin, depuis chaque station 50 acquisitions successives ont été réalisées avec un intervalle d une seconde. Le traitement et l analyse de ces mesures ont été effectués sous le logiciel Matlab et sont présentés dans le paragraphe suivant.

44 Chapitre III - Méthodes de calibration d une caméra 3D Page 36 a) b) FIGURE Protocole expérimental mis en place pour la détermination de l erreur systématique de mesure en distance : plan observé au niveau de la zone en pointillés (a). Schéma de principe de la manipulation (b). 3 Mise en place de la méthode de calibration retenue 3.1 Analyse et correction des écarts de mesures en fonction de la portée Traitement des données brutes A l issue de la manipulation réalisée dans le but d estimer l erreur systématique de mesure, le jeu de données recueilli consiste en 50 acquisitions pour chacune des 22 stations. Etant donné qu il s agit de corriger des distances, ce sont les cartes de profondeur qui sont utilisées. Du fait des déformations pouvant apparaitre sur les bords des cartes de profondeur, un patch de 10 x 10 pixels centraux est retenu sur chaque carte de profondeur. Le centre optique n étant pas totalement centré au milieu du capteur, le patch retenu est déterminé en observant l intensité maximale sur les images infrarouges. En effet, une tache de forte intensité correspond à la zone pour laquelle la distance capteur-mur est la plus courte. Cette zone reste quasiment identique pour chaque station car le capteur a été placé parallèle au mur. Puis, afin de diminuer le bruit de mesure (cf chapitre 2, 2.2), chaque groupe de 50 patchs retenus par station est moyenné. Pour chaque station, la distance assumée comme étant vraie est celle qui a été implantée grâce au tachéomètre. Afin d obtenir des écarts sur la mesure, pour chaque station la distance moyenne calculée sur le patch de 10 x 10 pixels est soustraite à la distance vraie. Ceci permet de tracer le graph des écarts de mesure en fonction de la portée (distance moyenne mesurée). Grâce à la fonction d interpolation interp1 de Matlab, une courbe spline est interpolée à partir des points obtenus. Le graphe ainsi réalisé est présenté en Figure 3.4. Sur ce graphe sont également représentés les écarts-types calculés à partir des 50 distances moyennes établies pour chaque station (moyenne sur la base des patchs centraux). Le dégradé de couleurs est associé à l augmentation de la portée. Enfin, il est également possible de tracer le graphe représentant les distances mesurées en fonction des distances vraies (Annexe G, p. 93). Il en ressort un coefficient de détermination de la régression linéaire calculée très élevé et proche de 1 (R² = 0,999), comme ceci est montré dans l annexe.

45 Chapitre III - Méthodes de calibration d une caméra 3D Page 37 FIGURE Graphique représentant l écart (en mm) entre distance vraie et distance mesurée par le capteur, en fonction de la distance mesurée (en m, dégradé de couleurs associé) Analyse des résultats De nombreuses observations découlent de ce graphique. Tout d abord, le phénomène de variation oscillatoire de l erreur systématique de mesure décrit dans la littérature (cf 2.1) apparait clairement. Une information intéressante vient de l observation des écarts-types, qui augmentent avec la portée (exception faite de la première station). Ceci correspond à une dispersion plus importante des écarts autour de la valeur moyenne lorsque le capteur s éloigne du mur, ce qui signifie que la précision de mesure de la distance diminue avec la portée. En outre, l écart-type obtenu pour la première station à 0,8 m est plus élevé que pour toutes les autres stations. Ceci indique que les mesures effectuées à cette portée et pour des portées inférieures souffrent d une forte imprécision, quasiment égale à l imprécision observée pour une portée de 6 m. Une courbe d évolution de ces écarts-types illustrant ces propos est visible sur la Figure 3.5 ci-dessous. FIGURE Courbe d évolution des écarts-types (mm) en fonction de la portée (distances moyennes mesurées, en m).

46 Chapitre III - Méthodes de calibration d une caméra 3D Page 38 En ce qui concerne les écarts moyens observés pour la zone centrale du capteur, ceux-ci varient de 0,5 à 2,7 cm si l on se réfère à la Figure 3.4. Ces écarts, bien que non négligeables, sont faibles en comparaison des résultats obtenus dans la littérature avec d autres caméras temps-de-vol, où les écarts peuvent parfois atteindre plusieurs dizaines de centimètres (Kolb et al. [2009]). On note également une variation importante d environ 1,5 cm au niveau de la portée à 4,5 m, ce qui correspond à la limite haute de l intervalle d utilisation préconisé par Microsoft. De ce fait, la portée optimale pour effectuer des acquisitions de précision satisfaisante varie entre 1 m et 4 m. Dans cet intervalle limité, les écarts de mesure sont réduits à un intervalle de 1 cm, avant correction. Il semble également intéressant de remarquer que, malgré les résultats satisfaisants obtenus, tous les écarts sont positifs. Cela signifie que le capteur mesurerait systématiquement des distances trop courtes. Cependant, ce phénomène est plus probablement dû au protocole expérimental mis en place. En effet, le capteur Kinect a toujours été placé de façon précise sur les points modélisant les distances vraies, mais par rapport à sa vis de fixation. En revanche, les distances mesurées sont elles acquises par la lentille, située au niveau de la face avant du capteur. De ce fait, un décalage systématique entre distance vraie et distance mesurée est introduit par ce procédé, décalage correspondant à la distance entre la vis de fixation et la lentille du capteur. Au regard de la géométrie du capteur, ce décalage est estimé à environ 2 cm. Pour les corrections futures, ce décalage systématique de 2 cm devra être pris en compte afin de ne pas influer sur les corrections. Cependant, l estimation de ces 2 cm restant approximative a posteriori, il aurait été plus judicieux d établir un protocole expérimental permettant de situer la caméra avec précision par rapport au mur. Ceci pourrait par exemple être mis en place par un suivi tachéométrique des coordonnées de la caméra dans un repère local, lors de chaque déplacement de station en station. Pour des raisons de temps, la suite des analyses se fera tout de même avec le jeu de données acquis lors de la première manipulation. Afin de valider ces propos et d éliminer l influence du décalage systématique, les distances moyennes mesurées pour la première station à 0,8 m ont été soustraites aux distances moyennes mesurées respectivement pour chaque station. De ce fait, les distances moyennes ne sont plus absolues par rapport au mur de référence, mais relatives par rapport à la première station. Grâce à ces distances relatives et donc écarts relatifs également, le systématisme est éliminé. Le graphe des écarts par rapport à la première station en fonction de la portée présente la même tendance que celle observée sur la Figure 3.4. Ce graphe est visible en Annexe G (p. 93). Malgré le fait que les écarts de mesures observés soient faibles au regard du capteur utilisé, une solution pour leur correction a été implémentée Correction de l erreur systématique de mesure La correction des erreurs systématiques suit la courbe spline tracée en Figure 3.4. Celleci permet d associer à une distance mesurée la valeur de l écart qu il faut lui ajouter ou lui retrancher afin d approcher la distance vraie. La spline est une fonction définie par morceaux par des polynômes, de degré 3 dans notre cas. Chaque polynôme possède des coefficients différents et est défini entre deux valeurs extrêmes appelées nœuds, qui correspondent ici à deux portées successives. La fonction d interpolation utilisée sous Matlab permet la détermination de ces coefficients, ainsi que leur stockage dans une structure en fonction de leurs bornes extrêmes. En testant l appartenance d une distance mesurée à chaque intervalle, on peut alors calculer grâce à l équation du polynôme correspondant, l écart à ajouter ou retrancher à la mesure.

47 Chapitre III - Méthodes de calibration d une caméra 3D Page 39 La correction mise en place, réalisée en post-traitement, a été testée sur le jeu de données acquis lors de la manipulation décrite précédemment. Ceci permet de tester le modèle réalisé, mais reste quelque peu faussé. En effet ce jeu de données ayant servi au tracé de la spline, les corrections apportées fournissent des résultats naturellement très bons. Ainsi, comme on peut le voir en Figure 3.6, les écarts qui subsistent après correction sont tous très proches de la valeur nulle. On constate toujours cependant une augmentation de l écart-type avec la portée. FIGURE Graphique représentant les écarts (en mm) entre distance vraie et distance mesurée après correction des données, en fonction de la portée. Données issues du même jeu de données que celui ayant servi pour la définition du modèle mathématique. Il semble y avoir davantage de sens à valider cette correction en utilisant un autre jeu de données. Pour ce faire la même expérience a été réalisée, mais dans des conditions de luminosité et de température légèrement différentes. Après correction, les écarts entre distances vraies et distances mesurées varient dans un intervalle de 5 mm, d après la Figure 3.7. Au vu de la technologie évaluée dans le cadre de ce projet, de tels écarts peuvent être considérés comme satisfaisants. Bien que pouvant être améliorée, cette méthode de correction est donc validée. Calculée sur un patch de 10 x 10 pixels centraux, elle doit désormais être étendue à l intégralité du capteur. FIGURE Graphique représentant les écarts (en mm) entre distance vraie et distance mesurée après correction des données, en fonction de la portée. Jeu de données acquis sur le même mur plan, mais dans des conditions différentes.

48 Chapitre III - Méthodes de calibration d une caméra 3D Page Correction des déformations locales du capteur Le modèle de correction que l on souhaite établir vise à corriger les déformations locales apparaissant sur les nuages de points issus du capteur Kinect. L observation des nuages de points représentant le plan de référence montre en effet que ceux-ci ne sont pas plans, et souffrent d une déformation le plus souvent sphérique du centre vers les bords de la matrice. La manipulation de calibration a été effectuée sur un mur blanc et plan. Afin d en assurer la planéité, celui-ci a fait l objet d un balayage à l aide du scanner laser FARO Focus 3D, appareil dont la précision est présumée supérieure à celle du capteur étudié. Le nuage de points issu du balayage a ensuite été approximé par un plan (selon le principe des moindres carrés) dans un logiciel de traitement de données 3D. L écart-type résultant de cette opération vaut 0,1 mm, avec des résidus uniformément répartis à la surface du plan. De ce fait, la référence utilisée est jugée plane Calcul des résidus par rapport à un plan Du fait des dimensions du mur et des angles d ouverture de la caméra, cette étape de correction sera limitée à une portée maximale de 3 mètres. Au-delà de cette distance, des éléments autres que le mur (sol ou plafond) pourraient apparaitre dans le champ de vision du capteur. Dix cartes de profondeur (respectivement moyennées sur 50 acquisitions) ont donc été utilisées, représentant les dix premières stations (de 0,8 m à 3m). Afin de visualiser les déformations subies sur l ensemble du capteur, des plans ont été approximés dans les dix nuages de points. La distance euclidienne a ensuite été calculée entre chaque point du nuage et le plan correspondant. Pour chaque distance considérée, ces résidus par rapport au plan moyen sont enregistrés dans une matrice de même taille que les cartes de profondeur (512 x 424 pixels). Ces matrices peuvent alors être représentées sous forme de cartes colorées en fonction de la valeur des résidus, à l instar de la Figure 3.8. Les résidus sont en millimètres et sur cette figure, le cas du plan à une distance de 1,25 m est illustré. Les figures représentant les résidus pour les autres portées sont consignées dans l Annexe H (p.95). L effet de déformation sur les bords et dans les coins mentionné plus haut est nettement visible sur ces figures. Sur la Figure 3.8, les résidus peuvent atteindre quelques centimètres dans les coins. Notons également en observant ces figures (Annexe H, p. 95) dans l ordre croissant des portées, que les résidus ont tendance à augmenter avec la portée. Ceci est vrai jusqu à une distance approximative de 1,75 m, distance à partir de laquelle les déformations ne sont plus uniquement situées sur les bords de l image. En effet, des phénomènes de déformations apparaissent également sous forme de cercles à l intérieur de l image, et les résidus sur les bords du capteur changent de signes. FIGURE Matrice des résidus (visualisation colorée, en mm) calculés par rapport au plan approximant le nuage de points ; plan de référence situé à 1,25 m.

49 Chapitre III - Méthodes de calibration d une caméra 3D Page Approximation des surfaces résiduelles En vue des traitements futurs, il est intéressant de posséder ces matrices successives de résidus sur l ensemble du capteur en fonction de la portée. Ceci permettra d interpoler des valeurs de corrections (positives ou négatives) en fonction de l emplacement du pixel sur la matrice, mais également de la distance mesurée. Toutefois, afin d éviter des interpolations de corrections aberrantes, notamment sur les bords des matrices où les valeurs résiduelles peuvent être élevées, le problème va être traité sous forme de surfaces plutôt que de matrices. L utilisation de surfaces moyennes assurera ainsi une visualisation plus lissée et plus plausible des déformations sur l ensemble du capteur. Au préalable, les valeurs résiduelles consignées dans des matrices sont transformées en nuages de points. Ces nuages de points ont été calculés avec des coordonnées exprimées dans le repère image. Ainsi, les colonnes X et Y du fichier de points contiennent les coordonnées (i,j) du pixel p, et la colonne Z associe la mesure de distance correspondante enregistrée dans ce pixel p. Les nuages ne sont pas calculés dans le repère caméra selon les formules énoncées au 1.4 (chapitre 2), car les corrections seront par la suite appliquées en fonction de l emplacement du pixel sur la matrice. L information de ses coordonnées sur la matrice ne doit donc pas être perdue. L idée est ensuite de modéliser des surfaces qui approximeraient respectivement chacun des 10 nuages de points représentant les résidus pour les 10 premières portées. Pour ce faire, la Surface Fitting Toolbox disponible dans Matlab est utilisée. Elle permet de déterminer les paramètres d une surface approximante à partir d un nuage de points. Il est possible de choisir le modèle de surface désiré parmi une liste. Le modèle surfacique retenu est polynomial de degré 3, la forme polynomiale étant adaptée pour représenter ces surfaces peu complexes, essentiellement bombées. Le degré 3 permet une approximation plus fidèle du nuage que le second degré, tout en assurant un degré de détail et un temps de calcul raisonnables. Ainsi, les surfaces qui approximeront les nuages possèdent une équation de la forme : (3.1) L interface de la Surface Fitting Toolbox est visible en Annexe I (p. 99). Comme on le voit en Figure 3.9, la représentation surfacique (en dégradé de couleurs sur la figure) permet notamment de mieux visualiser les déformations subies sur l ensemble du capteur. Les paramètres des surfaces modélisées sur la base des 10 nuages de points ont été déterminés par ce biais. Ils ont ensuite été enregistrés dans une structure permettant d associer à une portée donnée (de 0,8 à 3 m), l ensemble des paramètres de la surface correspondante. FIGURE Nuage de points (en rouge) en coordonnées images, modélisant les résidus (mm) par rapport au plan à 0,80 m, représenté conjointement avec la surface approximant le nuage de points (en dégradé coloré).

50 Chapitre III - Méthodes de calibration d une caméra 3D Page Application de la correction Ici encore, la correction est apportée aux cartes de profondeur en post-traitement. Le script développé doit tenir compte à la fois de l emplacement du pixel, mais aussi de la distance mesurée. Ainsi pour chaque pixel de la carte de profondeur à corriger, en fonction de la distance mesurée, des paramètres surfaciques sont interpolés. Par exemple, si la distance mesurée vaut 1,10 m, les paramètres seront interpolés entre les paramètres de la surface approximante à 1 m, et ceux de la surface à 1,25 m. La valeur de correction est alors calculée à partir de l équation (3.1), où x et y correspondent aux coordonnées (i,j) du pixel, et les paramètres sont ceux interpolés. Enfin, pixel par pixel, cette correction de distance est ajoutée à la mesure comprise dans le pixel correspondant. L inconvénient majeur de cette solution repose sur le fait que les paramètres de calcul sont interpolés. Ceci suppose que l évolution des déformations surfaciques entre deux portées successives se fait de façon linéaire, ce qui ne peut être prouvé. En outre, la correction locale s effectuant pixel par pixel, l intégralité de la carte de profondeur doit être parcourue et corrigée, ce qui entraine un temps de calcul non négligeable. Pour une carte de profondeur de taille 512 x 424 pixels, la correction nécessite environ 8 minutes de calcul. Les nuages obtenus sur le plan de référence avant et après correction sont présentés dans le paragraphe suivant Résultats obtenus Les résultats présentés dans ce paragraphe sont ceux obtenus sur les nuages de points du plan de référence, après correction des déformations locales. L objectif de cette correction est d améliorer, dans ce cas précis, la planéité des nuages. Afin de vérifier ce phénomène, comme lors du calcul des résidus par rapport à un plan, des plans ont été approximés dans chacun des nuages de points corrigés. Le Tableau 4 résume, en fonction de la portée, les écarts-types obtenus lors du calcul de plans moyens, avant et après correction des nuages. Distance capteur/mur (en m) σ (en mm) sur l approximation d un plan dans le nuage, avant correction σ (en mm) sur l approximation d un plan dans le nuage, après correction 0,8 2,6 0,8 1 4,3 1,2 1,25 1,9 1,5 1,5 1,5 1,4 1,75 2,8 2,1 2 3,5 2,3 2, ,5 2,5 1,8 2,75 5 3,7 3 9,2 4,5 TABLEAU 4 - Ecarts-types obtenus lors de l approximation de plans dans les nuages de points avant et après correction de la déformation locale, pour différentes portées.

51 Chapitre III - Méthodes de calibration d une caméra 3D Page 43 Au vu de la technologie étudiée, on pourrait s attendre à une dégradation de l écart-type en fonction de la portée. En réalité, avant correction des nuages de points, il ressort de ce tableau que la variation de précision observée n est pas constante. Ainsi, si les deux premiers nuages (à 0,8 m et 1 m) présentent des écarts-types respectifs de 2,6 mm et 4,3 mm par rapport à leurs plans moyens, une amélioration est constatée au niveau des deux portées suivantes à 1,25 et 1,5 m. Ces exceptions s expliquent par une meilleure répartition des résidus points/plan sur l ensemble du nuage, ce qui a pour conséquence de diminuer l écarttype. La Figure 3.8 illustre ces propos quant à la répartition des résidus. Ensuite, outre un écart-type plutôt bas (2,5 mm) à 2,5 m, les valeurs de σ ont une tendance globale à augmenter à partir de 2 m. A partir de cette portée, une amplification des déformations dans le nuage de points est donc confirmée par ces résultats. Une seconde analyse émanant de ce tableau concerne l influence de la correction. Une première constatation intéressante est que la correction apportée possède pour chaque portée un effet bénéfique, puisque l écart-type sur l approximation de plan est toujours inférieur après correction. En outre, après correction, les valeurs de σ ont tendance à augmenter avec la portée, de 0,8 mm à 4,5 mm. A l exception des portées de 1,25 m à 1,75 m où l influence de la correction ne se fait que peu ressentir, les écarts-types sont quasiment diminués par deux sur le reste des portées. Bien qu un effet d augmentation des déformations se fasse toujours ressentir après correction, celle-ci réduit tout de même l erreur constatée sur l ensemble du capteur. Ainsi, elle permet de limiter l effet d accumulation des erreurs, en amenuisant le bilan. Enfin, notons qu à l observation des nuages de points dans un même espace de travail, on constate que la déformation est concave jusqu à 2 m, puis devient davantage convexe jusqu à 3 m. 3.3 Influence des corrections combinées Le tableau analysé précédemment présentait des résultats issus de la seconde correction, c est-à-dire la correction des déformations locales du capteur. Dans ce nouveau paragraphe, nous parlerons de nuages de points corrigés lorsqu ils auront subis une calibration en distance complète (écarts en fonction de la portée et déformations locales). Afin d apprécier l influence de la calibration en distance exécutée, une comparaison nuage-nuage a été réalisée entre un nuage de points non corrigé et un nuage de points corrigé, situés dans le même repère. Il s agit de nuages de points acquis sur un mur à une distance de 1 mètre. Le logiciel CloudCompare permet d obtenir une visualisation des écarts (sans signe) présentée en Figure 3.10a. Il apparait une nette tache circulaire relativement centrale, qui reflète la déformation de tendance sphérique du plan, atténuée par la correction locale mise en place. Dans les coins, les écarts dépassent le centimètre, alors qu au centre ils sont inférieurs à 4 mm. En outre, les écarts au centre sont négatifs, car il s agit d un renfoncement du plan. Pour finir, une question semblait intéressante à soulever. Il a été précisé dans le chapitre 2 de ce mémoire que des nuages de points pouvaient être directement acquis par le capteur Kinect v2. Des fonctions peu transparentes sont en effet disponibles dans le kit de développement du capteur. A l issue de la calibration géométrique, il a été constaté que les nuages obtenus par ce biais présentaient visuellement une forme proche de ceux corrigés de leurs distorsions par notre méthode. Ainsi, il pourrait être envisageable que les écarts en distance soient également pris en compte et atténués, lors du calcul des nuages de points par les fonctions du SDK. Dans l optique de vérifier ce postulat, une nouvelle comparaison nuage-nuage a été effectuée entre un nuage de points acquis directement (fonctions du SDK) et un nuage de points corrigé par notre procédé. Le résultat des écarts (ou distances entre les deux nuages) est visible sur la Figure 3.10b. Il en ressort également une tache centrale,

52 Chapitre III - Méthodes de calibration d une caméra 3D Page 44 accompagnée de déformations de l ordre du centimètre dans les coins. Notre nuage étant corrigé, ceci laisse à penser que les fonctions de «mapping» (chapitre 2, 1.3.2) n intègrent pas leur propre calibration. Afin d en obtenir une preuve supplémentaire, une dernière comparaison a été réalisée entre ce même nuage tiré des fonctions du kit développeur, et un nuage calculé par notre méthode avant application de la correction (Figure 3.10c). a) b) c) FIGURE a) Représentation des écarts (en m) entre un nuage de points corrigé (erreur systématique de mesure + déformations locales) et un nuage de points non corrigé, par comparaison nuage-nuage. Principe identique : b) entre un nuage de points corrigé par notre méthode et un nuage de points calculé à partir des fonctions du SDK ; c) puis entre ce même nuage issu du SDK et un nuage non corrigé. Sur cette Figure 3.10c, les écarts sont réduits par rapport à la comparaison précédente, s élevant en moyenne à 1 mm contre presque 3 mm auparavant. En outre, l approximation d un plan dans le nuage tiré du SDK fournit un écart-type d environ 5 mm - celui-ci vaut 4,3 mm dans notre nuage non corrigé. Les nuages acquis directement souffrent donc également d une déformation locale, relativement sphérique. Ainsi, bien que rien ne le confirme dans les données fournies avec le capteur, il semblerait que le modèle constructeur ne prenne pas en compte ces erreurs systématiques, puisqu aucune correction n y est apportée. Seules les distorsions géométriques évoquées en début de chapitre font l objet d une calibration par le constructeur. 3.4 Limites de l approche mise en place Les analyses menées dans ces derniers paragraphes laissent transparaitre un effet bénéfique des corrections apportées, puisque quelques-unes des principales erreurs systématiques ont pu être atténuées, sinon corrigées. Cependant, quelques imperfections peuvent être relevées dans l approche menée. En premier lieu, pour des raisons pratiques, la correction des déformations locales sur l ensemble du capteur est limitée à des mesures n excédant pas 3 mètres. Autrement dit, les

53 Chapitre III - Méthodes de calibration d une caméra 3D Page 45 points mesurés au-delà de cette valeur ne pourront se voir appliquer de correction de la déformation locale. Ceci est uniquement lié au mode d expérimentation, pour lequel un mur d approximativement 7 m de haut sur 15 m de large aurait été nécessaire afin de ne capturer ni sol, ni plafond avec un recul de la caméra à 6 m. Ces conditions étant difficilement réalisables, il était plus judicieux de limiter nos corrections à 3 m. En effet, cette distance à respecter semble suffisante, puisqu il a été conclu du paragraphe que la portée optimale pour effectuer des acquisitions de précision satisfaisante varie de 1 m et 4 m environ. Dans le chapitre suivant, les objets évalués seront maintenus à une distance inférieure à 3 m du capteur. De plus, cette même étape de correction des déformations locales pixel par pixel se base sur des approximations de plans. Ainsi d une part, les potentiels artefacts liés à une géométrie non plane et plus complexe ne sont pas pris en compte dans cette approche. Cependant, l idée d une calibration qui couvrirait l intégralité des défauts d une caméra 3D en fonction de la géométrie de l objet observé reste très utopique, si bien qu à notre connaissance l utilisation d un plan de référence reste une des rares solutions proposées dans la littérature. D autre part, les plans ont été approximés dans des nuages de points issus de données du capteur. Ceci présente l avantage de ne pas tenir compte des éventuels défauts de parallélisme entre le capteur et le mur lors des acquisitions, ainsi que de la potentielle mauvaise verticalité de la caméra. En revanche, approximer les plans de référence dans les nuages suppose que les déformations soient plus ou moins symétriques selon les axes verticaux et horizontaux du capteur. Il s agit d une supposition émise en vue de simplifier la démarche, alors que les déformations pourraient tout à fait être plus importantes sur le haut que sur le bas du capteur, par exemple. Le plan réel à considérer afin de déterminer les résidus ne coïnciderait alors pas nécessairement avec le plan approximé dans le nuage de points. Enfin, une approximation a également été faite au cours de la manipulation d évaluation des écarts de mesure en fonction de la distance. La distance considérée comme vraie (celle qui a été implantée au sol) est déterminée par rapport au point de fixation de la caméra sur son système d adaptateur à l embase. La distance mesurée par la caméra, en revanche, est déterminée par la position de la lentille dans le capteur. Ainsi, dans les travaux ce décalage constant entre point de fixation et lentille a été évalué à environ 2 cm. Afin d éviter ce problème susceptible d introduire une erreur supplémentaire, il semblerait judicieux d envisager une méthodologie définie dans un repère local. Par exemple, la caméra pourrait être suivie par un tachéomètre à chaque phase de recul, et déterminée par ses coordonnées dans ce repère par rapport au mur de référence situé face à elle. Ainsi, la relation entre distance mesurée par le capteur et distance vraie serait plus évidente à déterminer pour les traitements suivants. Dans ce chapitre, la question de l observation et de la correction des principales sources d erreurs systématiques a été un point central. Après avoir corrigé les distorsions géométriques de la lentille, ce sont des solutions pour analyser les distorsions selon la profondeur qui ont été mises en place. Bien que des améliorations soient envisageables dans ces processus, des effets positifs ont été observés au niveau des nuages de points acquis. En outre, il est apparu que les nuages de points obtenus à l aide de fonctions fournies par le SDK de Microsoft subissent très vraisemblablement certaines corrections lors de leur création. Cette piste pourrait permettre de simplifier les démarches futures, s il s avérait qu un modèle de calibration apporté par le constructeur fournisse des résultats semblables aux nôtres. Les nuages de points utilisés dans le chapitre suivant seront calculés à partir des procédés mis en place dans ce chapitre et le précédent. Un tel mode de travail assure la maîtrise de toutes les étapes de traitement, depuis l acquisition de la carte de profondeur jusqu au nuage de points final.

54 Chapitre III - Méthodes de calibration d une caméra 3D Page 46

55 Chapitre IV - Application à la réalisation de modèles 3D Page 47 Chapitre IV Application à la réalisation de modèles 3D 1 Des données brutes à la création du maillage Acquisition d objets à courte portée Fragment de balustrade, Cathédrale de Strasbourg Fragment calcaire d un chapiteau Alignement de fenêtres successives Approches envisageables Présentation de l outil Kinect Fusion Consolidation semi-automatique de nuages individuels Alignement de points communs De nombreuses sources d erreur Du nuage de points complet au maillage Evaluation qualitative des modèles réalisés Méthodes de comparaison : aperçu Evaluation de la précision des modèles réalisés Acquisition de modèles de référence Résultats de l étude comparative Pistes d amélioration La modélisation 3D d objets de type statues ou moulages répond à un besoin de visualisation et d analyse du matériel archéologique et du patrimoine bâti. Cette étape de digitalisation tend à devenir un maillon à part entière dans le domaine de la documentation et de la conservation du patrimoine. De nombreux capteurs basés sur des technologies différentes facilitent ce processus depuis maintenant plusieurs dizaines d années. Cependant, du fait de la constante évolution des technologies, ce sont des solutions toujours plus rapides, portatives et bon marché qui émergent à l heure actuelle. Basée sur des principes désormais bien connus, la photogrammétrie s impose comme étant la méthode la plus employée dans ce domaine. Grâce à la facilité d accès et d utilisation des appareils photo numériques et de logiciels robustes pour l alignement des clichés, les méthodes photogrammétriques sont ainsi devenues accessibles à un large public. Depuis quelques années pourtant, certaines études cherchent à détourner les caméras 3D de leur usage habituel, en vue de les utiliser dans des applications de numérisation 3D. La qualité et la consolidation des données, les performances métriques de tels outils deviennent alors des questions centrales pour ce type de travaux. Après avoir étudié diverses solutions d amélioration de la donnée acquise avec le capteur Kinect v2, ce dernier chapitre sera donc consacré à la réalisation de modèles 3D. De l acquisition des jeux de données à la considération de diverses méthodologies pour la consolidation d images ou de nuages de points, les travaux présentés ici auront pour but l évaluation de la précision des modèles 3D ainsi réalisés.

56 Chapitre IV - Application à la réalisation de modèles 3D Page 48 1 Des données brutes à la création du maillage 1.1 Acquisition d objets à courte portée Dans le cadre de ce projet, deux pièces archéologiques issues de sites ou de monuments locaux ont été mis à disposition. L intérêt principal de ces deux jeux de données, malgré leurs dimensions similaires, repose essentiellement sur leurs différences de géométrie et de complexité. Ceux-ci sont présentés ci-après Fragment de balustrade, Cathédrale de Strasbourg Un premier jeu de données a été réalisé avec une pièce provenant de la Cathédrale Notre- Dame de Strasbourg, mise à disposition par la fondation de l Œuvre-Notre-Dame. La pièce de grès mesurant environ 20 x 40 cm est un fragment de balustrade. Comme on peut le constater sur la Figure 4.1a, cette pièce présente plusieurs axes de symétrie et une certaine régularité. La modélisation devrait s en trouver moins complexe. Les acquisitions effectuées sur cette pièce ont été pensées de façon similaire à ce qui se fait pour des travaux photogrammétriques. Ainsi, 8 stations assurant un recouvrement suffisant entre elles ont été réalisées en tournant autour de la pièce, à des distances plus ou moins constantes de 1 m à 1,5 m. Ce schéma d acquisition est représenté en Figure 4.1b. Depuis chaque point de vue, 10 acquisitions successives ont été réalisées avec une fréquence d une seconde, en vue d être moyennées. En outre, des cibles de type damiers ont été placées tout autour de la pièce, en prévision de la consolidation future (cf 1.3). a) b) FIGURE Photographie du fragment de balustrade en grès, provenant de la cathédrale de Strasbourg (a). Schéma de principe pour l acquisition de ce fragment à l aide du capteur Kinect v2, depuis 8 stations (b) Fragment calcaire d un chapiteau Le second objet à numériser présente une complexité beaucoup plus importante. Celui-ci, présenté en Figure 4.2, n affiche pas de symétrie particulière mais possède de nombreuses irrégularités. Il s agit d un fragment calcaire découvert sur le site du théâtre romain de Mandeure 7, identifié comme fragment d un chapiteau corinthien. Ses dimensions approximent 20 x 15 cm. En outre, il est à noter que cette pièce avait déjà fait l objet d une publication dans le cadre de la comparaison entre un logiciel de photogrammétrie (PhotoModeler Scanner), et l outil DAVID Laserscanner (Alby et al. [2009]). 7 Commune du département du Doubs (25), Franche-Comté.

57 Chapitre IV - Application à la réalisation de modèles 3D Page 49 Du fait de la complexité de cette pièce, le modèle qui en sera étudié par la suite a été réalisé grâce à l outil Kinect Fusion (cf 1.2.2). FIGURE Photographie du fragment calcaire d un chapiteau corinthien, provenant du site du théâtre antique de Mandeure. Vue de la face avant (à gauche) et arrière (à droite). 1.2 Alignement de fenêtres successives Sitôt les données acquises sous forme de cartes de profondeur, la question de l alignement de ces images se pose. En effet, l objet est acquis depuis différents points de vue, qu il est nécessaire d assembler les uns aux autres afin d obtenir une vue tridimensionnelle globale de l objet Approches envisageables Lorsque l on emploie une caméra de profondeur en vue de reconstruire un espace ou un objet en 3D, il n existe pas de solution unique pour l alignement et la fusion des données successives. En revanche, de nombreuses approches peuvent être envisagées et sont présentes dans la littérature. Celles-ci tendent à aligner les données successives tout en réduisant, tant que faire se peut, l influence du bruit de mesure inhérent à la caméra 3D. Le capteur Kinect possédant l avantage d être doté d une lentille RGB, l hypothèse d utilisation de l information colorimétrique est à considérer. Il est en effet possible d appliquer des détecteurs de points communs à la donnée RGB fournie par le capteur. Dans Quintana et al. [2014] notamment, c est un algorithme SURF 8 qui est retenu pour la localisation et la mise en commun de points homologues sur des images couleurs obtenues avec un capteur Kinect v1. Après extension de ces informations d alignement aux cartes de profondeur correspondantes, celles-ci peuvent alors être transformées en nuages de points grossièrement consolidés. La consolidation finale est affinée à l aide de l algorithme Iterative Closest Point (ICP), introduit par Chen & Medioni [1991] et Besl & McKay [1992]. Cet algorithme, dont le principe ne sera pas détaillé davantage ici, est largement utilisé en vision par ordinateur pour assembler les vues partielles d une même scène. L idée de combiner l information colorimétrique au processus initial de consolidation de données 3D est également répandue dans les applications de type SLAM. On la retrouve notamment dans Henry et al. [2010] ou encore Dong et al. [2014]. Ceci permet de pallier quelque peu la qualité réduite des mesures de distances seules. 8 Speeded-Up Robust Features (Bay et al. [2006])

58 Chapitre IV - Application à la réalisation de modèles 3D Page 50 En vue d effectuer des reconstructions 3D en temps réel, Kahn et al. [2013] proposent une consolidation qui ne se base pas sur la géométrie de l objet ou de la scène. Le but est de déterminer la pose de la caméra tout au long de ses déplacements, afin de consolider les données acquises par la suite. Ces poses sont déterminées de façon précise grâce à un bras de mesure Faro, sur lequel le capteur est placé. Ainsi les nouvelles cartes de profondeur acquises sont consolidées directement sur la reconstruction 3D déjà réalisée, dans un système de coordonnées propre au bras de mesure. Dans la mesure où il implique l utilisation d un bras de mesure, ce principe va à l encontre de l idée d utilisation d un simple capteur à bas coût. D autres expérimentations telles que Smisek et al. [2011] cherchent aussi à estimer la pose de la caméra, mais en se basant sur les paramètres externes déterminés pour ce capteur. Bien que seul le capteur soit nécessaire dans ce cas de figure, la qualité de consolidation en est amoindrie Présentation de l outil Kinect Fusion Du fait de la popularité de la technologie Kinect (première et seconde versions confondues), un algorithme de reconstruction 3D en temps réel basé sur les mesures de distance a été développé. Cet outil avait été pensé et mis en place pour le capteur Kinect v1 dans le cadre d un projet de recherche du laboratoire Microsoft Research. Son principe de base a été décrit à travers les publications Newcombe et al. [2011], et Izadi et al. [2011]. Fort de son succès, Kinect Fusion a été adapté à la nouvelle version du capteur Kinect, et intégré directement dans le SDK 2.0. L interface graphique en cours d utilisation est présentée en Figure 4.3a. Il s agit donc d un système de numérisation 3D en temps réel, permettant l acquisition de modèles 3D sous forme de maillages de différents formats (.obj,.ply ou.stl). Le capteur Kinect est alors utilisé comme un scanner à main, déplacé de façon très lente autour de la scène à numériser. La consolidation des cartes de profondeur acquises en temps réel depuis différentes positions est basée sur l algorithme ICP. Auparavant, l espace 3D est discrétisé en une grille de voxels, aux centres desquels une distance est enregistrée. Cette distance représente la distance du centre du voxel à la surface de l objet reconstruit la plus proche. L avantage principal de cette fonction réside dans le fait que les mesures 3D provenant de plusieurs cartes de profondeur sont fusionnées afin d estimer la surface. De manière similaire au principe de moyennage des données dans le temps, ce processus de fusion dans l espace permet de réduire le bruit aléatoire de mesure, sur une portion de surface donnée. b) a) FIGURE Interface graphique de l outil Kinect Fusion, en cours d utilisation (a). Maillage obtenu par balayage du fragment de chapiteau à l aide du capteur Kinect v2 et de Kinect Fusion (b).

59 Chapitre IV - Application à la réalisation de modèles 3D Page 51 L outil Kinect Fusion a été testé sur le fragment de chapiteau. Le maillage obtenu, visible en Figure 4.3b, comporte environ triangles. Il est à noter que l utilisation de cet outil est très simple, puisque seuls quelques paramètres d acquisitions peuvent être modifiés par l utilisateur (taille des voxels, résolution selon les axes, profondeur de mesure). De ce fait, les corrections potentielles apportées au modèle ne sont pas connues, ce qui procure à l outil un effet «black box». En outre le capteur doit être déplacé de façon très lente, de telle sorte que la consolidation ne soit pas interrompue en cours de balayage, et que le maillage soit complet (sans trou). La qualité du maillage ainsi obtenu sera appréciée au paragraphe Consolidation semi-automatique de nuages individuels Malgré la capacité du capteur Kinect à fournir des mesures de distance en temps réel, la problématique de consolidation automatique de cartes de profondeur n entrait pas dans nos objectifs. Ainsi, outre les modèles réalisés à l aide de l outil Kinect Fusion, une consolidation des cartes de profondeur en post-traitement et de manière semi-automatique a été préférée. Les pistes de consolidation listées précédemment permettent d envisager une automatisation du processus, pour autant la méthodologie présentée dans ce paragraphe 1.3 se base davantage sur des principes issus de la photogrammétrie et de la lasergrammétrie Alignement de points communs En premier lieu dans cette approche semi-automatique, il est question de consolider plusieurs nuages de points. Nous nous intéresserons ici aux acquisitions réalisées sur le fragment de balustrade (cf 1.1.1) du fait de sa géométrie plus simple. Après moyennage des vingt cartes de profondeur et passage en coordonnées (X,Y,Z), ce sont 8 nuages de points individuels qui doivent être consolidés. Lors des acquisitions, des cibles de type damiers d environ 5 cm de côté ont été disposées autour de l objet, sur le sol. La méthode retenue consiste à sélectionner des cibles homologues (environ 8 cibles) dans deux nuages de points distincts. La fonction de consolidation par les cibles du logiciel Trimble RealWorks permet alors d effectuer un premier alignement entre les deux nuages, et un écart de recalage basé sur les cibles sélectionnées est calculé. Au préalable, les nuages ont été traités pour la réduction du bruit dans le logiciel 3D Reshaper (Technodigit). Ainsi le bruit restant est filtré, les points non représentatifs au niveau des arêtes (illustrés dans le paragraphe suivant) sont éliminés, et les pixels aberrants sur les bords des nuages sont segmentés. La consolidation basée sur les cibles est illustrée en Figure 4.4a pour deux nuages distincts. Les écarts de recalage au niveau des cibles calculés par le logiciel valent environ 2 cm, même à la suite d un affinage de l alignement (basé sur l algorithme ICP). Au contraire, un effet destructeur est observé, puisque le calcul de l alignement fin a tendance à décaler davantage les nuages entre eux, malgré la convergence du calcul. Une erreur de recalage de 2 cm ne peut être envisagée pour la suite de la consolidation, d autant plus si l on considère la taille de la pièce (environ 40 cm). En outre, l effet le plus néfaste apparait sur le milieu du capteur où l objet est situé. Un net décalage de l ordre du centimètre est observé au niveau des arêtes des deux parties de l objet à consolider. Ces mauvais résultats de consolidation basée sur les cibles peuvent s expliquer de deux manières : d une part, la correction locale des déformations sur l ensemble du capteur peut être mise en cause. En effet, il est possible que le modèle défini au chapitre 3 ( 3.2) ne soit pas optimal, et laisse apparaître des déformations supplémentaires sur le centre du capteur également. D autre part, comme précisé dans le chapitre 2 ( 3.1.2), les surfaces sombres correspondent à des mesures de distances trop longues. Les carreaux noirs des cibles apparaissent donc dans le nuage de

60 Chapitre IV - Application à la réalisation de modèles 3D Page 52 points comme un renfoncement (Figure 4.4b). Ce phénomène peut avoir un effet néfaste sur le pointé manuel du centre des cibles, faussant les coordonnées retenues par le logiciel. b) a) FIGURE a) Consolidation basée sur les cibles pour deux nuages de points distincts. b) Zoom sur les défauts de mesure au niveau d une cible damier dans un des nuages de points. Les résultats obtenus grâce à une consolidation par les cibles n étant pas satisfaisants, une consolidation nuage-nuage a été envisagée. Cette configuration est également disponible dans le logiciel Trimble RealWorks. Les nuages utilisés ont également été traités au préalable dans le but d éliminer les points aberrants. De surcroit, la donnée d intensité a été appliquée aux nuages. Par un seuillage, cette information permet d éliminer les points matérialisant le sol sous l objet, ainsi que quelques points sur l objet trop éloignés du capteur et peu fidèles à la réalité. Ce filtrage par l intensité reste également manuel et ne peut être automatisé, les plages à conserver variant d un nuage de points à l autre du fait des changements de la distance capteur-objet. Enfin, l étape d alignement nuage-nuage s effectue par le pointé manuel de 4 à 5 points homologues sur deux nuages distincts. Après affinage de l alignement par ICP, l erreur résiduelle de consolidation entre deux nuages varie entre 2 et 4 mm. Bien qu elles ne soient pas optimales, ces valeurs sont largement plus satisfaisantes que lors de l utilisation des cibles, ce qui se retrouve également au niveau visuel. Un graphique résumant les étapes du traitement appliqué aux nuages de points jusqu à leur maillage ( 1.3.3) est disponible dans l Annexe J (p. 101). L exemple de l alignement de deux nuages individuels est illustré en Figure 4.5a. On s aperçoit que quelques points pourraient encore être segmentés manuellement puisqu ils représentent surement du bruit, notamment sur les bords de la pièce. C est pourquoi une analyse des sources d erreur, telle que cette dernière, est reprise dans le paragraphe suivant. L opération d alignement nuage-nuage a été répétée afin de consolider les 8 nuages de points individuels. Il s est cependant avérer que l utilisation de 4 nuages de points était suffisante, l ajout de nuages supplémentaires entrainant également une augmentation des défauts de mesure, ainsi qu une consolidation faussée. Après nettoyage et segmentation des points aberrants, chaque nuage utilisé compte environ à points. Un tableau récapitulatif de ces chiffres avant et après nettoyage se trouve en Annexe K (p. 103).

61 Chapitre IV - Application à la réalisation de modèles 3D Page 53 Le nuage global obtenu est visible sur la Figure 4.5b, et sa qualité sera évaluée par la suite. Cependant nous retiendrons de cette méthode son temps de réalisation très élevé, puisque pratiquement chaque étape est réalisée manuellement. La réalisation manuelle procure un caractère subjectif à ces travaux, impliquant l apport potentiel d erreurs supplémentaires en fonction de l expérience de l utilisateur. a) b) FIGURE a) Consolidation de deux nuages de points individuels par sélection de points homologues. b) Nuage de points complet du fragment de balustrade obtenu après consolidation des 8 nuages individuels De nombreuses sources d erreur Une première source d erreur perçue lors de la consolidation des nuages de points individuels provient des données elles-mêmes. Comme évoqué dans le chapitre 2 de ce mémoire (cf 2.2.2), des artéfacts liés à la technologie de mesure temps-de-vol apparaissent au niveau des bordures et des arêtes des objets observés. Cette erreur de mesure est due à une mauvaise réflexion de l onde lumineuse émise, qui continue son trajet plus loin que l arête en question plutôt que d être réfléchie directement vers le récepteur. En conséquence, des points n appartenant pas à la surface de l objet apparaissent à l arrière des bords de l objet, en fonction de l angle de vue, créant des «effets de bord». L effet d élongation engendré selon la ligne de vision du capteur est illustré par la Figure 4.6a. Cependant, ces points non représentatifs font partie des artéfacts qui peuvent être filtrés ou segmentés manuellement. Un autre phénomène plus difficile à traiter est également apparu lors de la consolidation des nuages individuels. Il s agit d une nette déformation de la géométrie observée depuis un même point de vue en fonction de l angle d acquisition du nuage. Ce phénomène est particulièrement flagrant si l on prend en considération l une des «branches» du fragment de balustrade, de géométrie constante. Afin d illustrer ce problème, des sections ont été réalisées dans cette partie de la pièce, le long de la ligne rouge pointillée visible sur la Figure 4.6b. Trois nuages de points distincts acquis depuis trois points de vue différents ont été pris en compte. La section provenant de l angle d acquisition par le bas (en bleu) ne suit certes pas parfaitement la géométrie réelle, mais possède une forme droite proche de la réalité. En revanche si l on considère les acquisitions réalisées par les points de vue depuis la droite et la gauche de la pièce (respectivement en orange et en violet), un effet penché est nettement perceptible sur les sections vues de face. Les sections sont penchées dans la direction de prise de vue de la caméra, comme si les arêtes étaient «aspirées» dans cette direction. La perte d information géométrique est donc claire pour les arêtes sur le dessus de la pièce. Ces déformations géométriques provoquent des problèmes de superposition de nuages de points qui compliquent la création du maillage, comme expliqué dans le paragraphe suivant. De plus, un moyennage partiel des nuages au niveau de ces zones n est pas à envisager, les déformations géométriques étant trop importantes pour être atténuées par un calcul de moyenne.

62 Chapitre IV - Application à la réalisation de modèles 3D Page 54 a) a) b) FIGURE a) Présence de pixels aberrants (en rouge) sur les bords de l objet, selon l angle de vue du capteur. b) Illustration de la déformation de la géométrie d une section d objet, en fonction du point de vue du capteur lors de l acquisition : par le bas (bleu), la droite (orange) ou la gauche (violet) de la section. Enfin, d autres erreurs ne sont pas liées directement à la qualité de la donnée brute, et proviennent davantage de la méthodologie employée ou de l utilisateur. Parmi celle-ci, les erreurs intervenant au moment de la consolidation et de l affinage de la consolidation entrent en jeu dans la qualité du nuage global, et peuvent être estimées à quelques millimètres. La correction des nuages bruts grâce aux étapes de calibration présentées dans le chapitre 3 de ce mémoire n apporte sûrement pas une correction totale, dans la mesure où la scène observée ici n est pas un plan. De ce fait, d autres phénomènes non considérés peuvent entrer en ligne de compte. Enfin, l expérience de l utilisateur lors de la suppression des points aberrants et de la consolidation des nuages, et par la suite lors de la création du maillage influe également sur le résultat final. Ces deux dernières sources d erreurs sont difficilement quantifiables Du nuage de points complet au maillage Malgré la présence évidente d erreurs de mesure et de consolidation, le nuage de points complet présenté sur la Figure 4.5b a fait l objet d un maillage en plusieurs étapes. Pour ce faire, le logiciel 3D Reshaper a été retenu du fait des nombreux atouts de son outil mailleur. Cette étape présentera un intérêt par la suite, lors des comparaisons qui seront effectuées, afin d estimer si les déformations liées au nuage de points se retrouvent également sur le maillage produit, ou si celles-ci sont au contraire atténuées à la création du modèle. Bien que ceci soit difficilement perceptible en observant le nuage de points complet utilisé, une part de bruit importante n a pu être éliminée au risque de perdre de l information géométrique par la même occasion. Il s agit ici notamment des zones de recouvrement entre nuage, où la géométrie des formes dépend fortement de l angle de vue comme ceci a été exposé plus haut. Cet effet a pour conséquence l apparition de plusieurs couches de points qui

63 Chapitre IV - Application à la réalisation de modèles 3D Page 55 ne se superposent pas parfaitement. Au vu de tous ces défauts et de la faible qualité des nuages consolidés, la création du maillage peut s avérer être un processus très long. En effet, un grand nombre de paramètres peuvent être modifiés, ce qui provoque parfois un effet visuel plus lisse mais entraine dans le même temps une perte d information géométrique. Du fait des couches de points mal superposées, il apparait également des pics à la surface du maillage, ce qui lui procure un effet granuleux. Une autre limite liée à ces couches est la quasiimpossibilité d obtenir un maillage clos, même en retravaillant le maillage par la suite. Ainsi, en fonction de l ordre des étapes de maillage et de l expérience de l utilisateur, il est possible d arriver à des résultats très différents. De nombreux essais ont donc été réalisés, basés sur des nuages de points différents et en changeant les paramètres lors de la création du modèle. Le maillage jugé comme étant le «meilleur» au sens de la représentativité visuelle est montré en Figure 4.7a. Comparée à la réalité terrain, la géométrie du modèle souffre de nombreuses déformations notamment au niveau des arêtes, cependant la forme globale est préservée. En revanche, si l on considère que les nuages de points pris individuellement ne sont pas entachés de l erreur liée à la consolidation, il serait intéressant d observer le maillage obtenu sur ce nuage seul. Le test a été réalisé avec un nuage de points individuel et est visible en Figure 4.7b. L aspect visuel est plus satisfaisant que sur le maillage complet, dans le sens où les arêtes ressortent plus clairement. Pour autant, il serait faux de vouloir associer des maillages individuels, processus non habituel pour la reconstruction 3D, car ceci ne supprimerait pas les défauts déjà évoqués. D une part, un maillage seul (Figure 4.7b) ne couvre pas l intégralité de la surface de l objet. D autre part, sa géométrie dépend du nuage utilisé et n est donc pas davantage fiable, du fait des déformations explicitées dans le paragraphe précédent. En conséquence, l idée d associer des maillages individuels n est pas cohérente. C est pourquoi seul le maillage complet (Figure 4.7a) fera l objet d une évaluation qualitative dans la seconde et dernière partie de ce chapitre. a) b) FIGURE Maillage réalisé à partir du nuage de points complet de la Figure 4.6b pour le fragment de balustrade (a). Maillage obtenu avec un nuage de points individuel (b). 2 Evaluation qualitative des modèles réalisés 2.1 Méthodes de comparaison : aperçu Puisque la détection et l analyse de changements entre des nuages de points successifs d une même scène est une application possible, la question de la comparaison des données se pose. En effectuant une comparaison tridimensionnelle entre un nuage de référence et un nuage de points étudié, il sera alors possible de conclure quant à la précision et la qualité de ce nuage produit. Dans la mesure où des maillages ont également été réalisés sur la base des nuages acquis, une comparaison avec des maillages de référence doit être prise en compte dans un second temps.

64 Chapitre IV - Application à la réalisation de modèles 3D Page 56 La comparaison de données 3D peut être considérée essentiellement sous trois angles différents. Les deux solutions d analyse les plus souvent étudiées dans la littérature sont basées sur des calculs de distances nuage/maillage ou maillage/maillage. Ces approches ont été appliquées notamment dans de premiers applicatifs académiques tels que Metro (Cignoni et al. [1998a]) ou MESH (Aspert et al. [2002]). MESH s appuie sur le calcul de la distance de Hausdorff. Du fait de la complexité des méthodes, des travaux ont été consacrés au développement d algorithmes de simplification de maillages (Cignoni et al. [1998b]), en vue de la réduction du temps de calcul. La troisième catégorie utilisée pour des calculs de distances dans l espace tridimensionnel est basée sur la comparaison directe de deux nuages de points, en utilisant également la distance de Hausdorff (Memoli & Sapiro [2004]). L inconvénient de cette approche réside dans sa limite de fonctionnement à des nuages de points uniformément échantillonnés. Afin d éviter ce problème, des structures spécifiques ont été introduites permettant de diviser l espace 3D : il s agit des octrees (Girardeau-Montaut et al. [2005]). Ces structures permettent également de traiter des nuages de points de tailles plus élevées. A partir de ces bases théoriques connues, il est envisageable de développer de nouveaux applicatifs de comparaison. Des approches d évaluation des distances point-à-point sont par exemple explicitées dans Charbonnier et al. [2013], en vue de comparer des données lasergrammétriques et des données issues de la photogrammétrie. Un descriptif plus détaillé de ces recherches se trouve dans le mémoire de P. Chavant [2013]. Les méthodes de comparaison faisant appel à des structures en octree explicitées dans Girardeau-Montaut et al. [2005] sont utilisables par le biais du logiciel gratuitement téléchargeable CloudCompare (EDF R&D). Dans notre étude, ce logiciel a été utilisé pour effectuer les comparaisons nuage/nuage et nuage/maillage. Les comparaisons maillag lage, non réalisables avec CloudCompare, sont effectuées à l aide de la solution commerciale 3D Reshaper. Dans le cadre des comparaisons qui sont présentées ci-après, plusieurs facteurs doivent être pris en compte. D une part la densité des nuages de points de référence est largement supérieure (environ 15 fois supérieure) à la densité des nuages produits avec le capteur Kinect (environ un point tous les 1,5 mm). Cette différence importante de densité pourrait être préjudiciable lors d une comparaison nuage-nuage, en dépit des structures en octree implémentées dans les algorithmes. D autre part, l utilisation de maillages peut entrainer une perte de qualité géométrique ou une éventuelle simplification de la donnée lors de la création du maillage, comme mentionné précédemment. En conséquence, afin de pouvoir tirer des conclusions adaptées, les trois principes de comparaisons sur différents types de données seront testés. 2.2 Evaluation de la précision des modèles réalisés Acquisition de modèles de référence Afin de pouvoir évaluer la précision de nos modèles à travers les méthodes de comparaison énoncées précédemment, des modèles de référence sont nécessaires. Ceux-ci sont considérés comme représentant de façon la plus fidèle la vérité terrain. Afin d établir ces références, un bras de mesure FaroArm Fusion a été utilisé pour la numérisation du fragment de chapiteau, et FARO Edge pour le fragment de balustrade. La répétabilité de mesure annoncée par le constructeur s élève à environ 0,05 mm (FaroArm Fusion) et 0,03 mm

65 Chapitre IV - Application à la réalisation de modèles 3D Page 57 (FARO Edge). Ceci confère aux nuages de points une précision submillimétrique, très supérieure aux nuages de points acquis avec le capteur Kinect. Après rééchantillonnage à 0,1 mm, les nuages de points obtenus grâce aux bras de mesure contiennent tous deux environ 5 millions de points. Ces nuages ont été maillés à l aide du logiciel 3D Reshaper. Les modèles de référence ainsi réalisés sont visibles en Figure 4.8. Notons que du fait de sa complexité géométrique, le maillage du fragment de chapiteau contient un nombre quatre fois plus élevé de triangles que le maillage du fragment de balustrade (environ 1 million de triangles, contre ). FIGURE Modèles de référence réalisés à partir des nuages de points acquis par un bras de mesure : fragment de balustrade (à gauche) et fragment de chapiteau (à droite) Résultats de l étude comparative Deux modèles réalisés à l aide du capteur Kinect v2 ont été soumis à comparaison avec les modèles de référence correspondants, dans l optique d évaluer leur exactitude. Le modèle du fragment de balustrade a été réalisé à partir de nuages de points individuels, nettoyés, consolidés puis maillés selon une approche comportant de nombreuses étapes manuelles (cf 1.3). Le modèle du fragment de chapiteau évalué sera celui effectué à l aide de l outil Kinect Fusion (cf 1.2.2). En effet, une consolidation correcte de cette pièce très complexe aurait été difficilement réalisable et surtout très longue à mettre en place. Pour chacune de ces deux pièces, les trois méthodes de comparaison énoncées plus haut ont été testées. Comparaison nuage-nuage La comparaison entre le nuage de référence issu du bras de mesure et le nuage résultant de mesures avec la Kinect est réalisée dans le logiciel CloudCompare. Bien que des densités proches entre les nuages soient préconisées entre les nuages comparés, la robustesse des algorithmes notamment grâce aux structures en octree permet l obtention d un résultat plausible. Au préalable, comme pour chaque méthode de comparaison, un alignement des deux nuages comparés (ou des deux maillages) doit être effectué de façon rigoureuse. Il est également affiné par un ICP (ou «best fit»), afin d influer de façon minimale sur les résultats de la comparaison. La Figure 4.9 donne une représentation colorée des écarts projetés sur le nuage Kinect comparé, pour la balustrade (a) et pour le chapiteau (b). Dans le cas de la balustrade (a), l écart moyen vaut 2 mm et se retrouve sur environ 40 % de la pièce. L écart-type est de 2,5 mm environ. Ces données statistiques sont représentées sur l histogramme fourni par l outil de comparaison, à droite de la barre colorée (Figure 4.9a). Les écarts maximum atteignent presque 1,5 cm, et sont marqués par des déformations locales significatives principalement sur les contours du nuage, ou au centre dans la partie ajourée de l objet.

66 Chapitre IV - Application à la réalisation de modèles 3D Page 58 a) b) FIGURE Représentation colorée des écarts (en mm) entre nuage de points de référence et nuage de points issu du capteur Kinect. Résultats obtenus par comparaison nuage-nuage pour la balustrade (a) et le chapiteau (b), partie avant (à gauche) puis arrière (à droite). Dans le cas du fragment de chapiteau (b), un nuage de points a tout d abord été déduit du maillage obtenu grâce à Kinect Fusion. Pour ce faire, la fonction de prélèvement de points sur un maillage (sous CloudCompare) a été utilisée, aboutissant à la création d un nuage contenant environ points. Les résultats sont meilleurs que pour la première pièce, puisqu un écart moyen d environ 1 mm avec un écart type de 1,3 mm est observé. En certains endroits bien spécifiques tels que les creux ou les stries sur le côté, les écarts sont plus importants et peuvent atteindre jusqu à 1,5 cm. Comparaison nuag lage Dans un second temps, une méthode plus traditionnelle consistant à évaluer un nuage en le comparant à un modèle 3D de référence a été mise en œuvre. Pour ce faire, les maillages de référence tirés des données du bras de mesure, et les nuages de points à évaluer issus de la Kinect ont été utilisés. Ici encore, les calculs sont réalisés dans le logiciel CloudCompare. Les Figures 4.10a et 4.10b présentent les écarts observés, colorés et projetés sur les nuages de points évalués. On remarque tout d abord un avantage de cette méthode, qui est de fournir un signe aux écarts calculés. Ceci facilite la lecture et l analyse des déformations. Pour autant, les écarts moyens observés et leur répartition sur chacune des deux pièces sont fortement similaires aux résultats obtenus avec la comparaison nuage-nuage. Sur la Figure 4.10a, des écarts de l ordre de 2 mm apparaissent sur le dessus du nuage, alors que les écarts les plus importants dépassant le centimètre sont situés sur les bords. Concernant la Figure 4.10b, l écart moyen avoisinant le millimètre est confirmé, ainsi que les écarts maximum au niveau des zones creuses ou striées.

67 Chapitre IV - Application à la réalisation de modèles 3D Page 59 a) b) FIGURE Représentation colorée des écarts (en mm) entre nuage de points de référence et nuage de points issu du capteur Kinect. Résultats de la comparaison nuag lage pour la balustrade (a) et le chapiteau (b). Comparaison maillag lage Pour terminer, une comparaison entre maillages a été réalisée. Cette méthode étant moins documentée et non disponible dans CloudCompare, c est le logiciel 3D Reshaper qui a été retenu. La Figure 4.11 illustre les résultats, projetés sur les maillages réalisés à partir de données Kinect. On retrouve globalement les écarts observés lors des deux premières analyses, aboutissant à des conclusions similaires. Malgré la complexité géométrique plus importante du fragment de chapiteau (Figure 4.11b), les résultats obtenus pour ce modèle restent plus convaincants que pour la seconde pièce. Bien que les détails millimétriques soient inévitablement perdus, ce qui provoque un effet de lissage au niveau des parties saillantes, le rendu visuel général est en effet beaucoup plus satisfaisant. En termes de précision, l écart moyen de l ordre du millimètre est deux fois moins élevé que pour le modèle du fragment de balustrade (Figure 4.11a). De nombreux défauts sont à imputer au modèle de cette pièce, consolidé de façon quasi-manuelle. Localement, les déviations de l ordre de grandeur du centimètre peuvent procurer au modèle des géométries non représentatives de la réalité. Ceci est vrai particulièrement au niveau des arêtes qui n apparaissent pas de façon saillantes sur le dessus de la pièce, ou sur les extrémités difficiles à interpréter. Afin d illustrer ces déformations locales, une coupe a été réalisée le long d un plan de coupe passant par le centre de la pièce (Figure 4.12a). Sur la Figure 4.12b, les coupes réalisées dans le maillage de référence (en bleu) et dans le maillage issu de

68 Chapitre IV - Application à la réalisation de modèles 3D Page 60 données Kinect (en rouge) sont représentées simultanément. Des irrégularités sont visibles sur la coupe rouge, notamment au niveau des deux reliefs les plus éloignés du centre. En outre, le trou central de la pièce n apparait pas sur le maillage, qui a été clos en cet endroit du fait des quelques points présents dans le nuage. a) b) FIGURE Représentation colorée des écarts (en mm) entre nuage de points de référence et nuage de points issu du capteur Kinect. Résultats de la comparaison maillag lage pour la balustrade (a) et le chapiteau (b). Dans l ensemble, il semble tout de même important de noter que les valeurs moyennes des écarts sont un point positif. En effet, les écarts moyens observés de 1 à 2 mm sur environ 30 à 40% des modèles, et avec les trois méthodes de comparaison, dépeignent un résultat très convenable au regard de l outil de mesure employé, initialement non prévu à des fins métrologiques. En envisageant de potentielles améliorations sur les zones les plus sensibles, les résultats de ces premiers tests sont prometteurs. a) b) FIGURE Section dans les maillages de référence (en bleu) et provenant du modèle Kinect (en rouge) (a). Ligne de section, en rouge (b).

69 Chapitre IV - Application à la réalisation de modèles 3D Page Pistes d amélioration Il ressort des diverses comparaisons que le maillage réalisé à l aide de l outil Kinect Fusion présente des résultats satisfaisants aussi bien visuellement que qualitativement. Ces résultats sont également plus convenables que ceux obtenus par consolidation de nuages individuels, consolidation pourtant appliquée à un objet visiblement plus simple à modéliser. L inconvénient de cet outil développé par Microsoft et présent dans le kit de développement reste pour autant l interactivité limitée entre l utilisateur et le traitement des données, réalisés en temps réel. Cependant, le script utilisé pour faire fonctionner Kinect Fusion est téléchargeable depuis le SDK. Ainsi, une modification de la chaîne de traitement de Kinect Fusion pourrait être envisagée. A l instar de Pagliari et al. [2014] avec le capteur Kinect v1 et l outil Kinect Fusion adapté, des données propres à la calibration mise en place pourraient être intégrées au code. Ceci nécessite tout de même des travaux d implémentation supplémentaires. Les principales améliorations à prévoir concernent la méthode de consolidation mise en place. Bien que largement utilisées pour des travaux lasergrammétriques, les consolidations basées sur les cibles ou nuage-nuage ne semblent pas adaptées au traitement de nuages de points issus de caméras 3D. En outre, du fait des déformations géométriques du nuage de points en fonction de l angle d acquisition, une solution d acquisition statique apparait comme étant à proscrire. Il semblerait en effet plus judicieux de réfléchir à une solution dynamique, permettant de compenser les effets néfastes au moment même de l acquisition. Cette hypothèse demanderait ici aussi de conséquents travaux de recherche et d implémentation. Enfin, pour conclure ce chapitre consacré à la reconstruction d objet à courte portée à l aide d une Kinect v2, il semble intéressant de présenter des projets existants avec cette même finalité. Davantage inspirés par l outil Kinect Fusion permettant d utiliser le capteur comme un scanner à main, certains développeurs proposent des applicatifs alternatifs. C est le cas notamment de Brekel Kinect (Brekel@). Ce petit logiciel disponible sur Internet permet de visualiser et d enregistrer des nuages de points en temps réel avec le capteur Kinect v2, auquel il a été adapté. Cependant, cette solution est payante. Pour finir, la firme Faro avait proposé un logiciel de reconstruction 3D pour le capteur Kinect v1, sous le nom de Scenect (Faro@). Notons que ce logiciel n a pas (encore) été adapté à la version v2 du capteur. C est le cas également pour l applicatif Skanect (Skanect@) téléchargeable sur Internet, mais non mis à jour.

70 Chapitre IV - Application à la réalisation de modèles 3D Page 62

71 Conclusion et perspectives Page 63 CONCLUSION Afin d aborder cette conclusion, commençons par rappeler que les objectifs de ce Projet de Fin d Etudes reposaient sur l évaluation d une récente caméra 3D, le capteur Kinect v2, pour la mesure et la reconstruction d objets à courte portée. La piste de réflexion était qu à terme, s il venait à fournir des résultats précis de manière efficace, ce capteur pourrait être détourné comme outil de mesure à des fins d acquisitions tridimensionnelles. Cette dernière partie sera donc un résumé des principales conclusions acquises dans l optique de répondre à cette problématique. Pour commencer, un état de l art sur la technologie des caméras 3D nous a permis de réaliser les différents enjeux reposant sur ces systèmes, en les resituant au sein d un nombre important d outils dédiés aux acquisitions 3D. Leurs forces principales ont été mises en avant, à savoir l argument économique puisque leur coût peu élevé en fait un outil attractif, comparé aux scanners lasers et aux bras de mesure notamment. A cela viennent s ajouter leur portabilité et l absence de mécanisme de balayage à l intérieur du système. Cependant, la question de la qualité des données acquises reste le point faible de cette technologie. En dépit des limites actuelles de ces systèmes, notamment le bruit de mesure et les nombreuses sources d erreur affectant la mesure, l intérêt grandissant envers ce type de capteurs ne peut être nié. Ceci conduit à des développements toujours plus novateurs, et la question de l amélioration de la qualité des données est une question largement évoquée dans la littérature spécifique. Gardant à l esprit l objet central de ce projet qu est le récent capteur Kinect v2, c est dans une seconde partie qu une série de tests réalisés en vue d estimer ses capacités a été présentée. Bien qu ayant reçu un accueil en demi-teinte par la communauté des «gamers», du fait du peu d applications nouvelles apportées, ce sont ses performances métriques qui ont suscité davantage d intérêts. C est également cet aspect qualitatif qu il était question d évaluer à travers nos travaux. Après avoir relevé les caractéristiques techniques de la caméra, c est son principe de fonctionnement basé sur deux lentilles distinctes qui a été mis à jour. Ainsi, la prise en main du capteur a constitué une étape non pas centrale dans ce projet, mais pour autant essentielle afin de maîtriser l acquisition puis le traitement des données. Par la suite, diverses expérimentations ont pu être menées. Celles-ci ont permis de conclure quant à la nécessité de respecter un temps de mise en chauffe, ainsi que de moyenner dans le temps des acquisitions successives. Enfin, l influence de l environnement extérieur au capteur a été observée, grâce notamment à des acquisitions réalisées sur des échantillons variés en termes de couleurs et textures, mais également à travers des acquisitions réalisées en extérieur. Concernant la calibration, trois étapes majeures ont été proposées. Ainsi, une première calibration géométrique que l on peut qualifier de «classique» a été mise en place, permettant de diminuer les distorsions géométriques de la lentille infrarouge. Dans un second temps, des recherches dans la littérature existante ont permis de déterminer une méthode de correction des distorsions de la mesure en fonction de la portée, phénomène propre à ce système d acquisition. Une calibration en distance résumée en détails dans le chapitre III a donc été effectuée. Cette étape a ensuite été complétée par la correction des déformations locales du capteur, à travers l observation de résidus par rapport à un plan dans les nuages de points calculés. Le caractère bénéfique de ces opérations a ainsi pu être illustré. Il est également apparu que les nuages de points acquis directement, à l aide de fonctions implémentées fournies par Microsoft, ne semblent subir qu une calibration géométrique.

72 Conclusion et perspectives Page 64 Toutes ces étapes préalables ont servi un dernier objectif de ce projet, constituant la partie la plus concrète du sujet proposé. Ainsi, deux méthodes de reconstruction 3D sous forme de maillages ont été mises en place, sur la base de deux objets du patrimoine archéologique de petite taille. Un outil automatique et fourni par Microsoft, Kinect Fusion, a été utilisé en parallèle d une reconstruction basée sur des acquisitions individuelles, essentiellement manuelle. Il en est ressorti clairement que ce procédé s avère beaucoup plus fastidieux, mais entraine surtout l apparition de nombreuses déformations indésirables à la surface des maillages. C est enfin grâce à une série de comparaisons avec des maillages de référence, que la qualité des modèles 3D ainsi réalisés a pu être évaluée. Malgré le côté «black box» de l outil Kinect Fusion, et l aspect non abouti de la reconstruction manuelle, les résultats obtenus peuvent être qualifiés de satisfaisants au vu de la technologie employée. Une précision de l ordre du centimètre est atteinte, et l aspect visuel du rendu, essentiellement avec l outil Kinect Fusion, est proche de la réalité. De ce fait, la question de l utilisation de Kinect v2 comme alternative à la photogrammétrie a été évoquée à travers une contribution citée ci-après. Perspectives Afin de compléter les travaux présentés à travers ce mémoire, de nombreuses pistes d améliorations peuvent être envisagées. Elles concernent majoritairement deux points essentiels : la calibration et la réalisation de modèles 3D d objets. La calibration s avère être un élément à la fois essentiel et complexe. Comme l étude bibliographique l a laissé ressortir, d autres pistes que celle envisagée pourraient être abordées. Il serait ainsi intéressant d en faire ressortir les avantages et inconvénients en termes de mise en œuvre, ainsi qu en termes de qualité de la correction apportée. En outre, des améliorations évoquées en fin de chapitre III seraient également à prendre en compte dans la démarche entreprise au cours de nos travaux. Il s agit notamment de la définition d un plan de référence indépendant des données issues du capteur pour la correction locale des déformations, ou encore de la mise en place d une manipulation de calibration en distance non affectée par le décalage systématique de mesure (décalage entre vis de fixation et lentille). Concernant la numérisation 3D d objets, l axe majeur à considérer est relatif à une partielle automatisation du processus de consolidation. Ceci rendrait cette réalisation plus rapide, et sûrement plus fiable par la même occasion. Pour ce faire, quelques pistes d implémentations abordées mériteraient d être envisagées, bien que coûteuses en temps. Contributions Notons, pour conclure ce mémoire, que les travaux réalisés lors de ce projet ont donné lieu à la rédaction de deux articles, présentés au cours de conférences internationales. Le premier article, rédigé dans le cadre d un workshop portant sur la visualisation 3D des architectures complexes (3D-Arch), résume principalement les premières expériences développées dans le chapitre II de ce mémoire. La calibration y est également abordée, de façon succincte. La seconde contribution, qui sera présentée au cours d une conférence sur la métrologie optique (SPIE), porte davantage sur l application faite du capteur dans ce projet. Les résultats de numérisation et de reconstruction 3D des objets archéologiques y sont présentés. La

73 Conclusion et perspectives Page 65 question de l utilisation des caméras 3D (en l occurrence du capteur Kinect) comme alternative à la photogrammétrie est également soulevée. Outre la comparaison qualitative de données acquises par ces deux méthodes, la réflexion s étend à la réalisation des modèles, de l acquisition au traitement des données. Il apparait à travers les études menées que, malgré des résultats satisfaisants pour le capteur concerné, la photogrammétrie propose des solutions plus adaptées et ergonomiques pour la numérisation de petits objets. Le lecteur trouvera les références complètes de ces articles (Lachat et al. [2015a] et [2015b]) dans la bibliographie.

74 Conclusion et perspectives Page 66

75 Table des illustrations Page 67 TABLE DES ILLUSTRATIONS FIGURE Taxinomie des capteurs de mesure de distance sans contact... 4 FIGURE Principe de fonctionnement de la vision stéréoscopique (a) et de la mesure de distance par temps de vol (b) (source : Hussmann et al. [2008])... 6 FIGURE Distinction entre mesure directe et indirecte... 7 FIGURE Photographie d un prototype de caméra 3D «tout en un» développé par Lange (source : Lange [2000])... 8 FIGURE 2.1 Capteur Kinect v2, en fonctionnement FIGURE 2.2 Trois catégories de données issues du capteur Kinect v2 : image d intensité (a), carte de profondeur colorée en fonction de la distance (b), et image couleur (c) FIGURE 2.3 Schéma de principe des différents espaces reliés au capteur et à ses données FIGURE 2.4 Matrice contenant l information RGB, réduite et représentée dans l espace de profondeur grâce à une fonction de mapping FIGURE 2.5 Capture d écran de l interface graphique développée en C# et permettant la gestion du capteur Kinect FIGURE Courbe de détermination du temps de mise en chauffe : évolution de la mesure de distance en fonction du temps de fonctionnement FIGURE Représentation sous forme matricielle de l écart-type calculé (mm), pour chaque pixel, sur la base de plusieurs acquisitions successives d un plan : (a) 10 acquisitions, (b) 50 acquisitions, (c) 200 acquisitions FIGURE Plan de coupe selon la ligne rouge (a), et courbe d évolution de l écarttype le long de cette ligne de pixels (b) : pour 10 acquisitions successives (orange) et 100 acquisitions successives (bleu) FIGURE Histogramme représentant la répartition de 100 mesures moyennes d un patch central de 9 pixels FIGURE Répartition des écarts-types (en cm) pour un échantillon de plusieurs cartes de profondeur successives. Scène acquise (a), échantillon de 20 acquisitions (b), puis de 200 acquisitions successives (c) FIGURE Panneau composé d échantillons de différentes couleurs, textures et rugosités (a). Image d intensité colorisée fournie par le capteur Kinect v2 pour ce panneau (b) FIGURE Représentation tridimensionnelle (en cm) des défauts de mesure au niveau de la surface d un CD (en haut à gauche), ainsi qu au niveau des carreaux noirs d une cible damier (en bas à droite) FIGURE Effet de saturation sur une image d intensité colorisée acquise face à un miroir (a), et déformations des mesures observables dans le nuage de points correspondant : de face (b), puis de profil (c) FIGURE Damier de nuances de gris, inspiré de Lindner et al. [2010] (a). Images d intensité moyennées de ce damier (b) imprimé par impression jet d encre (à gauche) et par impression laser (à droite) FIGURE Variations des distances mesurées (en mm) dans les cartes de profondeur moyennées, et acquises sur un damier issu d une impression jet d encre (à gauche) et d une impression laser (à droite)... 25

76 Table des illustrations Page 68 FIGURE Essais d acquisitions en extérieur : scène observée (a). Nuage de points acquis par le capteur Kinect v2 (b), et ce même nuage observé de profil (c) pour faire ressortir les «points volants» (en rouge) FIGURE Acquisitions réalisées avec le capteur Kinect v2 sur un panneau rectangulaire, mettant en évidence les distorsions géométriques. De gauche à droite : image d intensité, carte de profondeur et image couleur FIGURE Exemple d une carte de profondeur corrigée de ses distorsions géométriques (a). Influence sur le nuage de points correspondant (b). Pour comparaison, nuage de points obtenu à partir des fonctions du SDK (c) FIGURE Protocole expérimental mis en place pour la détermination de l erreur systématique de mesure en distance (a). Schéma de principe de la manipulation (b) FIGURE Graphique représentant l écart (en mm) entre distance vraie et distance mesurée par le capteur, en fonction de la distance mesurée (en m) FIGURE Courbe d évolution des écarts-types (mm) en fonction de la portée (distances moyennes mesurées, en m) FIGURE Graphique représentant les écarts (en mm) entre distance vraie et distance mesurée après correction des données, en fonction de la portée. Données issues du même jeu de données que celui ayant servi pour la définition du modèle mathématique FIGURE Graphique représentant les écarts (en mm) entre distance vraie et distance mesurée après correction des données, en fonction de la portée. Jeu de données acquis sur le même mur plan, mais dans des conditions différentes FIGURE Matrice des résidus (visualisation colorée, en mm) calculés par rapport au plan approximant le nuage de points ; plan de référence situé à 1,25 m FIGURE Nuage de points (en rouge) en coordonnées images, modélisant les résidus (mm) par rapport au plan à 0,80 m, représenté conjointement avec la surface approximant le nuage de points (en dégradé coloré) FIGURE Représentation des écarts entre un nuage de points corrigé (erreur systématique de mesure + déformations locales) et un nuage de points non corrigé, par comparaison nuage-nuage (a). Principe identique : entre un nuage de points corrigé par notre méthode et un nuage de points calculé à partir des fonctions du SDK (b) ; puis entre ce même nuage issu du SDK et un nuage non corrigé (c) FIGURE Photographie du fragment de balustrade en grès, provenant de la cathédrale de Strasbourg (a). Schéma de principe pour l acquisition de ce fragment à l aide du capteur Kinect v2, depuis 8 stations (b) FIGURE Photographie du fragment calcaire d un chapiteau corinthien, provenant du site du théâtre antique de Mandeure. Vue de la face avant (à gauche) et arrière (à droite) FIGURE Interface graphique de l outil Kinect Fusion, en cours d utilisation (a). Maillage obtenu par balayage du fragment de chapiteau à l aide du capteur Kinect v2 et de Kinect Fusion (b) FIGURE Consolidation basée sur les cibles pour deux nuages de points distincts (a). Zoom sur les défauts de mesure au niveau d une cible damier dans un des nuages de points (b) FIGURE Consolidation de deux nuages de points individuels par sélection de points homologues (a). Nuage de points complet du fragment de balustrade obtenu après consolidation des 8 nuages individuels (b)....53

77 Table des illustrations Page 69 FIGURE Présence de pixels aberrants (en rouge) sur les bords de l objet, selon l angle de vue du capteur (a). Illustration de la déformation de la géométrie d une section d objet, en fonction du point de vue du capteur lors de l acquisition (b) FIGURE Maillage réalisé à partir du nuage de points complet de la Figure 4.6b pour le fragment de balustrade (a). Maillage obtenu avec un nuage de points individuel (b) FIGURE Modèles de référence réalisés à partir des nuages de points acquis par un bras de mesure : fragment de balustrade (à gauche) et fragment de chapiteau (à droite) FIGURE Représentation colorée des écarts (en mm) entre nuage de points de référence et nuage de points issu du capteur Kinect. Résultats obtenus par comparaison nuage-nuage pour la balustrade (a) et le chapiteau (b) FIGURE Représentation colorée des écarts (en mm) entre nuage de points de référence et nuage de points issu du capteur Kinect. Résultats de la comparaison nuag lage pour la balustrade (a) et le chapiteau (b) FIGURE Représentation colorée des écarts (en mm) entre nuage de points de référence et nuage de points issu du capteur Kinect. Résultats de la comparaison maillag lage pour la balustrade (a) et le chapiteau (b) FIGURE Section dans les maillages de référence (en bleu) et provenant du modèle Kinect (en rouge) (a). Ligne de section, en rouge (b) FIGURE A.1 - Exemple d application d une caméra de profondeur de la marque PMD à l industrie automobile FIGURE A.2 - Interaction Homme / machine : reconnaissance de gestes (a) (source : Kuznetsova et al. [2013]). Application au domaine médical : suivi respiratoire (b) (source : Wentz [2013]) FIGURE A.3 - Trois applications de la technologie des caméras 3D tirées de la vision par ordinateur (source : Kolb et al. [2009]) FIGURE A.4 - Courbe du signal émis et du signal reçu, atténué et décalé en phase FIGURE A.5 - Capteur Kinect v FIGURE A.6 - Illustration de la technique de lumière structurée : avec une raie lumineuse projetée (gauche), puis par lumière codée (droite) (source : Guhring [2001], modifié) FIGURE A.7 - Interface graphique pour la navigation dans le SDK FIGURE A.8 - Principe de formation de l image dans un modèle sténopé (source personnelle - inspiré de Luhmann et al. [2013]) FIGURE A.9 - Représentation schématique du modèle de projection et des repères associés FIGURE A.10 - Courbe d évolution des distances mesurées en fonction des distances vraies (en m) FIGURE A.11 - Graphique représentant les écarts de mesure sur les intervalles rapportés à la première station (0,80 m), en fonction de la portée FIGURE A.12 - Interface graphique de la Surface Fitting Toolbox (Matlab) FIGURE A.13 - Résumé des étapes de traitement des nuages de points issus du capteur Kinect v2 pour la réalisation de maillages 3D (source personnelle) FIGURE A.14 - Représentation des quatre nuages de points individuels, par couleur, après consolidation. Nuages consolidés non nettoyés (a), puis après nettoyage (b)

78 Table des illustrations Page 70

79 Table des illustrations Page 71 LISTE DES TABLEAUX TABLEAU 1 - Principales caractéristiques techniques du capteur Kinect v2. (source : Microsoft@) TABLEAU 2 - Résumé des nombres et pourcentages de points représentés et points aberrants, dans six nuages acquis à la suite lors d une augmentation de la luminosité TABLEAU 3 - Tableau comparatif des paramètres internes et des paramètres de distorsion obtenus par calibration géométrique de la lentille infrarouge, et par une fonction prévue dans le kit de développement TABLEAU 4 - Ecarts-types obtenus lors de l approximation de plans dans les nuages de points avant et après correction de la déformation locale, pour différentes portées TABLEAU 5 - Représentations colorées des résidus (en mm) par rapport au plan moyen, en fonction de la portée, avant et après application de la correction TABLEAU 6 - Influence des étapes de nettoyage des artéfacts sur un nuage de points individuel : aspect visuel et nombre de points TABLEAU 7 - Récapitulatif des nombres de points dans les nuages individuels, avant et après nettoyage

80 Table des illustrations Page 72

81 Bibliographie Page 73 REFERENCES BIBLIOGRAPHIQUES Ouvrages, revues et thèses Alby, E., Smigiel, E., Assali, P., Grussenmeyer, P. and Kauffmann-Smigiel, I., [2009], Low cost solutions for dense point clouds of small objects: Photomodeler Scanner vs. David Laserscanner. Proceedings of 22nd CIPA Symposium, Kyoto, Japon, octobre. Aspert, N., Santa Cruz, D. and Ebrahimi, T., [2002], MESH: measuring errors between surfaces using the Hausdorff distance. Proceedings of IEEE Int. Conference on Multimedia and Expo, vol. 1, p Bay, H., Tuytelaars, T. and Van Gool, L., [2006], SURF: Speeded-up robust features. In Computer vision - ECCV 2006, Springer Berlin Heidelberg, ISBN , p /639. Belhedi, A., Bourgeois, S., Gay-Bellile, V., Sayd, P., Bartoli, A. and Hamrouni, K., [2012], Non-parametric depth calibration of a ToF camera. Proceedings of 19 th IEEE Int. Conference on Image Processing, p Bernard, N., [2011], Caméra 3D - Améliorations métrologiques par calibration et posttraitement. Mémoire de Projet de Fin d Etudes, INSA de Strasbourg, spécialité Topographie, 90 pages. Besl, P.J. & McKay, N.D., [1992], A Method for Registration of 3-D Shapes. IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 14(2), p Boehler, W., Bordas Vicent, M. and Marbs, A., [2003], Investigating Laser Scanner Accuracy. Proceedings of 19 th CIPA Symposium, Antalya, Turquie, vol. 34(5), p Boehler W. & Marbs A., [2004], 3D scanning and photogrammetry for heritage recording: a comparison. Proceedings of 12 th International Conference on Geoinformatics, Gävle, Suède, 7-9 juin, p Büttgen, B., Oggier, T., Lehmann, M., Kaufmann, R. and Lustenberger, F., [2005], CCD/CMOS lock-in pixel for range imaging: Challenges, limitations and state-of-the-art. Proceedings of the 1 st range imaging research day at ETH Zurich, p Cathey, W. T. & Davis, W.C., [1986], Imaging system with range to each pixel. Journal of the Optical Society of America A, vol. 3(9), p Charbonnier, P., Chavant, P., Foucher, P., Muzet, V., Prybyla, D., Perrin, T., Grussenmeyer, P. and Guillemin, S., [2013], Accuracy assessment of a canal-tunnel 3d model by comparing photogrammetry and laserscanning recording techniques. Proceedings of 24 th International CIPA Symposium, vol. XL-5/W2, Strasbourg, 2-6 septembre. p Chavant, P., [2013], Evaluation absolue de méthodes de localisation et de reconstruction panoramique et photogrammétrique d un tunnel à partir d un nuage de points de référence. Mémoire de Projet de Fin d Etudes, INSA de Strasbourg, spécialité Topographie, 135 pages. Chen, Y. & Medioni, G., [1991], Object modeling by registration of multiple range images. IEEE International Conference on Robotics and Automation, p

82 Bibliographie Page 74 Chiabrando, F., Chiabrando, R., Piatti, D. and Rinaudo, F., [2009], Sensors for 3D imaging: metric evaluation and calibration of a CCD/CMOS time-of-flight camera. Sensors, vol. 9(12), p Chow, J.C.K., Ang, K.D., Lichti, D.D. and Teskey, W.F., [2012], Performance analysis of a low-cost triangulation-based 3d camera: Microsoft Kinect system. XXII ISPRS Congress, vol. 39, Melbourne, Australie, 25 août-1 septembre. p Cignoni, P., Montani, C. and Scopigno, R., [1998], A comparison of mesh simplification algorithms. In Computers and Graphics, vol.22(1), Elsevier, p Cignoni, P., Rocchini, C. and Scopigno, R., [1998], Metro: Measuring Error on Simplified Surfaces. In Computer Graphics Forum, vol.17(2), Blackwell Publishers, p /193. Dal Mutto, C., Zanuttigh, P. and Cortelazzo, G.M., [2012], Time-of-flight cameras and Microsoft Kinect TM A user perspective on technology and applications. Editions Springer, SpringerBriefs in Electrical and Computer Engineering. ISBN pages. Dong, H., Figueroa, N. and El Saddik, A., [2014], Towards Consistent Reconstructions of Indoor Spaces based on 6D RGB-D Odometry and KinectFusion. Proceedings of IEEE Int. Conference on Intelligent Robots and Systems, Chicago, septembre. p Foix, S., Alenya, G. and Torras C., [2011], Lock-in Time-of-Flight (ToF) cameras: a survey. IEEE Sensors Journal, vol. 11(9), p Fuchs S. & May S., [2008], Calibration and Registration for Precise Surface Reconstruction with ToF Cameras. International Journal of Intelligent Systems Technologies and Applications, vol. 5(3), p Girardeau-Montaut, D., Roux, M., Marc, R. and Thibault, G., [2005], Change detection on points cloud data acquired with a ground laser scanner. Proceedings of ISPRS Workshop Laser scanning 2005, vol. 36(3), Enschede, Pays-Bas, septembre. p Guomundsson, S.A., Aanæs, H. and Larsen, R., [2007], Environmental effects on measurement uncertainties of time-of-flight cameras. IEEE Int. Symposium on Signals, Circuits and Systems, vol. 1, Iasi, Roumanie, juillet. p Guidi, G., Remondino, F., Morlando, G., Del Mastio, A., Uccheddu, F. and Pelagotti, A., [2007], Performances evaluation of a low cost active sensor for cultural heritage documentation. Proceedings of 8 th Conference on Optical 3D Measurement Techniques, vol. 2, ETH Zurich, 9-12 juillet. p Henry, P., Krainin, M., Herbst, E., Ren, X. and Fox, D., [2010], RGB-D mapping: Using depth cameras for dense 3D modeling of indoor environments. Proceedings of 12 th Int. Symposium on Experimental Robotics, Delhi, Inde, décembre. Herrera, C., Kannala, J. and Heikkilä, J., [2011]. Accurate and practical calibration of a depth and color camera pair. Proceedings of 14 th International Conference on Computer Analysis of Images and Patterns, Séville, Espagne, août. Editions Springer, Berlin Heidelberg. ISBN p /605. Hussmann, S., Ringbeck, T. and Hagebeuker, B., [2008], A Performance Review of 3D TOF vision systems in comparison to Stereo vision systems. In Stereo Vision, INTech Open Access Publisher, édité par Dr. A. Bhatti. ISBN p /372. Izadi, S., Kim, D., Hilliges, O., Molyneaux, D., Newcombe, R., Kohli, P., Shotton, J., Hodges, S., Freeman, D., Davison, A. and Fitzgibbon, A., [2011], KinectFusion: real-time

83 Bibliographie Page 75 3d reconstruction and interaction using a moving depth camera. Proceedings of 24th ACM Symposium on User Interface Software and Technology, Santa Barbara, USA, octobre. p Kahlmann, T., Remondino, F. and Ingensand, H., [2006], Calibration for increased accuracy of the range imaging camera SwissRanger TM. Proceedings of ISPRS Symposium Image Engineering and Vision Metrology, vol. 36(5), Dresde, Allemagne, sept. p Kahlmann, T., [2007], Range Imaging Metrology: Investigation, Calibration and Development. Mémoire de thèse, ETH Zurich. 142 pages. Kahn, S., Bockholt, U., Kuijper, A. and Fellner, D.W., [2013], Towards precise real-time 3D difference detection for industrial applications. Computers in Industry, vol. 64(9). Editions Elsevier. p Kolb, A., Barth, E., Koch, R. and Larsen, R., [2009], Time-of-flight sensors in computer graphics. Proceedings Eurographics (State-of-the-Art Report), vol. 6, p Lachat, E., Macher, H., Mittet, M.-A., Landes, T. and Grussenmeyer, P., [2015], First experiences with Kinect v2 sensor for close range 3D modelling. Proceedings of ISPRS 3D-Arch Workshop, vol. 40(5), Avila, Espagne, février. p Lachat, E., Macher, H., Landes, T. and Grussenmeyer, P., [2015], Assessment of the accuracy of 3D models obtained with DSLR camera and Kinect v2. Proceedings of SPIE Optical Metrology, Munich, Allemagne, juin (accepté, en cours de publication). Lange, R., [2000], 3D Time-of-Flight distance measurement with custom solid-state image sensors in CMOS/CCD technology. Mémoire de thèse, Université de Siegen, département électronique et sciences informatiques. 223 pages. Lange, R. & Seitz, P., [2001]. Solid-state time-of-flight range camera. IEEE Journal of Quantum Electronics, vol. 37 (3), p Lefloch, D., Nair, R., Lenzen, F., Schäfer, H., Streeter, L., Cree, M. J., Koch, R. and Kolb, A., [2013], Technical foundation and calibration methods for time-of-flight cameras. In Timeof-Flight and Depth Imaging - Sensors, Algorithms, and Applications, Editions Springer, Berlin Heidelberg. ISBN p. 3-24/319. Lichti, D. & Kim, C., [2011]. A comparison of three geometric self-calibration methods for range cameras. Remote Sensing, vol. 3(5), p /1066. Lindner, M. & Kolb, A., [2006], Lateral and Depth Calibration of PMD-Distance Sensors. Advances in Visual Computing, 2 nd Int. Symposium, Lake Tahoe, USA, 6-8 novembre. Editions Springer, ISBN p /908. Lindner, M., & Kolb, A., [2007], Calibration of the Intensity-Related Distance Error of the PMD ToF-Camera. Proceedings SPIE Intelligent Robots and Computer Vision, vol. 6764, Boston, USA, 9-12 septembre. Lindner, M., Kolb, A. and Ringbeck, T., [2008], New Insights into the Calibration of ToF- Sensors. Proceedings IEEE Computer Vision & Pattern Recognition Workshops, vol. 1(3), Anchorage, juin. p Lindner, M., [2010], Calibration and Real-Time Processing of Time-of-Flight Range Data. Mémoire de thèse, Université de Siegen, département électrotechnique et informatique. 132 p.

84 Bibliographie Page 76 Lindner, M., Schiller, I., Kolb, A. and Koch, R., [2010], Time-of-Flight sensor calibration for accurate range sensing. Computer Vision and Image Understanding, vol. 114(12), Elsevier. p Loriot, B., [2009], Automatisation de l acquisition et des post-traitements en numérisation 3D. Mémoire de thèse, Université de Bourgogne, discipline Instrumentation et Informatique de l Image. 153 pages. Luhmann, T., Robson, S., Kyle, S. and Boehm, J. [2013], Close-Range Photogrammetry and 3D Imaging. Editions De Gruyter, 2nde édition, ISBN pages. Menna, F., Remondino, F., Battisti, R. and Nocerino, E., [2011], Geometric investigation of a gaming active device. Proceedings of SPIE Optical Metrology: Videometrics, Range Imaging, and Applications XI, vol. 8085, Munich, Allemagne. Mémoli, F. & Sapiro, G., [2004], Comparing point clouds. Proceedings of 2 nd Eurographics/ACM SIGGRAPH Symposium on Geometry Processing, Nice, France, 8-10 juillet. p Newcombe, R.A., Izadi, S., Hilliges, O., Molyneaux, D., Kim, D., Davison, A. J., Kohli, P., Shotton, J., Hodges, S. and Fitzgibbon, A., [2011], KinectFusion: Real-Time Dense Surface Mapping and Tracking. Proceedings of 10th IEEE Int. Symposium on Mixed and Augmented Reality, p Pagliari, D., Menna, F., Roncella, R., Remondino, F. and Pinto, L., [2014], Kinect Fusion improvement using depth camera calibration. Proceedings of ISPRS Technical Commission V Symposium, vol. 40(5), Riva del Garda, Italie, juin. p Quintana, M., Zvietcovich, F. and Castaneda, B., [2014], 3D reconstruction of archeological walls using Kinect. Proceedings EuroMed, Limassol, Chypre, 3-8 novembre. p Remondino F., Guarnieri A. and Vettore, A., [2005], 3D Modeling of close-range objects: photogrammetry or laser scanning?. Proceedings of SPIE Electronic Imaging: Videometrics VIII, vol. 5665, San Jose, Californie. p Reshetyuk, Y., [2009], Terrestrial laser scanning: error sources, self-calibration and direct georeferencing. Editions VDM Verlag, Saarbrücken. ISBN pages. Sansoni, G., Trebeschi, M. and Docchio F., [2009], State-of-the-Art and Applications of 3D Imaging Sensors in Industry, Cultural Heritage, Medicine, and Criminal Investigation. Sensors, vol. 9(1), p Schiller, I., Beder, C. and Koch, R., [2008], Calibration of a PMD camera using a planar calibration object together with a multi-camera setup. Proceedings of 21 st ISPRS Congress, vol. 37(B3a), Pékin, Chine, 3-11 juillet. p Schwarte, R., Heinol, H.-G., Xu, Z. and Hartmann, K., [1995], A new active 3D vision system based on rf-modulation interferometry of incoherent light. Proceedings of SPIE Photonics East Symposium: Intelligent Robots and Computer Vision, vol. 2588, p Schwarte, R., Xu, Z., Heinol, H. G., Olk, J. and Buxbaum, B., [1997], New optical fourquadrant phase detector integrated into a photogate array for small and precise 3D cameras. Proceedings of SPIE Electronic Imaging, vol. 3023, p Smisek, J., Jancosek, M. and Pajdla, T., [2011], 3D with Kinect. In Consumer Depth Cameras for Computer Vision, Springer London. p

85 Bibliographie Page 77 Spirig, T., Seitz, P., Vietze, O. and Heitger, F., [1995], The lock-in CCD Two dimensional synchronous detection of light. IEEE Journal of Quantum Electronics, vol. 31(9), p Staiger, R., [2005], The Geometrical Quality of Terrestrial Laser Scanner (TLS). Proceedings of FIG Working Week and GSDI-8, Le Caire, Egypte, avril. Voegtle, T., Schwab, I. and Landes, T., [2008], Influences of different materials on the measurements of a terrestrial laser scanner (TLS). Proceedings of the 21 st ISPRS Congress, vol. 37(B5), Pékin, Chine, 3-11 juillet. p Documents de formation Landes, T., 2013/2014, Cours de Télédétection «Lasergrammétrie terrestre». INSA de Strasbourg, spécialité Topographie, classe de G5. Sites Internet Bouguet J.-Y.@2013, «Camera Calibration Toolbox for Matlab» URL Brekel@2015, Site proposant des solutions pour l acquisition de nuages de points avec Kinect URL Burrus N.@2014, Site personnel proposant une approche de calibration pour Kinect v1 URL Fotonic@2015, Site du constructeur de capteurs temps de vol Fotonic URL Mesa Imaging@2015, Site du constructeur de caméras temps de vol Mesa Imaging AG URL Microsoft@2015, Page consacré au capteur Kinect v2 et à ses caractéristiques techniques URL Microsoft MSDN@2015, Guide d aide à la programmation avec le SDK de Kinect v2 URL OpenKinect@2012, Page de téléchargement de la bibliothèque gratuite Libfreenect, pour le pilotage du capteur Kinect v1 URL PMDTec@2015, Site du constructeur de capteurs temps de vol PMD URL Skanect@2015, Solution Skanect pour l utilisation de Kinect v1 comme scanner à main 3D URL Structure@2015, Site de téléchargement du pilote OpenNI URL

86 Bibliographie Page 78

87 Annexes Page 79 ANNEXES Annexe A : Exemples illustrés de domaines d application des caméras 3D Annexe B : Principe de la modulation en amplitude Annexe C : Rappels sur la première version de Kinect Annexe D : Interface graphique du navigateur proposé par le SDK Annexe E : De la carte de profondeur (2D) au nuage de points 3D rappels sur le modèle du sténopé et la projection perspective Annexe F : Modèle mathématique pour la correction des distorsions géométriques Annexe G : Analyses complémentaires pour la calibration en distance Annexe H : Représentation des résidus par rapport à un plan pour des nuages de points à différentes portées Annexe I : Interface graphique de la Surface Fitting Toolbox du logiciel Matlab Annexe J : Chaîne de traitement finale pour la création de modèles 3D Annexe K : Analyse des nuages de points individuels en vue de la réalisation d un nuage de points complet

88 Annexes Page 80

89 Annexes Page 81 Annexe A Exemples illustrés de domaines d application des caméras 3D Dans le chapitre I ( 1.2), quelques domaines d application des caméras 3D sont cités. La présente annexe permet d illustrer certains exemples choisis parmi ces domaines. La Figure A.1, tirée de Hussmann et al. [2008], présente un système de type Stop&Go et de détection des piétons à l aide d une caméra 3D de la marque PMD. Cette application au domaine automobile participe à l optimisation de l analyse des situations dangereuses. FIGURE A.1 - Exemple d application d une caméra de profondeur de la marque PMD à l industrie automobile (source : Hussmann et al. [2008]) Sur la Figure A.2, un exemple d interaction Homme/machine est présenté à travers la reconnaissance de gestes (a). Ceci peut être utilisé notamment par des personnes malentendantes qui emploient le langage de signes pour se faire comprendre, mais on peut également imaginer dans une autre optique que ces signes soient reliés à des actions, tels que l allumage / l ouverture de systèmes. Le suivi respiratoire en médecine est aussi envisagé (b). a) FIGURE A.2 - a) Interaction Homme / machine : reconnaissance de gestes (source : Kuznetsova et al. [2013]). b) Application au domaine médical : suivi respiratoire (source : Wentz [2013]). b)

90 Annexes Page 82 Enfin, dans la Figure A.3 ce sont des applications à la vision par ordinateur qui sont présentées. Tracking de personnes ou d objets / suivi de la marche par squelettisation Détection de points d intérêt Réalité augmentée FIGURE A.3 - Trois applications de la technologie des caméras 3D tirées de la vision par ordinateur (source : Kolb et al. [2009])

91 Annexes Page 83 Annexe B Principe de la modulation en amplitude La technique de base développée ici émane du calcul indirect du temps mis par une onde modulée pour aller jusqu à la cible et en revenir après avoir été réfléchie à sa surface. Les équations développées dans la suite de ce paragraphe afin d aboutir à la relation entre décalage de phase et distance sont issues de nombreux paragraphes introductifs aux articles cités dans ce mémoire (notamment Lange [2001] ou encore Lindner et al. [2007]). Ainsi, si l on considère un signal lumineux émis s(t) modulé en amplitude, avec : (A.1) où ω représente la fréquence de modulation angulaire, alors le signal réfléchi r(t) par la surface sera de la forme : (A.2) avec a l amplitude (modifiée) du signal réfléchi et φ le décalage de phase lié à la distance de l objet. La Figure A.4 illustre ces signaux sinusoïdaux. FIGURE A.4 - Courbe du signal émis (en bleu) et du signal reçu (en rouge), atténué et décalé en phase (source : Dal Mutto et al. [2013]) Afin de retrouver les valeurs du décalage de phase et de l amplitude, on procède à la démodulation du signal modulé reçu en le corrélant avec le signal modulé émis. Dans le cas d une caméra 3D temps de vol, pour laquelle la distance est acquise sous forme matricielle et pour chaque pixel (voir chapitre I, 2.2), la corrélation entre signal émis et reçu au niveau de chacun de ces pixels sera calculée selon : (A.3)

92 Annexes Page 84 On pratique alors l échantillonnage de cette fonction en l évaluant à quatre phases temporelles distinctes τ i, d où un décalage de phase pour chaque pixel : (A.4) Enfin, connaissant la célérité de la lumière dans le vide c = m/s, l information de distance est donnée par la relation : Le facteur ½ est lié au trajet aller-retour de l onde. (A.5) Du fait que l amplitude, la phase mais aussi l intensité sont déterminées à chaque pixel du capteur, ces données seront traitées sous forme matricielle et fournies à l état de cartes 2D. Ainsi, à chaque nouvelle période de la fréquence d acquisition, la caméra 3D délivre des données de type image d amplitude, image d intensité et naturellement image de distance (aussi dénommée carte de profondeur). Pour ce faire, la démodulation du signal doit être traitée de façon interne à la caméra, comme ceci est présenté dans le chapitre I ( 2.2).

93 Annexes Page 85 Annexe C Rappels sur la première version de Kinect Grand succès lors de sa sortie sur le marché en 2010, la première Kinect (Figure A.5) développée par l entreprise israélienne PrimeSense et commercialisée par Microsoft avec la console Xbox 360, présentait deux atouts majeurs pour les développeurs : des acquisitions dynamiques et un stockage en temps réel. FIGURE A.5 - Capteur Kinect v1 D un point de vue technologique, la caméra 3D Kinect v1 s appuie sur une méthode de reproduction du relief présentée notamment dans l article de Guhring [2001], auquel nous nous reporterons pour une compréhension plus avancée du principe employé. Il s agit en fait d une forme de triangulation active basée sur la projection de lumière structurée en direction de l objet observé. C est l observation de l effet de déformation subi par les entités lumineuses projetées au contact de la surface, qui permet alors de déterminer la distance de l objet au capteur. Il est à noter que les éléments lumineux projetés peuvent être de natures différentes : points, lignes, lumière codée, En ce qui concerne la Kinect 1, c est la dernière solution mentionnée, à savoir la lumière codée qui a été retenue ; les éléments projetés par la lumière infrarouge sont donc des motifs caractéristiques, qui subissent des déformations en fonction de la surface qu ils vont rencontrer (Figure A.6). FIGURE A.6 - Illustration de la technique de lumière structurée : avec une raie lumineuse projetée (gauche), puis par lumière codée (droite) (source : Guhring [2001], modifié)

94 Annexes Page 86

95 Annexes Page 87 Annexe D Interface graphique du navigateur proposé par le SDK Comme ceci a été précisé dans le mémoire, le kit de développement (ou SDK) est téléchargeable gratuitement. Il permet de faire fonctionner un certain nombre d applicatifs pour la visualisation des flux du capteur (boutons Run sur la Figure A.7), mais il est également possible de télécharger des parties du code pour certaines fonctionnalités (boutons Install). L interface à l ouverture du SDK est présentée sur la Figure A.7. FIGURE A.7 - Interface graphique pour la navigation dans le SDK

96 Annexes Page 88

97 Annexes Page 89 Annexe E De la carte de profondeur (2D) au nuage de points 3D rappels sur le modèle du sténopé et la projection perspective Afin de comprendre les relations qui lient les coordonnées images sur les cartes de profondeur aux coordonnées 3D permettant la visualisation en 3D d un nuage de points, il est important de rappeler quelques bases. Le modèle du sténopé (pinhole en anglais) modélise une caméra par une projection perspective. Le principe physique est celui d une boîte percée laissant passer les rayons lumineux, de telle sorte qu un objet 3D puisse être capturé et recréé virtuellement en une image inversée, à l arrière de l orifice (Figure A.8). Grâce à ce modèle, il est alors possible d estimer la projection d un point de l espace 3D en un point du plan image 2D, en passant par plusieurs transformations successives. Une représentation schématique de la géométrie de projection est proposée en Figure A.9. FIGURE A.8 - Principe de formation de l image dans un modèle sténopé (source personnelle - inspiré de Luhmann et al. [2013]) FIGURE A.9 - Représentation schématique du modèle de projection et des repères associés

98 Annexes Page 90 Afin de pouvoir formaliser les transformations nécessaires, plusieurs espaces ou repères sont distingués (Figure A.9). Le système de coordonnées tridimensionnelles dans lequel se trouve l objet observé est désigné comme étant le repère objet (ou repère monde, en bleu). Le système de coordonnées 3D local de la caméra est appelé repère caméra (en rouge), et son origine se situe au niveau du centre optique (ou centre de projection) de la caméra. Par définition, l axe Z de ce système est orthogonal au plan virtuel de l image et intersecte le plan image en un point dénommé point principal. Enfin, les coordonnées 2D des points sur l image évoluent dans le repère image. On distingue les coordonnées images (x,y) (en unité métrique) dont l origine correspond au point principal, et les coordonnées pixels (u,v) ayant pour origine le coin supérieur gauche de l image. La projection des coordonnées 3D aux coordonnées images est calculée à partir de paramètres de transformation. Les paramètres externes de la caméra, composés des coefficients d une rotation et d une translation, permettent le passage du repère objet au repère caméra. Il s agit donc d une transformation tridimensionnelle. Cependant, les acquisitions effectuées avec le capteur Kinect n étant pas géoréférencées dans l espace objet, nous nous limiterons à la considération de coordonnées 3D exprimées dans le repère caméra. En effet, les valeurs de distances enregistrées dans les cartes de profondeur correspondent aux grandeurs Zc, qui sont par la même occasion les troisièmes composantes respectives des points du nuage. Ainsi, la transformation d un point P(X,Y,Z) du repère caméra en un point du repère image est modélisée par la relation matricielle (A.6) (Luhmann et al. [2013]), où f désigne la longueur focale de l objectif. Pour plus de formalisme dans l écriture matricielle, les coordonnées homogènes = [u,v,1] T et = [X,Y,Z,1] T sont utilisées. (A.6) La seconde étape de conversion des coordonnées images (x,y) en coordonnées pixels (u,v) est décrite par l équation (A.7) : (A.7) où c x et c y désignent les coordonnées du point principal (en pixels) ; k x et k y représentent le nombre de pixels par unité de longueur suivant les directions x et y, les distances focales en pixels valent donc f x = f*k x et f y = f*k y. Il vient ainsi la relation de projection perspective : (A.8) (A.9) Dans (A.8), K est la matrice dite de calibration ou matrice caméra, contenant les paramètres internes de la caméra (focale et coordonnées du point principal). La connaissance de ces paramètres nécessite donc la réalisation d une calibration. En outre, les distorsions de la lentille n étant pas prises en compte dans ce modèle simplifié, la calibration permettra également de corriger ces phénomènes.

99 Annexes Page 91 Annexe F Modèle mathématique pour la correction des distorsions géométriques Le modèle sténopé décrit notamment dans l annexe précédente modélise une caméra idéale, c est-à-dire dans laquelle les éventuelles distorsions géométriques ne sont pas prises en compte. Cependant, ce modèle est réducteur dans le sens où des distorsions géométriques sont induites par le système optique (lentille) utilisé. Pour des applications de métrologie, la prise en compte de ces distorsions s avère indispensable en vue de les corriger. Dans le cas du capteur Kinect, bien que l influence des distorsions géométriques de la lentille infrarouge soit surement plus faible que celle provenant d autres sources d erreur, il reste intéressant de prendre en compte ces phénomènes en vue de diminuer le bilan global des erreurs. Les distorsions de la lentille peuvent provoquer des déformations dites «en barillet» ou «en coussin». Ces distorsions possèdent le plus souvent deux composantes, une composante radiale et une composante tangentielle. Elles sont modélisées par des paramètres internes à la caméra, qui seront déterminés à l aide de la calibration retenue en même temps que les paramètres internes cités dans l annexe précédente (longueur de la focale f x et f y, et coordonnées du point principal c x et c y ). Les paramètres de distorsion radiale seront notés k 1, k 2 et k 3, tandis que la distorsion tangentielle sera caractérisée par les paramètres p 1 et p 2. Les effets de distorsions seront modélisés à partir des coordonnées images (x,y), afin d obtenir des coordonnées images corrigées notées (x c,y c ). Si l on utilise la notation r² = x² + y², (A.10) alors l équation des coordonnées incluant les distorsions de la lentille s écrit : (A.11) Composante radiale Composante tangentielle Rappelons que les coordonnées pixels sont ensuite calculées à partir de ces nouvelles coordonnées images, grâce à la relation : (A.12)

100 Annexes Page 92

101 Annexes Page 93 Annexe G Analyses complémentaires pour la calibration en distance Cette annexe propose des graphiques complémentaires pour la compréhension des résultats obtenus lors de la manipulation de calibration en distance. Premièrement, un graphe montrant les distances mesurées en fonction des distances vraies (implantées au tachéomètre) est représenté. En théorie, dans un système ne souffrant d aucune distorsion de profondeur, la courbe devrait être une droite passant par l origine, avec un coefficient de corrélation très élevé. Cela traduirait une correspondance quasi parfaite entre mesures et réalité terrain. On observe en réalité une courbe de tendance linéaire (Figure A.10), connaissant un très léger décalage par rapport à l origine. En outre, le coefficient de détermination de la régression linéaire est très élevé et vaut R² = 0,9999 (arrondi à 1). Ceci entraine un coefficient de corrélation r entre les deux séries de mesures proche de 1 également, traduisant une forte similitude entre les deux jeux de données. Si cette courbe ne passe pas par l origine, c est sans doute également du fait du décalage systématique entre vis de fixation de l appareil (référence pour la distance vraie), et lentille (depuis laquelle la distance est mesurée). Rappelons en effet que les distances considérées comme vraies implantées au tachéomètre se retrouvent au niveau de la vis de fixation de la caméra, élément centré à l aide d un plomb optique sur les points implantés au sol. Pour autant, les distances enregistrées par le capteur sont elles mesurées à partir de la lentille infrarouge, située sur la face avant de la caméra. Une solution pour contrecarrer ce systématisme est prise en compte dans le paragraphe suivant. FIGURE A.10 - Courbe d évolution des distances mesurées en fonction des distances vraies (en m). Le second graphique proposé dans cette annexe complémentaire est proche de la figure issue de la manipulation de calibration en distance, vue dans le chapitre III (Figure 3.4).

102 Annexes Page 94 Il s agit également de tracer une courbe d écarts de mesure sous forme de spline, tout en évitant le systématisme évoqué plus haut. Pour ce faire, toutes les distances moyennes mesurées, depuis chaque station, ont été soustraites une à une à la distance mesurée depuis la première station (à 0,80 m). De ce fait, les distances considérées sont désormais des intervalles, relatifs par rapport à la première station, et non plus absolus par rapport au mur de référence. Par soustraction des distances mesurées à une première mesure prise comme référence, le décalage systématique entre lentille et vis de fixation n a plus d influence. Le résultat est présenté sur la Figure A.11. FIGURE A.11 - Graphique représentant les écarts de mesure sur les intervalles rapportés à la première station (0,80 m), en fonction de la portée. Il ressort que la tendance de la courbe est la même que celle observée pour la Figure 3.4 du chapitre III. Cependant les écarts varient entre -8 et 5 mm pour des portées allant de 0,8 à 4,5 m, et au-delà les écarts peuvent pratiquement atteindre -2 cm. Notons que ces écarts de mesures sur les intervalles sont très faibles au vu de la technologie employée. En outre, si l on observe cette courbe et celle de la Figure 3.4, il apparait que la courbe possède ici une tendance identique mais avec un décalage constant d environ 2 à 2,2 cm. Ceci confirme donc que le décalage systématique est effectivement non représenté sur ce dernier graphique (Figure A.11), et qu il peut être estimé à environ 2 cm. Cette valeur correspond donc à l estimation visuelle faite sur la caméra pour la distance lentille / vis de fixation.

103 Annexes Page 95 Annexe H Représentation des résidus par rapport à un plan pour des nuages de points à différentes portées Afin d estimer les déformations locales qui apparaissent à la surface du capteur, des plans ont été approximés dans les nuages de points acquis sur un plan de référence, depuis plusieurs portées successives. Ceci permet de calculer, pour chaque point exprimé dans un repère propre à l image, une distance euclidienne par rapport au plan approximant. Les représentations de ces résidus (en mm) sous forme de matrices colorées sont présentées dans cette annexe pour chaque portée, de 0,80 m à 3 m par intervalles de 25 cm à partir de la portée à 1 m. Les résidus sont présentés en parallèle avant et après correction, avec des échelles identiques à chaque portée de manière à mieux visualiser les effets apportés (Tableau 5). Portée Résidus avant correction (mm) Résidus après correction (mm) 0,80 m 1 m 1,25 m

104 Annexes Page 96 1,50 m 1,75 m 2 m 2,25 m 2,50 m

105 Annexes Page 97 2,75 m 3 m TABLEAU 5 - Représentations colorées des résidus (en mm) par rapport au plan moyen, en fonction de la portée, avant et après application de la correction. Une première observation des résidus en fonction de la portée permet de conclure quant à une augmentation visuelle des résidus avec la portée. Les résidus sont également toujours plus élevés sur les bords et dans les coins qu au milieu du capteur, en revanche le signe de ces résidus dans les coins change à partir de la portée à 1,50 m. Enfin, la correction apportée pour les déformations locales permet de réduire les résidus par rapport à un plan moyen (colonne de droite du Tableau 5), bien que l effet soit visuellement moins perceptible à partir de 2 m de portée. Pour les résultats numériques de l influence de cette correction, le lecteur pourra se reporter au Tableau 4 (chapitre III, 3.2.4).

106 Annexes Page 98

107 Annexes Page 99 Annexe I Interface graphique de la Surface Fitting Toolbox du logiciel Matlab Pour l approximation d une surface moyenne dans un nuage de points (de résidus), une «toolbox» adaptée du logiciel Matlab a été utilisée, à savoir la Surface Fitting Toolbox. Celle-ci permet la détermination des paramètres de la surface, en fonction d un modèle de base retenu. L interface graphique rencontrée est présentée sur la Figure A.12, agrémentée de commentaires. Choix des listes X, Y et Z du nuage de points Choix du modèle de surface (linéaire, ) FIGURE A.12 - Interface graphique de la Surface Fitting Toolbox (Matlab) Visualisation des paramètres de la surface approximée Visualisation du nuage de points et de la surface moyenne estimée

108 Annexes Page 100

109 Annexes Page 101 Annexe J Chaîne de traitement finale pour la création de modèles 3D Dans ce mémoire, une technique automatique pour la numérisation d objets à courte portée a été présentée à travers l outil Kinect Fusion. En parallèle, des modèles ont également été réalisés par une méthode essentiellement manuelle, consistant à associer des nuages de points individuels. La chaîne de traitement suivie des nuages de points à la création du maillage 3D ainsi que les logiciels employés sont résumés à travers le graphique suivant (Figure A.13). FIGURE A.13 - Résumé des étapes de traitement des nuages de points issus du capteur Kinect v2 pour la réalisation de maillages 3D (source personnelle)