Université des Sciences et Technologies de Lille 1 UFR Informatique. Projet scientifique de Master 2 Image, Vision, Interaction.

Transcription

1 Université des Sciences et Technologies de Lille 1 UFR Informatique Projet scientifique de Master 2 Image, Vision, Interaction Année 2012/1013 Reconstruction de scène réaliste via Kinect c Amélioration du rendu des textures plaquées dans une scène observée avec une Kinect c et reconstruite avec PCL Réalisé par : Sébastien Guillaume Marc Poulmane Dauster Amberg

2 Remerciements Nous remercions les enseignants qui nous ont suivi pendant toute la durée du projet, pour leurs conseils et leurs soutiens dans les moments difficiles. Olivier Damien Ludovic Géry François Losson Marchal Macaire Casiez Cabestaing Nous remercions également nos collègues de la promotion IVI. Philippe Alix Cyprien Kevin Jacquet Goguey Cuvillier Pollaert

3 Table des matières 1 Introduction Contexte Les caméras de profondeur et la reconstruction 3D Kinect c Point Cloud Library KinFu et KinFu Large Scale Libfreenect Problématique Objectifs État de l art Présentation de la Kinect c Caractéristiques techniques Caméra de profondeur Kinect Fusion Opérations principales Pipeline de Kinect Fusion PCL, KinFu et KinFu LargeScale Point Cloud Library (PCL) KinFu KinFu LargeScale Kintinuous RGB-D mapping Contribution Étude et amélioration du signal RGB Étude de l impact de la balance des blancs, de la correction de couleur et de l exposition sur la qualité de l image RGB Contrôle des paramètres d acquisitions des images dans KinFu LargeScale Etude et amélioration du plaquage des textures Etude de l impact de la résolution de la matrice TSDF Étude de la dérive de la pose estimée avec les scènes Blender Amélioration de l algorithme de plaquage des textures Résultat Résultats et validations Comparaison de notre méthode de plaquage de texture avec celle de KinFu Les limites de notre méthode Conclusion Rappel de la problématique Récapitulation des contributions et des résultats Vers d autres solutions

4 Table des figures 1 Déformation dans la reconstruction 3D Textures incohérentes Exemple Kinect Fusion Vision des infra-rouges de la Kinect Calcul de la disparité Filtrage bilétérale Image de profondeur Stockage de la surface du modèle Visibilité de texture Problème d alignement Correction de la trajectoire Rendu KinFu avec auto-exposition Protocole d acquisition Scène texturée sans auto-exposition Débordement de texture sur les objets voisins Impact de la résolution de la matrice TSDF Impact de la résolution de la matrice TSDF sur une scène réelle Problèmes d alignement de texture Scène virtuelle sous Blender Déformation de perspective Débordement des contours Dérives de la pose caméra sur les axes de translation Erreur instantanée Scène virtuelle et modèle reconstruit Erreur sur un axe Minimisation du risque d erreur Effet de la méthode de tri Multi-Band Blending Hypothèse pour le débordement Pipeline Kinect Fusion

5 1 Introduction 1.1 Contexte La reconstruction 3D d une scène à l aide d outils d acquisition optique se développent de plus en plus depuis la dernière décennie. Il existe de nombreuses méthodes de reconstruction 3D dont certaines seront développées dans le chapitre «État de l art». La démocratisation de ces dispositifs optiques ont amené les chercheurs à trouver des solutions plus robustes en raison de leurs caractéristiques (i.e. faible résolution, bruit sur l image plus significatif...). D ailleurs le sujet de notre étude porte sur l utilisation d un des dispositifs optiques grand public, la Kinect c avec l appui d une bibliothèque dédiée au calcul des nuages de points : Point Cloud Library ( PCL). Cette dernière contient un module nommé KinFu, doté d outils pour la reconstruction de volumes et de textures. Nous verrons que les méthodes actuelles ne sont pas précises avec ce type de caméra de profondeur. Nous nous intéresserons ici à la qualité du rendu des textures dans la reconstruction, un critère selon nous des plus déterminant dans l appréciation d une scène 3D Les caméras de profondeur et la reconstruction 3D La reconstruction 3D permet de recréer un modèle 3D d une scène réelle. Elle peut être vue comme le pendant tridimensionnel des scanners 2D utilisés en bureautique. Il n existe pas à l heure actuelle de solution parfaite. Il y a deux familles de reconstruction 3D, l une est dite passive et l autre active. Dans les deux cas, un ou plusieurs capteurs optiques sont employés dans le processus. Ce qui diffère, ce sont les types de capteurs et les informations qu ils récupèrent. À noter que dans le cadre du projet, nous partons du principe que l espace de la scène est invariant dans le temps, c est-à-dire que les objets sont parfaitement immobiles. Lorsque ce n est pas le cas, on parle de reconstruction nonrigide. Ceci n entre pas dans le cadre du projet. La reconstruction passive se base sur des images couleur définies par les composantes Rouge, Verte (Green en anglais) et Bleue (RGB) de la scène. On la nomme passive car cette méthode consiste en une ou plusieurs caméras RGB qui se contentent de «regarder» la scène. À partir de ces informations, la scène est reconstruite soit par des images stéréoscopiques (association de deux images) ou par une vidéo. Cette méthode, bien que très simple et accessoirement peu onéreuse, a l inconvénient majeur d être très sensible aux phénomènes de la physique de la lumière comme le spéculaire et la réfraction. La reconstruction active implique l utilisation d émetteurs de rayonnement électromagnétiques (e.g. les lasers, les micro-ondes) ou même d onde mécanique comme les ultrasons. Grâce à la physique propre au rayonnement électromagnétique en utilisant des méthodes comme le temps de vol (Time-Of-Flight, TOF) ou la carte des disparités, on peut déterminer une distance entre le capteur et la surface rencontrée par le rayon. C est donc un émetteur à rayonnement électromagnétique ou onde, projetant dans plusieurs directions des rayons, formant des points dans la scène qui sont perçus par un ou des capteurs ayant la sensibilité au spectre adéquat. C est pourquoi on parle de reconstruction active, car une donnée supplémentaire est injectée dans la scène. Cette méthode est 3

6 bien plus précise mais plus complexe à mettre en place à cause de la calibration entre le capteur et l émetteur. La Kinect c possède une caméra RGB et une caméra de profondeur (émetteur/capteur infra-rouge), ce qui signifie que ces deux méthodes, en théorie, peuvent être mises en place. Dans le cadre du projet Kinect Fusion de Microsoft, il s agit bien d une reconstruction active Kinect c La Kinect c est un dispositif d acquisition optique développé par Microsoft en Elle est popularisée au sein du grand public par son usage dans le divertissement. La version pour PC avec son kit de développement, sortie l année suivante l a rendue également populaire dans la communauté scientifique ainsi que chez les développeurs indépendants. Le chapitre 2.1 détaillera les caractéristiques et le fonctionnement de la Kinect c Point Cloud Library PCL est un projet open source développé pour le traitement des nuages de points. Le framework comporte de nombreux modules ayant chacun un rôle dans la chaîne de traitement (e.g. la représentation d une image de profondeur) ou ayant des fonctions très spécifiques (e.g. le module gérant les octrees pour la recherche de points dans un nuage). PCL utilise OpenNI pour communiquer avec la Kinect c. Dans le cadre de notre projet de recherche, nous nous intéresserons à une partie spécifique seulement consacrée à Kinect c KinFu et KinFu Large Scale L une des composantes essentielle et principale du projet est KinFu et KinFu LargeScale. Ces modules de PCL sont basés sur les travaux Kinect Fusion de Microsoft [3, 5]. KinFu contient un ensemble d outils pour reconstruire un modèle 3D d une scène via la Kinect c. Il travaille sur un volume restreint de la scène. KinFu LargeScale est une extension de KinFu qui permet de reconstruire plusieurs volumes et donc des espaces plus grands. Il possède aussi un outil permettant de texturer le modèle reconstruit Libfreenect La bibliothèque Libfreenect a été développé par la communauté OpenKinect. Elle contient toutes les fonctions pour manipuler la Kinect c. La plupart des fonctions ont été déduites empiriquement. Elle permet de manipuler bien plus de fonctions du dispositif que OpenNI (pour les versions inférieures à la 2). 1.2 Problématique Le passage du monde physique continu à celui du numérique discret comporte des erreurs de précisions. Les démonstrations existantes mettent en évidence deux types d erreurs [2, 4] liées notamment aux bruits présents sur les données issues des caméras de profondeur et au manque de robustesse des algorithmes. La première est l erreur liée 4

7 au modèle. C est-à-dire que le modèle reconstruit n est pas totalement exact, il peut comporter des surfaces manquantes, des déformations d échelle ou des déplacements de géométrie, comme nous pouvons le voir dans la figure 1. Figure 1: Exemple de l acquisition 3D d un couloir. Mise en évidence de la dérive de la pose estimée et de la déformation du modèle dues à l algorithme de reconstruction et aux bruits présents sur les données Le second problème concerne les textures, en particulier des soucis d alignement et de cohérence entre les textures (figure 2). 5

8 Figure 2: Mise en évidence des débordements de textures et des discontinuités de luminance et de balance des blancs dans un modèle texturé. Notre problématique est d améliorer l algorithme de plaquage de texture de KinFu LargeScale pour le rendre plus efficace face à des modèles 3D imparfaits et de supprimer, ou du moins réduire, ces défauts. 1.3 Objectifs Plusieurs recherches ont été menées sur les caméras de profondeur et la reconstruction 3D temps réel de scène en utilisant un dispositif muni d une caméra de profondeur et d une caméra RGB [2, 3, 5]. Microsoft Research a développé une méthode similaire utilisant leur dispositif Kinect c [5]. Nous décrirons la méthode employée dans la partie 2. Cette méthode est celle implémentée dans KinFu. Avec le projet Kinect Fusion, les chercheurs de Microsoft ont pour objectif d étendre les possibilités offertes par la Kinect c. KinFu utilise la caméra de profondeur de la Kinect c afin de créer un modèle numérique en 3D de la scène observée. Comme nous pouvons le voir dans la figure 3 la caméra RGB de la Kinect c n est pas utilisée dans le projet d origine. 6

9 Figure 3: Capacités de Kinect Fusion. L image RGB n est pas utilisée. Sur la base d un modèle 3D construit à l aide de l algorithme Kinect Fusion, nous voulons y plaquer des images acquises lors de la capture pour le texturer. Il faut répondre aux problèmes suivants : Cette texture ne doit pas faire apparaître les bords de l image à laquelle elle est associée. Les paramètres d acquisition doit être invariant pendant toute la saisie. Il ne doit pas avoir de décalage de la texture par rapport au modèle. Nous souhaitons ainsi qu un modèle reconstruit, à partir d une scène ne présentant pas de reflet et n ayant pas de variation dans ses conditions d éclairage, gagne en uniformité et en cohérence. 2 État de l art 2.1 Présentation de la Kinect c Dans le cas qui nous concerne, la Kinect c, dispositif accessible au grand public et facilement manipulable, est adaptée à la reconstruction 3D de scènes en intérieur. Elle est bien moins coûteuse qu un scanner 3D et c est ce qui a favorisé l émergence d une communauté très active autour de ce dispositif. Cependant ses avantages sont contrebalancées par la faible définition des images, la présence de bruits dans l image et la basse fréquence d acquisition entraînant une faible qualité des données. La Kinect c a d abord été conçu pour des interactions ludiques. Mais les données que la Kinect c est capable de gérer (par exemple carte de profondeur) apporte de nouveaux champs d application et de recherche dans le domaine de la reconstruction 3D [5]. Nous allons passer en revue les caractéristiques de la Kinect c [4] Caractéristiques techniques La Kinect c de Microsoft dispose d un capteur optique de profondeur constitué d un émetteur infra-rouge et d une caméra infra-rouge, ainsi que d une caméra RGB. Les deux 7

10 caméras ont des définitions d image différentes ( pixels pour la caméra RGB et pixels pour la caméra de profondeur) pour une fréquence d acquisition de 30 images par seconde Caméra de profondeur La caméra de profondeur permet d acquérir des mesures de distance. Celles-ci sont obtenu grâce à un émetteur infra-rouge qui projette dans la scène des faisceaux de lumières infra-rouges. La lumière est ensuite perçue par une caméra infra-rouge. Comme nous pouvons le voir dans la figure 4, les faisceaux projetés par l émetteur infra-rouge forment un motif de points particulier. Figure 4: Vision infra-rouge. Le réseau de points projeté par la Kinect c sert à déterminer les distances avec les surfaces de la scène. Ce motif, généré aléatoirement en usine, est connu par la Kinect c. Il sert à effectuer un calcul de corrélation entre le motif obtenu et le motif généré, afin d obtenir une carte des disparités. Un point de la carte des disparités est obtenu par triangulation entre les positions de la caméra infra-rouge, l émetteur infra-rouge et le point observé dans la scène. 8

11 Figure 5: Mesure de la valeur de disparité d [4]. Mise en évidence de la corrélation entre motif observé (Object plane) et le motif de référence (Reference Plane). La figure 5 représente la relation entre la distance à un point k de l objet et le capteur ainsi que la mesure de la disparité. A partir de cette information nous cherchons à déterminer les coordonnées dans l espace (XYZ) du point k. La distance Z k, qui corerespond à la distance au plan de l objet visé, se calcule avec l équation suivante : Z k = Z Z 0 fb d (1) Z 0, f et b sont des constantes qui peuvent être obtenues à partir de l étape de calibration. Les coordonnées X 0 et Y 0 peuvent être obtenues par les formules suivantes : X k = Z k f (x k x 0 + δx) (2) Y k = Z k f (y k y 0 + δy) (3) Où x k et y k sont les coordonnées images, x 0 et y 0 sont les coordonnées du point principale et δx et δy sont la correction de la distorsion de la lentille. Ainsi une carte de profondeur de la scène est obtenue à chaque acquisition. Elle est représentée par une image dans laquelle chaque pixel possède une valeur correspondant à la distance entre la caméra infra-rouge et le point observé. 2.2 Kinect Fusion Kinect Fusion est un algorithme permettant la reconstruction de modèles 3D à partir d une caméra de profondeur en temps réel. Afin de pouvoir l expliquer clairement, nous commencerons par détailler les opérations utilisées puis nous reviendrons sur les étapes de cet algorithme. 9

12 2.2.1 Opérations principales Filtre bilatéral de la carte de profondeur La carte de profondeur comporte des erreurs sous forme de bruits. Kinect Fusion réalise une correction par filtrage bilatéral. Ce filtre calcule pour un pixel donné sa nouvelle valeur en faisant la somme des valeurs de tous les pixels de l image pondérés suivant deux critères : la distance entre deux pixels dont l influence suit une fonction gaussienne ; la similarité entre deux pixels qui est la distance entre les valeurs de deux pixels. Ce filtre tend donc à se comporter comme un filtre gaussien dans une zone unie mais conserve les bordures. Figure 6: À gauche, l image d origine. À droite, l image corrigée par filtrage bilatérale. De la carte de profondeur au nuage de points La toute première étape consiste à établir une carte de profondeur suivant le fonctionnement que nous avons vu au début du document 2.1. Cette carte de profondeur se présente comme une image bitmap 16 bits en niveaux de gris (figure 7). La valeur du pixel indique sa profondeur. Plus le pixel a une valeur élevée, plus le point est éloigné de la caméra de profondeur et inversement, plus le pixel a une valeur faible plus le point est proche. Un pixel noir (valeur 0) signifie qu aucune mesure n a pu être faite. Les coordonnées x et y du pixel donnent sa position en abscisse et en ordonnée. 10

13 Figure 7: À gauche, la scène reconstruite par KinFu LargeScale. À droite, l image de profondeur en niveau de gris. Le nuage de points est reconstruit en prenant en compte de la résolution (w, h) de la caméra infra-rouge. Un pixel de coordonnées (x, y) T de valeur z (en mètre) est rétroprojeté : ( ) (2 x ) 1 x w z (2 y y ) 1 (4) h 1 Iterative Closest Point Iterative Closest Point (ICP) consiste à trouver dans le modèle en cours la position et l orientation du nuage de points courant qui minimisent la différence de distances des points avec ceux d un autre nuage. Comme son nom l indique, il s agit d une méthode itérative. Une première transformation est donnée puis itérativement, l algorithme trouve une meilleure position et rotation par une approche des moindres carrés. Il faut noter que la méthode part du principe qu il existe une correspondance possible parce que le mouvement de la caméra entre deux acquisitions est faible puisqu il s agit de calcul en temps réel. Pour calculer une itération dans ICP, nous avons besoin de deux carte de profondeur, une à l instant t qui est la dernière carte de profondeur et une autre à l instant t-1 qui est générée d après le modèle suivant la dernière estimation de pose. L appairage entre les deux cartes de profondeur est fait suivant : le pixel p i (x i,y i ) dans cette image correspond au pixel p i (x i,y i) dans la nouvelle carte de profondeur (dans la nouvelle saisie). La distance d erreur est calculée avec une méthode appelée «point-to-plane error». Pour chaque couple de points que nous avons déterminé, nous calculons la distance entre le point du modèle est la tangente du point du nouveau nuage de point. Afin d en améliorer la robustesse et la rapidité, nous avons trois définitions différentes de la carte de profondeur dont deux sont de plus basses résolution que l original. Nous générons un nuage de points à partir de la carte de profondeur de plus faible définition. L algorithme ICP est appliqué à ce nuage de points afin d avoir une première estimation. Lorsque l algorithme a convergé, nous passons au nuage de points généré de définition 11

14 supérieur et l algorithme ICP est rappliqué. Ce schéma est reproduit une troisième fois sur la carte d origine, à savoir celle de plus haute définition. Une fois la transformation optimale entre le nuage de point courant et le modèle est estimée, nous en déduisons le mouvement de caméra entre les deux instants t et t 1 en inversant la matrice de transformation précédemment trouvée. Matrice TSDF La matrice Truncated Signed Distance Function (TSDF) représente la distance signée entre un point et la surface la plus proche, où les valeurs négatives sont à l intérieur de l objet. Cette distance est ensuite tronquée pour qu elle soit comprise entre -1 et 1 inclus. La matrice TSDF est un cube de dimensions métriques déterminées. Ce cube est divisé en un nombre de voxels connu. Nous avons le même nombre de voxels sur chaque axe du cube. Elle est la structure utilisée dans Kinect Fusion pour contenir le modèle en cours de reconstruction. Chaque voxel de ce cube contient la TSDF entre centre et la surface la plus proche. La surface des objets est l iso-surface en 0 (figure 8). Cette matrice est stockée en mémoire graphique pour permettre sa mise à jour en temps réel. Figure 8: Principe de fonctionement d une matrice TSDF dans Kinect Fusion. 2.3 Pipeline de Kinect Fusion L algorithme Kinect Fusion (annexe 30) commence par acquérir la carte de profondeur de la Kinect c. Afin de limiter l impact du bruit, la carte de profondeur est filtrée au moyen d un filtre bilatéral(2.2.1). De cette image filtrée est générée une pyramide gaussienne à trois niveaux où la définition de l image est diminuée à chaque fois par quatre. De ces trois images de profondeurs est déduit trois nuages de points suivant la méthode énoncée plus haut (2.2.1). Une information de normale est aussi associée à chaque point pour préparer le calcul de distance fait dans ICP Lors de la première itération de Kinect Fusion, la trajectoire de la caméra est initialisé avec une pose initiale (habituellement (1.5, 1.5, 0.3) T pour une matrice TSDF de 12

15 dimensions mètres). Le nuage de points de plus haute définition est ensuite utilisé pour mettre à jour la valeur des voxels de la matrice TSDF. Concernant les itérations suivantes, une estimation de pose est faite entre les trois nuages de points courants et trois nuages de points générés à partir du modèle en cours de construction. La nouvelle pose est d abord assumée être égale à l ancienne, puis déterminée par ICP. La matrice TSDF est finalement mise à jour par moyenne pondérée. 2.4 PCL, KinFu et KinFu LargeScale Maintenant que nous avons vu le fonctionnement de la Kinect c et Kinect Fusion, nous allons voir son implémentation avec la bibliothèque PCL Point Cloud Library (PCL) PCL est un projet open-source sous licence BSD à grande échelle pour le traitement des nuages de points dans un environnement 3D. Ce projet est développé et financé par de grands groupes industriels et de recherche à travers le monde. Il contient de nombreux modules permettant d effectuer différentes opérations comme le filtrage, la reconstruction, la segmentation, etc... Il est utilisable sur toutes les plateformes courantes (Windows, Mac OS et Linux) KinFu KinFu est l implémentation sous PCL du projet de recherche Kinect Fusion d une équipe de recherche de Microsoft afin de réaliser la reconstruction 3D avec la Kinect c KinFu LargeScale La communauté du projet PCL a étendu les possibilités de KinFu afin de reconstruire des scènes de très grandes tailles et de plaquer les textures dans le modèle reconstruit. Il s agit de KinFu LargeScale (KinFu à grande échelle). Reconstruction de l ensemble du modèle KinFu reconstruit la scène dans un modèle ayant un espace fini. Cet espace est un cube d une taille définie par l utilisateur. Au début de l acquisition, il n y a donc qu un seul cube. KinFu LargeScale ajoute de nouveaux espaces cubiques dès que nécessaire lorsque la caméra se déplace dans le cube courant et dépasse le seuil de changement de volume. Afin de réduire les imprécisions, ce cube est divisé en voxels (pixel volumétrique). Le nombre de voxels définit la résolution. Chaque voxel stocke une distance signée entre le lui et la surface la plus proche détecté par la Kinect c. Cette valeur est bornée pour être comprise entre -1 et 1. Une valeur positive indique le voxel est devant la surface. Une valeur négative indique que le voxel est derrière une surface. Plus le voxel se trouve proche de la surface, plus cette valeur approche 0. La valeur 1 indique donc que c est du vide. Cette technique se nomme Truncated Surface Distance Function (TSDF). Le modèle visuel est reconstruit par un algorithme de type marching-cube. Lorsqu une partie de la scène est acquise à nouveau, les valeurs des voxels concernées sont mises à jour par un calcul de moyenne pondérée. Le modèle est visualisé avec un algorithme de ray-casting. 13

16 Lors du dépassement du seuil de changement de volume, les données présentes dans le volume en cours sont copiés dans un modèle monde et le volume est ensuite centrée sur la caméra. Reconstruction de la texture Au cours de l acquisition de la du modèle 3D et à intervalle de temps paramétrable, une image RGB est acquise par la caméra RGB. Cette image est associée à une pose de la caméra dans l espace, à savoir les 6 degrés de liberté (translations et rotations). Nous obtenons un ensemble numéroté de fichiers PNG (Portable Network Graphics) associés à un fichier texte contenant les paramètres extrinsèques de la caméra. Ces images sont utilisées comme texture lors de la reconstruction du modèle. Pour chaque caméra, le modèle est placé de manière à être dans la bonne position et rotation relativement à la caméra. Ensuite, pour chaque face du modèle, la texture est projetée, si elle existe (figure 9). S il n y a aucune occlusion entre la face et la caméra, chaque sommet reçoit des coordonnées de textures. Les faces dont aucune texture n est projetée sont associées à une texture vide. Figure 9: Le modèle doit être placé relativement à la pose de telle manière à ce que la position et la rotation relative avec la caméra soit identique qu au moment de l acquisition. Ensuite, la texture est tout simplement projetée sur chaque face entièrement visible Kintinuous Comme KinFu, Kintinous se base sur les travaux de Kinect Fusion. Il se présente comme une solution modulaire où chaque partie travaille en parallèle [?]. Une fenêtre d espace du TSDF est mise à jour à partir d un certain seuil de distance entre la position d origine de la caméra dans cet espace du volume de la matrice TSDF et la position actuelle de la caméra. Cela lui confère une meilleure robustesse sur des espaces très grands. L une des composantes, Fast Odometry from Vision (FOVIS), permet de diminuer la dérive spatiale. La version actuelle ne prend pas en compte la fermeture de boucle comme pour RGB-D mapping. 14

17 2.4.5 RGB-D mapping Le RGB-D mapping, décrit dans l article [2], utilise conjointement les données RGB, et de profondeur pour l estimation de la scène. Il fait apparaître la notion de «surfels». Ce sont des patches colorés qui s adaptent selon la résolution des données. Dans le cas de KinFu, nous utilisons un plaquage de textures associés à une pose caméra. Dans l image RGB courante et précédente, nous extrayons des points d intérêt que nous mettons en correspondance avec un algorithme de type ICP qui prend en compte les composantes couleurs. Le processus est accéléré par un algorithme de type RANdom Sample And Concensus servant à extraire une caractéristique parmi un ensemble de donnée éparse. L une des problématiques à laquelle la technique RGB-D mapping répond est l alignement globale du modèle (figure 11). En effet, lors de l acquisition d une scène avec KinFu, un problème de cohérence est constatée lorsque nous revenons à la position de départ (figure 10). Cette technique permet de détecter une boucle à partir des images RGB. Lorsqu on détecte une boucle, c est à dire quand deux images RGB ont des caractéristiques identiques, un alignement globale est appliquée à toute la scène afin de préserver la cohérence. Les erreurs d alignement sont imputées à l ICP et sont perceptibles sur des scènes de grandes tailles. Figure 10: Sur l image de gauche, nous avons un bouclage et nous observons sur les bords une partie du modèle qui ne devrait pas s y trouver. Sur l image de droite, la carte de profondeur telle observée par la Kinect c. 15

18 Figure 11: Sur l image de gauche, la trajectoire de la caméra estimée. Sur l image de droite, la trajectoire de la caméra corrigée après la détection de la boucle Contribution Étude et amélioration du signal RGB Étude de l impact de la balance des blancs, de la correction de couleur et de l exposition sur la qualité de l image RGB Nous avions besoin de déterminer quels paramètres entrent en jeu dans l acquisition des images et qui entrainent de forte variation de lumière d une image à l autre. La figure 12 illustre ces variations entre deux acquisitions d images successives. Figure 12: Rendu KinFu avec auto-exposition. Mise en évidence de la variation des conditions d acquisition des images au cours du temps Nous avons fait varier les paramètres disponibles avec Libfreenect qui ont un rapport direct avec la qualité de l image RGB. Pour déterminer les plus significatifs dans la qualité 16

19 des images obtenues (auto-exposition, correction de couleur et la balance des blancs), nous avons effectué des tests d acquisition. Auto-exposition Correction de couleur Balance des blancs avec changement au cours du temps aucun changement aucun changement sans aucun changement aucun changement désaturation des couleurs Table 1: Evaluation des changements entre deux images lors d une acquisition avec ou sans les différents paramètres disponibles dans Libfreenect La conclusion que nous pouvons établir à ce niveau est que seule l auto-exposition varie dynamiquement au cours de l acquisition avec la Kinect c qui est la principale cause de discontinuité dans les textures. Ainsi le seul paramètre intéressant à contrôler Contrôle des paramètres d acquisitions des images dans KinFu LargeScale Dans la volonté de gérer les paramètres d acquisition des textures plus finement, nous avons substitué la bibliothèque OpenNI par la bibliothèque Libfreenect. En effet, la version actuellement supportée d OpenNI (version 1.5) ne permet pas modifier l exposition. Nous avons mis en place un premier protocole (figure 13) afin de pouvoir convertir les données RGB et les données de profondeur acquise par le biais de Libfreenect dans un format exploitable par KinFu LargeScale. Notre première approche à consister à substituer les images acquises par défaut dans KinFu LargeScale par les images obtenues avec Libfreenect. Cette technique demande de réaliser deux acquisitions de la même scène. Elle n est donc pas exploitable dans les conditions attendues d utilisation de KinFu. C est-àdire un utilisateur se déplaçant librement dans la scène, un tel parcours est impossible à reproduire deux fois de suite. Figure 13: Technique d acquisition utilisant Libfreenect dans le processus de création de scène texturé La méthode définie ci-dessus (figure 13) nous a permis d effectuer plusieurs acquisitions. Comme attendu, la désactivation de l auto-exposition permet d avoir des textures sans discontinuité de luminance (figure 14). 17

20 Figure 14: Scène texturée sans auto-exposition. Mise en évidence de la continuité en luminosité de la texture appliquée au modèle Nous avons par la suite amélioré la méthode d acquisition présentée plus haut dans cette sous-section afin de n avoir plus qu une seule étape d acquisition des données RGB et profondeur. Cette méthode est décrite dans le rapport technique. 3.2 Etude et amélioration du plaquage des textures Nous avons maintenant une texture continue en luminance sur notre modèle mais cela ne suffit pas car des défauts subsistent (figure 15). Afin de mieux les comprendre, nous avons traité deux hypothèses : comme une basse résolution de la matrice TSDF entraine une moins bonne conservation des angles et des coins des objets, cela pourrait provoquer le débordement des textures. Les imprécisions de l estimation de la pose entraine des défauts d alignement entre les textures et le maillage. Figure 15: Débordement de texture sur les objets voisins 18

21 3.2.1 Etude de l impact de la résolution de la matrice TSDF Contexte Notre première hypothèse a été que la trop basse résolution du modèle est en partie la cause des débordements de textures. En effet, la scène étant rendu avec un algorithme proche du «marching cube», les coins des objets sont arrondis. Nous avons donc supposé que l augmentation de la résolution de la matrice TSDF permettrait une meilleur conservation (par exemple, une erreur plus faible) des angles et donc pourrait permettre d éviter les débordements de texture. L exemple suivant (figure 16) montre l impact d une résolution faible du modèle et les déformations que cela entraine sur sa géométrie. Figure 16: Impact de la résolution de la matrice TSDF. Mise en évidence de la déformation du modèle après reconstruction Procédure Notre protocole a été de faire plusieurs reconstructions du modèle 3D en faisant varier la résolution de la matrice TSDF sur le même jeu de données. Nous avons pris trois résolutions de matrices pour le cube : 384, 256, 128 voxels par cotés. Les figures suivantes montrent l impact visuel sur le décalage de texture au niveau du clavier (figure 17) : 19

22 (a) Résolution de 128 voxels de côtés (b) Résolution de 256 voxels de côtés (c) Résolution de 384 voxels de côtés Figure 17: Impact de la résolution de la matrice TSDF sur une scène réelle Résultat Contrairement à nos attentes, l augmentation de la résolution de la matrice TSDF, entrainant une amélioration de la conservation des angles, ne semble pas résoudre le débordement des textures, ni même réduire ce problème. Nous aurions souhaité faire des tests avec des résolutions supérieures mais notre matériel (carte graphique) ne nous le permettait pas. A ce stade, nous ne pouvons pas conclure qu une matrice TSDF avec une résolution nettement supérieure aurait pu éviter ce genre de débordement Étude de la dérive de la pose estimée avec les scènes Blender Dans de nombreuses scènes reconstruites, nous constatons un décalage de textures dues à des erreurs d estimation de pose des caméras (figure 18). À chaque image RGB 20

23 acquise pour la texture, il est associé une pose caméra. C est une position relative à celle de départ. L estimation de pose est directement liée à l estimation ICP qui établit la correspondance spatiale d un nuage de points et un autre. Nous avons émis l hypothèse que l estimation de la pose (ICP) peut être faussée. Figure 18: Problèmes d alignement de texture dans une scène virtuelle sous Blender Contexte Nous avions alors besoin de vérifier comment se comporte l ICP en fonction des mouvements de la caméra et ainsi comparer la vraie valeur à celle trouvée par l ICP. Afin d avoir une maîtrise totale sur le mouvement de la caméra et le contenu de la scène, nous avons opté pour la réalisation d une scène sous Blender. En maîtrisant le mouvement de la caméra, nous connaissons à chaque instant la pose de la caméra. En maîtrisant la scène, nous nous assurons de son invariance dans le temps. Pour rappel, KinFu LargeScale est implémenté dans le cadre de la reconstruction rigide. L outil PCL pour capturer une scène est capable d interpréter en entrée des nuages de points. Nous utilisons en l occurrence une version spéciale de Blender appelée Blensor 1 capable d exporter un modèle au format PCD en simulant une Kinect c pour la caméra de la scène. La scène Blender provient du site thefree3dmodels.com (figure 19). Nous avons choisi cette scène en raison de sa topographie. Elle se constitue d un ensemble de parallélépipèdes imbriqués les uns sur les autres formant des cas simples pour l algorithme ICP. Par ailleurs, les motifs quadrillés caractéristiques des façades des immeubles nous permettent de visualiser facilement comment les textures sont appliquées. 1. http :// 21

24 Figure 19: Scène virtuelle sous Blender Procédure Nous avons placé dans la scène Blender une caméra. Elle est animée par une simple translation couplée à une rotation sur l axe Y. Nous avons également une autre caméra avec une seule translation et aucune rotation. Chaque instant, un nuage de points et une image RGB est généré. Les nuages de points sont ensuite envoyés dans notre outil de conversion (décrit dans le rapport technique) afin qu ils soient lisibles par PCL qui à son tour prend ces nuages en entrée pour former les maillages finaux. Le mouvement de la caméra démarre avec une légère accélération et finit une légère décélération afin de connaître également l influence de la vitesse dans la précision de l ICP. Résultats Visuellement, la reconstruction semble correcte. La silhouette de la ville est reconnaissable. Cependant, lors de l affichage de la texture, des problèmes apparaissent. Les textures sont déformées à certains endroits notamment lorsqu il s agit de coins concaves (figure 20). Cela est notamment dû à la perspective. Lorsque la texture est projetée, celle-ci est conforme à un point de vue mais pas à un autre. La projection des textures sont sensibles à la perspective. 22

25 (a) La texture aux coins de l immeuble sont corrects de ce point de vu. (b) Dans un autre point de vu, la texture n est plus correcte. Figure 20: Déformation de perspective Il y a également du débordement de texture (figure 21). Cela arrive à cause des contours de maillages. Quand la texture est projetée sur le maillage, chaque pixel peut être associé ou non à un triangle. Or sur un contour, un pixel est à la fois sur un maillage et autre. Cette erreur de précision fait que certaines surfaces ont la couleur de bordures d un autre maillage. Figure 21: Débordement de texture des contours d une maillage À certains endroits du maillage, il y a des coupures dans la texture. C est-à-dire qu une 23

26 texture ne recouvre pas totalement certaines surfaces (figure 18). Nous avons récupéré les valeurs de la pose caméra à chaque instant sous Blender (figure 22) et celle calculée par PCL. Nous avons pu établir des graphes pour constater la dérive de l estimation de pose. Plus la caméra se déplace et plus la dérive augmente (figure 24). Cette croissance est quasi-linéaire par rapport au mouvement de la caméra. Figure 22: Dérives de la pose caméra sur chacun des axes de translation dans le temps 24

27 Figure 23: Erreurs instantanées et distance entre l estimation et la réalité Figure 24: Scène virtuelle en bleue et le modèle reconstruit en rouge superposée. Cette capture d écran montre les bâtiments les plus éloignées de la première pose caméra. Dans la figure 25, nous pouvons voir en évidence deux pics sur la dérive en X et en Y. Ces pics interviennent exactement au déclenchement d un déplacement de l espace de travail de la matrice KinFu LargeScale. Ce phénomène n explique pas les coupures de textures car les cubes n intersectent pas avec ces coupures. En revanche, le graphe (figure 25) montre que plus la vitesse est grande, plus la dérive est importante. Nous rappelons que la caméra démarre avec une accélération progressive et s arrête avec une décélération progressive. La dérive se produit même sur les axes où il n y a aucun mouvement. 25

28 Figure 25: Erreur de la pose caméra sur chacun des axes pour une caméra ayant un mouvement de translation sur un seul axe (X) L ICP n est pas totalement précis cependant la plupart des textures sont présentes et recouvrent les surfaces auxquelles elles sont associées. Les problèmes liés à la perspectives ne sont pas dues à l ICP et nous avons vu que les problèmes de coupures n ont pas de lien avec l ICP non plus. Cependant nous avons démontré qu ICP entraine une dérive de l estimation ce qui entraine des déformations sur le maillage Amélioration de l algorithme de plaquage des textures Compte tenu de nos études, nous n avons pas réussi à déterminer un facteur qui entrainerait des problèmes de débordement ou de décalage dans les textures plaquées au modèle. Nous savons cependant que l estimation de pose dérive. Nous avons donc chercher à mettre en place un système de tri entre les images à plaquer pour chaque face du maillage. Le critère de tri devrait favoriser les images entrainant potentiellement le moins de débordement et de décalage. Ce risque peut être diminué en choisissant l image proposant l angle d incidence le plus droit pour une face donnée 26. La droite formée par le centre de la caméra et le barycentre de la face et la normale de cette face doivent être le plus aligné possible. 26

29 Figure 26: Impact de l erreur de pose sur le décalage de texture pour un pixel central. En noir : Pose réel de la caméra et plaquage de son pixel central. En rouge : Estimation de la pose faite par KinFu et plaquage de son pixel central. Pour une même erreur dans l estimation de pose, le décalage de texture est minimal lorsque la face texturée est face à la caméra (l erreur est inférieur sur la face (A) à l erreur sur la face (B)). Nous avons implémenté ce tri dans l outil de plaquage des textures de KinFu LargeScale. Nous avons fait en sorte que le critère soit facilement modifiable dans le code. 4 Résultat 4.1 Résultats et validations Comparaison de notre méthode de plaquage de texture avec celle de KinFu Comme nous l avons vu, l exposition est automatique dans le processus d acquisition des images au sein de l implémentation actuelle de KinFu. Nous avons choisi de supprimer l ajustement automatique du temps d exposition pour garantir la continuité en luminance des textures dans le modèle 3D final. Nous avons améliorer l algorithme de sélection de textures pour chacune des faces. Comme nous pouvons le voir dans la figure 14, les frontières visibles entre deux textures issues d images différentes sont correctement supprimées. 27

30 (a) texturation sans tri proposé par PCL (b) texturation avec un tri Figure 27: Les jeux de données utilisés sont strictement identiques Le critère mis en évidence dans la partie précédente (3.2.3) permet d avoir un résultat nettement plus précis. Lors de la reconstruction d une scène réelle, l amélioration est bien plus significative Les limites de notre méthode Problème de sur et sous-exposition L exposition étant constante au cours du temps, nous nous retrouvons avec des problèmes de surexpositions et de sous-exposition (figure 28) correspondant aux variations d intensité de lumière (par exemple la lumière du jour). Une piste a étudier pour palier à ce genre de problèmes serait de remettre l exposition automatique et de compenser les différences par un contrôle plus fins des paramètres de la caméra RGB et d y associer une méthode de mélange de texture [1]. 28

31 (a) Avant correction (b) Après correction Figure 28: Compensation des variations d expositions avec du multi-band blending, une méthode efficace de mélange d image Problème liés au critère de tri des images Le critère utilisé est trop simple et ne permet pas de prendre en compte correctement un maillage bruité ou une surface avec des angles doux. Il faudrait se baser sur la normale du triangle que nous voulons texturer et de la normale de ses voisins pour le calcul d incidence. Il faudrait également compléter ce critère avec d autre comme la distance entre la caméra et le triangle, éviter des images floutées ou avec de faibles contrastes, forcer des triangles voisins à avoir la même image de plaqué. Voir la présentation faite dans la LC3D 2012, par Hannemann et Brock Short Survey of Texturing Methods for Meshes and Large Sets of Registered Images Problème de «débordement continu» Le plaquage de texture de la scène virtuelle suivant notre méthode a permis de mettre en avant le fait que le débordement de texture était potentiellement présent sur tous les contours. Cela nous permet de mieux comprendre cerner les paramètres en cause dans ce problème. Nous pensons que le problème qu étant donné que les contours des objets sur les images RGB sont crénelés de par la nature même des images là ou un maillage contient des contours droits. Un sommet du maillage peut donc très bien être visible car juste à coté d un contour d un objet. Néanmoins, ses coordonées UV peuvent être dans un pixel où la couleur n est pas celle de l objet auquel le sommet appartient à cause des bordures crénelées des images RGB. 29

32 Figure 29: Le sommet de la face lointaine Nous proposons comme test à effectuer pour confirmer cette hypothèse la texturation d un maillage avec peu de faces et de le comparer avec des versions texturées du même maillage où chaque face seraient subdivisée plusieurs fois. Si notre hypothèse est vrai, l effet de débordement serait plus apparent 5 Conclusion 5.1 Rappel de la problématique La Kinect c a rendu la reconstruction 3D accessible. Des outils comme PCL, Libfreenect ou encore OpenNI permettent de faciliter l usage des dispositifs d acquisition servant à la reconstruction 3D. Cependant, le passage du monde physique au numérique introduit des erreurs. Des algorithmes permettent de les corriger mais il n existe aucune solution parfaite. Le modèle reconstruit n est pas conforme dans la forme (le maillage) et l apparence (la texture). Après lecture de la littérature et observation des démonstrations, nous nous sommes penchés sur les problèmes qui touchent les textures. Nous y trouvons des problèmes d alignement par rapport au maillage et de cohérence entre les textures. Notre objectif a donc été d étudier ces problèmes et de proposer une amélioration. 5.2 Récapitulation des contributions et des résultats Nous avons étudié les problèmes en essayant nous-même la librairie PCL. L autoexposition est responsable des discontinuités de luminance et de balance des blancs entre textures. En conservant les mêmes paramètres d acquisition, nous nous assurons d avoir une meilleure continuité de luminance. Cependant, certaines textures peuvent être surexposées ou sous-exposées. 30

33 L estimation de pose a été étudié dans une scène virtuelle et a permis de mettre en évidence sa dérive. Ceci a justifié la proposition d un algorithme de sélection de textures selon l angle formée par la normale de la face et la droite passant par le centre optique de la caméra et le barycentre de cette face. 5.3 Vers d autres solutions Nous avons également vu des solutions sur lesquelles nous aurions souhaitées approfondir davantage. Il s agit d une part de Kintinuous [6] qui se présente comme une version enrichie de KinFu LargeScale. Il dérive moins, il résiste mieux aux surfaces planes et il texture en temps réel. Il s agit aussi de RGB-D mapping [2] pour sa précision dans l estimation de la pose renforcée par la détection de fermeture de boucle. 31

34 Glossary PCL Point Cloud Library. Blender Application libre de modélisation et d animation 3D. caméra de profondeur Dispositif d acquisition de la profondeur sous forme d une matrice 2D. Les données de profondeur représentent la distance entre l optique et les surfaces dans la scéne. C est une combinaison entre des capacités matérielles (acqusition optique) et des capacités logicielles (déterminer les distnaces). Le produit est une carte de profondeur.. caméra RGB Dispositif d aquisition d image couleurs codant les couleurs dans l espace Rouge, Vert, Bleu. carte de profondeur Une carte de profondeur est une image qui contient des informations relatives à la distance des objets de la scène par rapport à la caméra.. coordonées UV Coordonées 2D d un point dans une texture.. ICP Iterative Closest Point. Kinect Fusion Algorithme proposé à l ISMAR 2011 par Microsoft Research [5] permettant la reconstruction temps réel d une scène via une Kinect c. KinFu Implémentation dans PCL de Kinect Fusion. KinFu LargeScale Extension de KinFu qui permet de gérer une scène plus grande et de plaquer les textures. Libfreenect Librairie open-source développée par la communauté OpenKinect afin de permettre des manipulations bas niveaux avec la Kinect c.. maillage Ensemble de sommets, arêtes et faces qui permettent de définir la forme d un ou plusieurs objet dans un espace â trois dimensions.. OpenNI Consortium chargé de promouvoir et standardiser les dispositifs, les librairies et les frameworks pour le développement d application à interactions dites «naturelles», c est-à-dire des interactions dont l utilisateur n a pas à utiliser explicitement un dispositif pour communiquer avec le système. La librairie OpenNI facilite la communication bas niveaux avec les dispositifs.. PNG (Portable Network Graphics) Format d image compressée sans perte. RANdom Sample And Concensus Algorithme extrayant une caractéristique parmi un ensemble de donnée éparse. Il supprime les données les plus éloignées de l ensemble (en anglais, outliers).. RGB images couleur définies par les composantes Rouge, Verte (Green en anglais) et Bleue. scanner 3D Dispositif d acquisition capable de capter les informations de surface d un volume et de reconstruire le modèle 3D complet de l objet scanné. Les scanners 3D actuels sont souvent des appareils lourds et coûteux.. 32

35 surfel Le surfel représente un ensemble de points. Il est déterminé par une taille, une orientation (de face), une taille et une couleur. C est une mesure de confiance qui augmente à mesure que le surfel est vu de différents points de vue.. temps de vol (Time-Of-Flight, TOF) Ensemble de méthodes qui permettent de mesurer le temps mis par un objet, particule ou onde pour atteindre une distance en traversant un milieu donnée. Ces méthodes peuvent être aussi utilisées pour mesurer la distance parcourue ou la vitesse acquise par l objet.. TSDF Truncated Signed Distance Function. voxel (volumetric pixel) L espace se définit comme une grille tridimenqionnelle et le voxel est une analogie du pixel de l espace bidimentionel. A l instar des pixels un voxel ne posséde pas de coordonnés dans l espace 3D. C est l encodage du fichier qui définit leur emplacement. Le voxel stocke un ensemble d informations (colorimétriques, voire temporelles, et facultativement, une taille relative à l unité utilisée ou d autres informations telles qu une matière).. Références [1] M. Brown and D.G. Lowe. Automatic panoramic image stitching using invariant features. International Journal of Computer Vision, 74(1) :59 73, [2] P. Henry, M. Krainin, E. Herbst, X. Ren, and D. Fox. Rgb-d mapping : Using kinectstyle depth cameras for dense 3d modeling of indoor environments. The International Journal of Robotics Research, 31(5) : , [3] S. Izadi, D. Kim, O. Hilliges, D. Molyneaux, R. Newcombe, P. Kohli, J. Shotton, S. Hodges, D. Freeman, A. Davison, et al. Kinectfusion : Real-time 3d reconstruction and interaction using a moving depth camera. In Proceedings of the 24th annual ACM symposium on User interface software and technology, pages ACM, [4] K. Khoshelham. Accuracy analysis of kinect depth data. In ISPRS workshop laser scanning, volume 38, page 1, [5] R.A. Newcombe, A.J. Davison, S. Izadi, P. Kohli, O. Hilliges, J. Shotton, D. Molyneaux, S. Hodges, D. Kim, and A. Fitzgibbon. Kinectfusion : Real-time dense surface mapping and tracking. In Mixed and Augmented Reality (ISMAR), th IEEE International Symposium on, pages IEEE, [6] T. Whelan, M. Kaess, M.F. Fallon, H. Johannsson, J.J. Leonard, and J.B. McDonald. Kintinuous : Spatially extended KinectFusion. In RSS Workshop on RGB-D : Advanced Reasoning with Depth Cameras, Sydney, Australia, Jul

36 Annexe 34