Synthèse sur les segmentations testées 2D et 3D Dernière mise à jour : avril 2011

Transcription

1 Projet Biométrie 3D Synthèse sur les segmentations testées 2D et 3D Dernière mise à jour : avril 2011 Département : TIC Mots clés : Biométrie, Analyse d images, Vision, Caméra thermique, Caméra temps de vol, Détection de personnes, Reconnaissance de visages, Fusion de données, multimodalité Date : Septembre 2009 Septembre 2010 Chefs de projet : Houda Chabbi Drissi, EIA FR François Tièche, ARC Auteur : Houda Chabbi Drissi Houda Chabbi Drissi TIC 1/13

2 Houda Chabbi Drissi TIC 2/13

3 Sommaire 1. Avant propos Introduction Développement d un outil de snake Etude de la librairie Luxand appliquée aux images de la 2D et 3D Etude de l utilisation des points SIFTs SIFT sur les images à niveau de gris SIFT sur les images couleurs Etude de l application de la librairie VTK sur les images TOF Conclusion de notre étude : Bibliographie Houda Chabbi Drissi TIC 3/13

4 1. Avant propos Rappelons le contexte de l application globale du projet thermobio: Le présent rapport synthétise les travaux effectués autour des algorithmes de segmentations appliquées aux images Visuelles et 3D. Houda Chabbi Drissi TIC 4/13

5 2. Introduction Le présent document présente les résultats des différentes études menées autour de la segmentation des images couleurs délivrées par la caméra couleur et des images de profondeurs délivrés par la TOF décrite dans [6]. La segmentation a pour but d extraire les informations pertinentes pour la phase d identification. Plusieurs librairies et algorithmes ont été étudiés. Ce document retrace le travail accompli ainsi que la démarche et les choix opérés durant le projet. Nous pouvons retrouver dans ce document les points importants suivants : L algorithme du snake La librairie Luxand L algorithme SIFT La librairie VTK Houda Chabbi Drissi TIC 5/13

6 3. Développement d un outil de snake Le but ici est de décomposer intelligemment une image afin d en extraire les parties importantes pour la reconnaissance de visage. Ainsi Affiner la détection des parties de visages Permet de nettoyer l image J. Gilgen a adapté un outil préexistant[?] pour nos besoin dans ce projet et qui permet d avoir des résultats probants : Houda Chabbi Drissi TIC 6/13

7 4. Etude de la librairie Luxand appliquée aux images de la 2D et 3D L étude de la librairie Luxand[2] est décrite dans un autre document : «Luxand Specification» écrit par J. Gilgen [3] et est fournie avec les délivrables de ce projet. Dans l illustration ci dessous, nous montrons juste les résultats concluants de l utilisation de cette librairie aussi bien sur les images couleurs que l image à niveau de gris délivré par la caméra TOF. Houda Chabbi Drissi TIC 7/13

8 5. Etude de l utilisation des points SIFTs SIFT (Scale invariant feature transform ) est un algorithme développé par David Lowe[4], qui permet de sortir un ensemble de points caractéristiques sur une image à niveau de gris aux quels sont associés des vecteurs descripteurs. Ces vecteurs contiennent des valeurs qui sont caractéristiques des points qui sont reconnus être assez stable à l orientation et échelle d un objet. L illustration cidessous montre les points SIFT sur une: Image complète 2D Image partitionnée depuis le module de découpe Nous avons pensé utiliser ces points afin d identifier les personnes. Pour ce faire, nous avons étudié leur utilisation sur les différentes images dont nous disposons : images à niveau de gris de la TOF et de la visuelle et l image couleur. 5.1 SIFT sur les images à niveau de gris Les tests ont été menés sur les images à niveau de gris obtenu à partir des images couleurs. L algorithme de segmentation matching a été appliqué à des images complètes et des images «nettoyées» grâce à l utilisation de l algorithme du snake. Les illustrations suivantes montrent les résultats obtenus: Houda Chabbi Drissi TIC 8/13

9 Houda Chabbi Drissi TIC 9/13

10 Les Résultats sont concluants: en effet Le plus haut taux est l image correspondante et le second plus haut taux est éloigné Meilleurs résultats lorsque le visage est nettoyé Uniquement le visage ++ Yeux nez bouche menton ++ Peu réactif aux conditions d acquisition Luminosité Réactif aux changements d angles Trouve une correspondance pour un même angle. Solution : Prendre la personne sous plusieurs angles Contrôler la prise de vue des images des personnes grâce à la TOF. 5.2 SIFT sur les images couleurs Les tests ont été menés sur la composante couleur des images couleurs. Résultat non concluant: Trop réactifs aux conditions d acquisition Réaction destructive lors de luminosité différentes Matching pas optimale Houda Chabbi Drissi TIC 10/13

11 6. Etude de l application de la librairie VTK sur les images TOF Afin de profiter de la donnée 3D, l idée à consister à étudier l application de segmentation purement 3D aux images de profondeurs. Mais, l utilisation des outils de segmentation dédiés 3D de la librairie VTK[5] à donner des résultats désastreux dues au bruit qui affecte les données délivrées par la TOF. L illustration ci dessous[1], montre le bruit qui entachent les points obtenus par la caméras. De ce fait la construction de «mesh» par exemple donne une surface trop bruitées pour espérer faire des mesures directement sur les coubures 3D etc. L illustration ci dessous montre le bruit qui entachent les images 3D obtenues par la TOF. L image en 3D est censée représenter des points de l échiquier qui appartiennent en fait tous à un plan! Houda Chabbi Drissi TIC 11/13

12 7. Conclusion de notre étude : Les résultats positifs de cette étude sont les suivants L outil snake est très pratique pour éliminer les zones perturbatrices sur nos images. Luxand est une librairie qui fonctionne très bien. Elle nous est primordiale dans notre partie de projet et est intensivement utilisée. L utilisation de «SIFT niveau de gris» sur les images de visages «nettoyés» est une bonne approche. Les résultats négatifs de cette étude sont les suivants L utilisation de «SIFT couleur» est abandonnée. L utilisation de la librairie VTK pour la segmentation des images 3D de la TOF est abandonnée. Autre réflexion important : le meilleur moyen de garantir les résultats reste une prise de vue contrôlée de la pose des personnes. (même conclusion que celle du rapport sur l approche PCA!) Houda Chabbi Drissi TIC 12/13

13 8. Bibliographie [1] O.Price, "ICP dans VTK" Projet de Bachelor juillet [2] FaceSDK Luxand. [Online]. [3] J. Gilgen, "Spécification de Luxand," [4] David G. Lowe, «Distinctive Image Features from Scale Invariant Keypoints», dans International Journal of Computer Vision, vol. 60, n o 2, 2004, p [5] The Visualization ToolKit (VTK), [6] J. Gilgen, "Spécification de la caméra SR4000," Houda Chabbi Drissi TIC 13/13