Reconnaissance de visages 2.5D par fusion des indices de texture et de profondeur ICI 12/12/12
2
Discrimination Invariance Expressions faciales Age Pose Eclairage 11/12/2012 3
Personne Inconnue Identité Système d identification 11/12/2012 4
Approche 2D Personne Inconnue Changement d éclairage Changement de pose Changement des expressions faciales Identité Système d identification 11/12/2012 5
Approche 3D Personne Inconnue Invariance au changement d éclairage Invariance au changement de la pose Précision très grande Identité Système d identification Sensibles aux expressions faciales, Matériel spécifique et onéreux (ex. scanners 3D) Temps d aquisition 11/12/2012 6
Approche de fusion 2D+3D (2,5D) Personne Inconnue Plus d information par rapport aux approches 2D Invariance au changement d éclairage et de pose Coût faible de traitement Identité Système d identification Moins de précision par rapport aux approches 3D 11/12/2012 7
Images couleur Détection du visage Image couleur Extraction de descripteurs Base de descripteurs 11/12/2012 8
Images couleur Détection du visage Image couleur Image couleur Extraction de descripteurs Base de descripteurs Descripteur d apparence Correspondance Décision 11/12/2012 9
Images de couleur + cartes de profondeur Détection du visage Image couleur+ carte de profondeur Image couleur Fusion Carte de profondeur Extraction de descripteurs Base de descripteurs Descripteur d apparence Correspondance Décision 11/12/2012 10
Images couleur+ cartes de profondeur Détection du visage Image couleur+ carte de profondeur Image couleur Carte de profondeur Extraction de descripteurs Extraction de descripteurs Fusion Base de descripteurs Descripteur d apparence Descripteur de forme Descripteurs de forme Correspondance Décision 11/12/2012 11
Images couleur + cartes de profondeur Détection du visage Image couleur+ carte de profondeur Image couleur Carte de profondeur Extraction de descripteurs Extraction de descripteurs Descripteurs d apparence Descripteur d apparence Descripteurs de forme Descripteur de forme Correspondance Correspondance Décision Fusion Décision Décision 11/12/2012 12
Images couleur + cartes de profondeur Détection du visage Image couleur+ carte de profondeur Image couleur Carte de profondeur Extraction de descripteurs Extraction de descripteurs Descripteurs d apparence Descripteur d apparence Descripteurs de forme Descripteur de forme Correspondance Correspondance Décision Décision 11/12/2012 13
Images couleur + cartes de profondeur Détection du visage Image couleur+ carte de profondeur Image couleur Carte de profondeur Extraction de descripteurs Extraction de descripteurs Descripteurs d apparence Descripteur d apparence Descripteurs de forme Descripteur de forme Correspondance Correspondance Décision Décision 11/12/2012 14
Images couleur + cartes de profondeur Détection du visage Image couleur+ carte de profondeur Image couleur Carte de profondeur Extraction de descripteurs Extraction de descripteurs Descripteurs d apparence Descripteur d apparence Descripteurs de forme Descripteur de forme Correspondance Correspondance Décision Décision 11/12/2012 15
Directe Capteur Infrarouge (Kinect de Microsoft) Time-Of-Flight etc Indirecte Capteur stéréoscopique (Reconstruction stéréoscopique) 16
Directe Capteur Infrarouge (Kinect de Microsoft) Time-Of-Flight etc Indirecte Capteur stéréoscopique (Reconstruction stéréoscopique) 17
Calculer la profondeur des points constituant une scène à partir de deux ou plusieurs images 2D obtenues de points de vues différents Mise en correspondance 18
Décalage d un pixel entre les deux images 19
Méthodes locales Corrélation (Block matching) [Zabih et al. 1994] Rapide Sensible au bruit et aux zones homogènes Méthodes globales Coupe de graphe (Graph-cut) [Kolmogorov et al. 2003] Précises Temps de calcul très élevé Segmentation 20
Problème Problème d'ouverture (Aperture problem) les régions homogènes 21
Idée principale : Incorporer des informations sur le visage dans le processus de la reconstruction pour obtenir les caractéristiques désirées. 22
23
x d(disparité) Dminp : disparité du plan Pn Dmaxp : disparité du plan Pn+1 y Application de la méthode «Block matching» Intervalles de disparité pour chaque plan Mesure de similarité SAD (Some of Absolute Differences) 24
Matrice de dissimilarité Valeurs de la matrice: ICP (Iterative Closest Point) 50 points, 100 itérations 25
Textures + cartes de profondeur Détection du visage Requête : Texture + carte de profondeur Image d apparence Carte de profondeur Extraction de descripteurs Extraction de descripteurs Descripteurs d apparence Descripteur d apparence Descripteurs de forme Descripteur de forme Correspondance Correspondance Décision Décision 11/12/2012 26
Descripteur 3D Forme des courbes faciales [Drira et al. 2010] Les régions concaves et convexes [Berretti et al. 2006] etc Descripteur 2D Gabor [Jahanbin et al. 2011] Local Binary Pattern (LBP) [Huang et al. 2010] 27
Descripteur 3D Forme des courbes faciales [Drira et al. 2010] Les régions concaves et convexs [Berretti et al. 2006] etc Descripteur 2D Gabor [Jahanbin et al. 2011] Local Binary Pattern (LBP)[Huang et al. 2010] 28
Principe Seuillage Multiplication Formes 3D détectées par LBP(8,1) 29
Utilisation de LBP [Stan et al. 2005] 3D LBP [Wang et al. 2006] [Hang et al 2010,2011] Codage d un pixel en 4 codes: 1 Code LBP 3 Codes de la différence du voisinage Meilleure description des formes Limitation à un petit rayon Non invariance à l echelle Image 3D de bonne qualité 30
Deux étapes : Normalisation des différences : moyenne des différences en valeur absolue : écart-type. I pertinence ( ) ( ) Normalisation des différence partinente à l intervalle [0, ] log( I pertinence Codage de chaque pixel en codes log( 2) ) 1 log( I pertinence ) log( 2) R= 4 [8,15] -10 +1 +8-11 -12-13 -14-7 Code LBP 0 1 1 0 0 0 0 0 2 0 0 3 4 5 6 0 Codes magnitude 0 0 0 0 1 1 1 0 1 0 0 1 0 0 1 0 0 0 0 1 0 1 0 0 31
B1 B2 Cartes de profondeurs estimées avec notre méthode de reconstruction 20 personnes, 216 carte de profondeur Cartes de profondeurs obtenues par kinect 48 personnes, 624 carte de profondeur Taux de reconnaissance (%) 100 Taux de reconnaissance (%) 100 95 95 90 LBP 90 lbp 85 3DLBP 85 3DLBP 80 Extended-3DLBP 80 Extended-3DLBP 75 75 70 1 2 3 4 5 6 7 8 R (Rayon) 70 1 2 3 4 5 6 7 8 R (Rayon) 32
Contributions: Nouvelle méthode d estimation de la profondeur Intégration des informations de forme du visage dans le processus d estimation. Bonne estimation de l information de profondeur Rapidité Sensibilité aux occlusion et au grand changement de la pose Nouveau descripteur de profondeur Basé sur le principe de LBP Simple et rapide 33
Perspectives Utilisation de modèles de forme plus puissants pour la reconstruction Modèles actifs d apparence (AAM) Modèles actifs d apparence 3D AAM partiel Proposition d un modèle de fusion couleur+profondeur 34
Vuong Le, Hao Tang, Liangliang Cao, and T.S. Huang, Accurate and efficient reconstruction of 3d faces from stereo images. (ICIP), Unsang Park and Anil K. Jain, 3d face reconstruc-tion from stereo video, in Computer and Robot Vision, 2006. The 3rd Canadian Conference on, p. 41. R. Lengagne, P. Fua, and O. Monga, 3d stereo re-construction of human faces driven by differential con-straints, Image and Vision Computing, vol. 18, no. 4, pp. 337 343, 2000. Wu, X.; Dai, C. & Liu, J. A novel approach for face recognition based on stereo image processing algorithm Audio, Language and Image Processing, 2008. ICALIP 2008. International Conference on, 2008, Chow, C. & Yuen, S. Recovering shape by shading and stereo under Lambertian shading model International journal of computer vision, Springer, 2009, 85, 58-100 S. Milborrow and F. Nicolls, Locating facial fea-tures with an extended active shape model, Computer Vision ECCV 2008, pp. 504 513, 2008 S. Gupta, K.R. Castleman, M.K. Markey, and A.C. Bovik, Texas 3d face recognition database, in Image Analysis & Interpreta tion (SSIAI), 2010 IEEE Southwest Symposium on. IEEE, 2010. Zabih, R. & Woodfill, J. Non-parametric local transforms for computing visual correspondence. Computer Vision ECCV'94, Springer, 1994, 151-158 Kolmogorov, V. & Zabih, R. Multi-camera Scene Reconstruction via Graph Cuts. ECCV 2003. 35
Cartes de profondeur estimées vs. Vérité de terrain Base de donnée : Obtenue de "Texas 3D database" [Gupta et al. 2010]. Baseline: 16 cm Model 3D Méthode proposée Coupure de graph Block matching 36
Cartes de profondeur estimées vs. Vérité de terrain Base de donnée : Obtenue de "Texas 3D database" [Gupta et al. 2010]. Baseline: 16 cm Model 3D Méthode proposée Coupure de graph Block matching RMS (root-mean-squared) error PBM (Percentage of Bad Matching pixels) 37
Les modèles 3D morphables [Vuong et al. 2010], [Unsang et al. 2006] Temps de calcul très élevé Annotation manuelle Trop de ressemblance au modèle morphable 38