Reconnaissance de visages 2.5D par fusion des indices de texture et de profondeur ICI 12/12/12

Dimension: px

Commencer à balayer dès la page:

Download "Reconnaissance de visages 2.5D par fusion des indices de texture et de profondeur ICI 12/12/12"

Sévérine Clément
il y a 8 ans
Total affichages :

1 Reconnaissance de visages 2.5D par fusion des indices de texture et de profondeur ICI 12/12/12

2 2

3 Discrimination Invariance Expressions faciales Age Pose Eclairage 11/12/2012 3

4 Personne Inconnue Identité Système d identification 11/12/2012 4

5 Approche 2D Personne Inconnue Changement d éclairage Changement de pose Changement des expressions faciales Identité Système d identification 11/12/2012 5

6 Approche 3D Personne Inconnue Invariance au changement d éclairage Invariance au changement de la pose Précision très grande Identité Système d identification Sensibles aux expressions faciales, Matériel spécifique et onéreux (ex. scanners 3D) Temps d aquisition 11/12/2012 6

Système d identification Sensibles aux expressions faciales,

7 Approche de fusion 2D+3D (2,5D) Personne Inconnue Plus d information par rapport aux approches 2D Invariance au changement d éclairage et de pose Coût faible de traitement Identité Système d identification Moins de précision par rapport aux approches 3D 11/12/2012 7

d éclairage et de pose Coût faible de traitement Identité Système

8 Images couleur Détection du visage Image couleur Extraction de descripteurs Base de descripteurs 11/12/2012 8

9 Images couleur Détection du visage Image couleur Image couleur Extraction de descripteurs Base de descripteurs Descripteur d apparence Correspondance Décision 11/12/2012 9

10 Images de couleur + cartes de profondeur Détection du visage Image couleur+ carte de profondeur Image couleur Fusion Carte de profondeur Extraction de descripteurs Base de descripteurs Descripteur d apparence Correspondance Décision 11/12/

de profondeur Extraction de descripteurs Base de descripteurs

11 Images couleur+ cartes de profondeur Détection du visage Image couleur+ carte de profondeur Image couleur Carte de profondeur Extraction de descripteurs Extraction de descripteurs Fusion Base de descripteurs Descripteur d apparence Descripteur de forme Descripteurs de forme Correspondance Décision 11/12/

Extraction de descripteurs Fusion Base de descripteurs Descripteur d

12 Images couleur + cartes de profondeur Détection du visage Image couleur+ carte de profondeur Image couleur Carte de profondeur Extraction de descripteurs Extraction de descripteurs Descripteurs d apparence Descripteur d apparence Descripteurs de forme Descripteur de forme Correspondance Correspondance Décision Fusion Décision Décision 11/12/

descripteurs Descripteurs d apparence Descripteur d apparence Descripteurs de forme

13 Images couleur + cartes de profondeur Détection du visage Image couleur+ carte de profondeur Image couleur Carte de profondeur Extraction de descripteurs Extraction de descripteurs Descripteurs d apparence Descripteur d apparence Descripteurs de forme Descripteur de forme Correspondance Correspondance Décision Décision 11/12/

de descripteurs Descripteurs d apparence Descripteur d apparence Descripteurs de

14 Images couleur + cartes de profondeur Détection du visage Image couleur+ carte de profondeur Image couleur Carte de profondeur Extraction de descripteurs Extraction de descripteurs Descripteurs d apparence Descripteur d apparence Descripteurs de forme Descripteur de forme Correspondance Correspondance Décision Décision 11/12/

15 Images couleur + cartes de profondeur Détection du visage Image couleur+ carte de profondeur Image couleur Carte de profondeur Extraction de descripteurs Extraction de descripteurs Descripteurs d apparence Descripteur d apparence Descripteurs de forme Descripteur de forme Correspondance Correspondance Décision Décision 11/12/

16 Directe Capteur Infrarouge (Kinect de Microsoft) Time-Of-Flight etc Indirecte Capteur stéréoscopique (Reconstruction stéréoscopique) 16

17 Directe Capteur Infrarouge (Kinect de Microsoft) Time-Of-Flight etc Indirecte Capteur stéréoscopique (Reconstruction stéréoscopique) 17

18 Calculer la profondeur des points constituant une scène à partir de deux ou plusieurs images 2D obtenues de points de vues différents Mise en correspondance 18

19 Décalage d un pixel entre les deux images 19

20 Méthodes locales Corrélation (Block matching) [Zabih et al. 1994] Rapide Sensible au bruit et aux zones homogènes Méthodes globales Coupe de graphe (Graph-cut) [Kolmogorov et al. 2003] Précises Temps de calcul très élevé Segmentation 20

Méthodes globales Coupe de graphe (Graph-cut) [Kolmogorov

21 Problème Problème d'ouverture (Aperture problem) les régions homogènes 21

22 Idée principale : Incorporer des informations sur le visage dans le processus de la reconstruction pour obtenir les caractéristiques désirées. 22

23 23

24 x d(disparité) Dminp : disparité du plan Pn Dmaxp : disparité du plan Pn+1 y Application de la méthode «Block matching» Intervalles de disparité pour chaque plan Mesure de similarité SAD (Some of Absolute Differences) 24

25 Matrice de dissimilarité Valeurs de la matrice: ICP (Iterative Closest Point) 50 points, 100 itérations 25

Textures + cartes de profondeur Détection du visage Requête : Texture + carte de profondeur Image d apparence Carte de profondeur Extraction de descripteurs Extraction

26 Textures + cartes de profondeur Détection du visage Requête : Texture + carte de profondeur Image d apparence Carte de profondeur Extraction de descripteurs Extraction de descripteurs Descripteurs d apparence Descripteur d apparence Descripteurs de forme Descripteur de forme Correspondance Correspondance Décision Décision 11/12/

27 Descripteur 3D Forme des courbes faciales [Drira et al. 2010] Les régions concaves et convexes [Berretti et al. 2006] etc Descripteur 2D Gabor [Jahanbin et al. 2011] Local Binary Pattern (LBP) [Huang et al. 2010] 27

28 Descripteur 3D Forme des courbes faciales [Drira et al. 2010] Les régions concaves et convexs [Berretti et al. 2006] etc Descripteur 2D Gabor [Jahanbin et al. 2011] Local Binary Pattern (LBP)[Huang et al. 2010] 28

29 Principe Seuillage Multiplication Formes 3D détectées par LBP(8,1) 29

30 Utilisation de LBP [Stan et al. 2005] 3D LBP [Wang et al. 2006] [Hang et al 2010,2011] Codage d un pixel en 4 codes: 1 Code LBP 3 Codes de la différence du voisinage Meilleure description des formes Limitation à un petit rayon Non invariance à l echelle Image 3D de bonne qualité 30

31 Deux étapes : Normalisation des différences : moyenne des différences en valeur absolue : écart-type. I pertinence ( ) ( ) Normalisation des différence partinente à l intervalle [0, ] log( I pertinence Codage de chaque pixel en codes log( 2) ) 1 log( I pertinence ) log( 2) R= 4 [8,15] Code LBP Codes magnitude

32 B1 B2 Cartes de profondeurs estimées avec notre méthode de reconstruction 20 personnes, 216 carte de profondeur Cartes de profondeurs obtenues par kinect 48 personnes, 624 carte de profondeur Taux de reconnaissance (%) 100 Taux de reconnaissance (%) LBP 90 lbp 85 3DLBP 85 3DLBP 80 Extended-3DLBP 80 Extended-3DLBP R (Rayon) R (Rayon) 32

33 Contributions: Nouvelle méthode d estimation de la profondeur Intégration des informations de forme du visage dans le processus d estimation. Bonne estimation de l information de profondeur Rapidité Sensibilité aux occlusion et au grand changement de la pose Nouveau descripteur de profondeur Basé sur le principe de LBP Simple et rapide 33

34 Perspectives Utilisation de modèles de forme plus puissants pour la reconstruction Modèles actifs d apparence (AAM) Modèles actifs d apparence 3D AAM partiel Proposition d un modèle de fusion couleur+profondeur 34

35 Vuong Le, Hao Tang, Liangliang Cao, and T.S. Huang, Accurate and efficient reconstruction of 3d faces from stereo images. (ICIP), Unsang Park and Anil K. Jain, 3d face reconstruc-tion from stereo video, in Computer and Robot Vision, The 3rd Canadian Conference on, p. 41. R. Lengagne, P. Fua, and O. Monga, 3d stereo re-construction of human faces driven by differential con-straints, Image and Vision Computing, vol. 18, no. 4, pp , Wu, X.; Dai, C. & Liu, J. A novel approach for face recognition based on stereo image processing algorithm Audio, Language and Image Processing, ICALIP International Conference on, 2008, Chow, C. & Yuen, S. Recovering shape by shading and stereo under Lambertian shading model International journal of computer vision, Springer, 2009, 85, S. Milborrow and F. Nicolls, Locating facial fea-tures with an extended active shape model, Computer Vision ECCV 2008, pp , 2008 S. Gupta, K.R. Castleman, M.K. Markey, and A.C. Bovik, Texas 3d face recognition database, in Image Analysis & Interpreta tion (SSIAI), 2010 IEEE Southwest Symposium on. IEEE, Zabih, R. & Woodfill, J. Non-parametric local transforms for computing visual correspondence. Computer Vision ECCV'94, Springer, 1994, Kolmogorov, V. & Zabih, R. Multi-camera Scene Reconstruction via Graph Cuts. ECCV

36 Cartes de profondeur estimées vs. Vérité de terrain Base de donnée : Obtenue de "Texas 3D database" [Gupta et al. 2010]. Baseline: 16 cm Model 3D Méthode proposée Coupure de graph Block matching 36

37 Cartes de profondeur estimées vs. Vérité de terrain Base de donnée : Obtenue de "Texas 3D database" [Gupta et al. 2010]. Baseline: 16 cm Model 3D Méthode proposée Coupure de graph Block matching RMS (root-mean-squared) error PBM (Percentage of Bad Matching pixels) 37

38 Les modèles 3D morphables [Vuong et al. 2010], [Unsang et al. 2006] Temps de calcul très élevé Annotation manuelle Trop de ressemblance au modèle morphable 38

Documents pareils

R-ICP : une nouvelle approche d appariement 3D orientée régions pour la reconnaissance faciale

R-ICP : une nouvelle approche d appariement 3D orientée régions pour la reconnaissance faciale Boulbaba BEN AMOR, Karima OUJI, Mohsen ARDABILIAN, et Liming CHEN Laboratoire d InfoRmatique en Images et