MOTS-CLÉS : images multispectrales, reconnaissance de visages, biométrie multimodale.

Transcription

1 Etude prospective d'un système d'acquisition d'images multispectrales (visible, proche infrarouge et thermique infrarouge) pour la reconnaissance de visages Eric Perrin* et Valeriu Vrabie** IUT de Reims-Chalons-Charleville Université de Reims Champagne Ardenne * Département Génie Industriel et Maintenance ** Département Réseaux et Télécoms Chaussée du port, B.P. 541, Châlons-en-Champagne CEDEX eric.perrin@.univ-reims.fr ; valeriu.vrabie@univ-reims.fr Sections de rattachement : 61 Secteur : Secondaire RÉSUMÉ. Dans le cadre de nos travaux de recherche sur l identification biométrique multimodale, travaux initiés depuis un an par la nouvelle Antenne de Châlons-en-Champagne du CReSTIC, nous nous intéressons à une étude prospective sur la reconnaissance du visage dans les domaines : visible, proche IR et IR thermique. Cette communication a pour but de décrire, d un part, le système d acquisition multispectral développé dans nos locaux ainsi que le protocole d acquisition associé. D autre part, cette communication présente les résultats obtenus par de techniques classiques telles que la PCA et la LDA sur les trois bandes spectrales considérées séparément. Ces résultats nous permettront à envisager de développer des techniques de fusion d informations dans le but de réduire les faux rejets MOTS-CLÉS : images multispectrales, reconnaissance de visages, biométrie multimodale. 1. Introduction La reconnaissance de visages est un domaine de recherche important qui a beaucoup retenu l attention de chercheurs ces dernières années [1,2] et qui a de nombreuses applications commerciales en sécurité (reconnaissance d identité), en indexation de contenu, etc. De plus, l augmentation des performances par rapport à la diminution des prix des outils informatiques couplées aux récentes diminutions des coûts d acquisition 1

2 d images impliquent que les techniques développées puissent être déployées dans des ordinateurs de bureau et des systèmes embarqués [3]. Une première étape de tout système de traitement de visage est de détecter la présence ou l'absence de ceux-ci dans l'image. Cette tache est cependant difficile en raison de la variabilité d échelle, d emplacement, d orientation (haut-bas, gauchedroite), de la pose (frontal, profil), etc. De plus, l expression du visage, l occlusion, les conditions d éclairage et de l environnement changent également l apparence générale du visage et donnent une complexité élevée aux données acquises [4]. Pour parvenir à des résultats fiables, ces derniers facteurs doivent être réduits au minimum. Aujourd'hui, la plupart des systèmes actuels de reconnaissance des visages sont basées sur des images acquises dans le spectre visible. Dans une étude approfondie de l influence des changements d illumination sur la reconnaissance des visages, plusieurs mesures de distances et plusieurs operateurs locaux, considérés comme relativement insensibles aux changements d illumination pour la reconnaissance du visage, ont été étudiées [5]. Parmi les conclusions apportées par cette étude, nous énumérons : 1) les conditions d éclairage, et en particulier la lumière d angle change radicalement l apparence d un visage ; 2) lorsque l on compare des images brutes, les changements entre les images d une même personne sous différentes conditions d éclairage sont plus importants que celles entre les images de deux personnes sous le même éclairage ; 3) tous les filtres étudiés sont insuffisants pour surmonter les variations dues aux changements d illumination. Deux familles de solutions sont envisageables pour ce problème. La première consiste à utiliser de algorithmes non-linéaires puissants (comme par exemple les algorithmes de type Convolutional Finder (CFF) [6]) qui prennent en compte les variations de luminosité. La deuxième solution est d utiliser une illumination invariante afin de pouvoir utiliser des algorithmes de reconnaissance classiques. Pour y parvenir, Li et al. [7] ont proposé un système d illumination active en proche infrarouge (Near InfraRed NIR) en illuminant de face, dans la direction d acquisition, les visages à acquérir. Cette approche permet de réduire également les effets de la lumière visible sur les images enregistrées. Parmi les méthodes testées, les auteurs ont utilisé des algorithmes classiques de type analyse en composantes principales (Principal Component Analysis PCA) et analyse linéaire discriminante (Linear Discriminant Analysis LDA) ainsi qu un algorithme basé sur l extraction des caractéristiques locales binaires (Local Binary Pattern LBP). Un autre système proposé récemment par Buddharaju et al. [8] utilise quant à lui les acquisitions en infrarouge (IR) mais dans la bande spectrale de 3-5 µm, dite bande IR thermique (Thermal IR ThIR). La différence majeure par rapport à l acquisition NIR réside dans le fait qu elle utilise l émissivité du visage plutôt que sa réflectivité, ce qui permet d éliminer complètement le problème d illumination des visages. Les auteurs ont démontré que les points caractéristiques extraits à partir d images ThIR par des techniques de morphologie mathématique de type «white top hat» permettent de modéliser le réseau sanguin du visage et définissent des minuties propres à chaque visage. Comme algorithmes, Buddharaju et al. ont adopté 2

3 un système classique de type Support Vector Machine (SVM) fonctionnant sur des composantes principales extraites par une PCA [9] afin d estimer la pose de chaque vissage suivi d un algorithme de reconnaissance utilisé dans le cas des empreintes digitales de type «hybrid minutiae-matching». 2. Le système d'acquisition Le système d'acquisition est composé de deux Webcam USB Labtec pro (modèle grand public) ayant une résolution maximale de 1280x960 pixels et d'une caméra thermographique infrarouge Thermacam série P (série E sur la figure 1) commercialisées par Flir. Les deux Webcam on été fixées sur un support en aluminium spécialement usiné pour pouvoir être fixé, ajusté en hauteur et en profondeur sur le pied supportant la caméra thermographique (figure 1). Figure 1. Le système d'acquisition. A gauche, vue du dispositif d'acquisition, à droite, plan de prise de clichés. Un spot composé d'une cinquantaine de LED infrarouge fixé sur un pied amovible et ajustable vient compléter l'ensemble du système. Un panneau en carton dans lequel ont été placé 7 LED émettant dans le visible, l'infrarouge et le thermique a été utilisé comme fond de prise de clichés pour notre campagne de mesures. Ces LED se sont avérées très utiles pour la phase de pré traitement des images. Pour la réalisation de notre système d'acquisition, nos deux Webcam ont du subir quelques modifications. En effet, la plupart des Webcam en vente dans le commerce possèdent un capteur CCD sensible aux longueurs d'ondes allant de 400 à 1100 nm et sont donc en mesure de fonctionner aussi bien dans le domaine du visible que dans celui de l'infrarouge. Afin de limiter leur utilisation aux longueurs d'ondes visibles, celles-ci sont généralement vendues avec un filtre infrarouge intégré qui assure une restitution correcte des composantes RVB quelques soient les conditions d'utilisation. Ces filtres sont en générale de piètre qualité, c'est la raison pour laquelle nous avons procédé à leur extraction. 3

4 Afin de garantir des acquisitions de très bonne qualité sur chacune de ces Webcam, nous les avons équipés de filtres utilisés couramment en astronomie, chacun de ces deux filtres ont une excellente sélectivité spectrale (figure 2). Ces deux filtres sont fournis par Astronomik. Le premier de référence IR cut-off (figure 2 a) assure une transmission de plus de 97% dans le domaine du visible allant de 400 nm à 685 nm. Le second (figure 2b) de référence Planet IR pro 742 assure une transmission voisine de 98% de l'image «proche Infrarouge» comprise entre 720 nm et 1100 nm. 2 a 2 b Figure 2. Réponse de chacun des deux filtres en fonction de la longueur d'onde La caméra Thermographique est quand à elle sensible à la gamme de longueurs d'ondes allant de 7,5µm à 13µm. Cette caméra ne prend en compte que l'émissivité, les images acquises représentent une cartographie de températures. Le taux d'émissivité a été réglé à 0,92 (valeur communément admise pour la peau) et le taux d'humidité à 50%. L'ensemble a été placé à une distance de 1,5 m du panneau de prise de clichés. L'ensemble formé par les 3 caméras nous permet d'avoir une information d'un même visage dans les 3 longueurs d'ondes différentes (figure 3). 0.4 µm 0.7 µm 1.1 µm 7.5 µm 13 µm Webcam1 Webcam2 Camera thermographique Visible Proche Infrarouge Infrarouge Figure 3. Spectre observé. 3. Le protocole d'acquisition Les deux Webcam sont reliées à deux pc portables sur lesquels ont été installés le même logiciel d'acquisition d'images. Les images Thermographiques sont quand à elle enregistrées directement sur une carte SIM intégrée à la caméra. Pour chaque personne, nous avons procédé à l'enregistrement de 5 photos, 3 de face (), 1 profil gauche (ProG) et le dernière profil droit (ProD) et ce pour chaque domaine spectral (Visible, Proche infrarouge, Themographique Infrarouge) (figure 4). 4

5 ProD ProG Visible Proche infrarouge Thermique infrarouge Figure 4. Exemple d'acquisitions (5 vues différentes dans les 3 gammes spectrales) fichiers bruts. 4. Le prétraitement des données Les deux Webcam et la camera thermographique n'ont pas des focales identiques, de plus leurs placement sur le support induit une correction latérale dans la prise de vue. C'est la raison pour laquelle nous avons placé un panneau comportant un ensemble de diodes facilement détectables par l'ensemble des caméras composant le dispositif (points blancs sur la figure 4). ProD ProG Visible Proche infrarouge Thermique infrarouge Figure 5. Exemple d'acquisitions (5 vues différentes dans les 3 gammes spectrales). Images après prétraitement. 5

6 Nous avons découpé, recentré et introduit une correction d'échelle afin d'obtenir des images de dimensions compatibles. Les images visibles de type RVB ont été réenregistrés en niveau de gris pour un traitement plus aisé. Les images ont été redimensionnées au format pixels (figure 5). 5. Application de méthodes holistiques pour la reconnaissance de visages Pour valider notre système d'acquisition, nous avons décidé d'employer deux méthodes de reconnaissance holistiques largement répandues en reconnaissance de visages : la PCA et la LDA. La PCA consiste à exprimer chacune de nos 3 gammes spectrales (composée de 215 images) suivant une base de vecteurs orthogonaux qui correspondent aux vecteurs propres de la matrice de covariance formée à partir des différentes images ayant été utilisées pour l'apprentissage. La projection de chaque nouvelle image sur cette base nous permet de calculer des distances par rapport à l'ensemble des images ayant servies à l'apprentissage. La LDA est une variante de la PCA dont le but est de réaliser une séparation de classes selon un critère mathématique qui minimise les variations d'un même individu (intra-classe) tout en maximisant les variations d'individus différents (inter-classes). Nous avons dans un premier temps testé ces deux algorithmes sur l'ensemble des 43 personnes avec une base d'apprentissage formée de 4 images (2, 1 ProD, 1 ProG), la dernière image ayant servie pour le test. Les résultats sont plus qu'encourageant puisque les deux méthodes nous ont permis d'obtenir 100% de reconnaissance quelque soit le type d'images (visible, proche infrarouge, thermographique infrarouge). Ces résultats nous semblent logiques puisque, d'une part, l'utilisation de 4 photos avec des poses différentes doit nous garantir une certaine «robustesse» et d'autre part, les trois images de type ne présentent que peu de variabilité. Nous avons ensuite testé les performances en reconnaissance de chaque domaine spectral dans le cas ou la base d'apprentissage ne comporte, cette fois ci, qu'une seule image de type. La validation de la reconnaissance s'effectue sur les 4 autres images restantes (au total 172 images par gamme spectrale). Comme on peut le voir sur le tableau 1, les résultats obtenus par les méthodes PCA et LDA sont sensiblement identiques. Le pourcentage de reconnaissance des images thermographiques est sensiblement le plus mauvais ( 65%). L'amélioration des performances pourrait passer par un meilleur prétraitement de celles-ci, ou par l'application de méthodes de reconnaissance locales permettant d'extraire des points caractéristiques (position des yeux, de la bouche, extraction de «minuties thermiques» comme image de la vascularisation du visage [8]). Par contre les résultats obtenus dans le visible et le proche infrarouge nous permettent d'envisager la mise en place d'un système de fusion de l'information. En effet, les 14,2% de «mauvaises reconnaissances» du visible et les 17,76% du proche infrarouge concernent dans la plupart des cas les mêmes images. 6

7 Cependant, la plupart de ces «mauvaises reconnaissances» n'aboutissent pas à l'identification de la même «mauvaise personne». Algorithme PCA LDA Visible 85,8% 86,39% Proche infrarouge 82,24% 82,24% Thermographique infrarouge 65,08% 62,72% Tableau 1. Pourcentage de bonne reconnaissance par PCA et LDA. Une fusion de l'information visible + proche infrarouge devrait nous permettre d'obtenir: 78,90% de positifs reconnus dans le domaine visible et dans le proche infrarouge 10,45% de positifs reconnues uniquement dans l'un des deux systèmes 7,10% de faux positifs différents dans le visible et dans l'infrarouge 3,55% de faux positifs identiques reconnus dans le visible et l'infrarouge Une règle d'acceptation du type «majority voting» nous donnerait : 82,45% d'acceptation (dont 3,55 % de faux positifs) 17,55% de rejet La modification du système de reconnaissance de la partie thermographie infrarouge devrait nous permettre d'améliorer considérablement ces résultats et d'aboutir à la mise en place du système d'identification de la figure 6. Visible Proche Infrarouge Thermographique infrarouge Résultat de l étape de reconnaissance Acceptation Rejet Figure 6. Système d identification par fusion d informations. 7

8 6. Conclusion Dans cet article nous avons proposé un nouveau système d'acquisition d'images multispectrales basé sur l'utilisation de deux Webcam «grand public» modifiées pour acquérir d'une part des images uniquement dans le domaine spectral visible et d'autre part uniquement dans le domaine spectral proche infrarouge, et d'une caméra thermographique. Ce système nous permet d acquérir simultanément, pour chaque visage et pour chaque prise de vue trois images, les 2 premières mettant en évidence la réflectivité, la troisième l'émissivité. Sur un ensemble de 645 images appartenant à 43 sujets, nous avons appliqué des techniques classiques de reconnaissance de visages (Analyse en composantes principales PCA et Analyse Discriminante Linéaire LDA). Les méthodes classiques sont concluantes en considérant les domaines visible et proche infrarouge, les images en thermique infrarouge nécessitant des prétraitements spécifiques. Cependant, ces premiers résultats nous laissent penser que la prise en compte de la multimodalité devra améliorer les résultats de reconnaissance. Bibliographie [1] M.-H. Yang, D. J. Kriegman, and N. Ahuja, «Detecting faces in image: A survey», IEEE Trans.on Pattern Analysis and Machine Intelligence, vol. 24, no. 1, pp , [2] E. Hjelmas and B. K. Low, Detection: A Survey, Computer Vision and Image Understanding, vol 83, pp , 2001 [3] A. Pentland and T. Choudhury, «Recognition for Smart Environment», IEEE Computer, pp , [4] M. Bichsel and A.P. Pentland, «Human Recognition and the Image Set s Topology», CVGIP: Image Understanding, vol. 59, pp , [5] Y. Adini, Y. Moses, and S. Ullman, «Recognition: The Problem of Compensating for Changes in Illumination Direction», IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 19, no. 7, pp , [6] C. Garcia and M. Delakis, «Convolutional face finder: A neural architecture for fast and robust face detection», IEEE Trans. on Pattern Analysis and Machine Intelligence, vol. 26, no. 11, pp , [7] S. Z. Li, R.-F. Chu, S.-C. Liao, and L. Zhang «Illumination Invariant Recognition Using Near-Infrared Images», IEEE Trans. on Pattern Analysis and Machine Intelligence, vol. 29, no. 4, pp , 2007 [8] P. Buddharaju, I.T. Pavlidis, P. Tsiamyrtzis, M. Bazakos, «Physiology-Based Recognition in the Thermal Infrared Spectrum», IEEE Trans. on Pattern Analysis and Machine Intelligence, vol. 29, no. 4, pp , 2007 [9] Z. Yang, H. Ai, B. Wu, S. Lao, and L. Cai, «Pose Estimation and Its Application in Video Shot Selection», Proc. 17th Int Conf. Patt. Rec., vol. 1, pp , Aug [10] S. Yang and I.M. Verbauwhede, A Secure Fingerprint Matching Technique, Proc ACM SIGMM Workshop Biometrics Methods and Applications, pp ,