Introduction de paramètres dynamiques en reconnaissance faciale

Transcription

1 Inroduion de paramères dynamiues en reonnaissane faiale Federio MATTA Jean-Lu DUGELAY Insiu Euréom 2229 roue des Crêes Sophia Anipolis, Frane Résumé Dans e arile, nous présenons un sysème mulimodal de reonnaissane de la personne à parir de vidéo, en inégran deux approhes omplémenaires. Le premier module exploie l'informaion omporemenale : il es basé sur des signaux de déplaemen de la êe, auomaiuemen exrais à parir d une séuene vidéo ; des mesures saisiues son alors alulées e uilisées pour la reonnaissane. Le seond module exploie l'informaion physiue : 'es une exension probabilise de l'approhe lassiue d'eigenfae, dans leuel la reonnaissane es faie dans un espae rédui des visages, alulé en employan une ransformaion d analyse en omposanes prinipales (AC. our une fusion ohérene, les deux sysèmes paragen le même adre probabilise de lassifiaion : une approximaion ave un modèle de mélange de gaussiennes (MMG e un lassifiaeur bayésien. Les résulas expérimenaux prouven ue les déplaemens de la êe son disriminans e ue l'inégraion mulimodale appore beauoup en reonnaissane. Mos lefs Idenifiaion des personnes, reonnaissane de visage, reonnaissane d obje, vidéo. Inroduion La biomérie a onnu es dernières années un nouvel essor. armi les différenes bioméries éudiées, le visage présene l'inérê d'êre bien aepé par les uilisaeurs e sans ona ; par onre, les performanes assoiées son assez faibles par rappor aux empreines digiales ou l iris. De nombreux algorihmes on éé proposés en visage e ravaillen sur l apparene ; es approhes exisanes son sensibles à différenes soures de variabilié, par exemple : les hangemens d'expression, d'illuminaion e de pose. Une analyse déaillée de la reonnaissane de la personne en uilisan des images fixes du visage, ses résulas e ses limiaions peuven êre rouvés dans [] e [2]. La reonnaissane d une personne par le biais de la vidéo présene uelues avanages par rappor à elle basée sur l'image. D'abord, l'informaion emporelle des visages peu êre exploiée afin de failier la âhe de reonnaissane ; par exemple, les araérisiues dynamiues, ui son spéifiues à haue personne, omme le mouvemen de la êe, l'évoluion de la pose ou la mimiue du visage. En seond lieu, des représenaions plus effiaes, elles ue des modèles 3D de visages ou des images de résoluions augmenées, peuven êre obenus à parir des séuenes vidéo e êre employés pour améliorer les performanes des sysèmes. Enfin, la reonnaissane basée sur la vidéo perme d'apprendre ou de mere à jour les modèles dans le emps. En e ui onerne les ravaux sur e suje, une grande parie des ehniues de reonnaissane de visage basée sur la vidéo son des généralisaions direes des algorihmes de reonnaissane sur images fixes. Dans es sysèmes, la sraégie de reonnaissane es appliuée indépendammen sur haue rame, sans prendre en ompe l'informaion emporelle inluse dans la vidéo. armi les enaives visan à adresser le problème de la reonnaissane de la personne d'une façon plus sysémaiue e plus ohérene, les méhodes par Li e Chellappa [3], Zhou e al. [4] e Lee e al. [5] son les plus remaruables : ous développen des méhodes du suivi e reonnaissane en uilisan un adre probabilise unifié. C'es une endane ommune en liéraure d exploier seulemen une parie de l'informaion visuelle. En fai dans nos ravaux de reherhe, [2] e [6], e dans la majorié des ariles publiés, les sysèmes de reonnaissane on éé basés soi sur l'informaion physiue (aspe faial soi sur l informaion emporelle (mouvemen faial. Vu le poeniel de es deux modaliés, l'évoluion normale de la reonnaissane d individus basée sur la vidéo es de s oriener sur l'éude d'un sysème mulimodal, ui exploie oue l informaion visuelle. Nous présenons don une approhe originale, ui ombine à la reonnaissane faiale lassiue basée sur l'apparene des paramères dynamiues liés aux mouvemens de la êe, afin de développer un sysème plus disriminan e plus robuse. La suie de nore arile es organisée omme sui : dans la seion 2, nous déaillons nore sysème de reonnaissane, puis dans la seion 3, nous présenons e ommenons des expérienes. Finalemen, dans la seion

2 4, nous onluons e arile par des remarues e la présenaion de nos ravaux fuurs. 2 Desripion du sysème de reonnaissane Nore sysème de reonnaissane de l individu es omposé de rois modules : un module de reonnaissane saiue, ui reonnai les personnes à parir de leur apparene, un aure module de reonnaissane emporelle, ui les reonnaî en uilisan le mouvemen de la êe, e enfin, un module de fusion, ui réalise l'idenifiaion e la vérifiaion du suje en inégran les deux modaliés préédenes. 2. Sysème de reonnaissane saiue Nore algorihme de reonnaissane, basé sur l apparene, es une exension probabilise de l'approhe lassiue d'eigenfaes, présenée par Tur e enland dans [7]. En reprenan la ehniue originale, nous alulons l'analyse en omposanes prinipales (AC sur un assorimen d'images de visage, afin d'obenir un ensemble de veeurs orhogonaux (les veeurs propres ui représenen de façon opimale la disribuion des données au sens des moindres arrées ; es veeurs définissen le sous-espae des images de visage, ue nous appelons l'espae propre des visages. Une nouvelle image du visage es ransformée en ses omposanes dans l espae propre des visages par une simple projeion ; nous noerons y le veeur projeé pour l'image. uis, nous améliorons le sysème de reonnaissane original en employan un adre bayésien pour l éape de lassifiaion. remièremen, pour haue individu, nous voulons modéliser la disribuion de ses images dans l'espae propre des visages. Nous approximons la fonion de densié de probabilié ondiionnelle à la lasse de haue individu en employan un modèle de mélange de gaussiennes (GMM. Nous pouvons exprimer ela en uilisan la formule suivane : C ( y ϖ α ℵ( y, μ, Σ ϖ exprime la lasse (l individu e α es le poids de la -ième omposane gaussienne, ℵ. Ensuie, pour eser une image donnée, nous alulons les probabiliés logarihmiues β a poseriori pour haue lasse : ( y ϖ ( ϖ ( ( ( β, log ϖ y log y Noons ue les probabiliés a priori e les faeurs d éhelle, présenés dans la formule préédene, son direemen esimés à parir de la base de données d enraînemen. 2.2 Sysème de reonnaissane emporel our l uilisaion de l informaion emporelle onenue dans la vidéo, nous proposons un nouveau sysème d'idenifiaion d individus, basé sur les signaux de déplaemen de uelues élémens de la êe, auomaiuemen exrais de la séuene vidéo. Nore sysème de reonnaissane emporelle es omposé de rois sous-modules : un analyseur visuel afin d obenir des signaux de déplaemen, un exraeur de veeurs araérisiues pour aluler des paramères disriminans e un lassifiaeur de personne pour diserner les ideniés Le module d analyse visuel Le module d analyse visuel prend en enrée une séuene vidéo de uelues seondes d'un présenaeur de élévision. La déeion de la êe es semi-auomaiue : l'uilisaeur doi manuellemen liuer sur des poins d'inérê (du visage dans la première image ; ensuie, un algorihme de suivi opère jusu'à la fin de la séuene. En fai, les signaux de déplaemen son auomaiuemen exrais en uilisan une ehniue d appariemen de blos dans l'espae ouleur RVB. La mesure de similarié es obenue en addiionnan les disanes eulidiennes alulées pour haue omposane de ouleur (poids des omposanes égaux. Si T es le blo ouran, T le prééden, M le dernier appariemen e α une onsane de pondéraion, alors le onenu du blo es mis à jour ave la formule suivane : T α M + ( α T On peu failemen vérifier ue le blo ouran es une somme pondérée de ous les préédens e ue la formule de alul inlu les as limies d auune mise à jour ( α 0 e de mise à jour omplèe ( α Le module d exraion des veeurs araérisiues Le module d exraion des veeurs araérisiues analyse les signaux brus du suivi des différens élémens de la êe, alulés à parir d une séuene vidéo. Afin d obenir les veeurs araérisiues, le sysème appliue uelues ransformaions globales aux signaux de déplaemen pour les normaliser e fournir une meilleure représenaion pour la lassifiaion. ar défau, e module enre les signaux e uniformise les éhelles pour enlever oue dépendane par rappor à la posiion absolue e à la dimension de la êe dans la vidéo. Il es égalemen possible d'imposer une onraine de variane uniforme pour ous les signaux, d uiliser des oordonnées polaires ou de rajouer des paramères obenus en alulan des dérivés (viesses ou aéléraions. Il es imporan de noer ue haue signal de déplaemen a deux omposanes : horizonale e veriale. De e fai, la dimension du veeur F es le double du nombre des

3 poins d inérê du visage analysé. Dans la seion suivane, nous allons exprimer ous les veeurs araérisiues d'une personne exrais à parir de la ième vidéo, ave la noaion suivane : ( x ( X M ( xt T es le nombre oal de rames dans la vidéo e es un veeur ligne onenan les valeurs des paramères araérisiues normalisés pour la rame Le module de lassifiaion d individu Le dernier module exploie les veeurs araérisiues alulés à parir d une séuene vidéo pour la reonnaissane. Les veeurs araérisiues, ui oniennen l informaion des déplaemens de la êe, son uilisés pour enraîner un modèle de mélange de gaussiennes (MMG pour haue personne présene dans la base de données afin de modéliser le mouvemen araérisiue pour e uilisaeur. lus préisémen, l'algorihme esime la fonion de densié de probabilié ondiionnelle dans un lassifiaeur bayésien. La probabilié a poseriori pour la lasse ω s exprime sous la forme : ( ω x ( x ω ( ω ( x La mesure de similarié pour haue vidéo es alulée en faisan l hypohèse ue les déplaemens son indépendans (hypohèse généralemen non vérifiée e en prenan le produi des différenes probabiliés : T ( ω X ( ω x Les fonions de densié de probabilié ondiionnelle ω x pour haue rame son approximées ave un ( modèle de mélange de gaussiennes (MMG ui s exprime sous la forme : C ( ϖ x αℵ( x, μ, Σ α représene le poids de la ième omposane gaussienne, ( x, μ, Σ ℵ. our inégrer e module dans nore sysème mulimodal, nous réupérons l ensemble des probabiliés logarihmiues a poseriori, alulées lors de la lassifiaion bayésienne. Le produi de es logprobabiliés sera noé γ : ( γ ( (, log ω, X x dans lauelle ϖ exprime la lasse (l individu e ( X onien les veeurs araérisiues de la vidéo. 2.3 Module de fusion saiue e emporelle Le module de fusion inègre les deux mesures de similarié (probabiliés logarihmiues a poseriori des sous-sysèmes préédens e alule les aux d idenifiaion e vérifiaion du sysème mulimodal. Dans e arile, les valeurs de similarié mulimodales son obenues par fusion en uilisan deux versions de la sommaion [8] ui, dans nore as, a la forme générale suivane : θ β + g, b,,, γ, ou b, e g, son deux poids. Dans la première version, nous alulons la moyenne enre les valeurs de similarié des deux sous-sysèmes (poids égaux : b g 0.5,,, Cee ehniue simple a une inerpréaion probabilise ( inéressane. Si nous supposons ue X e y son indépendans enre eux e égalemen disribués, e ue oues les lasses son éuiprobables (un sénario ommun dans des appliaions réelles alors la mesure de similarié θ es la probabilié logarihmiue a poseriori onjoine de, ( X e y : θ 0.5log y, X ( ( ( Q, ω + Q es une onsane de ranslaion. La deuxième version de la mesure de similarié pour le sysème mulimodal es une pondéraion adapaive, proposé par Chang e al. [9] e alulée omme sui : s 2nd β β b, s 3rd β β s 2nd γ γ g, s 3rd γ γ i β e γ son le i ièmes meilleures valeurs pour le i es. L'idée générale de e hoix des poids es ue, si la différene enre les premières e deuxièmes valeurs de similarié es grande par rappor à la similarié moyenne, alors la modalié peu êre onsidérée omme fiable e son poids es grand. Dans nore alul, nous normalisons les poids pour faire en sore ue la somme soi égale à : b + g,,,

4 Figure Les 4 premières images d une séuene vidéo. 3 Expérienes e résulas 3. Base de données 3.. Vidéo Malheureusemen, les bases de données vidéo exisanes ne son pas adapées pour eser effiaemen nos algorihmes. En effe, le sysème de reonnaissane emporelle (i.e. biomérie omporemenale a besoin de uelues minues pour haue individu afin d'exraire l'informaion emporelle e enraîner les modèles de MMG. our ee raison, nous avons rassemblé un ensemble de 92 séuenes vidéo de 2 personnes différenes pour pouvoir enraîner e eser nore sysème. Les différens exrais vidéo monren des présenaeurs du élévision annonçan les nouvelles du jour. Ces vidéos on éé exraies des différens journaux élévisés sur une période de 4 mois. Une séuene ypiue a une résoluion spaiale de 352x288 pixels, une résoluion emporelle de rames/seonde e une durée d environ 4 seondes (se référer à la Figure pour un exemple. Bien ue les vidéos soien de mauvaise ualié, omprimées à 300 bis/seonde (y ompris l audio, l'approhe omporemenale de nore sysème es moins affeée par les défaus visuels, inroduis pendan le proessus de ompression, ue les méhodes basées sur l apparene. D'ailleurs, les vidéos son réalises, dans la mesure le omporemen des présenaeurs es normal, sans auune onraine imposée au niveau des mouvemens, de la pose ou de l aion Image our e ui onerne le sysème de reonnaissane saiue, nous avons réé une base de données d'image dérivée de la base de données vidéo présenée auparavavan. our haue vidéo d enraînemen, nous avons exrai 28 images (2 rames/seonde andis ue, pour l'ensemble de es, nous uilisons seulemen la première rame. En raison de la sensibilié élevée à l'alignemen faial, la variaion de la pose e de l éhelle, bien onnue pour les algorihmes de reonnaissane basés sur l AC, nous avons manuellemen normalisé la base de données d'image en isolan la région du visage, en alignan les yeux puis en posiionnan les êes bien horizonalemen. 3.2 Cadre expérimenal 3.2. Sysème emporel Dans nos expérienes, nous avons hoisi 96 séuenes vidéo pour l enraînemen de nore sysème de reonnaissane emporelle (8 pour haun des 2 individus, e les 96 resanes (sur un oal de 92 on éé laissées pour le es. Il es imporan de préiser u il n y a auune onraine héoriue en e ui onerne le nombre de vidéos néessaire par uilisaeur e leurs durées. ar onre, il es bien néessaire d'avoir uelues minues par individu pour apprendre les mouvemens araérisiues e enraîner le MMG. Dans nos expérienes, nous avons hoisi d'exraire les déplaemens horizonaux e veriaux de 4 élémens du visage - les yeux, le nez e la bouhe e obenir ainsi 8 signaux au oal. our e ui onerne la normalisaion des signaux, les résulas les plus inéressans on éé obenus en enran les signaux e en uniformisan les éhelles. En fai, des onraines plus fores, omme une variane fixée, on rédui l informaion disinive e on éé abandonnées. Nous avons égalemen essayé de aluler nos veeurs araérisiues en inluan des paramères dérivés des signaux, omme viesse e aéléraion, mais il n y avai pas d amélioraion des résulas de reonnaissane par rappor à l uilisaion seule des déplaemens. our l enraînemen des MMG individuels, nous avons obenu de meilleurs résulas en uilisan un algorihme lassiue d'espérane-maximisaion (EM ave 4 omposanes gaussiennes par modèle. Dans nos expérienes, nous ne pouvions pas uiliser plus de 9 omposanes du fai de la dimension réduie de nore base de données pour un enraînemen fiable de MMG Sysème saiue our e ui onerne le sysème saiue de reonnaissane, nous avons hoisi un oal de 2688 images pour l enraînemen (224 par individu, e de 96 pour le es. En réalié, l'algorihme se ser de 5376 images (448 par individu en appliuan un effe miroir verial sur les images originales. Dans nos expérienes, nous avons éé obligés de hoisir un espae propre de visages de dimension 3 seulemen, en raison de la diffiulé d esimaion des disribuions dimensionnellemen élevées ave une uanié limiée de données d enraînemen. our la même raison, nous avons égalemen onsidéré des MMG ave 3 omposanes par modèle.

5 3.3 Résulas Les résulas de reonnaissane des deux sous-sysèmes saiue e emporel seuls e eux du sysème mulimodal son présenés dans le Tableau. La deuxième e roisième olonne de e ableau représenen respeivemen les valeurs d idenifiaions orrees de la personne : en onsidéran les meilleures mesures de similarié e ensuie plus largemen les rois meilleures. La uarième olonne onien le aux égal d'erreur en mode de vérifiaion. IDENTIFICATION VERIFICATION METHODE Meilleur 3 meilleurs Taux d'erreur égal Sysème saiue 93,75% 2,37% Sysème emporel 92,7% 6,9% 97,92% Fusion ave moyenne 94,97% 2,8% Fusion ave pondéraion adapive 96,88% 2,75% Tableau Résulas de reonnaissane. Les résulas obenus pour le sous-sysème emporel, basé sur les déplaemens de la êe, son inéressans. En fai, même si es signaux pourraien êre onsidérés omme des modaliés faibles, ils obiennen des aux de reonnaissane similaire au sysème saiue ; e ui monre ue le omporemen des personnes peu êre un idenifiaeur biomériue. D'ailleurs, nore sysème es appliué dans des as réels, en uilisan des vidéos ompressées e sans auune onraine sur les aions de l individu (pas de sénario ou de gesuelles prédéfinis. Nore approhe omporemenale a égalemen monré une grande olérane par rappor aux hangemens d aspe, omme, par exemple, la présene de lunees, de barbe ou pour des variaions sur les oupes de heveux e d illuminaion. En regardan les résulas, il es lair ue l'inégraion mulimodale des sysèmes spaial e emporel augmene les aux d idenifiaion e de vérifiaion d individus. D'aure par, les deux méhodes de fusion on monré des résulas similaires. 4 Conlusion e ravaux fuurs Dans e arile, nous avons analysé les effes de l uilisaion ombinée de l'informaion physiue e omporemenale, présenes dans les signaux vidéo, pour la reonnaissane des personnes. Tou d abord, e ravail es original du fai de l uilisaion des déplaemens de la êe e il prouve ue le omporemen e le mouvemen humain peuven êre uiles pour disinguer les personnes. Ensuie, nos résulas expérimenaux monren ue l inégraion emporelle e saiue perme une amélioraion signifiaive des aux de reonnaissane. Enfin, il fau enir ompe du fai ue nore ravail a enore besoin d'une plus grande validaion expérimenale e ela devrai êre fai en uilisan des bases de données vidéo plus omplèes mais malenonreusemen enore rares aujourd hui. Nore sysème peu êre amélioré à plusieurs niveaux. Une possibilié serai de modifier le sous-module saiue, en remplaçan l'approhe basée sur l AC ave un algorihme de reonnaissane plus performan. uis, le module emporel du sysème de reonnaissane pourrai êre amélioré en ajouan des paramères de la mimiue faiale : il pourrai inégrer le lignoemen de l'œil ou le mouvemen des lèvres ave les déplaemens de la êe. En onlusion, il y a une variéé de ehniues de fusion ui peuven êre éudiées e probablemen appliuées à nore approhe mulimodale. A plus long erme, es ravaux en visage, en inroduisan un aspe omporemenal, devraien failier la reonnaissane auomaiue des personnes en vidéo surveillane. Référenes [] Zhao W., Chellappa R., hillips.j. and Rosenfeld A. Fae reogniion: a lieraure survey. ACM Compuing Surveys, vol. 35, iss. 4, pag , Deember [2] Dugelay J.-L., Junua J.-C., Koropoulos C., Kuhn R., erronnin F. and ias I. Reen advanes in biomeri person auheniaion. IEEE roeedings on Aousis, Speeh, and Signal roessing (ICASS2002, pag , [3] Li B. and Chellappa R. A generi approah o simulaneous raing and verifiaion in video. IEEE Transaions on Image roessing, vol., iss. 5, pag , May [4] Zhou S., Krueger V. and Chellappa R. robabilisi reogniion of human faes from video. Compuer Vision and Image Undersanding, vol. 9, iss. -2, pag , July-Augus [5] Lee K.-C., Ho J., Yang M.-H. and Kriegman D. Visual raing and reogniion using probabilisi appearane manifolds. Compuer Vision and Image Undersanding, vol. 99, iss. 3, pag , Sepember [6] Maa F. and Dugelay J.-L. erson reogniion using human head moion informaion. Inernaional Conferene on Ariulaed Moion and Deformable Objes (AMDO2006, LNCS, vol. 4069, July [7] Tur M. and enland A. Eigenfaes for reogniion. Journal of Cogniive Neurosiene, vol. 3, iss., pag. 7-86, 99. [8] Sanderson C. and aliwal K.K. Ideniy verifiaion using speeh and fae informaion. Digial Signal roessing, vol. 4, iss. 5, pag , Sepember [9] Chang K.I, Bowyer K.W. and Flynn.J. An evaluaion of mulimodal 2D+3D fae biomeris. IEEE Transaions on aern Analysis and Mahine Inelligene, vol. 27, iss. 4, pag , April 2005.