LOCALISATION DE VISAGES Projet de Diplôme. Fabrice Vermont

Transcription

1 LOCALISAION DE VISAGES Proe de Dplôme Fabrce Vermo Asssa: Jule Meye Professeur: Prof. Jea-Phlppe hra Lausae, Févrer 005

2 Résumé Das ce rappor, ue méhode pour la localsao de vsages es préseée. La localsao de vsages es ue des composaes mporaes das l aalyse e la compréheso de vsages. Les méhodes exsaes pour localser des vsages peuve êre subdvsées e méhodes mage-based e méhodes feaure-based. Le programme mplémeé ulse ue méhode mage-based. Pour eraîer les classfcaeurs, ous avos ulsé u algorhme de boosg (AdaBoos) qu perme d avor ue boe performace de déeco. AdaBoos es u algorhme d appressage agressf qu cosru u classfcaeur for à parr d u esemble de classfcaeurs fables. Comme classfcaeurs fables, des classfcaeurs léares o éé ulsés. Chaque classfcaeur léare ulse u descrpeur, basé sur des masques vsuels qu so ue varae d odelee de Haar modulé par ue Gaussee. Les classfcaeurs o éé eraîés e esés sur la base de doées classque BANCA. Pour la déeco des obes caracérsques, ue echque de feêre glssae à alle varable a éé employée. Pour rouver à parr de oues les déecos reourées par les classfcaeurs les posos les plus probables des obes caracérsques, ros méhodes d arbrage o éé mplémeées e esées sur la base de doées classque BANCA.

3 able des maères Chapre...4 Iroduco...4. Coexe...4. Hsore Dffculés de la localsao de vsages par ue mache Les deux approches prcpales Crères ulsés pour mesurer la performace das la localsao de vsages Approche...4 Chapre...5 Éa de l ar...5. Iroduco...5. Méhodes Image-Based Iroduco Méhodes sasques rédusa l espace des descrpeurs Iroduco Prcpal Compoe Aalyss (PCA) Lear Dscrma Aalyss (LDA) Fsher s Lear Dscrma (FLD).9..3 Méhodes «eraîa des classfcaeurs» sasques Maches à Veceurs de Suppor (SVM) Réseaux de Neuroes Hdde Markov Models (HMM)....3 Méhodes Feaure-Based Iroduco Aalyse bas veau Aalyse des obes caracérsques Acve Shape Models...3 Chapre Méhode pour la localsao de vsages Iroduco Obecf Chox de la méhode Les descrpeurs Iroduco Chox des descrpeurs Les masques vsuels Les classfcaeurs fables Iroduco Algorhme d eraîeme Défo d u classfcaeur fable Pourquo des classfcaeurs léares AdaBoos Iroduco Idées de base du Boosg Algorhme La covergece de l erreur d eraîeme vers zéro Arbrage Iroduco Premère méhode pour arbrer Deuxème méhode pour arbrer...43

4 3.5.4 rosème méhode pour arbrer Résulas e Expérmeaos Iroduco Base de doées ulsée alle déale des mages Résulas de la performace des classfcaeurs Résulas de localsao Localsao avec la premère méhode pour arbrer Localsao avec la deuxème méhode pour arbrer Localsao avec la rosème méhode pour arbrer emps d exécuo du programme Cocluso e ravaux fuurs Cocluso ravaux fuurs...65 Bblographe

5 Chapre Iroduco. Coexe Das ce rappor, ue méhode pour localser auomaqueme des vsages par mache es préseée. La localsao de vsages es, avec la déeco de vsages, la recoassace de vsages, la recoassace d expressos facales e la poursue de vsages, ue des composaes mporaes de l aalyse e la compréheso de vsages. Des applcaos se rouve das le domae du dversseme, des cares ellgees, de la sécuré des formaos, des dros d accès ou ecore de la survellace (AB..). Domaes Dversseme Cares ellgees Sécuré d formaos Applcaos spécfques eux vdéo, réalé vruelle, Ieracos huma-robo, eracos huma-ordaeur perms de codure, programmes d auorsao, Immgrao, ID aoal, passepors, regsrao des éleceurs s eregsrer sur ue sallao persoelle, Applcaos de sécuré, sécuré de bases de doées, crypage de fchers, sécuré de l Irae, accès à l Iere, oes médcales Dro d accès e survellace vdéo survellace avacée, CCV corol corôle d accès, aalyse d évèemes, vole, poursue de suspecs e vesgao AB.. - Applcaos pour lesquelles, eer aure, la localsao de vsages par mache es ulsée. Le bu de la localsao de vsages, qu es souve précédée par la déeco de vsages, es de localser précséme la poso du vsage das ue mage ou ue séquece de vdéo d ue scèe. Acuelleme, l exse déà u grad ombre de méhodes qu permee la localsao de vsages. Les méhodes les plus mporaes sero préseées plus ard das ce rappor. La fgure suvae (FIG..) doe ue dée de comme la localsao de vsages es lée avec les aures éapes mporaes das le processus de l aalyse e la compréheso de vsages par mache. Elle es suve par u commeare bref sur les aures éapes mporaes. 4

6 Image/Vdéo Déeco du vsage Localsao du vsage Poursue du vsage Recoassace e/ou vérfcao Recoassace d expresso facale Poso Ideé/Vérfcao Expresso FIG.. Laso des dfférees éapes mporaes das le processus de l aalyse de vsages par mache. - La déeco de vsages [] vérfe la présece d u ou pluseurs vsages das ue mage. Pour chaque vsage déecé, la poso approxmave es reourée. - La recoassace e/ou vérfcao de vsages [] vse à defer la persoe das ue mage. Elle reoure l deé, das le cas de la recoassace, ou les dros d accès, das le cas de la vérfcao, de la persoe. - La poursue de vsages essae de suvre u vsage das ue séquece d mages. Elle reoure la poso du vsage das l mage. - La recoassace d expressos facales cherche à recoaîre l éa émooel de la persoe (rse, heureux, de mauvase humeur, ec.). Hsore La recherche das le domae de l aalyse de vsages par ue mache commece das les aées 70. Elle are des chercheurs de pluseurs dscples comme : - le raeme des sgaux, - le réseau de euroes, - la recoassace des formes, - e la psychologe. Des recherches exesves so faes sur dfféres aspecs de l aalyse de vsages par u huma e ue mache. Les chercheurs rae habuelleme l aalyse de vsages comme u problème d aalyse d u modèle D. ypqueme, ls applque des algorhmes de classfcao sur des descrpeurs qu ulse des arbus mesurés das le vsage de face ou de profl, comme par exemple la dsace ere des obes caracérsques. 5

7 Das les aées 80, la commuaué scefque perd l érê das l aalyse de vsages par ue mache. Elle la rerouve débu des aées 90 dû - aux opporués commercales qu augmee, - au real-me hardware qu deve dspoble, - e à l accrosseme de l mporace des applcaos relées à la survellace. Depus, la recherche das le domae de l aalyse des vsages par ue mache s es cocerée à auomaser le processus de la recoassace de vsages, e se cocera sur des problèmes comme la localsao de vsages e l exraco d obes caracérsques das ue mage ou ue séquece de vdéo. Acuelleme, à par quelques excepos, la recoassace de vsages par ue mache es raée comme u problème das lequel l s ag de rouver des obes 3D das des mages D..3 Dffculés de la localsao de vsages par ue mache Lors de la localsao de vsages par ue mache, o veu localser précséme la poso d u vsage das ue mage ou ue séquece de vdéo. Pour cela, o peu chercher à localser des obes caracérsques d u vsage qu permee, selo leur posoeme, de rer des coclusos sur le posoeme du vsage. Par exemple : - s l œl dro du vsage se rouve plus bas que l œl gauche, alors la êe de la persoe es clée sur le côé dro, - s les deux yeux du vsage so rop près l u de l aure, alors le vsage es pas vu de face e doc la êe de la persoe es ourée d u cera ombre de degrés sur le côé. Ue boe faço pour rouver le côé sur lequel la êe es ourée es de fare des ess sur l apparece du ez, comme celu-c es u obe qu sor sgfcaveme du pla du vsage. Les obes caracérsques d u vsage so, par exemple, l œl dro, l œl gauche, le ez, la bouche, ec. La dffculé es que les obes caracérsques e so pas rgdes. Ils peuve êre vus comme des obes facleme déformables ou comme des obes avec ue grade varace ra-classe. L apparece peu varer d ue persoe à l aure ou smpleme ere deux mages prses de la même persoe. Les causes pour la grade varace ra-classe des obes caracérsques so : - Le chageme de l apparece physque ere les persoes : les yeux peuve êres pluô rods ou mces, le ez peu êre grad ou pe, pou ou émoussé, la bouche peu êre grade ou pee, la couleur de la peau peu êre focé ou clare, ec. - Le chageme de la dsposo d espr : lorsqu ue persoe es éoée, elle peu avor la bouche ouvere e fare de grads yeux. S par core elle es fâché, elle va avor u regard séreux e la bouche fermée. - Le posoeme du vsage : le vsage avec ses obes caracérsques peu êre vu de face, de profl ou das ue poso ermédare. - Les obes qu modfe ou masque les obes caracérsques : ue barbe ou ue mousache modfe l apparece de la régo auour de la bouche, des cheveux ou ue pare de luees peuve cacher des pares des yeux, ec. - La qualé de l mage : les obes caracérsques chage leur apparece e foco du ype e de l esé d éclarage, de la qualé du sysème d acquso e d aure bru. 6

8 Les mages suvaes llusre des causes pour la grade varablé ra-classe des obes caracérsques. FIG.. Images llusra des causes pour la grade varablé ra-classe des obes caracérsques. Les mages so rées de la base de doées BANCA. 7

9 .4 Les deux approches prcpales Il y a dfférees méhodes pour localser des obes caracérsques du vsage qu essae de mapuler les covées décrs das le chapre.3. Les plus mporaes d ere elles so décres das le chapre. Au fod, les dfférees méhodes ulse oues ue des deux approches prcpales ou ue combaso de celles-c. Les deux approches prcpales so :. L approche basée sur des mages exemples, auss appelée «mage-based approach». Cee approche appred à recoaîre u obe caracérsque sur la base d mages représea l obe caracérsque (mages posves) e d mages e représea pas l obe caracérsque (mages égaves). FIG..3 Image llusra ue mage posve e égave d u obe caracérsque qu es das ce cas l œl dro du vsage. 8

10 . L approche ulsa des coassaces sur l obe caracérsque à localser, auss appelée «feaure-based approach» ou «geomercal-based approach». Cee approche se ser par exemple des coassaces à pror sur la géomére de l obe caracérsque ou le posoeme de l obe caracérsque par rappor à d aures obes caracérsques. a c b FIG..4 Image llusra la cofgurao géomérque d u esemble d obes caracérsques qu so das ce cas l œl dro, l œl gauche e la bouche du vsage. Elle more auss l œl dro qu es modélsé par ue ellpse. Les premères approches raae des vsages vus de face e se cocerae sur chaque obe caracérsque dvduelleme (œl dro, ez, bouche, ec.). Les méhodes ulsae l approche feaure-based e modélsae seuleme la géomére de l obe caracérsque à exrare. Ils avae des dffculés lorsque l apparece de l obe caracérsque chagea sgfcaveme, par exemple œl fermé, œl masqué par luee, bouche ouvere, bru (par exemple éclarage) ec. Pour augmeer la fablé des déecos, les approches feaure-based plus récees ulse ormaleme, e plus de l formao sur la géomére des obes caracérsques du vsage, auss de l formao sur la cofgurao géomérque des obes caracérsques. Les méhodes ulsa de l formao sur la cofgurao géomérque so plus robuses lors de varaos das l esé de l mage e de la forme des obes caracérsques. Auourd hu, la méhode la plus ulsée es la méhode mage-based. La méhode mage-based es plus robuse aux chagemes d apparece des obes caracérsques e les flueces des codos evroemeales. Le ableau suva (AB..) présee ue sous-classfcao possble des deux approches prcpales e des méhodes qu correspode à ces sous-classes. 9

11 Classfcao Prcpale Sous-Classfcao Image-Based Méhodes sasques rédusa l espace des descrpeurs Méhodes eraîa des classfcaeurs sasques Feaure-Based Aalyse de bas veau Aalyse des obes caracérsques Acve Shape Models Méhodes PCA [5], Fsher s Lear Dscrma [5], FA [5] SVM [5], Réseaux de Neuroes [8], AdaBoos [4], Classfcaeurs Bayéses [], Percepro [], Cluserg [] Seullage [], Flrage [], Ouverure [], Fermeure [], (Segmeao Classque) Aalyse de la cosellao [], chercher après des obes caracérsques [] Coour Acf [], Masques Déformables [], PDM s [] AB.. Sous-classfcao possble des deux approches prcpales..5 Crères ulsés pour mesurer la performace das la localsao de vsages Das l aalyse e la compréheso d mages par maches, l es usuel d ulser les crères comme le aux des déecos d (deeco rae), le aux des mauvases déecos égaves p f (false egave rae) e le aux des mauvases déecos posves f p (false posve rae) pour mesurer les performaces d u algorhme. La localsao de vsages, éa u sousdomae de l aalyse e la compréheso d mages, ulse auss ces crères. La sue doe ue défo brève de ces crères das le cas de la localsao de vsages. Déeco posve O appelle «ue déeco posve» ue feêre das l mage qu, selo le déeceur, coe u obe caracérsque. Déeco égave Récproqueme, o appelle «ue déeco égave» ue feêre das l mage qu, selo le déeceur, e coe pas d obe caracérsque. Le aux des (boes) déecos (posves) Le aux des déecos d es le pourceage des obes caracérsques pour lesquels o a ue déeco posve das ue sére d mages. p 0

12 Le aux des mauvases déecos égaves Le aux des mauvases déecos égaves f es le pourceage des obes caracérsques pour lesquels o a ue déeco égave, das ue sére d mages. La relao ere le aux des déecos d e le aux des mauvases déecos égaves f es : f = (.) d p Le aux des boes déecos égaves Le aux des boes déecos égaves d es le pourceage des régos qu e coee pas d obe caracérsque pour lesquelles o a ue déeco égave das ue sére d mages. Le aux des mauvases déecos posves Le aux des mauvases déecos posves f p es le pourceage des régos qu e coee pas d obe caracérsque pour lesquelles o a ue déeco posve das ue sére d mages. La relao ere le aux des boes déecos égaves e le aux des mauvases déecos posves es : f = (.) p d Das les deux fgures suvaes (FIG..5 e.6), les dfféres aux so llusrés. Les deux fgures more deux dsrbuos (hsogrammes) possble d u descrpeur A. Les deux dsrbuos so calculées à parr d ue base de doées aoée qu coe des échallos posfs (régos d mages coea u obe caracérsque e labellsées avec ) e égaves (régos d mages e coea pas d obe caracérsque e labellsées avec -). Sur les fgures se rouve auss le seul de décso Θ qu es ulsé par le classfcaeur h pour réalser la classfcao. A léare ( ) s A > Θ h ( A ) = (.3) s A < Θ

13 FIG..5 Image llusra le aux des boes déecos posves égaves d e foco du seul de classfcao Θ. d p e le aux des boes déecos FIG..6 Image llusra le aux des mauvases déecos posves f p e le aux des mauvases déecos égaves f e foco du seul de classfcao Θ.

14 L obecf de la localsao de vsages es de maxmser le aux des boes déecos posves d e de mmser le aux des mauvases déecos posves f. Au cas des deux p fgures précédees, o vo be qu l es dffcle de sasfare aux deux coraes e même emps, car souve les dsrbuos des deux classes so superposées parelleme. Il s ag de rouver u comproms ere le aux des boes déecos posves d e le aux des mauvases déecos posves f p. Ue courbe souve ulsée e llusra rès be la dffculé de sasfare les deux coraes meoées précédemme s appelle ROC (Recever Operag Characerscs). Cee courbe décr le aux des mauvases déecos égaves f e foco du aux des mauvases déecos posves.7) llusre ue courbe ROC ypque. f lorsqu o fa varer le seul Θ. La fgure suvae (FIG. p p p FIG..7 Courbes ROC. Elle llusre le aux des mauvases déecos égaves mauvases déecos posves f p lorsqu o fa varer le seul Θ. f e foco du aux des O vo be que s o chos d avor u aux des mauvases déecos égaves alors le aux des mauvases déecos posves sera grad e récproqueme. f bas, 3

15 .6 Approche La méhode préseée das ce rappor es basée sur u algorhme qu perme de booser la performace de classfcao d u smple classfcaeur. L algorhme s appelle AdaBoos e a éé préseé la premère fos e 996 par Freud & Schapre. Comme classfcaeurs smples, u esemble de classfcaeurs léares es ulsé. Chaque classfcaeur smple ulse u descrpeur cosru à parr d u masque vsuel. Les masques vsuels so ue varae d odelee de Haar modulée par ue Gaussee. Pour rouver la poso la plus probable des obes caracérsques à parr de oues les déecos reourées par les classfcaeurs, ros méhodes pour fare u arbrage so préseées. 4

16 Chapre Éa de l ar. Iroduco Das ce chapre, dfférees méhodes pour exrare des obes caracérsques so préseées. Elles so dvsées e méhodes mage-based e méhodes feaure-based (AB..). Lorsque le vsage es vu de face, les méhodes mage-based obee ormaleme, avec leur approche sasque, des melleurs résulas de déeco que les méhodes feaurebased. Par core, s le vsage es vu de profl ou légèreme ouré de côé, alors des méhodes feaure-based aege des melleurs résulas de déeco. Cec es dû à la aure géomérque des méhodes fearure-based qu les red plus robuse par rappor à d éveuelles roaos.. Méhodes Image-Based.. Iroduco Les méhodes Image-Based so cosrues à parr d u esemble de M mages d appressage. Corareme aux méhodes Feaure-Based, elles e écesse pas des coassaces préalables sur l obe caracérsque à localser das le vsage. Les mages exemples forme ue base de doées déà aoée. Das le cas de la localsao du vsage, la base de doées cosse souve d mages posves e d mages égaves pour chaque obe caracérsque à localser. Ue mage posve es ue mage qu représee l obe caracérsque à localser e ue mage égave es ue mage qu e représee pas l obe caracérsque à localser. Das l approche mage-based, l y a deux caégores de méhodes : - Les méhodes rédusa l espace des descrpeurs - Les méhodes eraîa des classfcaeurs sasques U algorhme de localsao de vsages basé sur l approche mage-based peu êre cosru e combaso des méhodes des deux caégores ou e ulsa seuleme ue méhode de la deuxème caégore. Lors de la localsao, la maoré des approches mage-based ulse ue feêre glssae qu parcour oue l mage du vsage (FIG..). À chaque poso, la pare de l mage qu es efermée par la feêre es exrae e classfée. De elle faço ue recherche après la poso possble de l obe caracérsque es fae. 5

17 FIG.. Image llusra la feêre qu o fa clsser à ravers oue l mage. Elle à commecé so parcours e hau à gauche e coue à glsser sur le côé dro. Les méhodes mage-based cosdère l mage comme ue varable aléaore dscrèe muldmesoelle X, X, X =. (.). X,N avec N le ombre de pxels das l mage (l mage es mse sous forme vecorelle). N es auss appelé la dmeso de l espace des mages. La varable aléaore X es muldmesoelle par-ce que chaque pxel es représeé par ue dmeso e elle es dscrèe par-ce que u pxel perme seuleme u ombre f de valeurs (56 valeurs de lumace/pxel pour ue mage à 8 bs/pxel). Les M mages exemples so oées X,,,..., (.) X X 3 X M e forme u échallo de la populao des mages posves, égaves ou posves e égaves, selo ce qu o aura beso. 6

18 .. Méhodes sasques rédusa l espace des descrpeurs... Iroduco Souve, la dmeso de l espace des mages es rès élevée e l espace des mages posves e égaves occupe seuleme u sous-espace de l espace des mages (FIG..). FIG.. Image llusra l espace des mages e le sous-espace des mages coea les mages posves e égaves. DFFS sgfe «Dsace From Feaure Space» e représee la dsace ere l mage I e le sous-espace des mages. DIFS sgfe «Dsace I Feaure Space» e représee la dsace ere l orge du sous-espace e la proeco de l mage I das le sous-espace. S o fasa doc l hypohèse que chaque dmeso de l espace des mages représee u descrpeur, alors o aura beaucoup de descrpeurs ules e les descrpeurs ules e serae pas forcéme les melleurs pour séparer les deux classes d mages posves e égaves par u classfcaeur sasque. C es pour cela que dfférees méhodes o éé mses au po pour cosrure des sous-espaces plus approprés comme : - Prcpal Compoe Aalyss (PCA) - Lear Dscrma Aalyss (LDA) ou Fsher s Lear Dscrma (FLD) - Facor Aalyss (FA) Les sous-espaces plus approprés so auss ulsés pour facler les calculs e flrer le bru. 7

19 ... Prcpal Compoe Aalyss (PCA) Comme meoé précédemme, PCA [5,6] ser à cosrure u sous-espace plus appropré pour représeer les mages exemples. La méhode cherche les axes orhogoaux pour lesquels la varace des mages exemples proeées es maxmale. Ces axes covee parculèreme be pour représeer les mages exemples, mas ls e permee par core pas forcéme de be séparer les mages exemples s celles-c apparee à pluseurs classes. L axe posséda la varace maxmale es appelée premer axe prcpal. Das ou l espace des mages, l exse aucu veceur de proeco avec ue varace plus grade que celle du premer axe prcpal. Le deuxème axe prcpal es l axe qu es perpedculare au premère axe prcpal e qu poe das la dreco pour laquelle la proeco des mages exemples possède de ouveau la varace maxmale. Les axes prcpaux suvas possède les mêmes propréés par rappor aux axes prcpaux précédes que le deuxème axe prcpal par rappor au premer. Comme les premers axes prcpaux possède les plus grades varaces, ce so eux qu permee de représeer le meux les mages exemples. Le ombre d axes prcpaux à ulser comme descrpeurs es chos de faço à garder 85-90% de la varace oale. La procédure pour calculer les axes prcpaux ormalsés u es la suvae. D abord, l fau calculer l mage moyee des mages exemples : _ M X = X (.3) M = Esue, l fau sousrare à chaque mage exemple l mage moyee : Les veceurs _ = Xˆ so rassemblés das la marce e la marce de covarace X ˆ = X X, pour,...,m (.4) [ Xˆ X ˆ... Xˆ M ] D = (.5) C M es calculée. Maea, les veceurs propres ms das l esemble de faço à ce que DD = (.6) { v v,..., } v avec leur valeur propre v M λ so calculés e, (.7) λ... (.8) λ λm Le veceur propre v de la marce de covarace C poe das la même dreco que la -ème axe prcpal ormalsé u de D. O peu alors calculer les axes prcpaux u : 8

20 v u = pour =,,..., M (.9) v Ue mage X peu êre proeée das le sous-espace e effecua le calcul u u ω =. u Q X (.7) avec ω le veceur des pods e Q ombre d axes prcpaux choss. L mage X peu êre recosrue approxmaveme par avec ue erreur de recosruco X [ u u uq ]ω (.8) r. ε = X X r (.9) L erreur de recosruco ε doe ue dcao de la dsace ere l mage X e le sousespace. S les mages exemples compree seuleme des mages posves, alors l erreur de recosruco ε peu êre dreceme ulsée comme classfcaeur. O supposera que l obe caracérsque à localser se rouve das la régo avec l erreur de recosruco ε mmale das l mage scaée. Mas s les mages exemples cosse d mages posves e égaves, alors u classfcaeur sasque sera écessare....3 Lear Dscrma Aalyss (LDA) Fsher s Lear Dscrma (FLD) Smlare au PCA, LDA [5] cherche auss à cosrure u sous-espace plus appropré pour représeer les mages exemples. Elle es applcable lorsque les mages exemples apparee à deux classes ou plus. La méhode cherche les axes orhogoaux ormalsés u pour lesquels le quoe J B u = (.0) u SW u ( ) u es maxmale avec S B la marce de varace ere les classes e S W la marce de varace à l éreur des classes (la somme des marces de covarace des dfférees classes). Les deux marces so doées par : S u e C S B = ( µ µ )( µ µ ) (.) = 9

21 C S W = ( xk µ )( xk µ ) (.) = xk ω avec C le ombre de classes, le ombre d échallos (d mages exemples) apparea à la classe e le ombre d échallos (d mages exemples) oal. Le sous-espace, qu peu êre créé avec cee méhode, es aux maxmum de dmeso C. Pour classfer les C classes, u classfcaeur sasque es applqué sur le sous-espace...3 Méhodes «eraîa des classfcaeurs» sasques..3. Maches à Veceurs de Suppor (SVM) SVM [5] es ue echque pour eraîer u classfcaeur complexe sur la base d mages exemples. SVM cherche l hyperpla qu perme de séparer le «meux» les doées d eraîeme. L hyperpla es appelé le «melleur» parce qu l maxmse la marge ere lu e les deux classes. Cela veu dre qu l maxmse la dsace ere lu e les pos les plus proches des deux classes. Pour cosrure l hyperpla, l algorhme cherche à mmser la foco coû e respeca la corae ( w) w w F = (.3) ( x + ω ) pour,..., M C : y w 0 = (.4) avec y s x classe, y s x classe, w veceur des pods qu es = = perpedculare à l hyperpla, ω 0 le seul e M le ombre d mages exemples. La méhode sadard pour résoudre ce problème es d ulser la méhode de Lagrage. S les mages exemples e so pas léareme séparables, o peu relaxer la corae e rodure u erme de coû supplémeare das la foco coû. La foco coû deve e les ouvelles coraes F M ( ) = w + C w w / ξ (.5) = C C C 3 : w : w x x : ξ 0 + ω ξ 0 + ω + ξ 0 pour pour y = y = (.6) avec C u paramère de régulao e ξ ue varable d erreur. S les mages exemples e so pas léareme séparables, ue aure méhode cosse à proeer les mages exemples par des focos o-léares Φ ( x) das u espace das lequel ls so léareme séparables e à applquer l algorhme SVM das ce espace. Il es cosellé d ulser des focos o-léares Φ ( x) smples, car so l es probable de créer u «overfg» des doées. 0

22 ..3. Réseaux de Neuroes U réseau de euroes [7] peu êre u percepro mulcouche. L ué de base du réseau de euroes es le percepro. Chaque percepro effecue u raval relaveme smple : l reço des doées podérées des voss ou des sources exeres e calcule sur cee base u sgal de sore qu es propagé à d aures ués. O dsgue ere ué d erée, de sore e cachée. U réseau de euroes do êre cofguré pour que l applcao d u esemble de doées d erées produse le résula désré à la sore. Par cofgurer, o eed chosr les pods à arbuer aux coexos. Il y a pluseurs faços de cofgurer u réseau de euroes : - Ue es de chosr les pods explces e ulsa du savor à pror. - Ue aure es d eraîer le réseau de euroes e lu doa des mages exemples e e le lassa chager la valeur de ses pods selo ue règle d appressage. Pour la deuxème faço de cofgurao, l exse deux suaos d appressage dsces : - L appressage supervsé. Das ce cas, les mages exemples dove êre classfées. - L appressage o-supervsé. Das ce cas, les mages exemples e dove pas êre classfées. Le sysème es supposé découvrr les mages qu se ressemble sasqueme e de les arbuer à ue classe Hdde Markov Models (HMM) Hdde Markov Models [0,] so u esemble de modèles sasques ulsés pour caracérser les propréés sasques d ue mage. L mage es dvsée e N régos sgfcaves qu so, par exemple pour le vsage, les cheveux, le fro, les yeux, le ez e la bouche. Chacue de ces régos es esue assgée à u éa S das u HMM D : S S S S S cheveux fro yeux ez bouche (.7) Chaque éa es caracérsé par ue foco de probablé, esmée sur la base des mages exemples. Le prcpe de HMM, lors de la localsao du vsage, es de ouours exrare les mêmes régos de l mage d erée e de vérfer s les obes caracérsques apparasse das le même ordre que déf das le modèle HMM..3 Méhodes Feaure-Based.3. Iroduco Les méhodes feaure-based [] (ou geomercal-based) écesse des coassaces préalables sur les obes caracérsques pour pouvor les localser. D où leur om : méhodes ulsa de l formao à pror sur le feaure à localser (obe caracérsque) ou méhodes

23 ulsa de l formao à pror sur les propréés géomérques de l obe caracérsque à localser. Les méhodes feaure-based peuve êre dvsées e ros caégores d approches : - L aalyse bas veau : Elle essae de segmeer des obes caracérsques e ulsa des propréés des pxels comme par exemple la couleur. Les obes caracérsques localsés à l ade de cee méhode so ambgus. - L aalyse des obes caracérsques : Elle essae de raer les obes caracérsques à localser das ue vue plus globale. Pour cela elle ulse par exemple de l formao sur la géomére du vsage. À l ade de l aalyse des obes caracérsques l ambguïé de ceux-c peu êre rédue. - L ulsao de formes acves (acf shape models) : Ces méhodes o éé développées pour exrare des obes caracérsques complexes e o-rgdes comme la puplle de l œl ou les lèvres. U algorhme de localsao feaure-based ulse ormaleme ue combaso de ces ros caégores d approches..3. Aalyse bas veau L aalyse de bas veau [] effecue des aalyses sur les propréés des bords ou de la couleur des obes caracérsques. Lors de l aalyse des bords, o applque d abord u flre pour rouver les bords das l mage. Des flres ulsés so : - l opéraeur de Sobel - l opéraeur de bord de Marr-Hldreh - ue varéé de dérvé premère ou deuxème de gaussees Esue les bords so labellsés e la forme aalysée (comparée à u modèle) pour rouver les obes caracérsques. Lors de l aalyse de la couleur, o ulse la propréé que les cls, la puplle, les lèvres, ec. apparasse ormaleme plus sombre que les régos les eoura. Cee propréé es ulsée pour dfférecer dfférees pares du vsage..3.3 Aalyse des obes caracérsques Les obes caracérsques localsés lors de l aalyse bas veau [] so souve ambgus. Par exemple, lorsqu o localse des obes caracérsques à l ade de la couleur, des aures obes de couleur smlare peuve auss êre déecés. Doc, o a pluseurs caddas pour u obe caracérsques. L aalyse des obes caracérsque peu ader à résoudre ce problème. E ulsa ue coassace à pror sur la géomére du vsage, elle perme de vérfer s u obe déecé es l obe caracérsque cherché ou pas. Il y a deux approches possbles das l applcao du savor sur la géomére du vsage. L approche chercha les obes caracérsques cherche d abord des obes smples à déecer. La déeco des obes caracérsques smples perme de fare des hypohèses sur la poso des obes caracérsques plus durs à rouver, à l ade de coassaces géomérques du vsage. Souve se so les yeux qu serve comme référece de dépar. L approche vérfa la cosellao des obes caracérsques ulse u modèle de la cosellao de pluseurs obes caracérsques e vérfe quel esemble d obes déecés

24 correspod le meux à ce modèle. Le modèle peu êre u modèle probablse de l arrageme spaal des obes caracérsque..3.4 Acve Shape Models Comme meoé das la seco.3., ces méhodes o éé développées pour exrare des obes caracérsques complexes e o-rgdes, comme l œl ou les lèvres. Au dépar, u acve shape model [] do êre placé proche de l obe caracérsque à localser das l mage. L acve shape model va par la sue eragr avec les propréés de l mage locale e se déformer leeme pour predre la forme de l obe caracérsque à exrare. Il y a ros ypes d acve shape models. Le coour acf, auss appelé sake, es ulsé pour rouver le coour d u obe caracérsque. Pour fare cela, o do alser le coour acf auour de l obe caracérsque à localser. Le coour acf se cocere e sue sur les bords proches e pred pas à pas la forme de l obe caracérsque. Le bu du coour acf es de mmser ue foco éerge E = E + (.8) sake E ex avec E l éerge ere e E ex l éerge exere. L éerge ere déped des propréés rsèques du coour acf e déf l évoluo aurelle de celu-c. L évoluo aurelle d u coour acf es ypqueme rérécr e dlaer. L éerge exere ag core l éerge ere e perme au coour acf de se comporer core l évoluo aurelle. C es ce qu perme au coour acf d eourer le bord de l obe caracérsque. Les masques déformables (deformable emplae) so ue évoluo des coours acfs. Ils corpore de l formao globale de l obe caracérsque à localser. U masque déformable cosse e u coour qu es déf par paramères. Ce coour perme de modélser des formes ypques que l obe caracérsque peu predre, pour l œl par exemple dfférees ellpses. S o pose le masque déformable près de l obe caracérsque, alors le masque (coour paraméré) va chager les valeurs de ses paramères (va se déformer) pour coverger vers le coour opmal de l obe caracérsque. De ouveau, le bu es de mmser ue foco éerge. Le PDM (Po dsrbued models) es ue descrpo paramérque compace de la forme de l obe caracérsque à localser sur la base de sasques. Lors du PDM, le coour es dscrésé e u ombre de pos labellsés. La varao de ces pos es calculée à l ade d mages exemples sur l obe caracérsque à localser e ulsa PCA. De elle faço, o abou à u modèle léare flexble. Le modèle cosse e la valeur moyee de ous les pos e des composaes prcpales pour chaque po. Pour localser l obe caracérsque, le «mea shape model», éa cosué des valeurs moyees des pos, es placé près de l obe caracérsque. Esue, ue sraége, ulsa l esé locale de l mage, es ulsée pour déplacer chaque po du modèle vers le po sur le coour de l obe caracérsque. Peda la déformao, la forme peu seuleme chager so apparece d ue faço qu coïcde avec l formao modélsée. 3

25 Chapre 3 Méhode pour la localsao de vsages 3. Iroduco 3.. Obecf Das ce chapre, la méhode ulsée pour effecuer la localsao de vsages es préseée. Rappelos pour commecer l obecf à aedre. O possède ue mage coea u vsage do o veu déecer ros obes caracérsques : l œl dro, l œl gauche e la bouche. Le bu es de coaîre e f de compe la poso exace du vsage das l mage à l ade de ces obes caracérsques. Comme moré das la fgure., la localsao es seuleme ue éape ermédare qu peu êre suve par la recoassace d expressos facales ou la recoassace e/ou vérfcao d deé de persoages. Les algorhmes de la recoassace e/ou vérfcao de persoages e de la recoassace d expressos facales o beso d mages de vsages, vus plus ou mos de face. Pour cee raso, ous supposos que le vsage à localser das l mage es vu plus ou mos de face. O suppose auss que la persoe a pas la êe rop pechée sur u des côés e que la alle du vsage es ormalsée. S ce es pas le cas, o pourra ouours, e mplaa ue foco qu effecue u chageme de alle par erpolao adapée de l mage, déecer des vsages oormalsés. Les paramères crques so doc surou la varace de l llumao du vsage, la varao du vsage lu-même e le fod o cou eoura la êe. Das ce coexe, le bu es d mplémeer u algorhme de localsao qu es plus ou mos sesble aux paramères crques précédemme meoés. Comme décr das.5, l es dffcle das le mode réel de cocevor u classfcaeur qu mmse le aux des mauvases déecos égaves f e le aux des mauvases déecos posves f e même emps. O es doc oblgé de fare u comproms. Il exse ros p comproms prcpaux qu peuve êre fas : - Le premer es de mmser le aux de mauvases déecos égaves f e augmea e même-emps le aux de mauvases déecos posves f p. Ce comproms perme d augmeer la probablé de vrame déecer ous les obes das ue mage e augmea évdemme auss les fausses déecos. Par u raeme a poseror, les mauvases déecos peuve êre élmées. U raeme a poseror es de chercher des régos das l mage das lesquelles l y a des feêres de déeco superposées. Ces régos o ue grade probablé de coer u obe caracérsque. Ce comproms es souve fa lorsqu o veu déecer ous les vsages das ue mage. - Le deuxème comproms qu peu êre fa es de mmser le aux de mauvases déecos posves f e augmea e même-emps le aux des mauvases p déecos égaves f. Ce comproms perme d augmeer la probablé d avor ue boe déeco ou de dmuer la probablé d avor ue déeco pour ue régo qu e coe pas d obe. L covée es que des régos coea u obe peuve êre gorées. Ce comproms es fa das les cas où o veu êre sûr de seuleme déecer des régos coea des obes. - Le derer comproms qu peu êre fa es de mmser la somme du aux de mauvases déecos posves f e du aux de mauvases déecos égaves f. p Ce comproms perme de mmser la probablé d avor ue mauvase déeco qu elle so posve ou égave. 4

26 Das le cas de la localsao du vsage, o souhae au mos déecer les yeux e la bouche. O es prêe à avor plus de déecos égaves pour u obe caracérsque car o peu esue garder la feêre aya la plus grade probablé de coer l obe caracérsque recherché. 3.. Chox de la méhode Récapulos les pos esseels qu défsse u bo algorhme de localsao. Il do êre robuse par rappor : - à la varao de l llumao du vsage ; - à la varao du vsage lu-même ou la déformao ; - à la alle du vsage ; - e au fod eoura le vsage o cou. E plus, o amera qu l possède u aux de mauvases déecos égaves f mmal. Comme décr das le chapre, o a à dsposo deux approches dfférees : mage-based e feaure-based. L approche mage-based, grâce à sa aure sasque, es plus robuse par rappor à la varao de l llumao du vsage, à la varao du vsage lu-même e au fod eoura le vsage o cou que l approche feaure-based. La caracérsque qu marque l approche feaure-based es sa robusesse par rappor à des roaos de la êe das l espace. Comme le vsage es seuleme vu de face ou légèreme ouré de côé, l se dégage que l approche mage-based es plus adapée pour l algorhme de localsao. L algorhme de localsao mplémeé se base sur u algorhme appelé AdaBoos qu perme de comber pluseurs hypohèses smples pour créer ue aure hypohèse plus performae. Comme l peu êre moré que l erreur de gééralsao pour AdaBoos peu êre lmée, o a ue cerae garae d avor des bos résulas lors de la déeco. Les hypohèses smples so des classfcaeurs sasques léares qu so crées à parr d u algorhme d eraîeme basé sur des mages posves e égaves (approche mage-based). Chaque hypohèse ulse u descrpeur basé sur u masque vsuel. Comme les classfcaeurs créés par AdaBoos classfero probableme pluseurs edros das l mage comme coea u obe caracérsque ros varaes dfférees pour fare u arbrage so mplémeées das l algorhme de localsao. Les descrpeurs so préseés plus e déal das la seco suvae (chapre 3.). Le chapre 3.3 présee les classfcaeurs fables e le chapre 3.4 AdaBoos. Pour fr, les ros méhodes d arbrage so préseées das Les descrpeurs 3.. Iroduco Le bu es de rouver ue boe méhode permea la descrpo des ros obes caracérsques à exrare au moye d u esemble de paramères adéquas. Les élémes de la représeao so appelés les arbus ou les descrpeurs []. Normaleme, les arbus à exrare dove déaleme répodre aux exgeces suvaes : - Fable varace er-classe ; - Grade varace ra-classe ; - Fable ombre d arbus ; 5

27 - Idépedace e raslao, roao e faceur d échelle. Comme meoé das.., les méhodes mage-based fo glsser ue feêre das oue l mage du vsage e classfe avec cee méhode oues les régos pour rouver la poso des obes caracérsques. Cec doe ue garae que les arbus à exrare so dépedas e raslao. Avec les hypohèses faes das 3.., o peu auss assumer que les arbus so dépedas e roao e e faceur d échelle. Le ombre d arbus e pose pas vrame de problème, pusqu AdaBoos les sélecoe séqueelleme. Il rese doc à chercher après ue méhode de descrpo qu a des arbus avec ue fable varace ra-classe e ue grade varace er-classe. 3.. Chox des descrpeurs Pour commecer, défssos le veceur Y comme représeao de la feêre que l o fa glsser das oue l mage pour déecer les obes caracérsques : Y Y Y = (3.). YS avec S le ombre de pxels das la feêre. Prcpaleme, l exse deux méhodes pour créer des descrpeurs D pour des mages o bares [3]: - La premère es d arbuer u descrpeur D à chaque pxel de la feêre (à chaque varable Y ). Le descrpeur D pred alors la valeur d esé du pxel auquel l es arbué. D = Y avec =,..., S (3.) - La deuxème es d arbuer u descrpeur D à ue rasformao (léare ou oléare) des varables orgales Y. f ( Y) avec f la foco effecua la rasformao. D = (3.3) Das ore cas, où o arbue u descrpeur à ue hypohèse smple, la premère approche es pas déale. La raso es qu elle es pas robuse par rappor à la varao de l llumao de l mage. Imagos, pour llusrer cela, qu o a eraîé u classfcaeur léare ou bayése par pxel sur la base d mages posves e égaves avec ue fable llumao. Iuveme, les seuls de décso des dfféres classfcaeurs sero bas. S maea, lors de la localsao, o do classfer des mages avec ue fore llumao, l es for probable que l o a des déecos pour presque oues les régos. Doc, o aura beaucoup de fausses déecos. Le cas corare peu auss êre magé. Das ce cas là, o 'aura presque pas de déecos, vor même aucue. 6

28 La soluo es d applquer ue rasformao f à la varable. Des méhodes coues qu effecue des rasformaos léares so par exemple PCA, LDA e Facor Aalyss (vor..). Ces méhodes so des echques pour rouver u espace de représeao adapé selo l applcao. E arbua à chaque ouvelle varable u descrpeur, o pourra cosrure des hypohèses assez boes. O pourra applquer AdaBoos à ces hypohèses, mas l hypohèse résulae e sera probableme pas beaucoup melleure. Ce qu es éressa, e pourquo AdaBoos a éé coçu, es d applquer AdaBoos à des hypohèses smples h, c es à dre à des hypohèses classfa use plus que 50% des doées correceme, c es à dre use melleures que la séleco aléaore. Ue aure méhode pour créer des descrpeurs D, qu peu auss êre classfée de rasformao léare, es de cosrure des masques vsuels M. M M M = (3.4). M S avec S le ombre de pxels das la feêre Y. Les masques vsuels M o la même alle que la feêre Y que l o fa glsser das l mage. Le descrpeur D arbué au masque M pred la valeur de la corrélao de la régo de l mage se rouva das la feêre Y avec le masque M, ce qu peu auss êre écr comme D = Y (3.5) M Les masques vsuels o l avaage de pouvor ecoder du savor à pror. S o pred ceraes précauos, o peu même créer des descrpeurs D qu so varas par rappor à la varao de l llumao. Ces masques vsuels de créer des hypohèses M so éressas, car ls permee h smples e robuses par rappor à la varao de l llumao. C es la raso pour laquelle des masques vsuels M o éé choss pour cosrure des descrpeurs D. Le chapre suva more la faço do so cosru les masques vsuels M Les masques vsuels Comme explqué das le chapre précéde, des masques vsuels M so ulsés pour cosrure des descrpeurs D. Les masques vsuels M ulsés so ue varae de l odelee de Haar. L odelee de Haar es ulsée das l aalyse de sgaux -D pour calculer la dfférece d esé das ue régo. Rappelos la foco de l odelee de Haar : 7

29 s 0 x 0.5 Ψ ( X ) = s 0.5 < x (3.6) 0 so Comme o peu vor facleme, la moyee de l odelee de Haar es 0. Cee propréé es éressae pour la raso suvae : L odelee de Haar perme de flrer des composaes des basses fréqueces du sgal -D. L llumao du vsage es das ou le vsage evro cosae, dépedamme de l esé de l llumao. O peu dre que c es u effe se mafesa das les fréqueces basses. Ue varae d odelee de Haar perme doc, grâce au fa que la moyee es 0, de flrer l llumao lorsqu o l applque sur des pees régos du vsage. L usage d odelees de Haar perme doc de redre l algorhme de localsao plus robuse e vers la varao de l llumao, ce qu éa u crère meoé das 3... Das 3.., l a éé d que les descrpeurs D devrae avor ue fable varace er-classe e ue grade varace ra-classe. Comme les masques vsuels M permee d ecoder du savor à pror, l fau maea rouver u modèle des obes caracérsques à localser qu ulse l odelee de Haar, augmee la varace ra-classe e dmue la varace erclasse. Le modèle ulsé es ue combaso de la foco de Haar e ue Gaussee. O va d abord préseer ce modèle e esue usfer pourquo avor chos ce modèle. Supposos que le recagle grs suva représee la feêre Y qu o fa glsser das oue l mage. FIG. 3. Image llusra la feêre qu o fa glsser das l mage avec le modèle du masque vsuel. 8

30 Alors v e v représee le référeel relaf de la feêre Y que l o fa glsser das l mage. Le modèle, représea les obes caracérsques, es u modèle -D qu e chaque po de la feêre pred ue valeur calculée à parr du produ de la foco de Haar e ue Gaussee. La foco de Haar vare selo l axe w e la Gaussee selo l axe w. Le modèle es déf par 6 paramères : - Les deux coordoées du cere C. - Le faceur S w qu perme de chager l échelle de l axe w. - Le faceur S w qu perme de chager l échelle de l axe w. - L agle β qu perme de défr de combe de degrés le référeel w es ouré par rappor au référeel v. - Le rayo r qu perme de défr le cercle selo lequel l axe w es ordu. L équao du modèle das le référeel w es doée par : s 0 <= sw w < s w s < sw w < 0 (3.7) 0 so ( w ) f ( w, w ) = e Le modèle es assez flexble ce qu es llusrer avec l mage suvae. FIG. 3. Image llusra le modèle du masque vsuel. Les paramères pour ce modèle so : C = 50, C = 50, S w = 0.05, S w =, β = 0, r = 50 9

31 E voya cee mage, o peu compredre pourquo ce modèle es u bo cadda pour modélser les obes caracérsques qu so l œl gauche, l œl dro e la bouche. Ce modèle es capable de fare des approxmaos assez boes des lèvres ou du coour d u œl, ec. Comme o ulse des mages de fable résoluo (feêre 7x0), o smplfe les masques e quafa sur 3 veaux {-,0,} e garassa ue moyee ulle. La fgure suvae more quelques masques vsuels M. FIG. 3.3 Image llusra des masques vsuels M. Les pxels e or correspode à, ceux e blac à + e les grses à Les classfcaeurs fables 3.3. Iroduco Das ce chapre, les classfcaeurs fables so préseés. U classfcaeur es d fable das le lagage du Boosg lorsqu l e possède pas des boes performaces de classfcaos. Il do seuleme pouvor classfer plus que 50% des doées correceme. Comme classfcaeur fable, des classfcaeurs léares so ulsés. Les classfcaeurs léares ulsés h se compose d u descrpeur D, d u seul Θ e d ue varable de paré p qu dque la dreco du sge d égalé. Le descrpeur h ( ) ( X) s p D < p Θ X = (3.8) so D es cosru à parr d u masque vsuel M e es calculé selo l équao 3.5. Les classfcaeurs fables h so eraîés par u algorhme d eraîeme sur la base d mages posves e égaves. L algorhme d eraîeme es déallé das le chapre suva. Le chapre doe ue défo de classfcaeurs fables. Il es suv par le chapre qu explque pourquo des classfcaeurs léares o éé choss comme classfcaeurs fables. 30

32 3.3. Algorhme d eraîeme Le bu de l algorhme d eraîeme es de chercher le seul opmal Θ pour u classfcaeur fable h. Le seul es opmal s l mmse le ombre d mages exemples mal classfées. Erée : S {( x y, d ),..., ( x, y, d )} =, N N N avec N le ombre d mages d eraîeme Fare : ) Cosrure l hsogramme cumulaf des mages posves f p, e égaves f,. ) Cherche les deux seuls respecveme c. Θ e Θ qu mmse les focos c 3) Calculer les erreurs d eraîeme ε e ε. 4) Arbuer aux paramères de sore p e Θ leur valeur : Θ Θ = Θ s ε < ε so p p s ε < ε = p so Sore : ( Θ, ) p Algorhme 3. : Algorhme d eraîeme d u classfcaeur fable h. L algorhme d eraîeme reço comme erée l esemble des mages posves, égaves S = x y, d,..., x, y, d. N es le ombre oal e leurs podéraos correspodaes {( ) ( )} d mages e podéraos chapre 3.4. Pour calculer le seul mages posves podéraos des mages, y dque s l s ag d ue mage posve ( y = ) ou égave ( y = ). Les d so calculées par AdaBoos e sero rodues plus e déal das le Θ, l algorhme d eraîeme cosru l hsogramme cumulaf des f p, e égaves d. N N f, e foco du descrpeur D e e respeca les N 3

33 FIG. 3.4 Image llusra l hsogramme cumulaf des mages posves f p e égaves f. L hsogramme cumulaf pour les mages égaves es doé par : f N ( Θ) = d I (, y Θ),, = avec x (3.9) ( x ) pour D <= Θ e y = I( x, y, Θ) = (3.0) 0 so L hsogramme cumulaf pour les mages posves es doé par : f N ( Θ) = d I(, y Θ) p,, = avec x (3.) ( x ) pour D <= Θ e y = I( x, y, Θ) = (3.) 0 so Esue, l cherche les deux seuls opmaux parés p = respecveme p =. e Θ e mmsa c Θ e Θ auxquels so arbués les bs de Θ es rouvé e mmsa la foco ( Θ ) + f ( Θ ) = f (3.3) p,, 3

34 c ( Θ ) + f ( Θ ) = f. (3.4), p, Esue, o calcule l erreur de classfcao pour les deux classfcaeurs léares Θ, p = h Θ, p = : h ( ) e ( ) N = ( h ( x ) y ) ε = d I (3.5) N = ( h ( x ) y ) ε = d I (3.6) Pour fr, l algorhme reoure les paramères du classfcaeur aya l erreur de classfcao mmale. Θ Θ = Θ s ε < ε so (3.7) p p s ε < ε = p so (3.8) Défo d u classfcaeur fable Das ce chapre, la défo d u classfcaeur fable es doée. U classfcaeur fable es déf das [4] de la faço suvae : U classfcaeur es u classfcaeur fable pour u esemble de doées S s, doé ue podérao quelcoque de S, l possède ue erreur de classfcao podérée srceme féreure à ½. Lors du Boosg, ue codo dspesable pour que l algorhme a ue boe performace es d ulser des classfcaeurs fables h. Das le coexe de la classfcao bare, u classfcaeur fable es déf par so erreur emprque podérée ε (,d) srceme féreure à ½-½γ : ε N = ( ) γ ( h, ) d I y h ( x ) d, ( γ > 0 ) (3.9) = avec d la podérao de la pare de doée ( x, y ) l esemble S {( )} N m y h, N le ombre de doées das = x, e γ le paramère de bord qu quafe la dévao de la = performace du classfcaeur fable par rappor à u classfcaeur qu classfe les doées au aléaoreme. 33

35 3.3.4 Pourquo des classfcaeurs léares Das ce chapre, l es explqué pourquo des classfcaeurs léares o éé choss comme classfcaeurs fables. Comme meoé das 3.3.3, le Boosg écesse u esemble H de classfcaeurs fables pour focoer. La codo pour que les classfcaeurs h H soe ous des classfcaeurs fables es que γ das l expresso 3.9 so srceme plus grad que 0 pour ous les classfcaeurs. Das [5], le cas a éé cosdéré das lequel l esemble des classfcaeurs fables H cossa e classfcaeurs léares e les doées x appareae à l espace h ( ) = ( w x b) x sg (3.0) + d R. Il a éé moré que pour mpore quelle ε h,d éa déf podérao d des doées d appressage, l erreur emprque podérée ( ) par (,d) c ε h (3.) N avec c ue cosae absolue. Cec veu dre que pour mpore quelle podérao d u classfcaeur léare h peu êre rouvé qu possède ue marge c / N. La garae es doc doée que pour l esemble H l erreur emprque podérée (,d) h ε es féreure à ½-½γ. Comme ous ulsos auss des classfcaeurs léares comme classfcaeurs smples, ous avos la garae que os classfcaeurs smples so des classfcaeurs fables. 34

36 3.4 AdaBoos 3.4. Iroduco Das ce chapre, la méhode qu perme de comber pluseurs hypohèses smples pour créer ue aure hypohèse plus performae es préseée. La méhode s appelle AdaBoos (Adapve Boosg) qu es, comme so om l dque, u algorhme de Boosg. L dée de base du Boosg es de comber des «règles» smples (hypohèses smples) pour créer u esemble do la performace de chaque éléme de l esemble es amélorée («boosée» ). L esemble composé des hypohèses es déf de la maère suvae : avec ( ) = ( x) f x α h (3.) α le pods qu es arbué à l hypohèse h dove êre eraîés peda la procédure de Boosg. = h de l esemble. Les pods hypohèses E géérale, l y a pluseurs approches possbles pour sélecoer les coeffces α e les α e les α e les hypohèses h hypohèses h de l équao 3.6. Lors du Boosg les coeffces so sélecoés éraveme à l ade d exemples d appressage podérés. À chaque érao, les pods des exemples d appressage so recalculés de maère à arbuer ue grade podérao aux exemples d appressage classfés correceme e ue fable podérao aux aures. Cee echque perme de cocerer la procédure d appressage sur les exemples durs à classfer. Les deux méhodes de Boosg les plus coues so probableme AdaBoos e LogBoos. Das le chapre suva (3.4.), les dées de base du Boosg so préseées. Esue, l algorhme d AdaBoos es explqué e déal. Pour fr, l sera moré pourquo l erreur d eraîeme ed vers zéro Idées de base du Boosg Das ce chapre, les dées de base du Boosg so préseées pour u problème de classfcao bare. Le bu de la classfcao bare es de rouver ue «règle» (hypohèse) qu, basée sur u esemble d observaos assge u obe à ue des deux classes. Ce problème peu êre formulé de la faço suvae : E ulsa ue base de doées déà classfée S, l s ag d esmer ue foco f : A B qu classfe correceme des exemples ( x, y) cous. A es l esemble de ous les obes e B es l esemble des deux classes (labellsées par - e ). Les élémes de la base de doées, auss appelés les doées d appressage, S so géérés au hasard e dépedamme l u de l aure à parr d ue dsrbuo de probablé P ( x, y). Lorsque B = {, }, o parle d u «hard classfer» e le label assgé à l erée x f x. es doé par ( ) S { x x R d } A = (3.3) {, } B = (3.4) {( y ),..., ( x, y ) ( y ) A B} =, N N x, x (3.5) 35

37 La performace d u classfcaeur f es défe par le rsque L ( f ) gééralsao ou erreur de es. ( f ) = ( f ( x), y) dp( x y), auss appelé erreur de L λ, (3.6) avec λ ue foco de coû à défr. Le rsque calcule l erreur de classfcao e ulsa ue base de doées déà classfée S qu es géérée de la même faço que S. Il es mpora à oer que la base de doées S se compose d aures exemples que ceux de la base de doées S. Les élémes de la base de doées S so auss appelés doées de es. S {( y ),..., ( x, y ) ( y ) A B} =, N N x, x (3.7) Pour la classfcao bare, la foco de coû suvae es souve ulsée : ( f ( x ), y) = I ( f ( x), y) λ (3.8) avec I ( f ( ), y) ( x) s f y x = (3.9) 0 so Selo le coexe, d aures focos de coû peuve êre ulsées. Malheureuseme, le rsque e peu pas êre mmsé dreceme car la dsrbuo de probablé P ( x, y) es pas coue. Pour cee raso, ue foco smlare do êre esmée qu ressemble le plus possble à la foco opmale L ( f ). La foco do êre esmée à l ade des formaos à dsposo, c es-à-dre sur la base de doées déà classfée S e les propréés de la classe des focos F do la soluo f es chos. Ue L ) f : soluo smple, cosse à approxmer le rsque ( f ) Lˆ N N ( f ) = ( f ( x ), ) = L par le rsque emprque ( ) λ (3.30) y À parr du héorème des grads ombres, o peu s aedre à ce que le rsque emprque f L f s N ed vers l f : L ) ( ) ed vers le rsque ( ) L ( f ) lm Lˆ ( f ) = (3.3) N Mas, pour pouvor garar à ce que la foco f obeue e mmsa L ) ( f ) asympoqueme vers le mmum de L ( f ) coverge, l fau qu ue aure codo so sasfae. Iuveme, la classe des focos F ose pas êre rop complexe. Aureme, o peu rouver ue foco f qu possède ue erreur de classfcao sur les doées d appressage S arbrareme pee mas ue grade erreur de gééralsao L ( f ). Ce 36

38 phéomèe es appelé «overfg». Ue codo suffsae pour éver «l overfg» es l exgece que L ) ( f ) coverge uforméme (à ravers F ) vers L ( f ). Das le cas où la base de doées S es pas rès grade, ce qu es presque ouours le cas e réalé, les codos précédees e so pas respecées e u grad écar peu avor leu f L ) f. Das ce cas, le phéomèe ere l erreur de gééralsao L ( ) e le rsque emprque ( ) appelé «overfg» peu de ouveau apparaîre car ue fable erreur de gééralsao L ( f ) e peu pas êre obeu e mmsa smpleme l erreur emprque L ) ( f ). La soluo pour fare dsparaîre le phéomèe appelé «l overfg» es de lmer la alle de la classe des focos F. Le chox de focos qu classfe la maoré des doées d appressage correceme es préférable au chox de focos qu classfe presque oues les doées d appressage correceme. Pour les algorhmes de Boosg, l y a pu êre moré que sous ceraes codos la complexé de la classe des focos F saure e augmea le ombre d hypohèses ulsées pour créer la foco de classfcao f. O pourra doc crore que le phéomèe de «l overfg» 'es pas possble. Cec es faux, spécaleme lorsqu o ulse des procédures de Boosg avec des doées d appressage bruées. Lors du Boosg, l fau doc auss êre aef à la alle de la classe des focos F. 37

39 3.4. Algorhme Le bu de l algorhme d AdaBoos es de sélecoer les coeffces α e les hypohèses h f x. pour former ue hypohèse plus pussae ( ) Erée : S {( x y ),..., (, )}, y = x N N avec N le ombre d mages d appressage, le ombre d éraos. Ialsao : d = pour =,..., N N Pour =,..., : ) Eraîer les classfcaeurs «fables» doées d eraîeme podérées. h e respeca les ) Calculer l erreur d eraîeme podérée pour chaque classfcaeur «fable» ε. 3) Chosr le classfcaeur «fable» avec l erreur d eraîeme podérée mmale hypohèse h e erreur d eraîeme podérée ε. 4) Calculer le pods à arbuer à l hypohèse h : α = log ε ε 5) Mere à our les pods des doées d eraîeme : d ( ) + d exp = ( ) { α y h ( x )} 38 Z avec Z la cosae de ormalsao. Elle pred la valeur écessare pour que N d = ( + ) =. O erromp s ε = 0 ou ε e mere = α Sore : f ( x) = h ( x) = α = Algorhme 3. : Algorhme d AdaBoos

40 L algorhme d AdaBoos reço comme erée la base de doées d eraîeme S = x y,...,, e le paramère qu dque combe d hypohèses dove êre {(, ) ( y x N N )} combées au maxmum pour cosrure l hypohèse combée plus pussae ( x) Pour la premère érao, les pods À chaque érao, ous les classfcaeurs fables d so alsés uforméme : H. d = pour =,..., N (3.3) N h H so eraîés (). H es la classe des classfcaeurs fables. La faço chose pour eraîer les classfcaeurs fables h es décre das Ue fos les classfcaeurs fables h eraîés, l erreur d eraîeme ε pour chaque classfcaeur fable h es calculée () : N = ( x, y ) ε = d I (3.33) avec ( x ) pour y h I( x, y ) = (3.34) 0 so Parm ous les classfcaeurs fables eraîés, AdaBoos chos maea le melleur (3). Il s ag du classfcaeur qu possède l erreur d eraîeme mmale. s k < ε pour ou k h h ε ε ε (3.35) Après avor chos le melleur classfcaeur h, AdaBoos calcule le pods α à arbuer au classfcaeur h (4). Le pods α es calculé de faço à mmser la foco coû G AB N ( ) = exp{ y ( αh ( x ) + f ( x ))} α (3.36) = f avec ( ) h ( x ) = r= r r x α (3.37) éa l hypohèse combée de l érao précédee. Il a pu êre moré das [6] que peu êre calculé aalyqueme. L expresso de α es : α ε α = log ε (3.38) 39

41 Pour fr, AdaBoos acualse la podérao des doées d appressage pour ce cocerer sur des exemples dffcles à classfer (5). Les exemples classfés correceme reçove ue podérao plus pee e celles classfées correceme ue podérao plus grade. L érao es errompue, lorsque l erreur d eraîeme ε du classfcaeur h es égale à 0 ou supéreur à 0,5. S ε = 0, la classfcao es opmale e l es plus écessare d aouer d aures classfcaeurs. S ε 0, 5 codos de classfcaeur fable. Cec sgfe que aléaore. L hypohèse f e peu doc plus êre amélorée., alors le classfcaeur h e sasfa plus aux h classfe mos be qu ue séleco L hypohèse composée f es la combaso léare des hypohèses fables h e es doée par : α f h α ( x) = ( x) = = (3.39) L hypohèse fale H ( x) es doée par : H ( x) sg[ f ( x) ] = (3.40) La covergece de l erreur d eraîeme vers zéro Das 3.3.4, l a éé moré que l erreur emprque podérée (,d) h ε de os classfcaeurs fables es féreure à ½-½γ, γ > 0. O va morer maea que cee codo suff pour que l erreur emprque de l hypohèse composée f coverge expoeelleme vers 0 lorsque le ombre d éraos augmee. O commece par rappeler que la valeur de la foco réelle f coe de l formao sur la cerude que la doée x apparee à sg [ f ( x) ]. La valeur de f es défe sur l ervalle [-,]. O déf pour la classfcao bare ( y {, }) e f R la marge de f comme : ( x) O cosdère la foco suvae défe pour 0 Θ /, L erreur de marge emprque es défe comme ρ = y f (3.4) s z 0 ϕ Θ ( z) = z / Θ s 0 < z Θ (3.4) 0 so Lˆ Θ N ( f ) = ( y f ( x )) N = ϕ (3.43) Θ 40

42 L erreur de marge emprque Lˆ Θ ( f ) es égale à l erreur de classfcao ( f ) La foco L Θ ( f ) ~ L Θ ( f ) es défe de la faço Lˆ pour Θ = 0. ˆ es moooe décrossae e foco de Θ. L erreur de marge 0/ ~ L Θ N ( f ) = I ( y f ( ) Θ) N = x (3.44) Comme ( yf ( x )) I ( y f ( x Θ Θ ϕ ) Θ), o peu coclure que L ( f ) L ( ) Θ ˆ ~. f héorème O cosdère AdaBoos comme décr das Algorhme 3.. O suppose qu à chaque érao, l erreur podérée emprque sasfasse ( ) ε h, d / / γ. Alors, l erreur de marge emprque de l hypohèse ( ) composée f obés à Lˆ Θ ( ) ( ) ( + γ ) f = Θ +Θ γ (3.45) Preuve. La preuve préseée es rée de [6] pour le cas où h {, } morer que pour chaque { α } Par défo ~ L De la défo de f l su que yf se qu peu êre réécr comme I Z = = Θ ( f ) exp Θ Z = α α ( ε ) e + ε e. N ( ) yαh ( x ) = d e = ( ) α ( ) α d e + d e : y = h ( x ) : y h ( x ) ( ) Θ exp y α h ( x) + Θ α. O commece par α. (3.46) = x, = = [ Yf ( ) Θ] exp y α h ( x) + Θ α X. (3.47) = = 4

43 Il es à remarquer que d ( + ) d = exp α yh = = N Z ( ) exp( α y h ( x )) = Z ( x ) (3.48) E ulsa (3.47) e (3.48) o rouve que ~ L Θ N ( f ) = I[ y f ( x ) Θ] = exp Θ N = exp Θ = exp Θ N = = = N exp y α h ( x ) + Θ α = = = N = α α α = = exp y = = N Maea, o pose α ( / ) log( ( ε )/ ε ) Z. = N ( + ) Z d = 443 α h ( x ) = (vor algorhme 3.) ce qu mplque que Z = ε ( ε ). E subsua ce résula das (3.46) o rouve que ~ L Θ Θ ( f ) 4ε ( ε ) = +Θ ce qu produ le résula cherché e oa que ε / γ / Das le cas spécal où Θ = 0 o rouve que Lˆ Θ = ( f ) γ / = e ˆ ~. Θ Θ = e L ( f ) L ( f ), (3.49) d où o coclu que la codo γ suff pour garar que L ˆ( f ) 0. Par exemple, la codo γ c suff. Das le cas γ > 0 0 / L ˆ pour ou γ Θ, ( ) 0 Θ γ 0 /. Cec sgfe que s chaque classfcaeur es légèreme melleur qu u f 4

44 classfcaeur qu classfe au hasard alors l erreur d eraîeme chue expoeelleme vers Arbrage 3.5. Iroduco U classfcaeur dque ormaleme pour pluseurs régos das l mage la présece d u obe caracérsque. Ere ces déecos, l y a des fausses déecos qu e coee pas d obe caracérsque e des déecos qu coee oues le même obe caracérsque. Il es doc écessare de fare u arbrage pour rouver la régo alla la plus grade chace de coer l obe caracérsque. U premer arbrage qu es ulsé es d applquer le déeceur de l œl dro seuleme das la régo supéreure gauche, le déeceur de l œl gauche seuleme das la régo supéreure droe e le déeceur de la bouche seuleme das la régo féreure. Mas ce arbrage e suff pas. U deuxème arbrage es doc ecore ulsé. Pour le deuxème arbrage, ros méhodes dfférees so mplémeées e esées. Ces ros méhodes so préseées e bref das les secos suvaes de ce chapre Premère méhode pour arbrer La premère méhode pour arbrer cosse à chosr la poso avec la valeur de déeco maxmale comme poso la plus probable pour u obe caracérsque. O espère doc que le classfcaeur obe la valeur de déeco maxmale pour la régo qu es exaceme cerée sur l obe caracérsque Deuxème méhode pour arbrer La deuxème méhode pour arbrer cosse à chercher la régo coea le plus de déecos e de chosr la poso avec la valeur de déeco maxmale à l éreure de cee régo comme poso la plus probable pour u obe caracérsque. Cee méhode par de l dée qu o a pluseurs déecos voses pour des régos parelleme superposées coea oues le même obe caracérsque e que ces régos voses forme la régo coea le plus de déecos rosème méhode pour arbrer La rosème méhode pour arbrer cosse à comparer les posos des déecos pour les ros obes caracérsques avec u modèle géomérque du vsage e de chosr les ros posos respeca le meux le modèle comme posos les plus probables pour les obes caracérsques. Le modèle géomérque du vsage ulsé es assez prmf e cosse e seuleme ros pos représea le cere de l œl gauche c _ oelg, le cere de l œl dro c _ oeld e le cere de la bouche c _ bouche. 43

45 FIG. 3.5 Image llusra le modèle du vsage ulsé. a e b so des cosaes auxquelles so arbuées les valeurs suvaes : [ pxel] a = 4 (3.50) [ pxel] b =, (3.5) Ces valeurs o éé rouvées à l ade de mesures faes sur des vsages e sur la base d essas. Pour pouvor mesurer la correspodace ere le modèle du vsage e les ros pos de déecos pour les obes caracérsques la foco de probablé de correspodace p E, E, E _, E es ulsée : ( ) avec hor ver p eye ds ceer E E _ hor ver eye ds ceer VAR _ HOR VAR _ VER VAR _ EYED VAR _ CENER ( E, E, E, E ) e e e e hor ver eye _ ds ceer E = (3.5) E hor, E ver, E eye _ ds les dsaces d erreur dquées das la fgure suvae. E FIG. 3.6 Image llusra les dsaces d erreur E hor, E ver, E eye _ ds. d _ c _ oeld, d _ c _ oelg e d _ c _ bouche so les ceres des déecos pour les obes caracérsques. 44

46 E ceer es ue dsace d erreur qu dque de combe le vsage formé par les ros déecos d _ c _ oeld, d _ c _ oelg e d _ c _ bouche es élogé du cere de l mage coea le vsage. Elle ser à favorser les esembles de déecos qu correspode au modèle du vsage e qu so ceré das l mage. Iuveme, l es correc de favorser ces déecos, car le vsage à localser es ormaleme auss ceré das l mage. Défssos d c _ oeld, d c _ oelg e d c _ bouche comme éa les coordoées des ceres des déecos pour l œl dro, l œl gauche e la bouche e c mage comme éa la coordoée du cere de l mage coea le vsage à localser. Alors E ceer es déf de la faço suvae : E ceer ( d + d d ) = c ceer c _ oeld c _ oelg + c _ bouche (3.53) 3 Les valeurs pour les cosaes VAR _ HOR, VAR _ VER, VAR _ EYED e VAR _ CENER dove êre rouvées e fasa des essas avec le programme mplémeé. 45

47 4 Résulas e Expérmeaos 4. Iroduco Das ce chapre 4, les résulas obeus pour l appressage avec AdaBoos e les performaces du programme de localsao du vsage so préseées. Ava d explquer la srucure du programme de localsao mplémeé, commeços par appeler par coveo œl gauche l œl gauche de la persoe e o l œl sué à gauche sur l mage. Pour ravaller avec des mages de alles 40x30 pxels, u algorhme de ormalsao d mages es mplémeé das le programme. Esue, pour déecer les ros obes caracérsques, ros classfcaeurs dfféres so mplémeés : - u pour l œl dro, - u pour l œl gauche - e u pour la bouche. Les classfcaeurs pour l œl dro e la bouche so cosru à l ade de l algorhme AdaBoos e ulsa des masques vsuels pour cosrure les descrpeurs. Comme l œl gauche es symérque à l œl dro, o ulse le classfcaeur de l œl dro auss pour l œl gauche e réfléch les masques vsuels à l axe vercal. Pour localser les obes caracérsques, o fa glsser ue feêre das l mage du vsage (vor FIG..). À chaque poso, la pare de l mage qu es efermée par la feêre es exra e classfé. Comme chaque classfcaeur reoure ormaleme pluseurs posos pour l obe caracérsque qu l do déecer, des arbrages so ulsés à la f pour rouver la poso la plus probable des obes caracérsques. Le premer arbrage mplémeé cosse à applquer, à cause de la aure du vsage, le classfcaeur pour l œl dro seuleme das la régo supéreure gauche, le classfcaeur pour l œl gauche seuleme das la régo supéreure droe e le classfcaeur pour la bouche seuleme das la pare féreure de l mage. Ce arbrage es suv par u deuxème arbrage chercha après la poso la plus probable des obes caracérsques das les dfférees régos. Pour cela, ros méhodes dfférees so mplémeées : - La premère méhode cosse à chosr la poso avec la valeur de déeco maxmale comme poso la plus probable pour u obe caracérsque. - La deuxème méhode cosse à chercher la régo coea le plus de déecos e de chosr la poso avec la valeur de déeco maxmale à l éreure de cee régo comme poso la plus probable pour u obe caracérsque. - La rosème méhode cosse à comparer les posos des déecos pour les ros obes caracérsques avec u modèle géomérque du vsage e de chosr les ros posos respeca le meux le modèle comme posos les plus probables pour les obes caracérsques. 46

48 mage Normalsao à 40x30 Déeco de l œl dro Déeco de l œl gauche Déeco de la bouche Arbrage Poso des yeux e de la bouche FIG. 4. Srucure du programme mplémeé. Le chapre es subdvsé de la faço suvae : Das 4., la base de doées ulsée es préseée. Cee seco es suve par le chapre présea des résulas de la performace d AdaBoos. Pour coclure, les résulas de déeco so préseés. 4. Base de doées ulsée La base de doées ulsée pour l eraîeme e les ess s appelle BANCA [7]. BANCA es ue base de doées sadard pour évaluer des algorhmes de localsao. Elle coe des mages de 5 persoes dfférees vues de face. L avaage de cee base de doées es qu o coaî la poso des yeux das l mage e que les mages des vsages o éé prses das des codos d acquso rès varées. Par exemple, les persoes e regarde pas ouours dro das la caméra, o la bouche ouvere ou fermée ec. L covée de cee base de doées es que les persoes so souve llumées du même côé e qu o e coaî pas la poso de la bouche. D aures bases de doées sadards pour eser des algorhmes de localsao so par exemple XMVS [8] ou BoID [9]. Lors de la localsao, o a ormaleme ue mage coea seuleme le vsage d ue persoe comme erée. Comme la base de doées BANCA coe des mages de persoes avec leur fod, l fau d abord exrare les vsages des persoes. Pour cela, le même modèle du vsage que das [0] es ulsé pour coaîre à parr de la poso des yeux la régo coea le vsage. Le vsage es modélsé par u recagle e deux pos représea les puplles des yeux. La poso des deux pos das ce recagle es doée par des mesures aropologques reprses de []. L mage suvae llusre le modèle du vsage. 47

49 FIG. 4. Modèle du vsage cosru à parr des mesures aropologques. Les cosaes pupl_se (dsace ere la puplle e le meux du vsage), e _ g (haueur de la pare féreure du vsage), r_g (haueur du vsage) e zy_zy (largeur du vsage) so reprses de [] e o comme valeur : pupl _ se e _ g r _ g zy _ zy = = = = 33,4 7,7 87, 39, (4.) Avec le modèle du vsage préseé, l es possble de calculer à parr de la poso des yeux les gradeurs h (haueur de la régo à exrare), w (largeur de la régo à exrare) e y _ upper (la haueur de la pare supéreure du vsage) qu déerme la régo à exrare d ue mage coea u vsage. Les ros gradeurs se calcule de la faço suvae : avec x _ ee w = zy _ zy (4.) pupl _ se w h = r _ g (4.3) zy _ zy w y _ upper = h e _ g (4.4) zy _ zy x _ ee la dsace ere les yeux mesurée e pxels. 48

50 FIG. 4.3 Régo à exrare cosrue à parr des ceres des yeux. L mage es smlare aux mages apparea à la base de doées BANCA. Après avor exra les vsages des mages des 5 persoes de la base de doées BANCA, les vsages so repars e deux groupes G e G pour eraîer e eser les classfcaeurs. Chaque groupe coe 000 mages de vsages apparea à 6 persoes dfférees. Le groupe G es ulsé pour créer les esembles d eraîeme RAIN_OD e RAIN_B qu so écessares pour eraîer le classfcaeur de l œl dro e de la bouche. Le groupe G es ulsé pour créer les esembles de es ES_OD e ES_B qu serve à eser le classfcaeur de l œl dro e de la bouche. U esemble es cosué d mages posves e égaves. Les mages posves so les mages de l obe caracérsque à localser e so exraes à u edro précs das les mages du groupe G ou G. Les mages égaves so les mages e représea pas l obe caracérsque à localser e so exraes à ue poso chose aléaoreme das les mages du groupe G ou G. Le ableau suva more comme les dfféres esembles pour les dfféres obes caracérsques so assemblés. Obe caracérsque Œl dro Bouche Esemble RAIN_OD ES_OD RAIN_B ES_B Groupe G G G G Nombre d mages posves Nombre d mages égaves AB. 4. Composo des esembles RAIN_OD, RAIN_B, ES_OD e ES_B. Il y a pas d esemble d eraîeme e de es pour l œl gauche par-ce qu o a pas eraîé u classfcaeur pour celu-c. 49

51 4.3 alle déale des mages Quelle es la alle déale des mages coea u vsage pour localser les obes caracérsques? Pour rouver ue répose à cee queso, sx classfcaeurs dfféres pour l œl dro so eraîés pour sx alles d mages dfférees : - x9-0x5-40x30-60x45-80x60-0x90 FIG. 4.4 Images à la alle x9, 0x5, 40x30, 60x45, 80x60 e 0x90. La fgure 4.5 more l erreur de classfcao des dfféres classfcaeurs. L erreur de classfcao ε r es calculée e ulsa l esemble ES_OD e es doée par : ε r = N I 0 N = ( y h( x ) ) avec N le ombre d mages posves e égaves de l esemble ES_OD. 50

52 FIG. 4.5 Erreur de classfcao de l œl dro pour les alles des mages du vsage x9, 0x5, 40x30, 60x45, 80x60 e 0x90. O vo qu e augmea la résoluo des mages, l erreur de classfcao dmue usqu à la résoluo de 60x45. Iuveme c es logque, car e augmea la résoluo o augmee auss l formao das l mage ce qu perme de meux classfer des mages. La raso pour laquelle l erreur de classfcao remoe à parr de la résoluo 60x45 es que les régos exraes pour eraîer le classfcaeur o éé choses, par rappor à la alle du vsage, plus pees à cause du emps de calcul. Cec sgfe que les mages posves coee use l œl dro e plus l œl dro plus ue pee régo auour de l œl. Pour dmuer le emps de calcul, l es éressa d avor ue résoluo auss fable que possble. C es la raso pour laquelle o a chos de ravaller avec des mages coea u vsage de alle 40x30, vu que l erreur de classfcao e dmue plus sgfcaveme à parr de cee alle. FIG. 4.6 Images de alle 40x30. Les mages apparee à la base de doées BANCA. La fgure suvae llusre les courbes ROC du classfcaeur de l œl dro pour les alles des mages du vsage x9, 0x5, 40x30, 60x45, 80x60 e 0x90. 5

53 FIG. 4.7 Courbes ROC du classfcaeur de l œl dro pour les alles des mages du vsage x9, 0x5, 40x30, 60x45, 80x60 e 0x Résulas de la performace des classfcaeurs Comme explqué das.5, la performace d u classfcaeur peu êre mesurée à l ade de pluseurs crères. Ic, l erreur de classfcao ε r es ulsée. La fgure suvae more l erreur de classfcao du classfcaeur eraîé pour l œl dro. L erreur de classfcao es calculée pour l esemble RAIN_OD e ES_OD. Comme dque das le ableau 4., 000 mages posves e 000 mages égaves o éé ulsées pour l esemble RAIN_OD e 000 mages posves e 000 mages égaves pour l esemble ES_OD. 5

54 FIG. 4.8 Erreur de classfcao pour l œl dro. Elle es représeée e foco du ombre de descrpeurs ulsés pour l esemble ES_OD e RAIN_OD. Il es éressa de vor comme l erreur de classfcao pour l esemble RAIN_OD ed vers zéro lorsque le ombre de descrpeurs ulsés augmee. C es u effe aedu qu a éé démoré e héore (vor chapre 3.4.4). Cee courbe perme auss de vor comme AdaBoos sélecoe éraveme des classfcaeurs fables pour dmuer couelleme l erreur de classfcao ε r des doées d eraîeme RAIN_OD. L erreur de classfcao ε r des doées ES_OD more qu AdaBoos perme effecveme de booser u classfcaeur fable. O vo que le melleur classfcaeur fable, le classfcaeur qu es sélecoé le premer par AdaBoos, a ue erreur de classfcao ε r des doées ES_OD d evro 3%. AdaBoos perme de rouver u classfcaeur rédusa l erreur de classfcao ε r des doées ES_OD à evro 5,5%. La fgure suvae more les courbes ROC pour l œl dro pour les deux esembles RAIN_OD e ES_OD. Les courbes ROC so calculées e fasa varer le seul de décso du classfcaeur pour l œl dro. 53

55 AdaBoos FIG. 4.9 Courbes ROC pour l œl dro pour les esembles RAIN_OD e ES_OD. La courbe ROC pour l esemble ES_OD perme de vor qu l es pas possble de rouver u classfcaeur pour l œl dro qu possède e même emps u pe aux de mauvases déecos posves e u pe aux de mauvases déecos égaves. Le classfcaeur pour l œl dro crée par AdaBoos peu êre rouvé sur la courbe ROC pour l esemble ES_OD à l edro dqué par la flèche. Il s ag du po le plus proche de l orge. Ce po a la propréé d avor l erreur de classfcao mmale. 4.5 Résulas de localsao Das cee seco, les résulas obeus pour le programme mplémeé so préseés. Comme décr das 4., 3 dfférees méhodes d arbrage o éé esées. Pour chaque méhode les résulas obeus so préseés. Les résulas so obeus e applqua le programme de localsao mplémeé sur le groupe d mages G. Das la sue du chapre, des hsogrammes de déecos sero préseés. Il s ag d hsogrammes de déecos pour le cere des obes caracérsques. Il y aura auss des erreurs de déecos e qu sero préseé. Ces erreurs de déecos dque le pourceage des déecos d pour u obe caracérsque qu se rouve rop élogées du cere c cou. Comme o ulse le groupe G, la poso du cere des yeux ( c oel _ dro e c oel _ gauche ) es coue. La poso du cere de la bouche c bouche es esmée e prea la moyee sur u esemble de mesures faes sur les mages. Les ceres des obes caracérsques ulsés o les coordoées suvaes : 54

56 c oel _ dro c oel _ gauche 6 = 9 6 = 0 c bouche 3 = 4 Ue déeco d es classfée comme correce s : c [ 0] d[ 0] c e [ ] d[ ] avec e les dces de l erreur de déeco e Localsao avec la premère méhode pour arbrer La premère méhode pour arbrer cherche après la poso la plus probable des obes caracérsques e chosssa la poso avec la valeur de déeco maxmale comme poso la plus probable pour u obe caracérsque. Commeços par la préseao des hsogrammes de déecos e les dfférees erreurs de déecos e pour l œl dro, l œl gauche e la bouche. O rappelle que les hsogrammes dque la poso du cere des déecos. FIG. 4.0 Hsogramme de déecos pour l œl dro. L hsogramme dro es vu de hau. 55

57 ype d erreur de déecos [%] e 96,5 00 e 35,8 e 3,7 e 8, 33 e 3,9 44 AB. 4. Erreur de déecos pour l œl dro. FIG. 4. Hsogramme de déecos pour l œl gauche. L hsogramme dro es vu de hau. ype d erreur de déecos [%] e 94, 00 e 6, e 3,3 e, 33 e 7,4 44 AB. 4.3 Erreur de déecos pour l œl gauche. FIG. 4. Hsogramme de déecos pour la bouche. L hsogramme dro es vu de hau. 56

58 ype d erreur de déecos [%] e 9,6 00 e 54,5 e 30,9 e 4,7 33 e 9,3 44 AB. 4.4 Erreur de déecos pour la bouche. O vo que l œl dro es assez be déecé. Il y a seuleme 8,% de déecos qu so élogé plus que 3 pxels du cere c. oel _ dro L œl gauche par core es déecé rès mal. À parr de l hsogramme, o vo qu o a des mauvases déecos à l edro où se rouve le sourcl gauche e das la régo des cheveux. La mauvase performace du classfcaeur pour l œl gauche peu êre explquée par le fa qu o a smpleme repr le classfcaeur de l œl dro e réfléch les masques vsuels à l axe vercal. Comme les persoes das la base de doées BANCA so souve llumées de gauche, l œl gauche apparaî souve dfféremme que l œl dro. Cec es probableme la raso prcpale pour la mauvase performace du classfcaeur de l œl gauche. O vo que l hsogramme pour la bouche possède ue assez grade varace das la dreco horzoale e horzoale. La raso pour cela es probableme que la bouche e se rouve pas à ue poso fxe das la base de doée BANCA. Ce qu es pas be vsble das la fgure 4. es qu o a pas mal de déecos pour la pare féreure du ez. Apparemme, cee pare ressemble beaucoup à ue bouche. Les mages suvaes more des exemples de mauvases e boes déecos pour l œl dro, l œl gauche e la bouche. FIG. 4.3 Mauvases déecos. FIG. 4.4 Boes déecos Localsao avec la deuxème méhode pour arbrer La deuxème méhode pour arbrer cherche après la poso la plus probable des obes caracérsques e chercha la régo coea le plus de déecos e e chosssa la poso avec la valeur de déeco maxmale à l éreure de cee régo comme poso la plus probable pour u obe caracérsque. Commeços de ouveau par la préseao des hsogrammes de déecos e les dfférees erreurs de déecos e pour l œl dro, l œl gauche e la bouche. 57

59 FIG. 4.5 Hsogramme de déecos pour l œl dro. L hsogramme dro es vu de hau. ype d erreur de déecos [%] e 97,3 00 e 37,8 e 4,9 e 0 33 e 6,4 44 AB. 4.5 Erreur de déecos pour l œl dro. FIG. 4.6 Hsogramme de déecos pour l œl gauche. L hsogramme dro es vu de hau. ype d erreur de déecos [%] e 94,4 00 e 57,8 e 5,7 e 7, 33 e,8 44 AB. 4.6 Erreur de déecos pour l œl gauche. 58

60 FIG. 4.7 Hsogramme de déecos pour la bouche. L hsogramme dro es vu de hau. ype d erreur de déecos [%] e 9,6 00 e 5,3 e 7,6 e, 33 e 6 44 AB. 4.7 Erreur de déecos pour la bouche. Par rappor à la premère méhode, o vo que la performace de déeco pour l œl dro es mos boe. Les dfférees erreurs de déecos o augmeé légèreme. O do doc coclure que les régos coea le plus de déecos e so pas ouours cerées sur le cere cou c. oel _ dro La performace de déeco pour l œl gauche es meux que celle de la premère méhode d arbrage. O vo à l ade de l hsogramme, que surou les déecos das la régo des cheveux o dmué. Probableme, les déecos das cee régo so des déecos solées qu so flrées lorsqu o se cocere sur la régo coea le plus de déecos. La performace de déeco pour la bouche es auss meux que celle de la premère méhode d arbrage. Ce so surou les déecos pour la oue gauche qu o dsparu. La raso do êre la même que celle meoée pour l amélorao de la performace de déeco de l œl gauche : l do s agr de déecos solées. E gros, o peu dre qu o obe légèreme u melleur résula e ulsa la deuxème méhode d arbrage. 59

61 La fgure suvae more de ouveau quelques mages de boes e de mauvases déecos. FIG. 4.8 Mauvases déecos. FIG. 4.9 Boes déecos. O vo que les mauvases déecos déece souve des obes qu ressemble aux obes caracérsques, comme les sourcls ou la pare féreure du ez Localsao avec la rosème méhode pour arbrer La rosème méhode pour arbrer compare les posos des déecos pour les ros obes caracérsques avec u modèle géomérque du vsage e chos les ros posos correspoda le meux au modèle géomérque du vsage comme déecos les plus probables. Les résulas llusrés so obeus e ulsa les valeurs suvaes pour les varaces VAR _ HOR, VAR _ VER, VAR _ EYED e VAR _ CENER : VAR _ HOR = VAR _ VER =,5 VAR _ EYED = VAR _ CENER = 9 60

62 De ouveau les hsogrammes de déecos e les dfférees erreurs de déecos e pour l œl dro, l œl gauche e la bouche so préseées pour commecer. FIG. 4.0 Hsogramme de déecos pour l œl dro. L hsogramme dro es vu de hau. ype d erreur de déecos [%] e 94,9 00 e 7, e 5 e,3 33 e 0,4 44 AB. 4.8 Erreur de déecos pour l œl dro. FIG. 4. Hsogramme de déecos pour l œl gauche. L hsogramme dro es vu de hau. 6

63 ype d erreur de déecos [%] e 93,9 00 e 33,7 e 5,5 e,6 33 e 0,5 44 AB. 4.9 Erreur de déecos pour l œl gauche. FIG. 4. Hsogramme de déecos pour la bouche. L hsogramme dro es vu de hau. ype d erreur de déecos [%] e 97, 00 e 69, e 7,8 e 0, 33 e,8 44 AB. 4.0 Erreur de déecos pour la bouche. Il es éressa de cosaer que les erreurs de déecos pour les ros obes caracérsques so clareme sous ceux obeues e ulsa ue des deux méhodes d arbrage précédees. Ce es pas vrame éoa, comme la rosème méhode d arbrage ulse des coassaces a pror sur la géomére du vsage. À premère vue, cee méhode semble êre la melleure. Poura, elle à auss u désavaage assez mpora. Comme elle modélse des coassaces a pror (comme la dsace e pxels ere les yeux), sa performace déped foreme de la gradeur du vsage par rappor à la alle de l mage. Pour u bo focoeme de cee méhode d arbrage, l es doc mpora d avor u bo programme de déeco de vsages qu précède ce programme de localsao. Le programme de déeco de vsages devra déaleme fourr des mages de vsages qu o ue relao ere la alle du vsage e la alle de l mage cosae. 6