Détection et suivi de visages par Support Vector Machine robustes aux changements d échelle

Transcription

1 Détecton et suv de vsages par Support Vector Machne robustes au changements d échelle Lonel CARMINATI Drectrce de Thèse : Jenny Benos-Pneau Projet Analyse et Indeaton Vdéo lcarmna@labr.fr

2 Plan de la présentaton Introducton Support Vector Machne Détecton de Vsages & SVM Suv de Vsages par SVM Concluson et perspectves

3 Introducton Enjeu : Partenarat entre le CNRS et une entreprse Créer un système de télésurvellance orenté objet Détecton d objet d ntérêt vsages, plaques mmatrculaton, - Suv de cet objet Detecton d objet en mouvement et nterprétaton Outls d ade à la décson pour un opérateur Statstques d étude du comportement

4 Introducton Enjeu scentfques de la détecton: Étape prmordale pour un système de reconnassance de vsage, de suv de vsage, Processus dont les enjeu sont globalement les mêmes que ceu d autres problèmes de détecton (caractères, formes, ) Mse à contrbuton d algorthme robuste et effcace de détecton Défnton du problème : Entrée : une mage quelconque statque Sorte : les localsatons des vsages dans l mage Contrantes : morphologques prse de vue

5 Détecton de vsage Deu grandes méthodes de détecton Correspondance avec un modèle Modèles prédéfns ou paramétrés par un epert [Govndaraju-96] «couleur de la peau», modèles géométrques, modèles structurels [Samal-95] [Schmd-99] Apparence globale Les attrbuts de détecton sont etrats d une base d apprentssage. [Osuna-95] [Rowley-99]

6 Support Vector Machne Théore Prncpes générau [Vapnk-95, Bruges-98] l Consdérons un ensemble de observatons défns par une pare de n valeurs: R, =1,..., l et sa valeur assocée y { 1, + 1} donnée par un epert et supposé «sure». Supposons que ces données suvent une dstrbuton nconnue de façon..d. P(, y) Un automate détermnste dont la tache est d apprendre y défn par un ensemble d applcatons possble f (, α) -.e pour une entrée donnée et un α spécfque on récupère toujours la même valeur de sorte Un α partculer génère un système dt «entrané».

7 Support Vector Machne Théore Prncpes générau [Vapnk-95, Bruges-98] La plupart des classfeurs utlsent un apprentssage basé sur la mnmsaton de l erreur d entraînement (.e. Rsque emprque) pour défnr une bonne généralsaton. 1 l R ( α) = y f (, α) emp 2l = 1 On cherche c un prncpe d nducton qu conduse drectement à une capacté de généralsaton la plus grande possble.e. qu mnmse la «fonctonnelle de rsque» suvante 1 R( α) = y f (, α) dp(, y) 2 1 y f (, α) est appelé perte et vaut sot 0 ou 1. S on prend η de 2 telle façon que 0 η 1 Vapnk défnt la majoraton suvante: h < l R( α) < R emp h(log(2l / h) + 1) log( η / 4) ( α) + l est la dmenson VC et désgne la capacté de l espace de foncton

8 SVM et Détecton de vsage Prncpe: défnr le vecteur caractérstque d un vsage comme un ensemble des valeurs de lumnance choses sur une fenêtre de talle prédéfne X N² Apprendre les classes Vsage - Non-vsage

9 Support Vector Machne(I) Prncpe général [Vapnk-95, Bruges-98] Le cho de la séparaton se caractérse par un hypersurface qu classfe correctement les données et qu se trouve «le plus élogné possble de tous les eemples». Ic on suppose le cas de séparablté lnéare seulement Contrante (1) mn = 1,..., lw + b= 1

10 S.V.M. et noyau dvers Tutoral on Support Vector Machnes for Pattern Recognton [Burges-98] Formulaton générale de la soluton Polynômau: Gaussenne: 1) ' ( '), ( + = K = 2 ' 2 / '), ( 2 σ e K σ 1 ' )', ( e K = 1). ( ), ( + = s s K ) 2 / ep( ), ( 2 2 σ s s K = = = + = + Φ Φ = l l b s K y b s y f 1 1 ), ( ) ( ). ( ) ( λ λ

11 Présentaton du détecteur Pyramde Gaussenne

12 Stratége Cross Checkng Descrpton Consdérant une rétne de talle fe, on parcourt tous les nveau de la pyramde en commençant par (1) à la recherche de vsages. S on détecte un vsage on propage le champ de détecton au nveau en dessous à la fos pour affner la détecton et pour éventuellement localser un autre vsage. S aucun vsage n est localsé en (1) on scanne sur la totalté de l mage de nveau (2) S un vsage est détecté sur pluseurs nveau au mêmes coordonnées le vsage de plus haut nveau est consdéré assurant ans une melleure couverture du vsage. Pb s le vsage passe à travers les rétnes de 2 nveau d échantllonnage que fare? Echantllonage des Support Vector A paratre!

13 Résultats obtenus base MIT Correcton Égalsaton Lumnosté Hstogramme Noyau polynomal d ordre 2 Base d apprentssage 2429 vsages et 4558 non-vsages Base de test 472 vsages et non-vsages Détecton 95.1% Indce confance 98.9%

14 Résultats obtenus OpenVdeo En pratque... Eemples de détecton sur des mages etrates du corpus vdéo OpenVdéo Images BMP

15 Résultats obtenus TREC Vdeo En pratque... Eemples de détecton sur des mages etrates de TREC Vdeo 2004 Images Clef des Plans Images BMP Recall / Precson sur TREC 2004 (sot fchers) Sans cross-checkng / 85,3% / 83,8% Avec cross-checkng / 83,1% / 95,7%

16 Résultats: vdéosurvellance En pratque... Eemples de détecton sur des séquences typques de vdéo survelllance.

17 SVM Trackng S.Avdan Support Vector Trackng, IEEE Transactons on Pattern Analyss and Machne Intellgence 26(8) pp Prncpe de Support Vector Trackng : Suv d un objet apprs c l arrère de pods lourds- va une caméra montée sur un véhcule les poursuvant. Fournr une soluton élégante pour la détecton et pour le trackng grâce au Support Vector apprs. Intégraton d un classfeur SVM dans un tracker basé flot optque. Le trackeur effectue sa recherche sur une seule mage. Lmtatons: Ne consdére que les mouvements translatonnels de cet object. Utlsaton peu réalste de leur travau.

18 SVM Trackng Modfcatons et Prncpes: Proposer un modèle de mouvement plus complee que celu étudé par Avdan pour répondre au contrantes de la télésurvellance translaton, zoom, rotaton. Estmaton d un modèle complet affne à 6 paramètres de l objet d ntérêt par SVM déjà entrané pour la détecton. Injecter la connassance vsages à un trackeur. Ne pas unquement se baser sur le prncpe de conservaton d ntensté lumneuse de l objet en mouvement. Modfcaton du noyau de classfcaton pour l estmaton de son mouvement.e. après détecton d un vsage à l nstant t-1, sa localsaton, à l nstant t, est détermnée par la poston du ma. des valeurs de noyau au alentours de la poston de détecton.

19 SVM Trackng En njectant le développement en sére de Taylor de premer ordre de l mage, nous avons donc: avec On ntrodut une foncton d énerge E à mamser défnssant ans la melleure sous-mage canddate on suppose un noyau polynomal-:

20 SVM Trackng En dérvant E suvant tous les paramètres du modèle affne, on obtent l écrture matrcelle CA=B avec Méthode: Pour chaque mage I, on estme les coeffcents a0,,a5. On obtent ans les vecteurs de déplacements u et v. On calcule la foncton d énerge et on répète l opératon jusqu à stablté de la foncton d énerge E. L estmaton des valeurs de I en réel s effectue par nterpolaton blnéare.

21 Résultats vdéosurvellance En pratque... Eemples de suv de vsages sur une vdéo typque de Vdéosurvellance.

22 Concluson et perspectves Mse en place d un détecteur à base de Support Vector Machne. Ms en correspondance des détectons par Cross-checkng multrésoluton des détectons. Etude et développement d un trackeur ntellgent basé Support Vector Machne qu estme le modèle affne complet à 6 paramètres du mouvement du vsage. Les Support Vector Machne offrant un cadre de traval à la fos pour la détecton que pour le trackng, soluton élégante et ntellgente de suv. Possblté d un détecteur temps-réel pour des mages de talle moyenne CIF Perspectves: Etude sur des scènes plus complees : foules, tetures,

23 Remercements Jenny BENOIS-PINEAU (LaBR) Marc GELGON (I.R.IN.) Mchel STEMPIN (VsualP) Benot Papllault (VsualP)