Méthodes à vecteurs de support et Indexation sonore

Transcription

1 FORMATION DOCTORALE EN INFORMATIQUE UNIVERSITE PAUL SABATIER DEA INFORMATIQUE de L IMAGE et du LANGAGE (IIL) Méthodes à vecteurs de support et Indexaton sonore par José Anbal ARIAS AGUILAR Drecteur de recherche : Régne André-Obrecht Encadrant scentfque : Jérôme Farnas, Julen Pnquer

2 Plan Introducton Objectfs Modélsaton : système GMM Modélsaton : système SVM Expérences Conclusons 2

3 Introducton Le nombre de documents audovsuels est en constante augmentaton Des systèmes automatques sont développés pour dentfer dverses composantes du flux sonore But : trouver le sens d un document, détecter de sujets partculères et le rendre dsponble à la recherche d nformaton Détecton parole, musque [Saunders96] Segmentaton en tours de parole [Gsh91] Transcrpton automatque de la parole [Wactlar96], de la musque [Wtten99] 3

4 Stage de DEA Objectfs Intaton aux problèmes de l ndexaton sonore Appropraton et adaptaton d un système de classfcaton Parole/Musque [Pnquer02] à la classfcaton de sons du mleu ambant Développement d un système de classfcaton basé sur les Méthodes à Vecteurs de Support Test des systèmes sur le corpus RIAM FERIA 4

5 Sgnal audo. 5

6 Classfcaton : modélsaton statstque Défnton d une densté de probablté par classe, type le mélange de los normales [Scherer97] f ( x ) = p k 0 K k = 1 et p k N( x, µ K k = 1 p k k = 1 Classfcaton d un vecteur nconnu, par calcul de la vrasemblance par rapport à chaque modèle de classe, Σ k ) 6

7 Classfcaton : Machnes à vecteurs de support Cette méthode repose sur l exstence d un hyperplan séparateur dans un espace appropré [Cortes95] Tros cas possbles [Burges98] : Cas lnéarement séparable Cas «marges douces» SVM non lnéares 7

8 SVM. Cas lnéarement séparable Maxmsaton de la marge de l hyperplan séparateur - - γ b w w x+ - w x + b = 0 La foncton de décson pour la classfcaton de vecteurs nconnus u est basée sur les «vecteurs de support» : + b = 1 f ( u ) = sgn α sv y x u + b w x + b = 1 w x w x + b b 1 s s y y = + 1 = 1 8

9 SVM. Cas lnéarement non séparable Soluton : relâchement des contrantes de la marge. Varable C à spécfer. w x w x + b + b + 1 ζ 1+ ζ s s y y = + 1 = 1 9

10 SVM non lnéares Changement de l espace orgnal en un espace «de caractérstques» X φ R n R N F o x x x o φ(o) φ(o) φ(x) φ(x) φ(x) w = l = 1 α y φ( x ) Théorème de Mercer [Schölkopf02] : = espace de Hlbert K( u,v ) = φ ( u ) φ ( v ) 10

11 SVM non lnéares Espace d attrbuts Espace de caractérstques u K( u x1) K( u x2) α 1 y 1 α 2 y 2 classfcaton K u x ) ( l α l y l l f (u ) = sgn α = 1 y K( u,x ) + b x 1 K x l = vecteurs à support. b K ( u, v) = ( u v + 1) K( u, v) = e u v 2 / 2 K( u, v) = tanh( κ u v + ρ) σ 2 d 11

12 SVM non lnéares 12

13 Protocole expérmental Pré-tratement et paramétrsaton Analyse cepstrale : 18 MFCCs pour représenter chaque trame Analyse spectrale : 29 coeffcents spectraux par trame Classfcaton classe/non classe GMM. Les deux classes sont modélsées par une dstrbuton probablste de type mélanges de los gaussennes Approche SVM. La frontère de décson est obtenue après défnton d un noyau et des vecteurs support 13

14 Apprentssage du Système GMM Pré-tratement des vecteurs d apprentssage Mélange ntal obtenu à l ade d un algorthme de quantfcaton vectorelle (VQ [Rabner93]). Re-estmaton des paramètres du mélange par maxmsaton de la foncton de vrasemblance (algorthme EM [Dempster77]). 14

15 Apprentssage du Système SVM L apprentssage d un SVM : un problème d optmsaton (solutons de la formulaton du Lagrangen) [Schölkopf99] : Noyau, C (pénalsaton des erreurs) Vecteurs support Dans la pratque, approxmaton numérque avec un certan nveau de tolérance Ex, gradent ascendant, optmsaton séquentelle mnmale 15

16 Expérences Corpus Documents télévsuels qu correspondent à deux émssons Le grand échquer dont le contenu est de la musque (classque, jazz, varété françase), des ntervews et des sketches Durée des émssons : envron 3h chacune Etquetage manuel des émssons : sons purs et «pseudo-sons» Évaluaton: outl NIST 16

17 Expérences: Sons d ntérêt. 17

18 Expérences. Système GMM Indexaton Applaudssements / Non applaudssements Test 256 MFCC 32G 256 MFCC 64G G G G G 64G D 64G 1GP 4GP Score

19 Expérences. Systeme GMM Indexaton Rre / Non rre Test 256 MFCC 32G5 256 MFCC 64G G G G G 64G D 64G 1GP 4GP 128G FUS MUS APP Score

20 Expérences. Systeme SVM Indexaton Applaudssement / Non applaudssement Test 512 C2 G.8B 512 C1000 G.8B C1000 G.8B C1000 G.5B C1000 G.51C KPOL KSIG Score

21 Expérences. Systeme SVM Indexaton Rre / Non rre Test 512 C2 G.5M3 512 C2 G.5B C2 G.5B C2 G.5M3L5 C2 G.51C Score

22 Synthèse Evaluatons des melleurs cas Système GMM SVM Applaudssements 98.58% 98.35% Rres 97.26% 97.12% Temps récupéré par les ndexatons manuelle et automatque de l émsson de test Système Applaudssements Rres Indexaton Manuel Automatque Manuel Automatque GMM 906s 771s 652s 212s SVM 906s 760s 652s 112s Nombre des vecteurs nécessares pour fare l apprentssage des modèles Système GMM SVM Applaudssements App 7512 Non-App App 7512 Non-App Rres Rre 1714 Non-Rre Rre 283 Non-Rre

23 Conclusons Les systèmes ssus de mélanges de los gaussennes sont une très bonne plateforme pour le développement de systèmes d ndexaton audo Les SVM donnent les mêmes résultats que la classfcaton bayésenne avec beaucoup mons de données Futures possbltés de poursute de ce traval : structuraton de documents multméda, reconnassance du locuteur et de sons spécfques 23

24 Références [Burges98] [Cortes95] [Dempster77] [Gsh91] [Pnquer02] [Saunders96] C. Burges «A Tutoral on Support Vector Machnes for Pattern Recognton», Data Mnng and Knowledge Dscovery 2, pp , C. Cortes, V. Vapnk «Support Vector Networks», Machne Learnng, Vol. 20, pp , A. Dempster, N. Lard, D. Rubn «Maxmum lkelhood from ncomplete data va the EM algorthm». Journal of the Royal Statstcal Socety, Vol. 39, n 1, pp 1-22, H. Gsh, M. Su, R. Rohlcek. «Segregaton of Speakers for Speech Recognton and Speaker Identfcaton». ICASSP 91, Vol. 2, pp , J. Pnquer, C. Sénac, R. André-Obrecht «Indexaton de la bande sonore: recherche des composantes Parole et Musque», RFIA 2002, Angers, pp , Janver J. Saunders, «Real-tme dscrmnaton of broadcast speech/musc», ICASSP 96, pp

25 Références [Schölkopf02] [Schölkopf99] [Scherer97] [Wactlar96] [Wtten99] B. Schölkopf, A. Smola «Learnng wth Kernels», Ed. The MIT Press, B. Schölkopf, C. Burges, A. Smola «Advances n Kernel Methods: Support Vector Learnng», Ed. The MIT Press, E. Scherer, M. Slaney, (1997), «Constructon and Evaluaton of a Robust Multfeature Speech/Musc Dscrmnator», ICASSP'97, Munch, Vol. II, pp H. Wactlar, T. Kanade, M. Smth «Intellgent Access to Dgtal Vdeo: The Informeda Project», IEEE Computer Magazne, Vol. 5, n 29, pp , Ma I. Wtten, R. McNab, S. Jones «Managng Complexty n a Dstrbuted Dgtal Lbrary», IEEE Computer Magazne, Vol. 17, n 7, pp , Févrer