Détection Automatique des groupes d interactions Maisonnasse Jérôme PRIMA, GRAVIR-IMAG INRIA Rhône-Alpes, France St. Ismier.

Transcription

1 Déecon Auomaque des groupes d neracons Masonnasse Jérôme PRIMA, GRAVIR-IMAG INRIA Rhône-Alpes, France S. Ismer. erome.masonnasse@nralpes.fr Brdczka Olver PRIMA, GRAVIR-IMAG INRIA Rhône-Alpes, France S. Ismer. olver.brdczka@nralpes.fr ABSTRACT Ths work brngs a new percepon o nellgen envronmens for human acvy recognon. To undersand human acves, we need o dfferenae users concerned and her nerpersonal lnks. We propose a new group neracon deecon ool based on an assumpon ha conversaonal urn akng s synchronzed nsde groups. We assess HMM-based and algorhmc approaches o buld a deecor whch s able o segmen neracon groups from speech deecon. Boh approaches show good resuls hus confrm he conversaonal hypohess. Caegores and Subec Descrpors I.5.3 [PATTERN RECOGNITION]: Cluserng Algorhms, Smlary measures. General Terms Algorhms, Performance, Human Facors, Keywords Groups of neracon cluserng, Markov Model, speech deecon, conversaonnal analyss, nellgen envronmen, ubquous compung. Résumé Ce raval appore une nouvelle percepon aux envronnemens nellgens pour la reconnassance de l acvé humane. La prse de conscence d une acvé mplque au préalable de dfférencer les proagonses e leurs nerdépendances. Nous proposons un oul de déecon des groupes d neracons basé sur une hypohèse conversaonnelle, c'es-à-dre sur la synchronsaon des prses de parole à l néreur des groupes. Deux approches son évaluées afn de fournr un déeceur capable de dscréser les groupes d neracons. Ces dernères donnen de bons résulas, ce qu confrme la qualé de l hypohèse conversaonnelle. 1. INTRODUCTION L nformaque ubquare ouvre la voe vers des applcaons de plus en plus proches des acvés humanes. Les envronnemens Permsson o make dgal or hard copes of all or par of hs work for personal or classroom use s graned whou fee provded ha copes are no made or dsrbued for prof or commercal advanage and ha copes bear hs noce and he full caon on he frs page. To copy oherwse, or republsh, o pos on servers or o redsrbue o lss, requres pror specfc permsson and/or a fee. UBIMOB 05, May June 3, 2005, Grenoble, France. Copyrgh 2005 ACM 119-6/03/2005 $5.00. nellgens dsposen de plus en plus de moyens de percepon e d acon afn d neragr e d offrr des servces au momen le plus opporun, en phase avec l acvé des ulsaeurs. Il es alors mporan de déecer qu son les ulsaeurs poenels du sysème e quels son leurs lens par rappor à l acvé. Dans un même espace physque, pluseurs ndvdus peuven se regrouper e se fédérer auour d une même acvé, ou ben avor des acvés parallèles e complèemen ndépendanes les unes des aures. Cee agrégaon des ulsaeurs en pes groupes ndépendans perme une approche mul-échelle de la déecon de l acvé. Le plus bas nveau de déecon appore une vson spécfque de l acvé prncpale en consdéran chaque groupe comme une uné ndépendane où les ndvdus neragssen suvan un bu donné. A un même momen, l es possble d observer des acvés smlares ouées en parallèle ou des acvés radcalemen dfférenes à l néreur des groupes. Le bu de nore approche n es pas de reconnaîre l acvé en an que elle, mas pluô de délmer les ndvdus engagés dans cee acvé où l neracon verbale oue un rôle maeur e fédéraeur. Avec la reconnassance de l acvé de hau nveau, la dynamque de fuson e de séparaon des groupes au cours du emps nous perme de prendre conscence de l émergence d une acvé globale. Lorsque pluseurs groupes ndépendans fusonnen, on peu magner que la façon don ces groupes fusonnen so une nformaon mporane pour la déecon de changemen dans les acvés en cours. Par exemple, dans une réunon de raval, les ndvdus se regroupen par apparenance à une équpe e neragssen sponanémen au sen de leur groupe. Dès que le meeng démarre, les ndvdus se fédèren auour d une même âche. Ce scénaro llusre la manère don la fuson de pluseurs groupes en un seul peu servr à la déecon du commencemen d un meeng dans un envronnemen nellgen. Le même rasonnemen es applcable pour la déecon de la fn d un meeng. Dans la sue du documen, nous nous néresserons à ravers la secon 2 à la reconnassance auomaque des neracons. Pus nous présenerons successvemen nos deux approches dans la secon 3. Les résulas, ans qu une dscusson en secon 4, précéderon la concluson sur cee recherche en secon ETAT DE L ART La reconnassance de l acvé humane à parr d événemens de parole es souven employée dans le conexe de l analyse de groupes. Dans cee perspecve, le groupe e ses membres son défns à l avance. L obecf es alors de reconnaîre ceranes acons clés de la par des membres [11] ou d analyser de façon globale le ype de meeng [3] à parr de la fréquence des ours de

2 parole e leurs durées. Mas ce ype d approche spécfe mplcemen l éude d un seul e unque groupe prédéfn dans un conexe parculer. Aucune déecon n es envsagée sur les dépendances enre les ndvdus e leur apparenance à un ou pluseurs groupes. L analyse des neracons à parr d un grand ensemble de données enregsrées perme de reconsrure les réseaux socaux d un ensemble d ndvdus. Pour cela les conversaons son déecées e analysées [4]. Cependan, la déecon auomaque des conversaons à parr d événemens de parole, à savor qu parle e quand, avec l nformaon muuelle [1] nécesse une durée d enregsremen assez mporane. Dans ce raval, nous cherchons à développer un déeceur de groupes d neracons emps réel, robuse e le plus généralsable possble, ayan pour bu de défnr les lmes qu regroupen les ndvdus auour d une même acvé nenonnelle. Cee dernère es dans un grand nombre de cas l acvé prncpale [8], dans la mesure où l acvé verbale nécesse un ceran nveau d aenon. A noer que, l acvé d'un ensemble d ndvdus peu auss, à cerans momens, devenr l acvé d aures qu poreron aenon, donnan leu à des focalsaons collecves éphémères [10], ce que Goffman appelle les «cadres de parcpaon»[9]. Nore obecf es de rendre vsble cee dynamque afn que des envronnemens nellgens pussen en rer par dans la reconnassance d acvés. L analyse conversaonnelle [13] e la psychologe socale on ms en évdence un ceran nombre de pons remarquables sur les neracons nerndvduelles. Paran du posula selon lequel les neracons verbales au sen d un groupe son régulées [7], nenonnelles e composées de conversaons successves qu vsen à agr sur un po commun d nformaons [5][6], l es alors possble d exrare une hypohèse conversaonnelle pour la déecon des groupes d neracons. A parr de ces consaaons, nous avons formulé une hypohèse conversaonnelle comme crère sgnfcaf pour la déecon de groupes d neracons. 3. NOS APPROCHES Nous présenons c deux approches. La premère relève d une méhode algorhmque qu repose sur une marce de dsances dans l espace des probablés d apparenr au même groupe. La deuxème méhode emploe une modélsaon de Markov cachée. Toues les données en enrée son produes avec une déecon auomaque de la parole [14] à parr d enregsremens audo. Nous savons à quel momen une personne commence e s arrêe de parler. Les deux approches s appuen sur l hypohèse conversaonnelle de base : lorsque deux personnes parlen en même emps, l es peu probable qu elles apparennen au même groupe. S les deux ndvdus ne parlen pas, on ne peu ren dre sur leur apparenance. Enfn, s une personne parle sur les deux alors l es probable qu elles apparennen au même groupe. Nous rons prof de la régulaon des prses de parole, consdéran que les neracons verbales son ordonnées à l néreur de chaque groupe, e désordonnées enre des groupes dsncs. En ce qu concerne la noon de groupe, nous avons prs le par de défnr une confguraon mnmum de deux ndvdus. 3.1 Approche algorhmque Les neracons son représenées par une marce de dsances symérque M de dmenson n x n à l nsan dans l espace de probablé d apparenr au même groupe, où n es le nombre de personnes enregsrées. Pour des rasons de smplcé e de sémanque, une neracon mplque une relaon symérque enre deux ndvdus. S parle à e écoue, alors e neragssen égalemen. Les m varen enre 0 e 1. La dsance 0 sgnfe que e son rès proches e apparennen au même groupe, e la dsance 1 sgnfe que e n apparennen pas au même groupe. A chaque nsan, nous évaluons la marce de dsance des neracons courane A qu es de même dmenson = que M où a d (, ). So d la dsance enre deux personnes e défne par l hypohèse conversaonnelle. 0 s (parle d (, ) = parle s parle s parle ) (parle parle parle parle Le faceur emps es représené par un paramère α, qu es un paramère de mélange des deux marces. Plus α es for, mons la marce d neracon M es modfée par la marce d neracon + 1 courane A M = α. M + (1 α). A Avan de séparer les groupes, nous calculons au préalable de façon algorhmque l ensemble des confguraons de groupes possbles. Afn de fusonner e séparer les dfférens groupes, nous vérfons à parr de M que les plus grandes dsances enre les ndvdus à l néreur des groupes soen nféreures à la plus pee des dsances enre les groupes. Lorsque ce crère es vérfé, l donne la confguraon des groupes à l nsan. S ce crère n es pas vérfé, nous consdérons que ous les ndvdus son regroupés en un seul groupe. 3.2 Approche modèle de Markov caché Cee approche repose sur l esmaon de la probablé de prse de parole des personnes. On se base sur l hypohèse que cee probablé change selon la confguraon des groupes. Pour déermner la confguraon acuelle, on ulse un modèle de Markov caché (Hdden Markov Model). Un modèle de Markov caché es une chaîne de Markov de premer ordre [12] don chaque éa génère une observaon. Seules les observaons son vsbles. Le bu es de dérver la séquence des éas «cachés» ayan généré ces observaons. Dans nore cas, un éa du modèle de Markov caché correspond à une confguraon possble de groupe. Les observaons du modèle corresponden à une dscrésaon des événemens de prse de parole comme ndqué sur les fgures 1 e 2. Une observaon es un veceur conenan une valeur bnare (parole, non parole) pour chaque personne enregsrée. À chaque éa du modèle de Markov caché es assocée une dsrbuon de probablé d observaons. Cee dsrbuon es basée sur l hypohèse conversaonnelle. On suppose que la probablé que deux personnes apparenan au même groupe parlen en même emps es fable alors que cee probablé es élevée dès que ces personnes ne son plus dans le même groupe. Dans le cas d un groupe comporan oues les personnes, la probablé de prse de parole d une seule personne es élevée alors que la probablé de prse de parole en parallèle es fable. La probablé de ranson enre les éas es fxée à un nveau rès fable par rappor à la probablé de reser dans le même éa. Cec perme de sablser la déecon car la fréquence d observaons es rès haue par rappor à la fréquence de )

3 changemen de groupe (16ms par rappor à envron 30 secondes) e suppose que des changemens de groupes survennen dans des délas rasonnables. Afn de déecer les groupes en emps réel, on applque l algorhme de Verb [12] sur le flux d observaons arrvanes. Éan donné un modèle de Markov caché e une séquence d observaons, l algorhme de Verb calcule la séquence la plus probable d éas qu génèren les observaons. Dans nore cas, la séquence d éas correspond à la sue de changemens de confguraons de groupe. Nous calculons la séquence d éas pour la fenêre des 5000 dernères observaons, ce qu correspond à une fenêre d observaon de 80sec. L éa calculé pour la dernère observaon de la fenêre représene la confguraon acuelle de groupe. L algorhme de Verb es recalculé oues les 10 observaons, ce qu correspond à un déplacemen de la fenêre de 10 observaons e une esmaon de la confguraon de groupe oues les 160 ms. 4.1 Scénaro d évaluaon Nous avons réalsé ros expérences afn d enregsrer les neracons enre quare ndvdus, neragssan suvan un scrp prédéfn de confguraons de groupes. Chaque ndvdu es équpé d un mcro-cravae. Pour les besons de l évaluaon, nous conragnons l ulsaon du mcro-cravae afn de mnmser le plus possble les fausses déecons. Les sues son lbres de leurs mouvemens e de leurs dscussons. La fgure 3 c-dessous, monre la confguraon d neracons de deux groupes ndépendans. (ABCD) (AB)(CD) (AC)(BD) (AD)(BC) Probablé de ranson élevée Probablé de ranson fable Fgure 1. Représenaon du HMM pour 4 confguraons de groupes Numéro Prse de Parole d Observaon A B C D Fgure 2. Les éas e les observaons d un modèle de Markov caché pour 4 personnes 4. Expérence e Résulas Dans cee secon, nous décrvons la façon don nous avons évalué les deux approches. Pus nous commenons les résulas obenus sur les scénaros de es. Fgure 3. Deux groupes ndépendans neragssen. Le 1 er groupe es au premer plan e le 2 ème, au deuxème plan. 4.2 Résulas e dscusson Dans les deux approches, un résula es obenu oues les 160 ms. Pour l approche algorhmque, α es fxé à pour l ensemble des expérences. En ce qu concerne l approche Markovenne, les probablés des éas e de ransons son prédéfnes à la man suvan l hypohèse conversaonnelle. Les marces de confuson ndquen pour chaque confguraon de groupes les bonnes e les mauvases déecons, avec en colonne le résula des déecons e en lgne la réponse aendue. Table 1. Marce de confuson Algorhme Groupes (ABCD) (AB)(CD) (AC)(BD) (AD)(CB) (ABCD) (AB)(CD) (AC)(BD) (AD)(BC) Table 2. Marce de confuson HMM Groupes (ABCD) (AB)(CD) (AC)(BD) (AD)(CB) (ABCD) (AB)(CD) (AC)(BD) (AD)(BC) Avec l approche HMM, nous obenons 84.8 % de déecons correces de confguraon de groupe e 77.8% de déecons correces avec l approche algorhmque. Pour 4 personnes, nous avons 4 confguraons possbles. Les fgures 4, 5 e 6 donnen un aperçu de la déecon des groupes au cours du emps. Une lgne sur deux correspond à une confguraon de groupes : lgne 0=> (ABCD), lgne 2 => (AB)(CD), lgne 4 => (AC)(BD) e lgne 6 => (AD)(BC). La lgne rouge ndque les confguraons de groupes réelles e aendues en sore du déeceur.

4 Fgure 4. 1 er Expérence : en hau résula HMM, en bas résula Algorhmque (durée : 9 22 ) Fgure 5. 2ème Expérence : en hau résula HMM, en bas résula Algorhmque (durée : ) Fgure 6. 3ème Expérence : en hau résula HMM, en bas résula Algorhmque (durée : ) Les performances obenues avec les deux modélsaons suffsen à valder la qualé de l hypohèse conversaonnelle pour dsnguer des groupes d neracons. L approche algorhmque de par sa smplcé suff à la déecon des groupes d neracons e défn une performance plancher qu nous servra de référence. L approche Markovenne, avec l algorhme de Verb e la fenêre glssane d observaons, se monre plus robuse ben qu un peu plus sensble aux fausses déecons (vor graphques c-dessus). Cee nsablé pourra êre corrgée à parr d un melleur ausemen des probablés de ransons enre les éas qu représenen les dfférenes confguraons de groupes. L approche algorhmque semble mons sensble aux fausses déecons mas cela dépend du paramère α qu end à homogénéser les réponses lorsqu l es for, ou en dmnuan le nombre de déecons. 5. Conclusons Nous présenons un déeceur de groupes d neracons robuse e fonconnan en emps réel. Ce derner se base sur la seule nformaon des événemens de parole e sur l hypohèse de synchronsaon des ours de parole à l néreur des groupes. Le résula obenu avec les deux approches es honorable dans la mesure où cee seule nformaon ne peu suffre à désambguïser oues les suaons. De plus, le modèle do êre éendu pour déecer les ndvdus solés e en nombre supéreur. Cee lmaon pourra êre rédue en ulsan d aures ndces comme l orenaon de la êe e les dsances nerndvduelles qu semblen êre de bons ndcaeurs [2]. Une approche mulmodale do êre alors envsagée. En ce qu concerne les algorhmes, pour le modèle Markoven, un apprenssage sur un ensemble représenaf de données pourra valder les probablés défnes à la man e les auser. Une aure façon de vor l apprenssage consse à spécalser la déecon pour un conexe donné, ce qu dmnuera les performances en généralsaon mas augmenera les performances pour le cas parculer. Concernan l approche algorhmque, on révsera la méhode de séparaon des groupes qu ne conven que pour un pe nombre d ulsaeurs. D aures approches de cluserng peuven êre envsagées à parr de la marce de dsances, ans qu une opmsaon du paramère de α. 6. REFERENCES [1] Basu S. Conversaonal Scene Analyss. Ph.D. Thess. MIT Deparmen of EECS. Sepember, [2] Beae, G. The regulaon of speaker urns n face-o-face conversaon;some mplcaons for conversaon n soundonly communcaon channels, Semoca, 34, pp.55-70, 1981 [3] Burger, S., MacLaren, V., and Yu, H., The ISL Meeng Corpus: The Impac of Meeng Type on Speech Syle, Proc. of ICSLP 2002 (Inernaonal Conference on Spoken Language Processng), Denver, CO, USA, [4] Choudhury, T. and Penland, A., Characerzng Socal Ineracons Usng he Socomeer, Appears n: Proceedngs of NAACOS 2004, June 2004 [5] Clark H. Usng Language. Cambrdge, England : Cambrdge Unversy Press, [6] Clark H., Schaefer E., F. Conrbung o Dscourse, Cognve Scence 13, , [7] Duncan, S., Some sgnals and rules for akng speakng urns n conversaon, Journal of Personaly and socal psychology, 23(2), pp , [8] Goffman, E. (1974). Frame analyss. New York: Harper Row. [9] Goffman, E. (1987). Façons de parler. Pars: Mnu. (Edon orgnale, 1981, A. Khm, Trad.). [10] Joseph, I., Aenon dsrbuée, aenon focalsée. Les proocoles de la coopéraon au PCC de la lgne A du RER. Socologe du Traval, 4/94, , [11] McCowan, I., Gaca-Perez, D., Bengo, S., Lahoud, G., Barnard, M., and Zhang, D., Auomac Analyss of Mulmodal Group Acons n Meengs, n "IEEE Transacons on Paern Analyss and Machne Inellgence (o appear)", [12] Rabner, L. A uoral on Hdden Markov Models and seleced applcaons n speech recognon, Proc. IEEE 77(2): , [13] Sacks, H., Schegloff, E., e Jefferson, G. (1974) A smples sysemacs for he organzaon of urn-akng for conversaon. Language, 50, [14] Vaufreydaz, D., IST FAME: Faclang Agen for Mul-Culural Exchange, (WP4) European Commsson proec IST Ocober 2001.

5