De la construction du corpus émotionnel au système de détection

Transcription

1 De la construction du corpus émotionnel au système de détection Le point de vue applicatif de la surveillance dans les lieux publics Chloé Clavel*, **, *** Ioana Vasilescu** Gaël Richard** Laurence Devillers*** * Thales Research & Technology France RD 128 F Palaiseau cedex chloe.clavel@thalesgroup.com ** ENST-TSI, 46 rue Barrault, F Paris, cedex 13 *** LIMSI-CNRS, BP 133, F Orsay cedex RÉSUMÉ. L étude présentée ici porte sur la modélisation des émotions extrêmes manifestées dans des situations anormales. L application visée est la sécurité civile et plus précisément la surveillance dans les lieux publics. Un corpus fiction (le corpus SAFE) montrant des contextes riches et variés avec la présence d émotions extrêmes, principalement de peur, a été sélectionné. Une stratégie d annotation adaptée à l application est ensuite développée : elle incorpore à la fois des descripteurs génériques et spécifiques. Enfin, un système de détection des émotions de type peur basé sur des indices acoustiques est mis en place à titre d évaluation. D une part, le système s avère robuste aux changements de source contextuelle. D autre part, l évaluation de l influence du choix d un support multimodal à l annotation sur les performances du système est mineure. Les performances issues des différents protocoles d évaluation mis en œuvre restent inchangées : la classe peur est reconnue à 67 %. ABSTRACT. The study presented in this paper deals with the modelling of extreme emotions occurring in abnormal situations. The aimed application is civil safety and surveillance in the public places in particular. A corpus of fiction (SAFE Corpus) is selected illustrating rich and varied contexts with the presence of extreme emotions, mainly fear. An annotation strategy adapted to the application is then developed, with both generic and specific descriptors. Finally, a detection system of fear emotions based on acoustic cues is implemented to carry out an evaluation. On the one hand the system is robust to context changes. On the other hand, the influence of multimodal annotation is minor. Results obtained with the various protocols are similar : fear is recognized with 67% of success. MOTS-CLÉS : émotions en situations anormales, sécurité civile, corpus audiovisuel, stratégie d annotation, multimodalité, système de détection de la peur, modélisation de la peur. KEYWORDS: emotions in abnormal situation, civil safety, audiovisual corpus, annotation strategy, multimodality, fear detection system, fear models. RSTI - RIA 20/2006. Interaction émotionnelle, pages 529 à 551

2 530 RSTI - RIA 20/2006. Interaction émotionnelle 1. Introduction Les développements récents de l analyse et de la détection des émotions dans le domaine de l interaction homme machine ont permis de mettre en œuvre de nouveaux modes de communication basés sur une compréhension accrue des comportements humains. Plus particulièrement, les études sur la parole émotionnelle dans les systèmes de dialogues, tels que les centres d appel téléphoniques (Lee et al, 2001 ;, Devillers et al., 2003 ; Vidrascu et Devillers, 2005) témoignent de la nécessité d aller au-delà du niveau lexico-sémantique et de prendre en compte la composante émotionnelle du contexte interactionnel : la détermination de l état émotionnel du locuteur permet d adapter en conséquence la stratégie dialogique et de lui fournir une réponse plus pertinente à sa requête. La composante émotionnelle peut être représentée par des paramètres objectifs extraits du signal vocal. Elle fournit alors des indices qui aident à diagnostiquer la situation à l origine de l état émotionnel du locuteur. Par ailleurs, ces indices peuvent être corrélés avec des informations issues d autres modalités (visuelle) afin de rendre ce diagnostic plus robuste. Plusieurs types d applications sont concernés par l état émotionnel du locuteur à travers des attributs audio ou plus largement multimodaux. Citons par exemple les applications destinées au dialogue homme/machine dont l objectif est d orienter le dialogue de façon optimale, ou les Agents Conversationnels Animés dont l objectif peut être des systèmes de narration interactive. Nous présentons ici un nouveau champ d application : les applications destinées à la sécurité civile. Dans le cadre de la surveillance des lieux publics, les situations recherchées sont celles dites «anormales». Une situation anormale est définie comme un évènement imprévu, une catastrophe naturelle ou une conséquence d une action où la vie humaine est en danger (incendies, tremblements de terre, inondations, agressions physiques ou psychologiques contre un être humain, prises d otage, attentats terroristes, etc.). De tels évènements nécessitent une intervention rapide, afin de protéger les victimes et de limiter les dommages. L assistance de l homme à la tâche de surveillance des lieux publics est alors d autant plus nécessaire que dans la plupart des cas, une même personne est en charge de la surveillance parallèle de plusieurs lieux. Les situations anormales font intervenir des émotions supposées fortes et extrêmes, jusqu alors peu étudiées dans le domaine de l interaction émotionnelle. L originalité de cette application est donc de travailler sur ces émotions dans leur contexte d émergence. Le point de départ crucial pour une telle étude est la construction d une base de données appropriée qui servira de matériel de base pour l étude des relations entre les paramètres acoustiques et les différents états émotionnels en vue de leur détection. De la construction de cette base de données au développement du système en passant par l annotation des états émotionnels et leur modélisation acoustique, chaque application définit une problématique propre, posant un certain nombre de contraintes.

3 Du corpus émotionnel au système de détection 531 Pour une application de surveillance dans les lieux publics, la base de données utilisée doit être de type audiovisuel, et doit illustrer des émotions en situations anormales pour un échantillon varié de locuteurs et de contextes d émergence (section 2). Les spécificités liées à l application qui vont émerger d un tel corpus en termes de diversité vont devoir être contrôlées par une stratégie d annotation qui soit à la fois pertinente pour l application mais suffisamment générique pour être transposable à d autres corpus (section 3). Le système de détection des comportements vocaux anormaux étudié a pour cible la détection acoustique de la classe émotionnelle que l on a appelée peur, et qui englobe l ensemble des émotions liées à la peur et émergentes en situations anormales (section 4). Enfin, seront évalués d une part, la robustesse du système au changement de source contextuelle (section 5) et, d autre part, l impact potentiel de l audio pour détecter une situation de peur (section 6). 2. Corpus pour la détection des états émotionnels liés aux situations anormales : contexte et difficultés 2.1. Spécificité des émotions recherchées : des émotions extrêmes Les émotions représentent un objet d étude complexe ayant une longue tradition dans les communautés des sciences de la vie et des sciences humaines (physiologie, psychologie cognitive, sociologie, etc.) et donnant lieu à de nombreuses théories (Cowie et al., 2003). Le domaine de l analyse et de la détection automatique des émotions dans la parole nécessite une définition adaptée au contexte d étude qui prenne en compte la variabilité inhérente à l oralité. Un grand nombre d études consacrées à l analyse des émotions dans la parole fait référence à un nombre minimal d émotions dites primaires (par exemple, les «Big Six» : colère, peur, tristesse, joie, dégoût et surprise (Cowie et al., 2003)) voire à une opposition entre émotions négatives et positives. Cependant, il est accepté que les émotions généralement plus nombreuses que les six émotions primaires citées fréquemment dans la littérature, et qui dérivent des travaux d Ekman (Ekman,1999) peuvent s avérer mélangées entre elles avec des manifestations correspondant plutôt à des attitudes. Dans le contexte d étude de la sécurité civile, l émotion ciblée est une des émotions dites primaires : la peur. Les situations anormales sont en effet propices à l émergence d émotions que l on suppose liées à la peur dans ses manifestations «primaires» ou «primitives», dans le sens où la réaction à la menace est une réaction de survie. Dans cette étude, nous nous intéressons à la fois à la peur au sens primaire, ainsi qu à ses dérivées avec des manifestations plus complexes. Par conséquent, le premier objectif a été d acquérir un matériel de qualité pour l étude des émotions liées à la peur en situations anormales. L une des qualités majeures d un corpus de parole émotionnelle, réside dans le degré de naturel dans le

4 532 RSTI - RIA 20/2006. Interaction émotionnelle rendu de l expression des états émotionnels, l idéal étant bien sûr de pouvoir disposer d enregistrements d émotions spontanées. De ce fait, depuis peu, même si les corpus avec des émotions simulées continuent de jouer un rôle important, la tendance est au développement de bases de données en situation réelle (real-life), illustrant des émotions de la vie de tous les jours. L obtention de données spontanées n est cependant pas aisée pour tous les types d émotions. Nous renvoyons le lecteur à Audibert, (2004) et Douglas-Cowie et al., (2003) pour un état de l art complet des différents corpus existants en fonction des émotions qu ils illustrent et de leur degré de spontanéité. Nous retiendrons cependant de ces états de l art qu il existe peu de corpus spontanés illustrant des émotions extrêmes, la plupart des corpus spontanés sont des corpus présentant des émotions de la vie de tous les jours, plus modérées, plus contenues. Les corpus illustrant des émotions extrêmes présentent un degré de spontanéité insuffisant. Ceci est dû au fait que les émotions intenses spontanées sont plus rares et plus imprévisibles que les émotions de la vie de tous les jours Spécificité des contextes recherchés : des émotions «prises sur le vif» Certains corpus spontanés, cependant, fournissent un contenu émotionnel plus intense avec des émotions liées à la peur. Nous présentons ici ces différents corpus afin d évaluer leur potentiel usage pour une application de surveillance en fonction des contextes illustrés. Une solution adoptée afin de répondre au problème du caractère imprévisible de données authentiques pour des émotions intenses, consiste en l utilisation d un matériel basé sur les interviews, le locuteur étant invité par l interviewer à raconter et, par là même, à revivre des expériences émotionnellement intenses : Reeding- Leeds (Roach et al., 1998), le corpus de Belfast (Douglas-Cowie et al., 2003), et un corpus d interviews après le constat de perte de bagages (Scherer et al., 2000). Le corpus EmoTV (Abrilian et al, 2005) contient également des interviews extraits de programmes télévisés et notamment des interviews diffusés lors des informations de 20 h, tels que des témoignages après des affaires juridiques ; des interviews sur les grèves, sur des problèmes de société, etc. Les interviews permettent d obtenir des émotions fortes naturelles, mais qui restent cependant des émotions hors contexte, car éprouvées dans le cadre d un témoignage d évènements passés. Ce sont des émotions a posteriori qui auront des manifestations différentes et majoritairement moins extrêmes que de celles «prises sur le vif». Pour une application de surveillance nous recherchons en effet des émotions prises sur le vif, c est-à-dire dans le déroulement de l action, à travers l évolution de la situation anormale. Dans les centres d appels, des émotions d intensités plus ou moins fortes sont également illustrées dans les corpus audio ; pour des applications financières, les interactions sont très policées et les émotions assez mesurées (Devillers et Vasilescu, 2004), par contre des manifestations beaucoup plus intenses sont présentes lors d appels d urgence médicale (Vidrascu et Devillers, 2005). Différentes illustrations

5 Du corpus émotionnel au système de détection 533 de la peur sont présentes dans ce corpus mais dans des aspects modérés et mélangées relevant plus de l inquiétude, ou du stress, que de la peur dans son aspect «primitif». De plus le contexte d émergence de la peur est un contexte téléphonique nécessitant la plupart du temps un contrôle de son émotion de la part du locuteur afin de pouvoir expliquer la situation et obtenir de l aide. Un autre type de corpus consiste en des sessions de thérapie et des conversations téléphoniques, des sessions d évaluation post-thérapie dans le cadre de dépressions et d états suicidaires (France et al., 2000). Encore une fois, si les émotions illustrées dans ce type de corpus peuvent être intenses, le contexte dans lequel elles s expriment reste éloigné de la diversité des contextes recherchés pour l application de surveillance. Les émotions recherchées, pour une application de surveillance, sont des émotions extrêmes prises sur le vif qui sont à l heure actuelle peu représentées. Elles sont en effet difficiles à collecter car plus rares et plus imprévisibles. Le corpus adapté serait constitué des enregistrements directs de catastrophes telles que celles du 11 septembre 2001, ce qui est malheureusement délicat compte tenu de leur caractère confidentiel. Par ailleurs, même en supposant que l on puisse disposer d enregistrements de tels évènements, il faudrait en recueillir un grand nombre pour obtenir une diversité suffisante. Les informations télévisées fournissent également des exemples forts des manifestations de ces émotions mais généralement par l intermédiaire de courts extraits, souvent commentés (voix-off) ou par le récit a posteriori de personnes témoins de l événement Le corpus SAFE Comme nous venons de le voir, il ne s agit pas uniquement de collecter des émotions fortes de type peur. Les besoins en termes de corpus pour l application de surveillance sont spécifiques. D une part, l application de surveillance nécessite une grande diversité illustrant les variables contextuelles pertinentes pour l application (type de locuteurs, contexte social, relation entre les locuteurs). D autre part, la perspective d une analyse multimodale impose de disposer d un corpus audiovisuel. En effet, l objectif final est d intégrer le système de détection de la peur dans une plateforme multimodale prenant en compte également des indices visuels. Ces difficultés nous ont conduit à construire un corpus de fiction, le SAFE Corpus (Situation Analysis in a Fictional and Emotionnal Corpus) basé sur des séquences extraites d une collection de films récents dans leur langue originale, en anglais. D une part, la fiction fournit un matériel audiovisuel émotionnel de qualité, par la diversité des locuteurs (sexe, milieu social) et des contextes d émergence des émotions (en fonction des types de films et grâce à la diversité des scénarios existants) qu il aurait été difficile de rassembler dans des conditions réelles. D autre part, le degré de naturel obtenu dans les manifestations émotionnelles est très élevé, dans la mesure où les émotions, bien qu elles soient simulées, surviennent dans une

6 534 RSTI - RIA 20/2006. Interaction émotionnelle situation d interaction entre personnes dans un certain contexte, celui du scénario du film. Enfin le support contextuel fourni par la fiction est particulièrement riche, à la fois temporel, visuel et audio. Le corpus de fiction illustre des manifestations d états émotionnels dans les deux contextes d émergence : situation anormale/situation normale et dans des situations individuelles, de groupe ou de foule. Les critères de sélection reposent sur la crédibilité du jeu de l acteur simulant la peur, la qualité de la bande sonore de la séquence (ex : prédominance de la voix sur les bruits et la musique), sur la diversité des types de manifestations émotionnelles en situations anormales et de leur stimuli, sur le degré de réalisme des situations illustrées. En ce qui concerne ce dernier critère, les films policiers «thrillers», les films d horreur ou d action, les drames psychologiques, les films reconstituant certaines périodes de l histoire, les films sur des catastrophes climatiques ou des faits divers constituent de très bons candidats pour notre corpus. 400 séquences audiovisuelles en anglais de 8 secondes à 5 minutes, soit un total de 425 minutes d enregistrement, sont ainsi sélectionnées. La durée des séquences dépend de la manière dont la situation est illustrée et segmentée dans le film. 73 % du temps de parole présent dans le corpus correspond à des situations anormales. Ces séquences ont été extraites de 30 films différents. Les manifestations émotionnelles représentées sont variées. En dehors des émotions ciblées par notre application, c est-à-dire les émotions survenant lors de situations anormales, le corpus illustre l état neutre comme référence et les émotions survenant lors de situations normales. 3. Mise en place d une stratégie d annotation adaptée à l application de surveillance dans les lieux publics Après l acquisition du corpus, la stratégie d annotation de son contenu doit être définie. Elle concerne l annotation des états émotionnels présents dans le corpus en des catégories pertinentes du point de vue de l application. Cette étape d annotation et de catégorisation des émotions est fondamentale. Elle permet de s affranchir des spécificités du corpus d étude, en proposant une stratégie d annotation, transposable à d autres corpus dédiés à la même application. Ce niveau de généricité vis-à-vis du corpus peut être augmenté par une généricité vis-à-vis de l application : les descripteurs correspondant à ce niveau de généricité sont des descripteurs transposables à des corpus d autres applications. D une manière générale, plus les émotions contenues dans le corpus sont spontanées, plus elles sont diversifiées et plus leur catégorisation est complexe. Cette complexité est accrue par la diversité des contextes d émergence. Chaque contexte implique en effet des manifestations émotionnelles spécifiques qu il est difficile de regrouper autour d un prototype abstrait. Le niveau de généricité de la stratégie d annotation adoptée dépendra fortement du niveau d abstraction des catégories proposées.

7 Du corpus émotionnel au système de détection 535 De ce fait, la stratégie d annotation considère plusieurs types de descripteurs : les descripteurs émotionnels, les descripteurs contextuels, les descripteurs acoustiques. Chacun de ces descripteurs prend en compte différents niveaux de généricité. Cette stratégie d annotation a été préalablement validée à l aide de tests perceptifs (Clavel et al., 2004). Les tests ont permis de montrer, d une part, la pertinence de l unité temporelle de base de l annotation des émotions, le segment, pour véhiculer une émotion donnée, et d autre part, l importance du support vidéo pour une annotation plus précise des émotions en situations anormales. En effet, l aspect multimodal du processus de perception des émotions est essentiel : c est la corrélation entre parole et geste qui nous aide à comprendre l état émotionnel du locuteur. Afin de modéliser cet aspect et puisque notre objectif est d identifier la contribution de l information émotionnelle contenue dans le canal audio, la stratégie d annotation adoptée intègre la description du contenu audio de la séquence dans son contexte multimodal : le canal vidéo, couplé avec le canal audio, est utilisé en tant que support à l annotation du contenu acoustique de la séquence, la vidéo fournissant ainsi le support contextuel nécessaire à l interprétation des émotions. C est ANVIL (Annotation for Video and Language) (Kipp, 2001) en tant qu outil d annotation pour le dialogue multimodal, qui a été choisi comme logiciel d annotation. L annotation d une séquence du corpus selon la stratégie d annotation développée sous ANVIL est présentée sur la figure 1. Les annotations ont été menées par un seul annotateur anglophone. Des phases de vérifications des annotations ont été menées et une double annotation est en cours. Figure 1. Schéma d annotation sous ANVIL

8 536 RSTI - RIA 20/2006. Interaction émotionnelle 3.1. Des descripteurs émotionnels intégrant plusieurs niveaux de généricité La stratégie d annotation adoptée ici considère deux facteurs principaux : le contexte d émergence de l émotion et l évolution temporelle des manifestations émotionnelles. Chaque séquence fournissant un contexte particulier est segmentée en une unité d annotation de base que l on appelle segment et qui correspond à un tour de parole ou une partie du tour de parole avec un même contenu émotionnel. Ainsi dans le cas d un long monologue présentant une évolution ou des changements émotionnels, le tour de parole sera segmenté en plusieurs parties en fonction des émotions illustrées. Le corpus est constitué de segments d une durée de 40 ms à 80 s. L ensemble des segments représente 76 % de la durée totale du corpus, soit 324 minutes de parole. L annotation du contenu émotionnel de chaque segment se fait à l aide de deux types de descripteurs : catégoriels et dimensionnels. Les descripteurs catégoriels fournissent une description des émotions adaptée à l application avec différents niveaux de généricité vis-à-vis du corpus étudié. Les descripteurs dimensionnels intègrent un niveau plus élevé de généricité : une description transposable à tout type d application Des descripteurs catégoriels intégrant différents niveaux de généricité vis-àvis du corpus Dans le cadre de l application de vidéosurveillance, si la peur est l émotion émergeante en situations anormales, elle n intervient pas seulement en tant qu émotion primaire. En effet la définition du mot émotion varie selon le contexte d étude. Il peut être défini de façon restrictive en se limitant aux émotions primaires (peur, colère, tristesse ) ou considérer l ensemble des états où l émotion est présente sans être nécessairement véritable («full-blown») et des états relatifs aux émotions tels que les attitudes et ses manifestations (Cowie et al., 2000). De manière générale plus les conditions d émergence de l émotion se rapprochent des conditions réelles moins les émotions qui interviennent sont primaires. Les attitudes et les manifestations qui lui sont liées doivent donc être prises en compte. A cet effet, les émotions sont définies ici à partir de classes dérivées de la distinction positif/négatif. Les émotions positives, comme par exemple la joie, accompagnent la survenue ou l anticipation d événements agréables. Les émotions négatives, comme la peur, sont associées à l expérience ou l anticipation d événements désagréables (punition, danger, etc.). Les quatre classes utilisées sont les suivantes : peur : cette classe regroupe tous les états émotionnels qui se rattachent à la peur. Elle prend également en compte le cas où la peur est mêlée à d autres émotions comme la tristesse, la détresse ou la colère ; autres émotions négatives : les émotions regroupées dans cette classe correspondent à l ensemble des émotions négatives autres que la peur. Celles-ci peuvent survenir aussi bien dans des situations normales que des situations anormales ;

9 Du corpus émotionnel au système de détection 537 neutre : cette classe regroupe les segments où peu ou aucune émotion ne semble être présente ; émotions positives : cette classe regroupe les segments où des émotions positives sont présentes, ces émotions surviennent principalement dans des situations normales. La représentation de ces classes à travers le corpus en termes de segments émotionnels est la suivante : 32 % pour la peur, 35 % pour les autres émotions négatives, 24 % pour le neutre, 9 % pour les émotions positives. Ces quatre classes globales d émotions permettent de regrouper des émotions plus fines. Pour la classe d émotion émergente en situations anormales qui nous intéresse, i.e. la classe peur, il peut être intéressant de préciser la nature exacte des émotions plus fines présentes dans cette classe. L annotation de cette classe est donc accompagnée d une verbalisation libre orientée : l annotateur doit préciser le type de peur présente dans le segment. Il a possibilité de se référer à la liste suivante : peur-stress, peur-terreur, peur-détresse, peur-panique, peur-colère, peur et autres émotions mêlées. Dans la catégorisation, nous avons tenu compte des deux modalités de perception de l émotion. La perception d une émotion correspond en effet à la fusion des informations de type effet et des informations de type cause. On dit que la perception d une émotion est orientée effet lorsqu elle se base sur la manière dont l émotion est perçue par les auditeurs et orientée cause lorsqu elle se base sur l état émotionnel du locuteur (Cowie, 2003). En fonction du rôle joué par l une ou l autre de ces informations, lors de l interprétation de l émotion par l annotateur, la classe d émotion choisie peut être différente. Par exemple, si l émotion ressentie par le locuteur est la peur, elle peut cependant, comme nous le verrons plus loin, se manifester par de la colère. Dans un objectif de détection, c est l annotation des effets qui semble la plus adaptée. Cependant il est souvent difficile dans notre perception de l émotion de dissocier les deux aspects effet et cause de l émotion. Par conséquent, afin de gérer cette ambiguïté, l étape, que nous avons appelée de verbalisation libre orientée, propose des sous-catégories prenant en compte le mélange de la peur avec d autres émotions (peur-colère, peur-tristesse ), permettant ainsi de fusionner cause et effet. L étape de verbalisation libre orientée permet d accompagner l annotation en des classes globales pour une analyse plus fine de la classe peur laissant plus de liberté à l annotateur. Cependant, la verbalisation fournit un contenu très spécifique au contexte de la séquence, par conséquent peu générique. L annotation selon les classes globales a l avantage de fournir une description prototypique, donc plus générique vis-à-vis du corpus. Par ailleurs, les systèmes de détection basés sur l apprentissage des différentes classes nécessitent de disposer de suffisamment de données pour représenter chacune des classes, ce qui est peu faisable dans le cas de classes trop nombreuses.

10 538 RSTI - RIA 20/2006. Interaction émotionnelle Des descripteurs dimensionnels intégrant différents niveaux de généricité visà-vis de l application Né de la psychologie, ce mode de description considère les émotions en fonction de trois dimensions : activation (arousal), évaluation (valence) et contrôle (power). (Osgood et al., 1975). Osgood définit l activation comme un état d excitation, de calme à fortement excité, lié à l intensité. La dimension évaluation permet de positionner l émotion sur un axe négatif et positif. La dimension contrôle correspond à l effort du locuteur pour contrôler son émotion. Dans le cadre de cette étude, la description dimensionnelle est basée sur les deux premières dimensions abstraites intensité et évaluation. La troisième dimension est renommée réactivité. Elle permet d annoter les différents degrés de réactivité du locuteur face à la situation, c est-àdire son comportement face au stimulus engendrant ces manifestations de l émotion. Cette troisième dimension est au niveau perceptif plus intuitive que contrôle pour la distinction des émotions en situations anormales, et notamment les différentes manifestations de la peur. En effet, selon Ekman (2003), les manifestations de la peur ne sont pas les mêmes si la victime fait face à la menace ou non. En effet, c est l aspect d interface de l émotion entre l organisme et l environnement extérieur qui est pris en compte dans cette dimension. Les trois axes intensité/évaluation/réactivité sont annotés de manière discrète, pour l axe intensité, sur l échelle (0, 1, 2, 3) pour l axe évaluation sur l échelle (-3,-2,-1,0,1,2,3) et pour l axe réactivité sur l échelle (0,1,2,3). L annotation selon ces trois dimensions présente un niveau plus élevé d abstraction qui assure une généricité vis-à-vis du corpus. Si la troisième dimension réactivité est spécifique à l application, les deux premières dimensions intensité et évaluation, sont des dimensions couramment utilisées et transposables à tout type d émotions, pour tout type d application (Cowie et al., 2003 ; Pereira, 2000, etc.). Chaque dimension fournit une perspective d analyse différente permettant à l annotateur de décomposer ses classes émotionnelles. La corrélation entre descripteurs catégoriels et dimensionnels permet une meilleure visibilité des types de manifestations engendrés par chacune des classes. Comme le montre la figure 2, chaque classe a ainsi une distribution propre des segments qui la représentent pour les trois dimensions. La séparation émotions négatives et émotions positives impliquée par le choix des classes se retrouve par une distribution de part et d autre du 0 de l axe évaluation des 3 classes émotionnelles. L axe réactivité n est pertinent que pour les deux classes d émotions peur et autres émotions négatives, lorsqu elles interviennent dans une situation anormale. Les peurs sont annotées majoritairement comme plus intenses que les émotions négatives et les émotions positives, et se distinguent des émotions négatives sur l axe évaluation et sur l axe réactivité : elles sont considérées comme plus négatives et moins réactives. Ce dernier point rejoint la théorie d Ekman selon laquelle la peur intervient rarement, si le locuteur cherche un moyen de faire face à la menace.

11 Du corpus émotionnel au système de détection 539 Figure 2. Distribution des segments des différentes classes émotionnelles selon les trois dimensions intensité/évaluation/réactivité 3.2. Les descripteurs contextuels : intégration de l émotion dans son contexte d émergence L étude des relations entre les émotions et leur contexte d émergence, va faire ressortir des comportements émotionnels typiques de situations anormales. Plusieurs facteurs permettent, ici, de mieux décrire le contexte d émergence de l émotion. Ces facteurs concernent à la fois la situation et la relation entre les locuteurs et sont annotés à travers les champs menace et locuteur. La situation est décrite dans son déroulement temporel à l intérieur de la séquence en fonction de son caractère normal ou anormal. Si la situation est considérée comme anormale, et une menace est présente, son intensité (ou gravité) et son incidence (latente, potentielle, immédiate, passée) sont annotées. En parallèle, pour chaque menace, le type de situation correspondant est précisé (ex : prise d otage, séquestration, etc.). L unité d annotation correspondant à l annotation du champ menace correspond à un regroupement de segments en fonction de l évolution de la situation.

12 540 RSTI - RIA 20/2006. Interaction émotionnelle Le sexe du locuteur et sa position dans l interaction (victime, agresseur, ou autres) sont également pris en compte par le schéma d annotation en fonction des annotations fournissant des informations sur le profil des personnes présentes lors de la situation. La présence de superposition vocale de plusieurs locuteurs (overlap) est également signalée. Le niveau dialogique est pris en compte de la manière suivante : dans chaque séquence, un nom est attribué à chaque locuteur (locuteur 1, 2, 3...), et pour chaque segment, est indiqué soit le locuteur correspondant, soit s il s agit d un groupe ou d une foule. Cette annotation permet ainsi de déterminer le niveau de l interaction (monologue, dialogue, groupe, foule) et de retranscrire les interactions entre les personnages à l intérieur de la scène. Le tableau 1 indique la présence de peur chez l agresseur et d émotions positives chez la victime. Bien que ces cas soient largement minoritaires dans le corpus, leur occurrence démontre la diversité situationnelle illustrée par le corpus de fiction. La peur est une émotion qui survient surtout dans le cas de menace immédiate et intense et essentiellement en situation anormale. Environ 95 % des segments de peur surviennent en situations anormales et 52 % surviennent lorsque la menace est immédiate. Environ 85 % des segments de peur sont dus à des menaces d intensité 2 et 3 (figure 3). Les 5 % de peur survenant en situations normales correspondent à des situations où la peur n est pas clairement présente avec des manifestations de type inquiétude ou anxiété. Par ailleurs, le tableau 2 met en évidence la présence d autres émotions que la peur en situation anormale. Environ 60 % des émotions négatives autres que la peur sont liées à une menace latente (30 %) ou immédiate (30 %). Ce résultat est corrélé avec la théorie d Ekman et montre la diversité des comportements face à la menace. agresseur victime Autres peur 2,5 % 66,5 % 31,0 % autres émotions négatives 29,6 % 20,6 % 49,8 % neutre 0,8 % 7,4 % 91,8 % émotions positives 0,8 % 7,4 % 91,8 % Tableau 1. Distribution des classes émotionnelles en fonction des profils de locuteurs potentielle latente immédiate passée pas de menace peur 4,3 % 32,8 % 51,6 % 6,7 % 4,6 % autres émotions négatives 8,8 % 30,7 % 30,3 % 4,9 % 25,3 % émotions positives 2,5 % 7,1 % 3,8 % 2,7 % 83,8 % neutre 0,9 % 2,5 % 1,4 % 1,0 % 29,4 % Tableau 2. Distribution des classes émotionnelles en fonction des types de menaces

13 Du corpus émotionnel au système de détection 541 Figure 3. Distribution des classes émotionnelles en fonction de l intensité de la menace 3.3. Intégration de l émotion dans son contexte verbal et sonore Dans le but d étudier les indices lexicaux pertinents, le contenu verbal est transcrit à l aide des sous-titres fournit par les DVD selon des règles de transcription inspirées de la norme LDC (Linguistic Data Consortium). Le contenu vocal, non verbal, tel que les respirations, les cris, est également transcrit ainsi que le contenu non vocal en rapport avec les situations anormales tels que les coups de feu, ou les explosions. Des métadescripteurs permettent également de stocker les jugements sur la qualité audio des segments (bruit environnant et musique) pour une étude ultérieure de la robustesse des paramètres acoustiques au bruit. propre bruit seul musique seule bruit et musique peur 17,1 % 44,4 % 17,1 % 21,4 % autres émotions négatives 40,1 % 37,6 % 14,0 % 8,3 % neutre 23,7 % 50,0 % 11,6 % 14,7 % émotions positives 48,1 % 28,3 % 11,0 % 12,6 % Tableau 3. Distribution des segments des différentes classes émotionnelles en fonction des types d environnement sonore Le tableau 3 montre que les segments annotés peur correspondent à des segments plus bruités que ceux des autres émotions. Ce résultat correspond à ce qu il pourrait ressortir d enregistrements en conditions réelles. La situation anormale est une

14 542 RSTI - RIA 20/2006. Interaction émotionnelle situation intrinsèquement plus bruitée que la situation normale, le comportement des locuteurs présents en situations anormales entraîne l émergence de bruits plus ou moins violents, comme les coups de feu, coups de poing, etc. Dans une étude précédente (Clavel et al., 2005), nous avons choisi de considérer ces bruits comme des événements-clés permettant de déclencher l alarme du système de détection de la situation anormale. Dans le cadre de la détection d émotion, la présence de bruit ou de musique dans les segments de peur constitue un paramètre qu il va falloir contrôler. Les différents types de peur collectés par l intermédiaire de notre corpus de fiction sont très variés. La corrélation de la description dimensionnelle, de la description en catégories et des informations sur la situation en présence données par le champ menace, nous fournit une visibilité des variables susceptibles d intervenir lors de la modélisation de cette classe. La classe peur est en effet illustrée pour différents niveaux d intensité, de valence et de réactivité, pour différents types de menace, pour différents types de locuteur et dans différents environnements sonores. La diversité et la complexité de ces manifestations nous assurent un degré élevé de réalisme. Le ou les modèles de la classe peur qui vont être appris à partir de telles données doivent tenir compte de cette variabilité. 4. Développement d un système de détection des comportements anormaux par les indices acoustiques caractéristiques de la peur A l heure actuelle, la majorité des systèmes existants s appuient uniquement sur la modalité vidéo pour détecter et analyser des situations anormales. Pour autant, la caractérisation par les indices vidéo (mouvements de foule, gestes particuliers ) est insuffisante et encore souvent peu fiable pour des corpus de données avec une grande variabilité de comportements et de prises de vue. Une grande partie de l information se trouve de façon redondante dans des indices audio tels que les cris, les coups de feu (Clavel et al., 2005), et le contenu émotionnel, et pourrait soit confirmer les indices perçus par la vidéo, soit apporter de nouvelles informations. Les informations issues des deux modalités peuvent aussi être contradictoires. C est le cas, par exemple, des manifestations émotionnelles de type «pleurer de soulagement, hurler de joie» (Douglas-Cowie et al., 2005 ; Devillers et al., 2005), il est alors important de confronter les deux sources d information. Notre objectif est de rechercher les indices concernant les manifestations vocales qui correspondent à la naissance des états émotionnels liés aux situations anormales; que ce soit au niveau de l individu seul, du groupe ou de la foule. Dans de telles situations, les émotions impliquées sont supposées fortes et extrêmes. Leur détection peut être utilisée dans un premier temps pour déclencher une alarme, puis pour diagnostiquer le type de la situation anormale détectée. Du point de vue systémique, le module de détection des émotions s insère dans le schéma de la figure 4.

15 Du corpus émotionnel au système de détection 543 Figure 4. Système de détection et d analyse des situations anormales Les informations extraites des modalités audio et vidéo sont analysées simultanément par un système de fusion de l information pour la détection et l analyse de la situation. Le module audio se base sur les manifestations à la fois vocales et non vocales et prend en compte les paramètres objectifs associés à un contenu émotionnel symptomatique de la situation anormale et les événements acoustiques caractéristiques (cris, coups de feu, explosions, etc.). Les émotions en situations anormales sont majoritairement des émotions des classes peur et autres émotions négatives (43 % des segments émotionnels en situations anormales sont annotés peur, 37,4 % sont annotés autres émotions négatives, 1,9 % sont annotés émotions positives, et 17,5 % annotés neutre). Cependant, la classe peur apparaît, contrairement aux autres émotions négatives, presque exclusivement en situations anormales (95 % des segments annotés peur sont des segments où il y a une menace, donc une situation anormale contre 74 % des segments annotés autres émotions négatives). Le système de détection des comportements anormaux se base donc sur la détection de la peur en tant qu émotion typique de la situation anormale. La modélisation de la peur peut se faire de deux manières : par rapport à l état neutre ou par rapport aux autres émotions et l état neutre. Ce dernier cas est plus subtil car la distinction état non neutre et peur nécessite l intervention de modèles beaucoup plus fins. La distinction peur/émotions positives pourrait s avérer plus aisée, bien que la confusion reste encore possible (par exemple, la peur extrême et la joie peuvent se manifester par des indices acoustiques similaires, en tant qu émotions intenses). La distinction peur/émotions négatives est particulièrement complexe en raison de la variabilité des contextes qui exclut l émergence d une peur bien caractérisée. Au contraire, la peur est parfois mélangée à d autres émotions négatives ou attitudes (peur-colère, peur-panique, peur-tristesse, etc.). Par ailleurs, la stratégie d annotation adoptée autour des 4 classes d émotion (peur...) fait intervenir un grand nombre de variables (locuteur, menace, qualité

16 544 RSTI - RIA 20/2006. Interaction émotionnelle audio, etc.) qui vont influencer la structure acoustique de chaque segment émotionnel. Le modèle de peur qui sera construit en vue de sa détection dépendra fortement des segments à partir desquels le modèle sera appris. L étude de ces variables se fait ici dans le cas plus stable d une détection Peur/Neutre. Le système de détection Peur/Neutre développé comporte trois étapes : l extraction des caractéristiques acoustiques associées à chaque segment, l apprentissage de chacune des deux classes Peur et Neutre à l aide d un modèle par mélange de gaussiennes et une étape de classification qui se base sur les modèles précédemment construits pour classifier les segments en Peur ou Neutre Extraction des caractéristiques acoustiques Les caractéristiques sélectionnées sont de type acoustique et/ou prosodique. Les caractéristiques prosodiques, telles que la fréquence fondamentale («pitch») ou l intensité sont fréquemment utilisées dans le domaine de la parole émotionnelle (Aubergé, 2002 ; Batliner, 2003) et ont fait leur preuve dans le cadre de la modélisation de la peur (Devillers et al., 2004 ; Scherer, 2003). Le vecteur utilisé est constitué des caractéristiques suivantes : la fréquence fondamentale (F0), les fréquences centrales des deux premiers formants (F1 et F2), et l intensité, calculées sur les fenêtres voisées uniquement. Les dérivées et les statistiques (moyenne, écart type, minimum, maximum, plage, aplatissement, asymétrie) de chacune des caractéristiques sont calculées sur la trajectoire voisée du segment. La durée du voisement correspondant à la durée de chaque trajectoire voisée est également calculée. Les MFCCs (Mel Frequency Cepstral Coefficients), leurs dérivées et leurs statistiques peuvent être également rajoutés au vecteur caractéristique. Les MFCCs sont des paramètres cepstraux couramment utilisés dans le domaine de la reconnaissance de la parole automatique, et récemment utilisés pour la détection d émotion (Shafran et al., 2003). Aucune normalisation par locuteur ou par sexe n est effectuée. L application de surveillance impose de ne considérer aucun a priori sur le locuteur. Une analyse en composantes principales (ACP) permet de réduire le nombre de caractéristiques de 257 à 20 facteurs principaux L apprentissage Pour chaque classe, un modèle par mélange de gaussiennes est construit. Le nombre approprié de gaussiennes pour chaque classe est estimé grâce au Bayesian Information Criterion (BIC) (Fraley, 1998). Les paramètres sont estimés en utilisant le traditionnel algorithme EM (Expectation Maximization) (Moon, 1996) initialisé par un algorithme de quantification vectorielle par la méthode des k-moyennes.

17 Du corpus émotionnel au système de détection La classification La classification est faite à partir d une règle de décision basée sur le maximum a posteriori : la moyenne des log-probabilité a posteriori sur le segment est calculée pour chaque modèle de classe (en multipliant les probabilités obtenues sur chaque fenêtres d analyse). La décision est prise au niveau du segment : la différence des scores de probabilité pour les deux classes peur et neutre est comparée à un seuil de décision, permettant de déterminer la classe à laquelle le segment appartient Evaluation des performances La balance entre le taux de fausses détections de la classe peur et le taux de faux rejets de la classe peur (i.e. le taux de fausse détection de la classe neutre) va dépendre du seuil de décision choisi. Il existe un seuil pour lequel la valeur prise par le taux de fausses détections est égale au taux de faux rejets. Cette valeur correspond au taux d égale erreur (TEE). Ce taux d égale erreur est également calculé en considérant séparément les peurs d intensité 1 (TEE1), les peurs d intensité 2 (TEE2) et les peurs d intensité 3 (TEE3). 5. Evaluation de la robustesse du système au changement de source contextuelle (le film) La section 3 de l article a mis en évidence la diversité des manifestations possibles de la peur à travers une représentation des classes émotionnelles en fonction de différentes variables (contexte d émergence, environnement sonore, dimensions de l émotion, etc.). Dans cette partie, c est le contrôle de ces variables lors de la modélisation de la classe peur qui nous intéresse. On distingue deux types de variables, les variables paramètre, et les variables modèle. Les variables, que nous appelons variables paramètre, sont les variables qui vont altérer l estimation des caractéristiques acoustiques utilisées. C est le cas des variables liées au type d environnement (bruit, musique, etc.) : la présence de bruit et/ou de musique risque de biaiser l estimation des caractéristiques acoustiques du signal de parole, comme, par exemple, la fréquence fondamentale. Les variables modèle sont les variables qui vont influencer la modélisation de la peur : un changement de la répartition des locuteurs, ou des menaces illustrées dans les données apprises génèrera un modèle de la classe peur différent. Les variables modèle peuvent avoir plusieurs niveaux d influence. Certaines variables vont influencer le modèle de manière globale, c est-à-dire que plusieurs facteurs vont intervenir dans la modélisation. C est le cas, par exemple, de la variable étudiée dans cette partie, à savoir l influence de la source contextuelle induite par le film. En effet, un contexte spécifique est défini en termes de profil de locuteur, de situations illustrées par les films choisis et de prise de sons spécifique à chaque film. Ce contexte reflète donc la diversité situationnelle au sens large et correspond, par là

18 546 RSTI - RIA 20/2006. Interaction émotionnelle même, à une variable globale. L influence de variables telles que l identité des locuteurs représentés est par opposition plus locale, ce type de variable ne faisant intervenir qu un seul facteur à la fois. Les situations, les locuteurs, le type de lieu surveillé et le dispositif de prise du son qui lui est associé, susceptibles d intervenir pour une application de surveillance dans les lieux publics sont très variés. De plus, les locuteurs dont on cherche à déterminer l état émotionnel et les situations d émergence de l émotion sont difficilement prévisibles et il est donc peu probable qu ils soient déjà exactement illustrés dans la base de données d apprentissage. Quant au type de prise de son utilisé dans un lieu donné, il pourrait être préalablement connu mais on cherche ici à développer un système adapté à tout type de lieu. Compte tenu de l application visée, c est l étude de la robustesse du système au changement de source contextuelle qui nous intéresse ici en priorité Sous-corpus étudié Afin d étudier la robustesse du système à la variable modèle globale source contextuelle, correspondant au film, on souhaite s affranchir du biais qui pourrait être introduit par les variables paramètres. L étude est donc menée sur un sous-corpus d étude où seuls les segments propres des classes peur et neutre sont considérés (soit 20 % des segments associés aux classes peur et neutre du corpus total). Le nombre de segments contenus dans ce sous-corpus est de 202 pour la classe peur (55 d intensité 1, 101 d intensité 2, 46 d intensité 3) et de 214 pour la classe neutre. Ces segments sont issus de 26 films différents, et de 125 séquences, soit une moyenne de 16 segments par film Protocole et résultats Le système de détection décrit dans le paragraphe précédent permet de déterminer, pour chaque segment testé, la classe (peur ou neutre) à laquelle il appartient. La répartition des données entre données d apprentissage et données de test utilisée peut influencer les résultats de la détection. Voici les deux situations permettant d évaluer l influence de la variable source contextuelle : soit le segment testé est issu d une source contextuelle, i.e d un film, présent dans les données ayant servi à construire le modèle de peur, soit le segment testé fournit un contexte nouveau, i.e non appris. Les performances du système de détection sont ainsi comparées pour les deux protocoles suivants : Protocole 1 Leave One Film Out : pour chaque segment testé issu d un film, tous les segments issus de ce même film sont enlevés du sous-corpus qui sert à l apprentissage. 26 ensembles d apprentissage différents (26 films) sont ainsi constitués à partir du sous-corpus pour ce protocole.

19 Du corpus émotionnel au système de détection 547 Protocole 2 Leave One Sequence Out : soit SEG1 le segment testé appartenant à la classe C, soit FILM1 le film duquel il est issu et FILM1.SEQ1 la séquence qui lui appartient. Tous les segments issus de la séquence FILM1.SEQ1 sont enlevés des données d apprentissage. Par ailleurs la présence d au moins une autre séquence FILM1.SEQ2, contenant un segment de la classe C dans les données d apprentissage est vérifiée. 125 ensembles d apprentissage différents (125 séquences) sont ainsi constitués à partir du sous-corpus pour ce protocole. Les résultats issus de ces deux protocoles sont répertoriés dans les tableaux suivants pour deux types de vecteurs acoustiques avec ou sans les MFCCs. Pour chacun des deux protocoles, tous les segments du sous-corpus sont testés (416 tests). TEE TEE1 TEE2 TEE3 caractéristiques prosodiques caractéristiques prosodiques + MFCC 33,5 % +/-0.5 % 33 % +/-2 % 36 % +/-1 % 30 % +/-2 % 40,5 % +/-0.5 % 39% +/-2 % 41 % +/-1 % 41 % +/-2 % Tableau 4. Protocole Leave One Film Out : résultats obtenus sur 416 tests TEE TEE1 TEE2 TEE3 caractéristiques prosodiques caractéristiques prosodiques + MFCC 33,5 % +/-0.5 % 34 % +/-2 % 33 % +/-1 % 35 % +/-2 % 31 % +/-0.5 % 29 % +/-2 % 33 % +/-1 % 35 % +/-2 % Tableau 5. Protocole Leave One Sequence Out : résultats obtenus sur 416 tests Les résultats issus des deux protocoles sont quasi similaires pour les caractéristiques prosodiques (F0, F1, F2, Intensité, durée des segments voisés) ce qui semble confirmer que ces paramètres sont robustes au changement de source contextuelle. Par contre, l ajout des MFCCs dans le vecteur acoustique réduit considérablement les performances pour le protocole 1 (TEE de 40,5 % contre 33,5 % avec uniquement les caractéristiques prosodiques). Il apparaît ainsi que les composantes principales du vecteur extraites par l ACP sont bruitées par l ajout des MFCCs et forment alors un vecteur acoustique peu discriminant pour les classes peur et neutre. Ceci pourrait s expliquer par le fait que les paramètres sont alors plus nombreux et par conséquent plus difficiles à modéliser avec un faible volume de données. Il est également clair que les MFCCs modélisent l enveloppe spectrale de manière plus globale et qu ils capturent ainsi plus d informations de timbre liées aux locuteurs que les seuls deux premiers formants.

20 548 RSTI - RIA 20/2006. Interaction émotionnelle Par contre, si les résultats concernant les segments de peurs d intensité 3 sont légèrement meilleurs que pour les autres segments, il est cependant surprenant que le taux de détection ne soit pas clairement plus favorable. Une observation plus fine des données permet de penser que la variabilité croît avec la force de l intensité de peur et que ces performances en demi-teintes soient donc dues au faible volume de données disponible pour l apprentissage de cette classe de peur. 6. L impact de la modalité audio L annotation des émotions est influencée par les informations contenues à la fois dans la modalité audio à travers le contenu acoustique, dans la modalité visuelle et par le contexte sémantique de la séquence. Les tests perceptifs (Clavel et al., 2004) ont montré que les émotions ont tendance à être perçues comme plus intenses avec le support vidéo. Une telle constatation nous amène à la réflexion suivante : certains segments ont pu être annotés peur uniquement à partir d indices visuels. Or, si trop de segments annotés peur ne possèdent aucun indice acoustique perceptible, les modèles de la classe peur appris à partir de telles données risquent d être proches des modèles de la classe neutre. Il est donc nécessaire de vérifier que le choix d un support multimodal pour l annotation ne va pas altérer la modélisation acoustique de la peur Réannotation acoustique du sous-corpus Les segments de peur du sous-corpus sont présentés à un deuxième annotateur «expert» avec uniquement le support audio et en dehors de leur contexte. Les consignes sont les suivantes : l annotateur doit dire pour chaque segment, si oui ou non la peur lui semble saillante au niveau acoustique. 25 % des segments annotés peur avec un support audiovisuel sont dus à une perception essentiellement liée aux indices visuels. Ces segments sont retirés du sous-corpus d étude pour constituer le sous-corpus correspondant à la réannotation acoustique. Ce nouveau sous-corpus est composé de 159 segments pour la classe peur (36 segments d intensité 1, 79 segments d intensité 2, 44 segments d intensité 3) contre toujours 214 pour la classe neutre. La répartition des segments de peur en intensité du sous-corpus correspondant à la réannotation acoustique est différente de celle du sous-corpus initial (cf. section 5.1) : ce sont essentiellement les peurs d intensité faible, i.e. d intensité 1 et 2, qui ont été supprimées par la réannotation acoustique Protocole et résultats L impact de la modalité audio est mesuré par comparaison des résultats du Protocole 1 décrit dans la section 5 où l apprentissage et le test ont été faits sur des segments Peur/Neutre annotés sous l influence de la vidéo, du contexte, et de l audio avec les résultats issus du protocole suivant :