Introduction. Cet article des Editions Lavoisier est disponible en acces libre et gratuit sur ria.revuesonline.com

Transcription

1 Introduction Dans ce numéro spécial notre objectif est de faire le point sur l avancée des recherches en France dans le domaine des interactions émotionnelles comme nouveaux types d interaction homme-machine (IHM). Ces dernières années ont aussi vu l expansion de la recherche sur le rôle et la fonction des émotions dans les IHM (cf. le projet européen Humaine 1 ). Les émotions sont essentielles pour percevoir, prendre des décisions, interagir avec les autres, etc. Elles jouent un rôle positif dans plusieurs domaines d application, tels les environnements d apprentissage, en permettant à l utilisateur d avoir une expérience plus agréable et profitable avec le système. Le terme Affective Computing, informatique affective, a été introduit par Rosalind Picard dans son livre de même titre en Elle y décrit des premiers travaux sur l usage des émotions en IHM et y propose des critères de design pour l élaboration de systèmes émotionnels. Les recherches dans ce domaine sont développées par plusieurs groupes aussi bien en Amérique qu en France et autres parties du monde. L interaction étant de nature bidirectionnelle, l aspect émotionnel de ces nouvelles formes interactionnelles homme-machine requiert d être adressé du point de vue de l utilisateur (détection et reconnaissance des signes émotionnels (acoustiques, visuels, textuels) émis par l utilisateur) et du système (simulation des émotions, actions possibles du système sur les expériences émotionnelles de l utilisateur). Bien qu il n existe pas de définition universellement acceptée des émotions, celles-ci peuvent être définies comme un processus complexe incluant des changements neurophysiologiques, un sentiment subjectif (souvent conscient), des expressions comportementales (dans le visage, les gestes, le regard), une tendance à certaines actions (résultant de l évaluation de l événement qui a déclenché l émotion) et une activité cognitive (évaluation cognitive des éléments déclencheurs de l émotion) (Scherer, 2000). Plusieurs théoriciens tels que Lazarus (1991) et Scherer (1999) décrivent les émotions comme résultantes d évaluations cognitives. Les émotions sont des processus dynamiques et se différencient de l humeur par leur durée courte. Elles peuvent être une réponse à un événement, un objet, l action d une personne. Elles peuvent aussi être dirigées vers une autre personne telles que l amour ou la haine. Kaiser et Wherle (2006) se basent sur la théorie des évaluations 1 Réseau d Excellence Humaine (Human-Machine Interaction Network on Emotion) IST / Contract no (

2 442 RSTI - RIA 20/2006. Interaction émotionnelle (appraisal theory) et proposent une approche componentielle pour générer les expressions faciales liées aux émotions. La théorie des émotions discrètes (discrete emotion theory) se différencie de la théorie des évaluations (appraisal theory). Cette théorie stipule qu il n existe qu un nombre limité d émotions basiques qui sont caractérisées par des expressions faciales innées. Ekman et ses collègues (1975, 2003) ont proposé l existence d expressions faciales d émotions universellement reconnues : la colère, la joie, le dégoût, la peur, la tristesse et la surprise. Ces émotions sont appelées aussi émotions basiques. Pour chacune de ces émotions il existe des variantes de ces expressions faciales. Celles-ci peuvent être modulées pour tenir compte de facteurs socioculturels (Ekman, 2003), de régularisation et contrôle des émotions (Scherer, 2000), à qui elles sont adressées (Prendinger, 2001 ; DeCarolis et al, 2001). Ortony, Clore et Collins (1988) ont proposé un modèle computationnel des émotions. Ce modèle est très utilisé dans le domaine des IHM, des agents conversationnels ou encore des robots humanoïdes. Dans ce modèle, les émotions sont déclenchées par l évaluation de changement dans le monde, changement pouvant venir d un objet, d un événement ou d une action. Suivant les résultats de ces évaluations (on peut aimer ou non certains aspects d un objet ; on peut être heureux ou non d un événement dont les conséquences peuvent nous être désirables ou non ; on peut approuver les actions d une personne ou non) une certaine émotion sera déclenchée. Notre but n est pas de faire un état de l art complet des différentes théories existantes des émotions mais plutôt d esquisser la complexité des phénomènes liés aux émotions. Intégrer les émotions dans une IHM demande de considérer les différentes facettes des émotions, avec leurs processus dynamiques, leurs évaluations cognitives et leurs conséquences, leurs expressions comportementales riches et subtiles. En particulier, ce numéro spécial expose les problèmes liés à la constitution et annotation de corpus, à la modélisation computationnelle des émotions, à leur reconnaissance et simulation. Il présente aussi des applications très diverses dans lesquelles les émotions sont importantes. Plus précisément les premiers articles de ce numéro placent le corpus de données et son annotation au centre de leur présentation. L article de Laurence Devillers et de Laurence Vidrascu traitent des émotions complexes (i.e. mixtes) dans des données réelles (dialogues provenant de centres d appel). Les auteures cherchent à déterminer les indices des signaux acoustiques permettant la perception et la représentation des émotions. Un des buts finaux de cette étude est la détection automatique des émotions. Pour capter la complexité et la richesse des signaux émotionnels du corpus, les auteures ont utilisé un vecteur d émotions dans leur schéma d annotation. Ce vecteur permet d annoter plusieurs émotions pour un même segment de données. Jean-Claude Martin et ses collègues proposent un modèle d analyse-synthèse. Un corpus vidéo de données réelles est annoté manuellement. Un schéma de codage

3 Introduction 443 hiérarchique a été développé. Ce schéma englobe une représentation de haut niveau (label d émotions et de fonctions communicatives), de bas niveau (description des signaux multimodaux) et du contexte. Ces différents niveaux d annotation sont utilisés pour animer un agent conversationnel animé. L objectif de cette recherche est dual. D une part, les auteurs souhaitent étudier les relations entre comportements multimodaux et émotions ; d autre part, ils cherchent à enrichir leur modèle d agent conversationnel. La plate-forme expérimentale E-Wiz permet à Véronique Aubergé et al. de recueillir des données réelles. Ces auteurs utilisent le paradigme du magicien d Oz pour induire des émotions chez les utilisateurs. Les signaux acoustiques, visuels, et physiologiques sont enregistrés de manière synchrone. Une analyse des paramètres acoustiques a permis ensuite de déterminer les contours caractéristiques de la prosodie émotionnelle. Le système E-Clone modélise acoustiquement les émotions. Il est basé sur une architecture coopérative de plusieurs modules (lexique, morphologie, syntaxe, prosodie). Une des capacités d E-Clone est de synthétiser la voix affective. Des tests perceptifs ont permis d évaluer les résultats extraits des analyses de données capturées par E-Wiz et synthétisées par le système E-Clone. Les travaux présentés par Chloé Clavel et al. visent à détecter automatiquement les émotions, entre autres dans des lieux publiques. Les auteurs s intéressent plus particulièrement aux manifestations de la peur. Un corpus constitué de scènes de films où la présence d émotions extrêmes de la peur a été constitué. Les données sont annotées à plusieurs niveaux : label d émotion (peur, autre émotion négative, neutre, émotion positive) et dimension (activation, évaluation et contrôle). Le contexte et la description des signaux acoustiques y sont aussi décrits. Un système de détection automatique des émotions basé sur des indices acoustiques est présenté dans la deuxième partie de l article. Des tests perceptifs ont permis d évaluer le système. Gaëlle Loosli et ses collègues proposent une architecture globale d un système embarqué de reconnaissance des états émotionnels en temps réel. Les états émotionnels d un utilisateur sont obtenus à partir de mesures physiques (accéléromètres) et physiologiques (ECG, EMG...) issues de capteurs portés. L architecture proposée par les auteurs prend en entrée les signaux issus des capteurs ainsi que les états affectifs identifiés par les utilisateurs après visionnage de leur expérience. Le système ne cherche pas à détecter les états affectifs per se ; au contraire il vise à détecter les changements dans le flux des signaux et propose ensuite une segmentation et un étiquetage de ceux-ci. Les segments dont les signaux sont similaires sont assemblés et reçoivent le même label que ceux préalablement reconnus. Cette démarche permet aux auteurs de palier à la difficulté de reconnaître un état affectif à partir de signaux pour de nouveaux sujets dans de nouvelles conditions. Les travaux de Christine Lisetti se situent dans le domaine de l informatique bioaffective-sociale. Elle souhaite utiliser des paradigmes issus de ce domaine de

4 444 RSTI - RIA 20/2006. Interaction émotionnelle recherche pour développer des agents multimodaux socialement intelligents capables de prendre des décisions et de communiquer. Dans cet article, elle présente ses travaux relatifs à l étude des émotions, plus particulièrement à la reconnaissance des émotions à partir de signaux multimodaux tels que les signaux physiologiques et les expressions du visage. Son approche inclut la construction de modèles des émotions de l utilisateur. Elle détaille aussi une architecture pour le développement d interfaces utilisateur multimodales affectives appelées le paradigme MAUI ou Multimodal Affective User Interfaces paradigm. Magalie Ochs et ses collègues proposent un modèle computationnel d émotions distinguant les émotions déclenchées par un évènement, de celles exprimées, souvent différentes lors d interactions interpersonnelles. Plus précisément, ces auteurs présentent une modélisation et une formalisation des émotions déclenchées, fondées sur un modèle d état mental d un agent rationnel, composé de croyances, choix et incertitudes. Ceci permet d identifier à tout moment l état émotionnel de l agent. Dans la deuxième partie de l article, ils adressent la problématique du calcul de la communication des émotions dans un contexte social. Ils introduisent un modèle pour calculer les expressions faciales des émotions complexes à partir de règles de logique floue. Dans l article suivant, Stéphanie Buisine et al. s intéressent à la modélisation de l expressivité des gestes pour des agents conversationnels animés. L expressivité des gestes est directement liée à l état émotionnel. En s appuyant sur des modèles de perception de l expressivité gestuelle, les auteurs définissent six dimensions pour la caractériser. Un modèle computationnel de chacune de ces dimensions est proposé. Il permet de générer des gestes expressifs pour des agents conversationnels animés. Les auteurs présentent ensuite deux tests perceptifs destinés à évaluer expérimentalement leur modèle. Les résultats montrent que certains des paramètres sont perçus de manière stable, mais que la qualité de l animation est parfois insuffisante pour produire des changements subtils d expressivité. Le dernier article traite des difficultés d interaction émotionnelle intrinsèques à l autisme, en particulier de la difficulté d assimiler les expressions faciales des émotions survenant au cours d un dialogue. Grynszpan et ses collègues ont développé une interface homme-machine émotionnelle spécialisée pour personne autiste. Cette interface associe des expressions faciales des émotions à chaque tour de parole dans un dialogue. Les expressions faciales peuvent être représentées dans deux styles graphiques différents, l un étant plus caricatural que l autre. L interface a été évaluée par des tests perceptifs sur un groupe d enfants autistes et un groupe non autiste. Le rôle des expressions faciales des émotions et leur apport dans la désambiguïsation d un dialogue sont analysés. Catherine Pelachaud LINC, IUT de Montreuil, Université Paris 8

5 Introduction 445 Bibliographie De Carolis B., Pelachaud C., Poggi I., de Rosis F., Behavior Planning for a Reflexive Agent, Fifteen International Joint Conference on Artificial Intelligence, IJCAI 01, august 2001, Seattle, USA. Ekman P., Friesen W. V., Unmasking the face. A guide to recognizing emotions from facial clues, Prentice Hall Trade, Ekman P., Emotions Revealed: Recognizing Faces and Feelings to Improve Communication and Emotional Life, Times Books, Kaiser S., Wherle T., Modeling appraisal theory of emotion and facial expression, Proceedings of the 19th International Conference on Computer Animation and Social Agents, CASA 2006, editeur N. Magnenat-Thalmann, Genève, juillet Lazarus R. S., Emotion and adaptation, Oxford University Press, Ortony A., Clore G. L., Collins A., The cognitive structure of emotions, Cambridge University Press, Prendinger H., Ishizuka M., Social Role Awareness in Animated Agents, Proceedings of 5th International Conference on Autonomous Agents, May-June 2001, Montreal, Canada. Scherer K. R., Emotion, in M. Hewstone & W. Stroebe (Eds.), Introduction to Social Psychology: A European perspective, 3rd. ed., pp , Oxford, Blackwell, 2000). Scherer K. R., Appraisal theory, in T. Dalgleish & M. Power (Eds.), Handbook of Cognition and Emotion, Chichester, Wiley, 1999, pp

6