MASTER Ingénierie des Systèmes Industriels et des Projets. Rapport Intermédiaire de Master SDS TITRE JURY

Transcription

1 MASTER Ingénierie des Systèmes Industriels et des Projets SPECIALITE : SYSTEMES DYNAMIQUES ET SIGNAUX Année 2013/2014 Rapport Intermédiaire de Master SDS Présentée et soutenue par : Mickaël MENARD Le 27 Février 2014 Au sein de l'institut des Sciences et Techniques de l'ingénieurs d'angers TITRE ÉVALUATION DES EMOTIONS A TRAVERS LES MOUVEMENTS ET LES BIO-SIGNAUX JURY Président : L. Hardouin Professeur Université d'angers Examinateurs : Encadrant : Paul Richard J.L. Boimond Professeur Université d'angers E. Belin MCF Université d'angers F. Chapeau Blondeau Professeur Université d'angers A. Charki MCF Université d'angers F. Guerin Professeur Université d'angers S. Lagrange MCF Université d'angers M. Lhommeau MCF Université d'angers P. Richard MCF Université d'angers LABORATOIRE D INGÉNIERIE DES SYSTÈMES AUTOMATISÉS EA Université d Angers

2 Table des matières Introduction... 2 I - Plateforme d Analyse Comportementale et Emotionnelle : PACE... 3 A - Une plateforme multimodale... 3 B - Une plateforme d analyse émotionnelle... 3 C - Les capteurs utilisés... 4 D - Les signaux physiologiques récupérés... 5 E - Traitement selon les modèles... 5 F - Fusions coefficientées sur 3 niveaux... 6 G - Paramétrage de la plateforme... 6 II - Les systèmes de reconnaissance d émotions... 7 A - Les plateformes multimodales ABE : Agent Based software for a multimodal Emotion recognition framework AUBADE EYESWEB MAUI : Multimodal Affective User Interface MARC : Multimodal Affective Reactive Characters M-PACE : Mesure et analyse des comportements humains, Perception Action Cognition Emotion MULTISENSE SAMMI : Semantic Affect-enhanced Multimedia Indexing SSI : Smart Sensor Integration B - Les technologies développées par les organismes sociaux et de marketing TNS Sofres IFOP CSA GFK BVA Emoscale Conclusion Références

3 Introduction Depuis quelques années, la prise en compte des émotions humaines dans les systèmes complexes est une problématique récurrente. Il est nécessaire de savoir comment se comporte l être humain pour adapter au mieux les modèles et les interfaces dans lesquels on souhaite le faire évoluer. La mesure et l évaluation des émotions nous permettent de réaliser des simulateurs plus réalistes et conformes à notre vision. Ce sujet de recherche, qui s inscrit dans le projet EMOTIBOX [1], est une continuité de ce qui a été produit précédemment par Mr Hamza HAMDI dans le cadre de sa thèse : le projet PISE (Plate-forme Immersive de Simulation d Entretiens d embauche) [2], développé au sein de l ISTIA (école d ingénieur de l université d Angers) a pour but de confronter un candidat à un recruteur virtuel afin d améliorer sa gestion du stress. PISE repose sur une plateforme d évaluation des émotions en temps réel, qui se base sur les biosignaux et les expressions faciales de l utilisateur collectés par différents capteurs. Les signaux sont ensuite fusionnés à différents niveaux afin de générer un vecteur émotionnel qui nous indique l état émotionnel de notre utilisateur à l instant t. Ce vecteur est alors réinjecter dans le simulateur : le recruteur virtuel réagit alors en fonction et l analyse des résultats est corrélée avec les données émotionnelles. Le projet EMOTIBOX [1], lancé en septembre 2013 vise à conforter la plateforme en y intégrant de nouveaux capteurs, à développer de nouvelles interfaces (paramétrages et lecture de résultats) et à coupler cette dernière avec des systèmes industriels complexes, provenant d entreprises qui ont été identifiées par une étude marketing [7]. Ce projet étant confidentiel, il m est ici impossible de détailler les algorithmes et de commenter le code source. 2

4 I - Plateforme d Analyse Comportementale et Emotionnelle : PACE A - Une plateforme multimodale Le système qui a été développé à l ISTIA est une plateforme multimodale [2]. La multimodalité [3] désigne la contribution de différentes modalités pour interagir de manière complémentaire avec un système : on parle alors de modalités d entrées et de modalités de sorties. Celles-ci agissent sur les cinq sens humains pour permettre l utilisation d un système : - Toucher : clavier, souris, wiimote, - Vue : écran, oculus rift, IR track, - Ouïe : haut-parleur, micro, retour-vocal, - Goût : capteur sur la langue - Odorat : à ce jour, il n existe pas de système olfactif permettant l'interaction avec une machine. Dans le cas de l utilisation d un ordinateur, on utilise classiquement la souris et le clavier en entrée, et l écran en sortie. La plateforme PACE [2] est équipée de différents capteurs (modalités d entrée) permettant de collecter des signaux (Fig. 1). La transmission du vecteur émotionnel généré par la plateforme vers le module de traitement peut être assimilée à une modalité de sortie. FIGURE 1 Illustration du simulateur d entretien B - Une plateforme d analyse émotionnelle La notion «d émotion» [4] est scientifiquement difficile à définir. Les émotions humaines reposent en effet sur des composantes physiques, physiologiques, mentales et comportementales. De nombreux auteurs ont tentés de donner une définition précise et d identifier les émotions basiques sur lesquels l ensemble des êtres humains s accordent. Dans le cas de la plateforme PACE, c est le concept décrit par Ekman [5] en 1972 qui a été retenu. Celui-ci a travaillé en particulier sur l expression des émotions : en demandant à un ensemble de personnes, venant de peuples isolés du monde, de regarder des photos expressives, il a pu déterminer qu il existe une expression prototypique pour les six émotions dîtes universelles. Elles sont les suivantes : la tristesse, la joie, la colère, la peur, le dégoût et la surprise. La plateforme travaille donc à reconnaitre chacune de ces 6 émotions pour caractériser l état émotionnel de l utilisateur. 3

5 C - Les capteurs utilisés A l heure actuelle, deux capteurs différents ainsi qu une webcam sont utilisables avec la plateforme. Le premier est le casque Epoc (Fig. 2), de la société Emotiv 1, mesurant les ondes-cérébrales Le casque vient réaliser un électroencéphalogramme (EEG) à partir de 14 points stratégiques. Les signaux récupérés permettent alors de reconnaître les expressions faciales de l utilisateur et de surveiller son état émotionnel. Cependant, la plateforme PISE [2] traite elle-même les données collectées par ce capteur afin de faire sa propre analyse. FIGURE 2 Casque Epoc FIGURE 3 WristOx2 Le second capteur est le WristOx2 (Fig. 3), de la société Nonin 2, qui mesure le taux de dioxygène dans le sang et le rythme cardiaque. Celui-ci est très précis car il a été développé dans un premier temps pour des applications médicales. Une webcam a été ajoutée à la plateforme afin de reconnaitre les expressions faciales. Les signaux ne sont pas retraités car on peut directement définir les émotions de la personne grâce à des techniques de traitement de l image. Deux capteurs supplémentaires vont être déployés prochainement. Il s agit d une ceinture de respiration et d un capteur de conductivité dermique, tous deux fabriqué par la société TEA 3. Ces capteurs vont permettre de récupérer d avantages de signaux afin de construire des modèles plus précis. 1 Emotiv EPOC - Brain Computer Interface Technology. 2 Nonin medical WristOx TEA. 4

6 D - Les signaux physiologiques récupérés Il existe de nombreux canaux de communication (Fig. 4) qui peuvent nous fournir des informations sur les émotions. Les signaux traités par la plateforme [2] sont les suivants : - Activité électro-encéphalographique (EEG) - Activité électro-cardiaque (ECG) - Taux d oxygène dans le sang - Expressions faciales Les signaux qui seront traités dans le futur sont : - Conductivité de la peau - Fréquence respiratoire FIGURE 4 Canaux de communication émotionnelle et capteurs associés E - Traitement selon les modèles Afin de traiter les signaux recueillis et d en dégager des émotions, il a fallu y associer des modèles mathématiques. Ce sont les images, faisant partis du système Image International Affective (IAPS) [6], qui ont été utilisé pour identifier les modèles. Les valeurs des 6 émotions retenues sont disponibles pour chacune de ces images sous forme de coefficient. Ainsi, il a y a des images caractéristiques du sentiment de la peur, du dégoût, de la joie, etc., ou bien même de plusieurs émotions. Le protocole expérimental mis en place est donc assez simple [2] : deux images correspondantes à chacune des émotions ont été choisies. Ces images ont été présentées à tour de rôle à des sujets équipés de capteurs. Cela a donc permis d obtenir des signaux représentatifs de chaque émotion. Les données ont ensuite été traitées afin d associer un modèle à chaque signal pour chacune des émotions. En comparant le modèle avec le signal mesuré sur le sujet, il est possible de déterminer précisément son état émotionnel sous la forme d un vecteur émotionnel. Celui-ci est un vecteur à 6 dimensions comprenant une valeur entre 0 et 1 pour chacune de nos émotions. 5

7 F - Fusions coefficientées sur 3 niveaux Une fois les signaux collectés, un vecteur émotionnel leur est associé [2]. Ce dernier étant dépendant des modèles, il est possible que certaines contradictions soient apparentes. Il est donc nécessaire de faire une fusion entre les signaux pour obtenir un vecteur pondéré inter-signaux. La pondération a été établie en amont avec les modèles ; on sait que certains signaux sont plus représentatifs de certaines émotions que d autres. La première étape de fusion correspond à la fusion des signaux d un même capteur. Une moyenne pondérée est effectuée entre les vecteurs des signaux du même capteur. La deuxième étape de fusion est une moyenne pondérée inter-capteurs. La pondération a été établie en amont avec les modèles ; on sait que certains capteurs sont plus représentatifs de certaines émotions que d autres. Ayant obtenu un vecteur émotionnel unique (pour l instant t ), il ne reste plus qu à effectuer une dernière fusion avec le vecteur de l instant t-1 afin de lisser la courbe et éviter de trouver des pics émotionnels. G - Paramétrage de la plateforme Le paramétrage se fait entièrement à l aide de fichiers XML pour permettre une plus grande souplesse [2]. Chaque modèle (une émotion correspondant à un signal) est associé à un fichier XML. Les capteurs sont également référencés, afin de connaître leurs différents signaux et leurs pondérations associées. Enfin, des fichiers XML correspondent aux profils utilisateurs afin de retrouver les paramétrages correspondant à chaque individu. 6

8 II - Les systèmes de reconnaissance d émotions De nombreuses technologies de traitement des signaux physiologiques ont été développées ces dernières années. Les applications directes sont pour l instant principalement centrées sur le marketing et le médical. Nous allons, dans cette partie, traiter des différents systèmes existants. A - Les plateformes multimodales A l heure actuelle, l offre de plateformes multimodales est assez large. Celles-ci sont, pour la plupart, proposés par des Universités. Les systèmes provenant du secteur privé sont essentiellement destinés à la recherche. 1 - ABE : Agent Based software for a multimodal Emotion recognition framework Cette plateforme multimodale [8] a été proposée par l Arizona State University (USA) en Les buts principaux étaient de créer un outil permettant d étudier l impact immersif de jeux vidéo (corrélation entre l investissement du joueur et l ennui selon la difficulté) et de créer un système intelligent d apprentissage en ligne (pour réduire la frustration de l élève et éviter qu il abandonne le cours). Les signaux physiologiques traités par cette plateforme sont nombreux : - L activité électro-encéphalographique (EEG) à l aide du casque Epoc. - Les mouvements oculaires à l aide du système «d eye tracking» Tobii 4. - Les expressions faciales à l aide d une caméra. - La conductivité de la peau. - La posture. - La pression exercée par les doigts. 2 - AUBADE L Université de Ioannina (Grèce) a proposé cette plateforme multimodale [9] en Les applications en sont strictement médicales : la surveillance psychologique et neurologique de patients et la surveillance de sujets opérants en environnement hautement stressant (ex : pilotes de course). Les signaux physiologiques traités par cette plateforme sont aux nombres de quatre : - L activité électro-myographique (EMG) faciale - La conductivité de la peau. - La fréquence cardiaque. - La fréquence respiratoire. 4 Tobii Technology. 7

9 3 - EYESWEB Ce logiciel [10] a été développé par l Université de Gênes (Italie) en Il constitue un environnement de programmation modulaire spécialisé dans l analyse de mouvement à partir de vidéos et l analyse de signaux audio. Eyesweb propose une large collection de blocs permettant d extraire des gestes expressifs, et est extensible à d autres canaux de communication émotionnels. Cette plateforme est limitée à seulement deux canaux de communication : - La voix. - Les gestes. 4 - MAUI : Multimodal Affective User Interface Cette plateforme [11] a été proposée par l Université de Floride (USA) en Elle est utilisée dans le cadre de recherche en informatique bio-affective-sociale. Les signaux récupérés sont analysés et traités avec des algorithmes différents pour extraire l état émotionnel. Un système de fusion sur trois niveaux (signal, caractéristiques et décisionnel) permet de reconnaître différents états émotionnels en temps réel. Les signaux physiologiques collectés sont les suivants : - Les expressions faciales. - La voix. - La température de la peau. - La fréquence cardiaque. - La conductivité de la peau. 5 - MARC : Multimodal Affective Reactive Characters Cette plateforme multimodale [12] a été développée au laboratoire LIMSI-CNRS d Orsay (France). Le but suivi était le développement d agents virtuels réalistes (en 3D) pour une interaction affective en temps réel. Les applications principales sont l amélioration des systèmes interactifs dédiés aux expériences culturelles et les outils éducatifs pour les enfants autistes. L interaction avec l agent virtuel (Fig. 5) se fait au travers des expressions faciales et des gestes de l utilisateur. FIGURE 5 Plateforme MARC 8

10 6 - M-PACE : Mesure et analyse des comportements humains, Perception Action Cognition Emotion Cette plateforme multimodale [13] a été proposée par le laboratoire URECA de l Université de Lille (France) en De nombreuses applications d analyse d émotions ont été mises en place, telle que l analyse de la communication émotionnelle en situation de travail en groupe, l amélioration de la communication verbale et non-verbale dans le cas d annonces de diagnostics, ou encore la mise au point d outils thérapeutiques pour la rééducation des troubles de la régulation des émotions (dépendance, conduite alimentaire, etc.). Pour ce faire, la plateforme traite les signaux venant des mouvements oculaires (système d eye tracking), des gestes et de la conductivité de la peau. 7 - MULTISENSE Multisense [14] est une plateforme développée par l University of South California ICT (USA) en La plateforme analyse les images d'interview et les réponses vocales d un patient parlant avec un agent virtuel (Fig. 6). Elle récupère en temps réel les émotions et la manière de réagir de l'interviewé. Pour ce faire, Multisense suit les expressions faciales, les positions du corps, les sons produits, les schémas de langues (expressions utilisées), et d autres descripteurs comportementaux de hauts niveaux (attention, mouvements des mains). FIGURE 6 Plateforme Multisense : interview avec SimSensei 8 - SAMMI : Semantic Affect-enhanced Multimedia Indexing Cette plateforme [15], créée par l Institut EURECOM (France) en 2007, vise à l indexation automatique des films et d autres éléments multimédia via les émotions contenues dans les médias. Le système multimodal, utilisant la voix (vitesse, hauteur, intensité) et les expressions faciales, permet de dégager les différentes émotions ressenties par l utilisateur lors du visionnage d un contenu multimédia. Les caractéristiques obtenues alimentent le système de classification. 9

11 9 - SSI : Smart Sensor Integration SSI [16] a été développé à l Université de Augsburg (Allemagne) en Cette plateforme permet d enregistrer, d analyser et de reconnaître le comportement humain en temps réel. Par défaut, SSI gère un certain nombre de dispositifs de détection, tels que le microphone, la caméra et des capteurs physiologiques. L intérêt de cette plateforme est de pouvoir intégrer de nouveaux capteurs. L interface visuelle (Fig. 7) permet de définir des modèles d analyse de signaux et de paramétrer la fusion des données. Les applications de ce système sont majoritairement médicales. FIGURE 7 Plateforme SSI 10

12 B - Les technologies développées par les organismes sociaux et de marketing Depuis quelques années déjà, des organismes d études utilisent la mesure des émotions pour améliorer la portée de campagnes de publicités ou les résultats d études. 1 - TNS Sofres TNS Sofres 5 est une entreprise française qui réalise des études marketing et d opinion. Ils ont développé une méthode marketing, nommée «AdEffect», permettant d évaluer l efficacité des campagnes publicitaire et d en comprendre les mécanismes. Le principe est assez simple : Un échantillon représentatif de la cible marketing est interrogé à l'issue de l action de communication. On définit le nombre de fois que chaque individu a été en contact avec la campagne publicitaire (sous toutes ces formes) et on demande ce qu ils pensent de la marque et qu est-ce qu ils ont retenus de la communication. La corrélation de ces données permet de mesurer l impact de la campagne publicitaire. 2 - IFOP IFOP 6 est une entreprise française agissant sur le secteur de la stratégie d entreprises. Ils ont développé une méthode interne, nommée «Emotional Advert», de mesure verbale des émotions pour pré et posttester les communications à forte valeur émotionnelle. 3 - CSA Le CSA est le Conseil Supérieur de l Audiovisuel, organisme de l état Français. Ils ont créé un indice, nommé «Mood Index 7», destiné aux études sociales. Cet indice est un indicateur global du bien-être, destiné à mesurer la sensibilité émotionnelle d une cible (vécu, réceptivité, schéma émotionnel dominant). Cet indicateur est utilisé comme variable dans les études quantitatives et il permet de dresser le profil et la sensibilité des cibles visées afin de mettre en évidence les leviers émotionnels. 5 TNS Sofres : 6 IFOP : 7 CSA - Mood Index : 11

13 4 - GFK GFK est une entreprise allemande réalisant des études de marché et de l audit marketing. Ils ont développé deux outils nommés «EMO Scan 8» et «EMO Sensor 9». Le premier sert à analyser les expressions faciales, tandis que le deuxième analyse la voix. Ces deux outils permettent de dégager des émotions caractéristiques. Ce qui les intéresse est de trouver les émotions positives poussant à la consommation. 5 - BVA BVA est un institut français qui réalise des études de marché et d opinion. Ils ont développé une méthode 10 leur permettant de dégager des émotions à partir de signaux physiologiques (conductivité de la peau et électromyographie faciale). Le but est d appréhender au mieux le comportement du consommateur pour enrichir les études marketing (tests de concept, de marques) avec une dimension émotionnelle. 6 - Emoscale Emoscale est une start-up française agissant dans le domaine du neuro-marketing. Ils ont développé un logiciel 11 éponyme, se basant sur l utilisation de l Emotiv Epoc. Celui-ci va venir lire et enregistrer l humeur, l état d esprit et le degré d engagement de l utilisateur. Cela permet de mesurer l impact des produits, des services et des expériences observés. Ce logiciel est utilisé pour réaliser des études de marché, des tests de communication et des tests de produits. 8 GFK - EMO Scan : 9 GFK - EMO Sensor : _.pdf 10 BVA : 11 Emoscale : 12

14 Conclusion Nous avons décrit ici la plate-forme [2] développée au sein de l ISTIA au travers de ses caractéristiques techniques et de son principe de fonctionnement. Nous avons aussi pu voir qu il existe de nombreux systèmes et technologies permettant le traitement des signaux physiologiques. Ces systèmes ont pour la plupart des applications en marketing ou dans la recherche. Cet état de l art laisse voir la nécessité, de plus en plus présente, de l informatique affective et plus précisément, de la mesure des émotions. Les méthodes subjectives laissent petit à petit place à des méthodes d analyse des signaux physiologiques, plus lourdes à mettre en place mais plus précises et constantes. La plateforme PISE a besoin d amélioration avant de pouvoir avoir une portée applicative sur des projets extérieurs. Pendant mon stage, je vais travailler sur l intégration d un nouveau capteur (conductivité de la peau), et sur le couplage de la plateforme avec un système complexe (tel qu un jeu vidéo). Ainsi, j analyserai la performance de la plateforme et ce qu on peut tirer de son utilisation. 13

15 Références [1] Angers Technopole. MPIA EMOTIBOX Dossier de soumission de projet, Angers, [2] H. Hamdi. Plate-forme multimodale pour la reconnaissance d émotions via l analyse de signaux physiologiques : Application à la simulation d entretiens d embauche. Thèse de doctorat, Université d Angers, France, [3] P. Fuchs. Le traité de la réalité virtuelle, volume 2 : L interfacage, l immersion et l interaction en environnement virtuel. Presses de l'ecole des Mines, Paris, [4] Myers, David G. (2004) "Theories of Emotion." Psychology: Seventh Edition, New York, NY: Worth Publishers, p [5] P. Ekman, W.V. Friesen, and P. Ellsworth. Emotion in the human face : guidelines for research and an integration of findings. Pergamon Press, New York, [6] M. Bradley and P.J. Lang. The International Affective Picture System (IAPS) in the Study of Emotion and Attention [7] Erdyn. Emotibox - Etude de positionnement marketing. Rapport, [8] J. Gonzalez-Sanchez, ME. Chavez-Echeagaray, R. Atkinson, W. Burleson. ABE: An Agent-based software Architecture for A Multimodal Emotion Recognition Framework. Software Architecture (WICSA), th Working IEEE/IFIP Conference. p (2011). [9] C. Katsis, G. Ganiatsas, D. Fotiadis. An integrated telemedicine platform for the assessment of affective physiological states. Diagnostic Pathology. 1 (2011). [10] A. Camurri, S. Hashimoto, M. Ricchetti, A. Ricci, K. Suzuki, R. Trocca, G. Volpe. Eyesweb: Towards gesture and affect recognition in interactive dance and music system. Computer Music Journal. 24(1): p57-69 (2000). [11] C.L. Lisetti, F. Nasoz. MAUI: Multimodal affective user interface. The ACM Multimedia International Conference. p (2002). [12] Courgeon, M., Martin, J.-C., Jacquemin, C MARC : Un Personnage Virtuel Réactif Expressif. 3ème Workshop sur les Agents Conversationnels Animés (WACA'2008). Ed. Martin, J.-C., Sansonnet, J.-P. Paris. pp 1-8. [13] Laboratoire URECA. Plaquette de présentation M-PACE. [Disponible à l URL : [14] S. Scherer, L.P. Morency, A. Rizzo. Multisense and SimSensei A Multimodal Research Platform for Real-time Assessment of Distress Indicators. October 19, 2012 Conference, Arlington, VA. [15] M. Peleari, B. Huet, B. Duffy. Sammi: Semantic Affect-enhanced Multimedia Indexing. Proceedings of the semantic and digital media technologies 2nd international conference on Semantic Multimedia; p (2007). [16] J. Wagner, E. Andre, F. Jung. Smart Sensor Integration : A Framework for multimodal emotion recognition in real-time. Affective Computing and Intelligent Interaction (2009). 14

16 Titre : Évaluation des émotions à travers les mouvements et les bio-signaux Mots clés : plateforme multimodale, informatique affective, émotions, signaux physiologiques Résumé : Ce travail traite des plateformes multimodales développées dans le cadre de recherche en informatique affective. Ces plateformes sont spécialisées dans l'évaluation des émotions à travers les bio-signaux et les expressions faciales de l'utilisateur. Le système proposé à l'istia a été créé dans le cadre de simulation d'entretiens d'embauche. Les capteurs embarqués permettent de collecter de nombreux signaux physiologiques tels que l EEG ou l ECG. L état de l art rassemble l ensemble des plateformes et des technologies appliquées sur des problématiques venant des secteurs de la recherche et du marketing. Title: Behavioral and Affective Performance Assessment through Dynamic Gestures and Bio-signals Keywords: multimodal platform, affective computing, emotions, physiological signals Abstract: This report gives an overview of multimodal platforms designed for affective computing research. Created for behavioral and affective performance assessment, these platforms use bio-signals and facial gestures. The platform produced at ISTIA was designed in order to simulate job interviews. The sensors collect several physiological signals such as EEG and ECG. This state of the art gathers all platforms and technologies used in the domains of research and marketing. LABORATOIRE D INGÉNIERIE DES SYSTÈMES AUTOMATISÉS EA Université d Angers