Agents Virtuels Expressifs Différences Individuelles dans la Perception et l Expression Multimodales de Comportements Sociaux Jean-Claude MARTIN LIMSI-CNRS E-mail: MARTIN@LIMSI.FR 1
Quelles interfaces pour les interactions sociales virtuelles? CONTEXTE : dispositifs interaction virtuelle, interactions sociales, social computing OBJECTIF IHM Multimodales Intuitives APPROCHE Corpus multi-source Validations expérimentales Modèles comportement humain P (comportement état affectif, contexte) 2
Concevoir des interfaces intuitives pour les interactions sociales virtuelles Questions de recherche Quels comportements sociaux sont pertinents Dans les interactions homme ordinateur homme homme médiatisées par ordinateur Comment sont-ils exprimés / perçus en multimodal? Qu est-ce qui explique les différences individuelles? Approche Centrée sur la modélisation informatique du comportement humain 3
Plan Approche Méthodologique Perception et expression multimodale Déictiques Emotions complexes Autisme Expressions faciales réalistes Perspectives 4
Approche Méthodologique 5
Corpus-based virtual agents Why inspire from human to inform the design of agents? Intuitive, realism, believability Cartoon agents can be better Methodology (Cassell 08) Generation = suggest, select, plan Models of multimodal behaviors Probabilistic rules for topic and posture shift (Cassell 01) Individual gesture profiles (Kipp 04) Automatic processing Image processing (Caridakis 06) Motion capture (Bailly 06) 6
Déictiques 7
Perception et Expression de Déictiques Parole, gestes, regard (Kita 03) Perception des combinaisons Expression Multimodal Geste Parole Adultes Enfants Redondance meilleure sauf pour les femmes intraverties CONCLUSION: Il faut tenir compte des différences entre utilisateurs lors de la conception d IHM multimodales (age, genre, personnalité) THESE : S. Buisine soutenue en 2005 avec félicitations COOPERATIONS : Projet Européen NICE PUBLICATIONS : Journal «Interacting with Computers», Journal Signal Processing, CHI 05 8
Deictic behaviors of virtual agents (PhD thesis S. Buisine, NICE project) 9
Deictic behaviors of virtual agents (PhD thesis S. Buisine, NICE project) Results interaction between personality and gender: all users but female introverts are influenced by the virtual tutor's behavioral strategy (redundancy positive for objective and subjective measures) personality can influence the cognitive processes in learning contexts 10
Emotions 11
Bases conceptuelles et informatiques Théories psychologiques Classifications de catégories 6 émotions de base (Ekman, Izard) 24 émotions et leur contexte (OCC) 400 états mentaux (Baron-Cohen) Dimensions : PAD (Mehrabian) Contexte Evaluation cognitive de la situation (Scherer) Interaction sociale (Argyle) Personnalité : approche lexicale & socio-cognitive (Mischel) P D A 12
PAD : 3D Representation of affects (Russell & Mehrabian 77) Affects Focus on facial expression and perception PAD 3D representation of affective states (each axis from -1 to 1). Courgeon, Martin, Jacquemin LIMSI-CNRS Pleasure from Pain (negative) to Happiness (positive) Arousal from Drowsiness (negative) to Excitement (positive) P D A Dominance from Total lack of control on event (negative) to Extreme feeling of control (positive) 13 /22 6 basic emotions in PAD (Russell&Mehrabian 77)
Perception et Expression des Emotions Complexes Spontanées Emotions complexes (Ekman 75) Etude expérimentale Corpus d interviews TV Schémas de représentation Méthode de copie-synthèse Différences observées Homme / femme Intra / extravertis CONCLUSION: Différences individuelles perception des émotions. Mélange d émotions fréquents. 14
W3C Emotion Mark-up Language http://www.w3.org/2005/incubator/emotion/xgr-emotionml-20081120/ Goal Propose a ML for affective computing systems Results Recognition Synthesis Annotation XML specifications 15
W3C Emotion Mark-up Language http://www.w3.org/2005/incubator/emotion/xgr-emotionml- 20081120/ 16
Autisme 17
Perception et Expression des Emotions Complexes et Autisme Pertinence de l autisme (Golan & Baron-Cohen 06) Conception et évaluation d une plateforme expérimentale Difficulté à intégrer les conflits entre expressions faciales et textes CONCLUSION: Tenir compte du profil cognitif pour concevoir des interfaces adaptées et logiciels éducatifs spécifalisés. THESE : O. Grynszpan en Informatique soutenue en 2005 18 COOPERATION : J. Nadel, DR CNRS Psychopathologie du développement, membre du réseau Autisme PUBLICATIONS : Int. Journ. Human-Computer Studies, Journ. Interaction Studies, Revue RIA, CHI 05
Perception et Expression des Emotions Complexes et Autisme Projet Fondation de France Coordinateur : O. Grynszpan Partenaires : Loria, Maison d accueil Chartes LIMSI : Y.Wang, M. Courgeon Animations 3D Parole audiovisuelle Immersion vidéo 19
Expressions faciales réalistes temps-réel MARC Une plateforme pour des études expérimentales sur la perception des expressions faciales 20
Related work Courgeon, Martin, Jacquemin LIMSI-CNRS Psychology of emotions Categorical and continuous representations of affect ive states (Russell & Mehrabian 77) ( 75 Facial expressions of complex emotions (wrinkled, individual s face) (Ekman ( 07 Influence of pupil size on perception of emotions (Harrison et al Facial Animation and Rendering Model-based and image-based approaches (Bailly et al 03) Key points interpolation in MPEG4 (Pandzic 02) ( 07 Real time Realistic Skin Rendering (D'Eon & Leubke Expressive Virtual Agents Complex facial expression generation (Albrecht et al. 05, Pelachaud & Niewiadomski 05) Positive, negative, null effect of agent (Buisine 02) Some perception studies of realistic appearance / behavior (, 08 (Koda & Maes 96, van Vugt 06, Mc Owan /22
Expression réaliste et interactive d états affectifs Plateforme MARC (M. Courgeon, C. Jacquemin) Limites actuelles Rendus dynamique des rides limité Impact sur la reconnaissance des états affectifs Interaction émotionnelle temps réel Modélisation de différents rendus graphiques (Programmation GPU, Bumpmapping) Reconnaissance des expressions faciales 22
23 /22 Online phase Rendering and animations Animation - carried out by the Virtual Choreographer graphic engine (Jacquemin et al.) - performed in real time using GPU shaders - mesh deformation for skin displacement associated with facial expressions - geometrical transformations for head and eye Rendering - computing skin color and moisture modulation, shading and shadow casting - displaying blushing, fine wrinkles, skin moisture ( 07 (D'Eon & Leubke Varying rendering quality - light through skin - cast shadow - wrinkles Courgeon, Martin, Jacquemin LIMSI-CNRS
OFFLINE PHASE Meshes Generation POSER 7 Overall architecture Facial Expression Editor MARC Facial expressions editor Courgeon, Martin, Jacquemin LIMSI-CNRS Graphic Engine Animation & Rendering PAD definition Manual definition of available affective states in PAD ONLINE PHASE Inputs Affective Interaction Interface Virtual Choreographer NOLDUS FaceReader /22 MARC Affective Interaction USER
Perspectives 25
CARE Modalités d augmentation (CARE: Immersion, UJF, ESTIA, IRIT) Capture continue de mouvement dansé expressif Modalités de réalité augmentée MARC et/ou ombre virtuelle Contrôle de MARC à partir des logs de reco des émotions Lissage Test perceptif comparant l apport de différentes modalités 26
Expression multimodale de plusieurs états affectifs Posture + visage (Affective Avatars, Clavel, Cantoche) Bibliothèque de postures affectives Contribution de chaque modalité Couples d émotions de base Dimensions des émotions Posture + parole actes narratifs un robot humanoïde expressif (GV-Lex, Aldebaran) Corpus de postures expressives Fusion multimodale 27
Corpus multi-source Fusion d information CORPUS VIDEO ACTES ET INDUITS MESURES DE CAPTURE DE MOUVEMENT FUSION D INFORMATION Annotations manuelles, traitement d images, capture de mouvement