Alignement par Production d Hétéro-Répétitions chez un ACA

Alignement par Production d Hétéro-Répétitions chez un ACA Sabrina Campano Nadine Glas Caroline Langlet Catherine Pelachaud Chloé Clavel Institut Mines-Télécom, Télécom ParisTech, CNRS LTCI prenom.nom@telecom-paristech.fr Résumé L hétéro-répétition (HR) est la répétition intentionnelle par un locuteur des mots de son interlocuteur. Elle a plusieurs fonctions, comme transmettre qu un message a été reçu, ou exprimer une attitude émotionnelle. C est un phénomène d alignement conversationnel fréquent, témoignant de l implication du locuteur dans l interaction. Dans cet article, nous proposons un modèle permettant à un Agent Conversationnel Animé de réaliser une HR ayant pour fonction d exprimer une attitude affective, comme la surprise ou l appréciation. Notre but est de faire paraître l ACA impliqué dans la conversation, en faisant l hypothèse que cela favorise l engagement de l utilisateur. La sélection d une HR est établie grâce à un arbre de décision construit d après des travaux existants en Analyse Conversationnelle, et la réalisation d une HR est déterminée par son type et des variables contextuelles. Mots Clef Hétéro-répétition, engagement, alignement, Agent Conversationnel Animé. Abstract Other-Repetition (OR) is a current speaker s conscious reproduction of something a former speaker just said before. It has several functions, such as conveying that the message has been taken into account or expressing an emotional stance. It is an alignment process that occurs frequently in conversation, and is an indication that the speaker is involved in the interaction. In this paper we propose a model that provides a Conversational Embodied Agent with the capability of producing ORs that express an emotional stance, such as surprise or appreciation. Our goal is to model a conversational agent that seems involved in the conversation, hypothesizing that this will enhance user engagement. OR selection is determined by means of a decision tree which is defined according to existing literature on Conversational Analysis. The realization of an OR is guided by the OR type and contextual variables. Keywords Other-repetition, engagement, alignment, Embodied Conversational Agent. 1 Introduction Favoriser l engagement de l utilisateur est un élément important dans une interaction avec un ACA. L engagement d un locuteur est défini comme la valeur qu il attribue au fait rester avec les/l autre(s) participant(s) et de poursuivre de la conversation [18]. Pour engager l utilisateur, un ACA peut montrer qu il est impliqué dans la conversation. L implication est en effet une condition de l engagement [17], et peut être montrée par des phénomènes d alignement. Au sens général, l alignement est l approbation par deux participants d une activité en cours [9]. Les phénomènes d alignement incluent les répétitions lexicales [26] [1], le style linguistique [14], l activité vocale [4], les concepts [2], et l inter-compréhension [21]. Dans cet article, nous nous intéressons à un phénomène d alignement multi-modal qui est l hétéro-répétition (HR). L hétéro-répétition (HR) est une pratique fréquente dans le dialogue, qui consiste pour un individu à répéter ce que l interlocuteur vient de dire [16]. L HR se distingue de la simple répétition lexicale : c est une répétition volontaire, ayant une fonction particulière. Plusieurs travaux en Analyse Conversationnelle sur l HR décrivent ces fonctions en s appuyant sur des corpus de langage parlé. L HR permet par exemple de signifier qu un message a été pris en compte, de demander une confirmation du message précédent, de montrer son accord ou son désaccord [16]. Elle facilite la compréhension, montre que l on contribue à un sujet de discussion, et de façon plus générale, indique que l on est impliqué dans la conversation [24]. Elle permet aussi d exprimer une attitude affective, ou évaluation, en réaction à ce que l interlocuteur vient de dire [23]. Il ne semble pas exister à ce jour de modèle informatique permettant à un ACA de réaliser des HRs. En revanche, il existe des modèles centrés sur d autres phénomènes d alignement. Par exemple, Rich et. al (2010) [19] ont proposé un système de détection d engagement de l utilisateur en étudiant l alignement des regards, et Ochs et al. (2013) [15] ont travaillé sur l alignement des sourires entre un ACA et un utilisateur. Au niveau verbal, Jong et al. [5] ont proposé un modèle d alignement sur la politesse d une phrase pour un ACA. Il prend en compte la structure de la phrase, le niveau de formalité du vocabulaire, et la distinction entre

le vous de vouvoiement et le tu. Kopp et al. (2008) [10] ont défini un modèle permettant à un ACA d émettre des feedbacks (ex : «mhm», «oui»), qui sont de courts signaux multi-modaux émis par l interlocuteur. Ils peuvent signaler une incompréhension, ou inciter le locuteur à continuer son récit. Dans une étude que nous avons réalisée précédemment sur le corpus d interaction humain-agent SEMAINE [3], nous avons identifié plusieurs types d HRs. Nous avons étudié un sous-ensemble du corpus, où un opérateur humain joue le rôle d un agent. Nous avons utilisé des méthodes de détection automatique sur les fichiers de transcription, et leur analyse nous a permis de tirer deux conclusions importantes : les HRs apparaissent fréquemment dans ce contexte d interaction humain-agent, et les HRs permettant d indiquer qu un message a été reçu et d exprimer une appréciation ou un affect étaient particulièrement représentées. Dans une interaction, un ACA (non joué par un être humain) devrait donc être capable de produire ce type d HRs. Notre objectif est de proposer un modèle permettant à un ACA de réaliser des HRs ayant une fonction Affective (HR-Aff), dans le but de favoriser l engagement de l utilisateur. Dans cet article, nous nous concentrons sur les aspects verbaux de l HR-Aff. Définir un modèle de production d HR-Aff demande de répondre à plusieurs questions de recherche : (i) Quels mots peut répéter l ACA pour produire une HR-Aff? (ii) Quelle fonction communicative peut-il exprimer à travers elle? (iii) Comment peut-il exprimer cette fonction? Nous répondons à ces questions en définissant un modèle formel permettant à un ACA de réaliser des HR-AFF. Nous donnons d abord la définition des concepts utilisés et le principe général du modèle (Section 2), puis nous détaillons sa formalisation (Section 3). Enfin, des perspectives pour l évaluation de ce modèle en cours d implémentation sont proposées (Section 4). 2 Modèle d Hétéro-Répétition 2.1 Contexte Notre travail se déroule au sein du projet A1 :1, dans le cadre duquel un ACA à taille humaine va être placé au musée de la Vendée afin de discuter avec les visiteurs dans une interaction en face-à-face. Ce musée expose notamment une statue du sculpteur Jacques Bousseau, et un hélicoptère. L ACA, nommé Léonard, possède une connaissance étendue des œuvres du musée (type d œuvre, nom, artiste). Il doit donner des informations sur ces œuvres et leurs artistes, tout en favorisant l engagement de l utilisateur. L environnement dans lequel se trouve l ACA est équipé d un micro et d une caméra. L interaction commence lorsqu un visiteur s approche de l ACA, et que sa présence est détectée. La sélection des comportements verbaux et non verbaux de l ACA est simulée sur la plate-forme GRETA [6], un agent conversationnel animé en 3D fonctionnant en temps-réel. Les intentions communicatives de l agent et ses comportements sont décrits au format standardisé FML- BML [12, 25]. 2.2 Concepts Le modèle que nous proposons est fondé sur le travail de Svennevig [23], portant sur les hétéro-répétitions exprimant une attitude affective (que nous abrégeons HR-Aff). Une HR-Aff est une réaction à ce que l interlocuteur vient de dire, qui exprime une appréciation positive / négative pour un sujet de conversation, de l intérêt, ou de la surprise. Par exemple, dans l extrait suivant, elle peut à la fois exprimer de la surprise ou une appréciation positive : A : «Oui, j ai trois enfants» S : «Trois enfants? (sourires)». Selon Svennevig (2004), ce type d HR peut avoir deux types d effets : (i) inciter l utilisateur à en dire plus, (ii) clore un sujet de conversation. Si le sujet de conversation a déjà été bien développé, une appréciation peut servir à le clore. La définition de l appréciation que nous adoptons est celle qui est présentée dans la théorie de Martin et White [13] sur l évaluation verbale. Dans cette théorie, l appréciation est une évaluation positive ou négative d un objet (appelé cible), portant notamment sur des critères esthétiques. Par exemple «J adore Jacques Bousseau» est une appréciation positive de la cible Jacques Bousseau 1. Dans le cadre du projet A1 :1, la liste de cibles C contient des types d œuvres (ex : sculpture), des noms d œuvres (ex : Assiette Tripode), et des noms d artistes (ex : Jacques Bousseau). Notre modèle utilise également une représentation des préférences de l ACA sur l ensemble des cibles de C, permettant de savoir si l ACA apprécie ou non une cible c C. 2.3 Principe Général Le module d hétéro-répétition (HR) est intégré dans une architecture générale (montrée sur la figure 1) permettant de gérer une interaction. Il prend en entrée les sorties de différents modules : DEV : à partir d informations verbales, détecte et renvoie en sortie les évaluations exprimées par l utilisateur sur des cibles, dont les appréciations. PSD : détermine les préférences de l ACA, planifie les sujets de dialogue abordés par l ACA (un sujet représente une cible). Renvoie en sortie les préférences de l ACA, et la décision de continuer ou arrêter un sujet de conversation. Transcription de la Parole : détecte et renvoie les mots prononcés par l utilisateur, dont des noms de cibles qui peuvent être utilisés par le module HR. Après chaque tour de parole de l utilisateur, les différents modules envoient leurs sorties au module HR. La sélection et la construction d une HR-Aff dépendent de ces entrées. Dans notre modèle, un ACA peut produire : 1. une HR-Aff de type surprise/intérêt (HR-Aff-SI) : l agent exprime sa surprise / son intérêt par rapport une appréciation de l utilisateur. Par exemple : «Ah bon vous n aimez pas cette statue?». 1. Pour plus de détails sur ces notions dans un contexte d interaction humain-agent, le lecteur peut se référer au travail de Langlet et Clavel (2014) [11]

FIGURE 1 Architecture générale du modèle d interaction. 2. une HR-Aff de type appréciation (HR-Aff-Appr) : l agent exprime une appréciation qui lui est propre. Par exemple : «Moi non plus je n aime pas trop cette statue.». Un ACA choisit une HR-Aff-SI lorsque ses préférences divergent avec une appréciation formulée par un utilisateur, et que le sujet de conversation doit être poursuivi. Il choisit une HR-Aff-Appr dans les autres cas. Ce processus de sélection, guidé par un arbre de décision, est détaillé Section 3.2. Si une HR-Aff est sélectionnée par le module HR, elle est construite selon des spécifications verbales et non verbales dépendant de son type, que nous expliquons Section 3.3. Elle est ensuite jouée par l ACA. Au même tour, PSD sélectionne également un énoncé à jouer par l ACA lié à un sujet de conversation (ex : «Parlons de Jacques Bousseau»). Certaines contraintes assurent la compatibilité des sorties des modules HR et PSD (non détaillées ici par manque de place). 3 Formalisation 3.1 Entrées Entrées du Module HR Fournies par le Module PSD. HR prend en entrée des informations fixes envoyées en début d interaction, et des informations dynamiques envoyées au cours de l interaction. Les informations fixes sont les préférences de l agent a sur l ensemble des cibles C, fournies par PSD. Une fonction de PSD associe à chaque cible c C une valeur positive ou négative v a (c) R, représentant la valeur de c du point de vue de a. Une valeur négative ou positive signifie respectivement que a n apprécie pas ou apprécie c. Si v a (c) = 0, c est indifférent pour a. Pendant l interaction, PSD envoie à HR sa décision de poursuivre ou d arrêter le sujet de conversation courant, représentée par une variable booléenne continuer {V rai, F aux}. Entrées du Module HR Fournies par le Module DEV. Soit I l intervalle de temps correspondant au dernier tour de parole de l utilisateur dans une interaction en cours. Le module DEV fournit au module HR la liste A u (I) des appréciations détectées chez l utilisateur u sur I. Pour chaque appréciation app A u (I), DEV fournit une fiche sémantique de app qui est la suivante : P ol app = {positive, negative} : polarité de l appréciation. Src app : source de l appréciation, qui est la personne à l origine de l appréciation. Par exemple, si un utilisateur dit «Ma femme adore Klimt», alors la source est la femme de l utilisateur. Dans notre modèle d interaction, nous traitons les évaluations seulement lorsque la source est l utilisateur. Cible app C : cible de l appréciation. T ermelem app T : terme d appréciation sous forme lemmatisée, parmi une liste T de termes d appréciation. T ermecat app {ADJ, V ERB} : catégorie grammaticale du terme d appréciation, pouvant être un adjectif (ADJ) ou un verbe (V ERB). Nous détaillerons un exemple d instanciation de cette fiche dans la section suivante. Entrées du Module HR Fournies par l outil de Transcription de la Parole. Soit I l intervalle de temps correspondant au dernier tour de parole de l utilisateur dans une interaction en cours. L outil fournit la liste W u (I) des mots prononcés par l utilisateur u sur I. Nous définissons C u (I) comme la liste des cibles détectées chez u sur l intervalle I, définie par W u (I) C. 3.2 Sélection d une HR-Aff Notre système de sélection est un arbre de décision binaire inspiré de la théorie de Svennevig. Nous utilisons les attributs suivants : 1. appreciation {V rai, F aux} : cette variable vaut V rai si le module DEV a renvoyé au moins une appréciation dans le dernier tour de parole de l utilisateur ( app A u (I)), et F aux sinon. Si appreciation = V rai, alors si l agent formule une appréciation, elle sera alignée ou désalignée avec celle de l utilisateur. Si appreciation = f aux alors l agent formule une évaluation simple. Le fait qu une HR-Aff-Appr soit alignée, désalignée ou simple a un impact sur sa forme verbale, comme expliqué Section 3.3. 2. divergence {V rai, F aux} : indique si l utilisateur a exprimé une appréciation sur une cible c qui diverge avec la valeur de c du point de vue de l ACA. Soit app une appréciation formulée par un utilisateur u sur une cible c, divergence = V rai si (P ol app = positive

v a (c) < 0) (P ol app = negative v a (c) > 0), et divergence = F aux sinon. Si divergence = V rai ou divergence = F aux et que l agent formule une HR-Aff-Appr, elle sera respectivement désalignée ou alignée avec l appréciation de l utilisateur. 3. continuer {V rai, F aux} : la valeur de cette variable est fournie en entrée par le module PSD, qui décide d interrompre ou de poursuivre un sujet de conversation. Si continuer = F aux, alors le module HR ne peut pas utiliser une HR-Aff-SI (qui inciterait l utilisateur à poursuivre sur le sujet). L arbre de décision correspondant aux règles expliquées cidessus est montré sur la figure 2. Il est évalué seulement si l utilisateur a prononcé le nom d une cible c C. Dans le cas contraire, cela signifie que l utilisateur n a ni fait d appréciation sur une cible, ni prononcé le nom d une cible. Il est donc impossible pour l agent de réaliser une HR. Dans le cas où le module PSD renvoie plusieurs appréciations pour le dernier tour de parole de l utilisateur (card(a u (I)) > 1), ou lorsque l utilisateur a prononcé le nom de plusieurs cibles (card(c u (I)) > 1), c est l appréciation ou la cible prononcée le plus récemment qui est prise en compte dans l arbre, et qui est utilisée dans la construction de l HR-Aff (expliquée Section 3.3). FIGURE 2 Arbre de décision pour la sélection du type d HR-Aff. Exemple : soit la phrase «C est une statue spectaculaire!» représentant le dernier tour de parole de l utilisateur. Le module DEV renvoie au module HR la liste A u (I) = {app}, et la fiche sémantique de app est : Src app = utilisateur P ol app = positive T ermelem app = spectaculaire Cible app = statue T ermecat app = ADJ A u (I) n étant pas vide, l attribut appreciation vaut V rai. La polarité de l appréciation sur la cible statue est positive (P ol app = positive), et nous savons par le module PSD que la valeur de statue pour l agent a est positive (v a (statue) > 0). L attribut divergence vaut donc F aux. D après l arbre de décision, c est une HR-Aff-Appr alignée qui est sélectionnée. 3.3 Construction d une HR-Aff Spécifications Verbales Un ACA peut produire une HR- Aff en répétant le nom d une cible et / ou en répétant un terme d appréciation. Pour construire un schéma verbal autour du terme répété, nous nous inspirons des schémas d appréciation qui sont utilisés par le module DEV à des fins de détection. Nous adoptons ici une version simplifiée de ces schémas. Toute HR-Aff produite par l ACA contient une appréciation app HR qui représente : (i) dans une HR-Aff-Appr, l appréciation de l ACA sur une cible c en fonction de la valeur de c du point de vue de l ACA (v a (c)) (ii) dans une HR-Aff-SI, l appréciation de l utilisateur, qui est répétée par l ACA en exprimant de la surprise. La fiche sémantique d une app HR comporte les informations décrites Section 3.1. De plus, une variable Neg app HR {V rai, F aux}, indique si une forme négative doit être utilisée 2. Nous définissons un patron pour chaque type d HR présenté sur l arbre de décision. Chaque patron ([]) est composé d une forme fixe ayant des variantes (symbole ), et d une appréciation app HR. Ces patrons sont les suivants : HR-Aff-SI : [«Ah bon Ah oui Vraiment», app HR, «?» ]. Dans ce cas, app HR est identique à l appréciation app formulée par l utilisateur. HR-Aff-Appr alignée : si Neg app HR = F aux : [«Moi aussi», app HR, «.» ] ; si Neg app HR = V rai : [«Moi non plus», app HR, «.» ]. Dans ce cas, Src app HR = agent, et les autres attributs de app HR sont égaux aux attributs de app. HR-Aff-Appr désalignée : [«Moi», app HR, «.» ]. Dans ce cas, Src app HR = agent, P ol app HR est l inverse de P ol app, et les autres attributs sont identiques à app. HR-Aff-Appr simple : [ app HR, «.» ]. Dans ce cas, Src app HR = agent, Cible app HR = c, P ol app HR correspond à la valeur de c pour l ACA (v A (c)). Par défaut, T ermelem app HR = aimer et T ermecat app HR = V ERB, c est à dire que l ACA formule une appréciation de type «j aime c» ou «je n aime pas c». Lorsqu il y a un choix entre plusieurs variantes pour un même patron, une variante est sélectionnée aléatoirement. Une fois que les caractéristiques de la variable app HR sont déterminées, elle est réalisée sous sa forme verbale. Lorsque T ermecat app HR = ADJ, app HR est réalisée dans une structure attributive de la forme «je trouve que cible est ADJ» si Src app HR = agent, ou «vous trouvez que cible est ADJ» si Src app HR = utilisateur. Lorsque T ermecat app HR = V ERB, l appréciation est réalisée sous la forme «je V B cible» si Src app HR = agent, ou «vous V B cible» si Src app HR = utilisateur. Une synthèse de ces schémas est montrée sur la figure 3. 2. Une forme négative est utilisée lorsqu un terme d évaluation a une polarité opposée à la polarité de l appréciation. Par exemple le verbe aimer a une polarité positive. Dans ce cas, si l appréciation est de polarité négative, alors la forme négative «ne...pas» doit être utilisée.

Exemple : soit «Eh bien... je n aime pas trop les statues.» représentant le dernier tour de parole de l utilisateur. Le module DEV renvoie au module HR la liste A u (I) = {app}, et la fiche sémantique de app est : P ol app = negative Src app = utilisateur Cible app = statue T ermelem app = aimer T ermecat app = V ERB A l issue du processus de sélection, le module HR a décidé de produire une HR-Aff-SI. Dans ce cas, app HR est identique à app. Comme T ermecat app HR = V ERB et Src app HR = utilisateur l appréciation est réalisée sous la forme «vous n aimez pas les statues». Le patron correspondant à une HR-Aff-SI est «Ah bon Ah oui Vraiment», app HR, «?». La variante «Ah oui» est sélectionnée aléatoirement. La forme réalisée de app HR est intégrée au patron avec la forme fixe, ce qui produit l HR-Aff-SI «Ah oui vous n aimez pas les statues?». FIGURE 3 Patrons de construction d une HR-Aff : exemples types. Spécifications Non Verbales Les spécifications non verbales utilisées sont des intentions communicatives issues de la plate-forme de l agent GRETA [6], décrites au format standardisé FML-BML [12, 25]. Ces intentions et leur réalisation sont enregistrées dans un lexique (Lexicon), déterminé d après des travaux en psychologie [20]. Par exemple, les intentions communicatives exprimant les émotions ont été établies d après les travaux d Ekman [8], qui a proposé un système de codage basé sur les muscles faciaux. Pour notre modèle, nous utilisons 3 intentions communicatives correspondant à des expressions d émotion : la surprise : cette intention est utilisée dans l expression d une HR-Aff-SI, dont la fonction est d exprimer la surprise / l intérêt [23]. la joie : utilisée pour une HR-Aff-Appr de polarité positive. Dans notre travail, l expression de joie correspond à l expression d un plaisir sensoriel esthétique, tel que défini par Eiseinbeger et al. (2010) [7]. le dégoût : utilisé pour une HR-Aff-Appr de polarité négative. 4 Conclusion et Perspectives Dans cet article, nous avons présenté un modèle informatique permettant à un ACA de réaliser des hétérorépétitions exprimant une attitude affective. L hétérorépétition est un phénomène d alignement conversationnel fréquent, témoignant de l engagement des locuteurs dans l interaction. Ce modèle est actuellement en cours d implémentation dans la plate-forme GRETA, et nous prévoyons de réaliser une évaluation subjective à court terme. Pour cela, le modèle sera testé dans un scénario correspondant au cadre du projet A1 :1, dans lequel un utilisateur sera amené à discuter d œuvres de musée avec l agent. Afin de tester l impact des hétéro-répétitions de l ACA sur l engagement de l utilisateur, nous utiliserons un questionnaire d engagement, comme celui précédemment décrit dans le travail de Sidner et al. [22]. Remerciements Ce travail a été réalisé au sein du projet A1 :1 ainsi que dans le cadre du Labex SMART (ANR-11-LABX-65), et a bénéficié d une aide de l Etat gérée par l Agence Nationale de la Recherche au titre du programme Investissements d Avenir portant la référence ANR-11-IDEX-0004-02. Références [1] Roxane Bertrand, Gaëlle Ferré, Mathilde Guardiola, et al. French face-to-face interaction : repetition as a multimodal resource. Coverbal Synchrony in Human- Machine Interaction, page 141, 2013. [2] Susan E Brennan and Herbert H Clark. Conceptual pacts and lexical choice in conversation. Journal of Experimental Psychology : Learning, Memory, and Cognition, 22(6) :1482, 1996. [3] Sabrina Campano, Jessica Durand, and Chloé Clavel. Comparative analysis of verbal alignment in humanhuman and human-agent interactions. In Proceedings of the 9th International Conference on Language Resources and Evaluation (LREC 2014), 2014. [4] Nick Campbell and Stefan Scherer. Comparing measures of synchrony and alignment in dialogue speech timing with respect to turn-taking activity. In INTER- SPEECH, pages 2546 2549, 2010. [5] Markus De Jong, Mariët Theune, and Dennis Hofs. Politeness and alignment in dialogues with a virtual guide. In Proceedings of the 7th international joint conference on Autonomous agents and multiagent systems-volume 1, pages 207 214. International Foundation for Autonomous Agents and Multiagent Systems, 2008. [6] Etienne de Sevin, Radoslaw Niewiadomski, Elisabetta Bevacqua, André-Marie Pez, Maurizio Mancini, and Catherine Pelachaud. Greta, une plateforme d agent conversationnel expressif et interactif. Technique et science informatiques, 29(7) :751, 2010.

[7] Robert Eisenberger, Ivan L Sucharski, Steven Yalowitz, Robert J Kent, Ross J Loomis, Jason R Jones, Sarah Paylor, Justin Aselage, Meta Steiger Mueller, and John P McLaughlin. The motive for sensory pleasure : Enjoyment of nature and its representation in painting, music, and literature. Journal of personality, 78(2) :599 638, 2010. [8] Paul Ekman and Erika L Rosenberg. What the face reveals : Basic and applied studies of spontaneous expression using the Facial Action Coding System (FACS). Oxford University Press, 1997. [9] Jan Gorisch, Bill Wells, and Guy J Brown. Pitch contour matching and interactional alignment across turns : An acoustic investigation. Language and Speech, 55(1) :57 76, 2012. [10] Stefan Kopp, Jens Allwood, Karl Grammer, Elisabeth Ahlsen, and Thorsten Stocksmeier. Modeling embodied feedback with virtual humans. In Modeling communication with robots and virtual humans, pages 18 37. Springer, 2008. [11] Caroline Langlet and Chloé Clavel. Modelling user s attitudinal reactions to the agent utterances : focus on the verbal content. In 5th International Workshop on Emotion, Social Signals, Sentiment and Linked Open Data held at the 9th International Conference on Language Resources and Evaluation (LREC 2014), 2014. [12] Maurizio Mancini and Catherine Pelachaud. The fmlapml language. In Proc. of the Workshop on FML at AAMAS, volume 8, 2008. [13] James R Martin and Peter RR White. The language of evaluation. Palgrave Macmillan Basingstoke and New York, 2005. [14] Kate G Niederhoffer and James W Pennebaker. Linguistic style matching in social interaction. Journal of Language and Social Psychology, 21(4) :337 360, 2002. [15] Magalie Ochs, Ken Prepin, and Catherine Pelachaud. From emotions to interpersonal stances : Multi-level analysis of smiling virtual characters. In Affective Computing and Intelligent Interaction (ACII), 2013 Humaine Association Conference on, pages 258 263. IEEE, 2013. [16] Laurent Perrin, Denise Deshaies, and Claude Paradis. Pragmatic functions of local diaphonic repetitions in conversation. Journal of Pragmatics, 35(12) :1843 1860, 2003. [17] Christopher Peters, Catherine Pelachaud, Elisabetta Bevacqua, Maurizio Mancini, Isabella Poggi, and Universita Roma Tre. Engagement capabilities for ecas. In AAMAS 05 workshop Creating Bonds with ECAs, 2005. [18] Isabella Poggi. Mind, hands, face and body : a goal and belief view of multimodal communication. Weidler, 2007. [19] Charles Rich, Brett Ponsler, Aaron Holroyd, and Candace L Sidner. Recognizing engagement in humanrobot interaction. In Human-Robot Interaction (HRI), 2010 5th ACM/IEEE International Conference on, pages 375 382. IEEE, 2010. [20] Fiorella de Rosis, Catherine Pelachaud, Isabella Poggi, Valeria Carofiglio, and Berardina De Carolis. From greta s mind to her face : modelling the dynamics of affective states in a conversational embodied agent. International Journal of Human-Computer Studies, 59(1) :81 118, 2003. [21] Kevin Shockley, Daniel C Richardson, and Rick Dale. Conversation and coordinative structures. Topics in Cognitive Science, 1(2) :305 319, 2009. [22] Candace L Sidner, Christopher Lee, Cory D Kidd, Neal Lesh, and Charles Rich. Explorations in engagement for humans and robots. Artificial Intelligence, 166(1) :140 164, 2005. [23] Jan Svennevig. Other-repetition as display of hearing, understanding and emotional stance. Discourse studies, 6(4) :489 516, 2004. [24] Deborah Tannen. Talking voices : Repetition, dialogue, and imagery in conversational discourse, volume 6. Cambridge University Press, 1992. [25] Hannes Vilhjálmsson, Nathan Cantelmo, Justine Cassell, Nicolas E Chafai, Michael Kipp, Stefan Kopp, Maurizio Mancini, Stacy Marsella, Andrew N Marshall, Catherine Pelachaud, et al. The behavior markup language : Recent developments and challenges. In Intelligent virtual agents, pages 99 111. Springer, 2007. [26] Arthur Ward and Diane Litman. Automatically measuring lexical and acoustic/prosodic convergence in tutorial dialog corpora. In Proceedings of the SLaTE Workshop on Speech and Language Technology in Education, 2007.