Annotation d un corpus de dialogue et systemes de question-reponse interactionnels

Transcription

1 Annotation d un corpus de dialogue et systemes de question-reponse interactionnels Anne Garcia-Fernandez LIMSI-CNRS BP ORSAY CEDEX annegf@limsi.fr Resume Ce rapport traite de la problématique des systèmes de question-réponse interactionnels vus comme la rencontre entre le dialogue homme-machine et les systèmes de question-réponse. Ils ont pour objectif de permettre de gérer un dialogue en domaine ouvert c est-à-dire sans limiter les thématiques possibles du dialogue à un champ particulier d application. Ici, est exposé un état de l art général et non exhaustif des domaines du dialogue homme-machine et de celui des systèmes de question-réponse. Puis l étude d un corpus de dialogues est présentée. Cette étude met en valeur, par une annotation en acte de dialogue, l existence de processus de type question-réponse au sein des phénomènes de dialogue. Mots Clefs TALN, Dialogue homme-machine, système de question-réponse, système de question-réponse interactionnel, actes de langage. 1. INTRODUCTION 1.1 Cadre general Actuellement, de nombreux travaux visent à faciliter l interaction entre l homme et la machine. Ces recherches relèvent de nombreux domaines tels que l informatique, la linguistique, les sciences humaines, l intelligence artificielle, la détection du signal,... Parmi ces travaux, une problématique centrale est celle de la communication homme-machine en langue naturelle. Le département CHM du LIMSI s est orienté en ce sens depuis déjà de nombreuses années. En particulier en ce qui concerne les groupes LIR (Langues, Information et Représentations) et TLP (Traitement du Langage Parlé). L équipe du groupe LIR [15] s est penché sur le dialogue homme-machine et les systèmes de question-réponse 1 en se centrant sur l interaction écrite. Ils disposent d un moteur question-réponse, FRASQUES, sur lequel plusieurs travaux 1 Désormais respectivement DHM et SQR de développement sont en cours dont notamment ceux de Kévin Séjourné en thèse dans le groupe depuis Il met actuellement en place une interaction à différents niveaux au cours de cette chaîne de traitement. Le travail de stage présenté ici s inscrit dans cette lignée tout en s en démarquant en se posant deux limites principales. D une part, l interaction visée doit être naturelle. D autre part, elle doit être en langue naturelle. En ce sens, je ne traiterai pas de la modalité gestuelle par exemple. De même, lors de la mise en place de l étude de corpus, un point majeur dans le choix de celui-ci fut qu il soit un corpus attesté et non pas un corpus construit. Le groupe TLP [16], quant à lui, travaille sur un système de dialogue oral, RITEL [25]. En particulier, Sophie Rosset a travaillé sur des corpus de dialogue dans le cadre du projet AMITIÉ [1]. C est au cours de celui-ci qu un outil d annotations sémantiques et dialogiques a été développé. C est cet outil qui a été utilisé dans l annotation du corpus présenté dans ce rapport. Les domaines du DHM et de la QR sont peu liés dans les travaux de recherche actuels. Notre hypothèse de départ lors de ce stage est que ces deux domaines sont proches si les systèmes de QR gagnent en interaction et les systèmes de DHM ouvrent leur domaine d application. C est cette hypothèse que nous allons valider au moins en partie par l étude du corpus et au cours d une présentation détaillée des deux domaines. 1.2 Plan du document Nous verrons dans le présent rapport une présentation générale des problématiques et des travaux des deux domaines que sont le dialogue homme-machine et la question-réponse. Puis dans une deuxième partie, nous verrons ce pourquoi une collaboration des deux approches est possible et peut être concrétisée à travers une problématique naissante actuellement qui cherche à élaborer des systèmes dits systèmes de question-réponse interactionnels. Au cours de ces deux parties, je présenterai aussi un travail d annotation et d étude de corpus effectué pendant ce stage de master recherche. Enfin, les conclusions et les perspectives seront exposées. 1

2 2. ETAT DE L ART Cette section résulte d un travail de recherche bibliographique effectué lors d une première phase de mon stage. Elle m a permis d appréhender les différentes problématiques soulevées dans les domaines de recherche du dialogue hommemachine et de la question-réponse. L interaction entre un homme et une machine peut passer par différentes modalités mises en place seules ou simultanément. Actuellement, bon nombre de travaux se centrent sur le canal langagier et traitent du dialogue entre l humain et la machine. Quelles que soit les applications, on cherche de plus en plus à interagir en langue naturelle avec un système qui comprend ce qu on lui dit. On veut que le système soit capable de réagir tel un humain, voire même mieux c est-àdire plus rapidement et plus efficacement. Deux grands systèmes illustrent cette volonté. Les systèmes de dialogue homme-machine 2 proposent, pour la plupart, un dialogue (oral ou écrit) par lequel l interlocuteur humain pourra obtenir des renseignements de la part du système. Les systèmes de question-réponse consistent à offrir la possibilité à l humain de poser une question en langue naturelle à laquelle le système répond aussi en langue naturelle. C està-dire que - a contrario des moteurs de recherche qui fournissent un ensemble de documents ou de liens vers ceux-ci - le système réplique par une phrase répondant à la question. 2.1 Dialogue Homme-Machine Définir ce qu est un dialogue n est pas chose évidente. Quoi qu il en soit, il est clair qu un dialogue se déroule entre au minimum deux interlocuteurs et qu il s agit d une interaction dans laquelle au delà d un échange d information, les interlocuteurs recherchent aussi une intercompréhension. Créer un SDHM, c est prendre en compte la nature même des dialogues et donc travailler sur plusieurs niveaux. Des niveaux sociaux et psychologiques comme nous allons le voir par la suite. Des niveaux linguistiques puisque le dialogue se déroule en langue naturelle. Des niveaux informatiques et notamment en choississant une architecture de système adaptée aux différents traitements qui sont nécessaires mais aussi dans un souci constant de performance. En effet, il est important dans de tel système de mettre l accent sur la robustesse et sur un coût en temps minimum. Si le système bloque, alors il perdra toute sa crédibilité. De même, si la réponse se fait trop attendre, les utilisateurs abandonneront vite cet outil. Un dialogue n est pas une simple suite d énoncés. Chaque énoncé doit être considéré comme participant à un processus dialogique c est-à-dire interpété en fonction des représentations mentales des interlocuteurs et de leurs connaissances mais aussi des interventions qui ont eu lieu précedemment au cours du dialogue, de la situation de dialogue etc. C est 2 Désormais SDHM ce que nous allons voir dans les sections suivantes Dialogue et representation mentale Du point de vue de la psychologie cognitive, on note que de nombreuses études 3 ont d ores et déjà montré que lors d un dialogue en langage naturel, nous (humain) nous construisons une représentation de la situation de dialogue c est-àdire de notre interlocuteur, de nous-même et d un terrain commun permettant le dialogue. Représentation mentale du système par l humain Lorsque l on cherche à établir le dialogue avec une machine, une difficulté est de savoir ce qu elle est capable ou non de comprendre. Plus précisément, de se faire une représentation mentale des capacités du système auquel on fait face. La possibilité de dialoguer en langue naturelle avec des systèmes informatiques est récente 4 et encore actuellement ces systèmes sont peu répandus. De plus lorsqu on se trouve face à un tel système, il n est pas immédiat de déterminer si on a à faire à un système conçu pour être capable de dialoguer en langue naturelle ou bien à un assistant sommaire (tel que l assistant proposé dans la suite Microsoft office) qui demande un ensemble de mots et non pas une phrase à ses utilisateurs. Ce souci de la part de l interlocuteur humain est visible au cours de dialogue dont voici un exemple 5 : Machine : Bonjour! En quoi puis-je vous renseigner? Humain : fiscalité Machine : Je ne comprend pas ce que vous voulez dire. Je suis en formation vous savez. Souhaitezvous : Connaître la fiscalité du contrat, Quels sont les (...) Exemple 1 Ici, bien que le système entame le dialogue en langue naturelle, l utilisateur-humain s exprime par mot-clef. On observe aussi très couramment des utilisateurs qui cherchent à tester le système tant sur le thème abordé que sur la complexité du propos ou encore de la formulation. En voici quelques exemples : 3 Notamment [28] et [4] 4 On peut considérer sa première occurrence avec Weizenbaum [29] 5 L ensemble des exemples cités sont issus du corpus VirtuOz présenté dans la section 3.1 2

3 Figure 1 : Typologie des applications de DHM selon Luzzati Quel temps fait-il chez toi? Tu as un bidule pour mon assurer mon machin? Crois-tu que, compte-tenu la conjecture économique actuelle, les tarifs risquent d augmenter d ici l an prochain? Exemple 2 Ces études psycho-cognitives mettent en valeur l importance dans le cas d un SDHM de prévoir une interface utilisateur explicite et qui suggère les capacités de dialogue du système favorisant ainsi la construction par l utilisateur d une représentation mentale de son interlocuteur : le système. Le terrain commun Outre cette barrière, que l on peut qualifier de culturelle, reste la question d un terrain commun entre l humain et le système. Même si le dialogue entre un homme et une machine diffère d un dialogue homme-homme, la construction de ce lieu de dialogue est un élément que l on peut supposer indispensable à l établissement d un dialogue quel qu il soit. Chez les humains, sa construction est itérative et s établit au fur et à mesure du dialogue en fonction de l intercompréhension des participants. Thierry Lemeunier[14] indique que la question du terrain commun, puisqu elle est subjective et propre à chaque individu, reste délicate dans le cadre du DHM. Cependant, il suggère qu on peut en faciliter la construction en créant le meilleur climat d intercompréhension possible. Pour ce faire, de nombreuses études de conversations humaines ont été effectuées. Deux théories majeures ont été mise au point : la théorie de l interprétation des énoncés de Grice[11] et la théorie des actes de dialogue [24]. Elles seront présentées plus en détail par la suite Typologie des dialogues L établissement d un dialogue résulte aussi d une situation particulière. En ce sens, Luzzati [17] (repris par Régis Privat [21] et Thierry Lemeunier [14]) propose une typologie des applications du dialogue basée sur la relation entre les interlocuteurs résumé par le tableau 1 ci-après. Elle peut être opérative (relation maître-esclave), interprétative (maîtreserviteur) ou encore réflexive (maître-maître). Luzzati définit ainsi des systèmes coopératifs ou collaboratifs, uni ou bidirectionnels, avec ou sans apprentissage sémantique voire pragmatique. D autres typologies ont été proposées dont, en 1997, celle de Pierrel [20] qui distingue 3 applications majeures et se base sur 3 types d interactions et celle de Colineau [8] qui considère différents paramètres tels que le type d application, les connaissances du système, le type de dialogue géré (but, structure, thème du dialogue, initiative unique ou mixte) et le degré de naturel du langage utilisé. Rouillard propose aussi une typologie, en 2000, [23] et définit trois dimensions (utilisateur, tâche et support) permettant de créer un espace de classification. A partir de telles typologies, les notions de plans et d intentions sont nées définissant ce qu on pourrait appréhender comme des marches à suivre dans le bon déroulement d un dialogue vers son but et comme les volontés des interlocuteurs dans le dialogue et au cours du dialogue Modalite et domaine d application D autres aspects tels que la question de la modalité et celle du domaine d application participent à la définition du dialogue. Ces deux aspects sont souvent liés. Par exemple, un SDHM ayant pour but de renseigner des clients par téléphone sur des horaires de vol aura des entrées et des sorties audios et le domaine d application sera lié à la tâche demandée au SDHM. Par contre, si le SDHM a pour but d être intégré au site Internet d un courtier en assurance, alors le domaine sera restreint en fonction de cette tâche et les sorties pourront a priori être orales ou écrites. Elles peuvent aussi être accompagnées de naviguation au sein du site Internet en question. On peut penser qu afin de toucher un plus large public, les entrées considérées ne soit qu écrites puisque tous les utilisateurs ne disposent pas d un micro. Il faut noter que la plupart des études portent sur les systèmes de dialogue oral homme-machine (ou SDoHM). Cet 3

4 intérêt vient du fait que la communication se fait bien plus naturellement à l oral qu à l écrit. Dans des systèmes oraux, la chaîne de traitements commence par la détection du signal sonore émis par l utilisateur et sa reconnaissance (reconnaissance des sons, identification des mots) et s achève par la synthèse vocale de la réponse élaborée par la machine. Le traitement est ainsi plus complet, mais nécessite des étapes au cours desquelles des erreurs risquent de se glisser. Cependant, comme le souligne Anne Vilnat au sein de son mémoire d HDR ([26]), les utilisateurs, au regard de l utilisation en masse des chats et autres plate-formes qui passent par l utilisation du clavier, ne semblent plus repoussés par l idée de saisir au clavier leurs messages. Au final, le choix de traiter de l écrit ou de l oral découle de l application visée. En fonction de celle-ci, le système devra gérer des entrées et des sorties de différents types comme nous le verrons dans la section suivante. Uni et multimodalité Un système oral prend en entrée des signaux sonores et en génère aussi en sortie. Dans ce cas, il commence les traitements par une phase de reconnaissance vocale et termine par une phase de génération vocale. Les systèmes téléphoniques fonctionnent ainsi. On a alors unimodalité à la fois en entrée et en sortie : Figure 3 : Input et output possibles pour un SDHM écrit Caracteristiques internes d un dialogue Un dialogue est donc un échange résultant d une situation spécifique, imposant une relation particulière entre les interlocuteurs et dans lequel il y a construction d un terrain commun et de représentations mentales propres à chaque interlocuteur. Lors de l élaboration d un système de DHM, ces considérations générales ne suffisent pas à établir un dialogue naturel. Des recherches se sont ainsi penchées sur les caractéristiques internes des dialogues. En ce sens Privat [21] indique qu un dialogue possède les caractéristiques suivantes : Recherche d un langage commun Feed-back Demande de clarification et explicitation d énoncé Détection des ambiguïtés et des incohérences Recherche d un langage commun Figure 2 : Input et output pour un SDHM oral Dans le cas d un système de dialogue écrit homme-machine (ou SDéHM) les entrées restent unimodales : il s agit de la chaîne de caractère saisie par l utilisateur. Mais les sorties sont possiblement multimodales. On a systématiquement une réponse textuelle (chaîne de caractère). Dans le cas des agents conversationnels animés, on peut avoir une réponse visuelle. Par exemple, l agent ou chatterbot peut modifier l expression de son visage, effectuer un ou plusieurs geste(s), voire même se déplacer. D ailleurs de nombreux travaux existent actuellement concernant le fait de faire véhiculer à un agent conversationnel animé des émotions [12]. Si un agent est intégré au sein d un site Web, la réponse peut aussi consister en une navigation, une modification de la page web visible dans la fenêtre du navigateur Internet de l utilisateur. Enfin, on peut aussi avoir une sortie audio. Si on rencontre quelqu un qui ne parle pas la même langue que nous, nous chercherons à savoir s il existe une langue que nous sachions parler tous les deux. La volonté de créer des systèmes de dialogue homme-machine en langue naturelle s explique par cette même caractéristique. Ce point soulève la question de savoir si le système doit être prévu pour une ou plusieurs langues et, pour une langue donnée, il faudra déterminer le niveau de langue succeptible d être employé par l utilisateur. Il y a en effet un fossé entre un discours en langue soutenue et ce qu on appelle le language SMS employé largement sur des sites de chat par exemple. Or les deux types de langue sont couramment utilisées face à un même système de dialogue : Auriez-vous l obligeance de me renseigner sur les assurances habitation que vous proposez? vs C koi la garanti plancher? Feed-back Exemple 3 On produit et on est en attente de feed-back (verbal ou non) 4

5 afin de s assurer de l intercompréhension entre notre interlocuteur et nous. Actuellement, les recherches sur les agents conversationnels animés ouvrent d ailleurs la possibilité de feed-back gestuels. Demande de clarification et explicitation d énoncé On signifie une incompréhension en cours de dialogue. Ceci, tout comme les feed-back verbaux, donne lieu à des sousdialogues très spécifiques importants à prendre en compte lors de la mise en place d un SDHM. Ces situations d incompréhension donnent lieu à des sous-dialogues très particuliers parce qu au cours de ceux-ci les interlocuteurs vont parler de ce qui a été dit précédemment dans le dialogue - ou de la façon dont cela a été dit - avant de reprendre le fil de leur discussion. On parle d activité méta-dialogique. Détection des ambiguïtés et des incohérences On les signifie à notre interlocuteur au cours du dialogue afin d assurer l intercompréhension. A ceci s ajoute le fait qu on ne répond pas n importe comment à l intervention de notre interlocuteur. Il y a pour l énoncé qu il nous adresse des réponses possibles et d autres pas. Grice notamment a travaillé sur cette problématique Principes regissant les echanges dialogiques La théorie des Maximes de Grice ([11]) forme la base des modèles de dialogue actuels. Elle formalise le contenu des échanges dialogiques entre interlocuteurs, c est-à-dire qu elle indique des principes que les humains doivent suivre et suivent de façon naturelle et qui font de nos interventions des interventions cohérentes, compréhensibles. Grice propose une série de maximes définissant un principe nécessaire dans tout dialogue : Le principe de coopération Que votre contribution conversationnelle corresponde à ce qui est exigé de vous, au stade atteint par celle-ci, par le but ou la direction acceptée de l échange parlé dans lequel vous vous êtes engagé. Ces maximes sont les suivantes : Maxime de qualité Ne dites ni ce que vous croyez faux, ni ce pourquoi vous manquez de justification. Maxime de quantité Faites en sorte que votre contribution soit aussi informative que ce qui est requis ; ne faites pas en sorte que votre contribution soit plus informative que ce qui est requis. ordonné. Maxime de relation ou de pertinence Faites en sorte de rester lucide et ouvert, d être attentif à l autre afin d établir un climat de confiance. C est sur ces maximes que les modules de gestion du dialogue des SDHM se basent. Le principe de pertinence de Sperber de Wilson De leur côté, Sperber et Wilson ([9] et [30]) décrivent le principe de pertinence comme tout aussi important que les maximes de Grice : Un énoncé est d autant plus pertinent qu avec peu d information, il amène l auditeur à enrichir ou modifier d avantage ses connaissances ou ses conceptions. La pertinence d un énoncé est en proportion directe du nombre de conséquences pragmatiques qu il entraîne pour l auditeur et en proportion inverse de la richesse d information qu il contient. On dira ainsi qu une proposition α est d autant plus pertinente par rapport à un ensemble µ de propositions que l union de α et de µ permet le calcul d un grand nombre de conséquences nouvelles Dire, c est faire Une autre grande théorie du DHM est celle des actes de langage d Austin et Searle ([5] et [24]). Elle se base sur l existence d énoncés dits performatifs, c est-à-dire d énoncés qui ont une action sur le monde. Selon Austin, parler, c est réaliser un acte, dit acte de langage. Cet acte est décomposable en : Un acte locutoire : action d énoncer quelque chose Un acte illocutoire : acte réalisé en produisant l énoncé Un acte perlocutoire : conséquences de l acte illocutoire sur l interlocuteur Dans l exemple ci-dessous, A produit à la fois l acte locutoire d énoncer une phrase (La réponse B1 répond uniquement à cet acte), l acte illocutoire de signifier à B qu il a chaud (B2 répond à ces deux premiers actes) et l acte perlocutoire qui, possiblement, va entraîner B à agir (La réponse B3 en est un exemple). A : J ai chaud! B1 : Comment? B2 : Ah oui?! B3 ( allant ouvrir la fenêtre) : C est mieux là? Exemple 4 Maxime de clarté Evitez l ambiguïté et les expressions obscures, soyez bref et Searle établit une taxonomie détaillée concernant les actes illocutoires : 5

6 Assertifs Recouvre entre autres les valeurs illocutoires d affirmation, d assertion et de description Ces segments dialogiques sont possiblement des phrases elliptiques. Par exemple : Oui. S il est d accord, tu pourras Directifs Demandes, ordres, prières Prommissifs Promesses, engagements Exemple 6 Expressifs Expositifs et comportatifs, c est-à-dire exprimant l état psychologique du locuteur par rapport à un état de fait Déclaratifs Exercitifs, c est-à-dire modifiant l état d un monde par leur seule énonciation Les tours de parole et leur analyse Avec Austin et Searle, on se rapproche de la langue puisqu on type les énoncés en fonction de leur action sur le monde. Mais vouloir un système capable de dialoguer en langage naturel implique de fait la prise en compte de niveaux plus proches encore de la langue tels que les niveaux linguistiques dits sémantique, syntaxique, morphologique, phonologique. Je ne détaillerai pas ici ces niveaux plus bas. Ils impliquent des pans entiers de théories issues entre autres de la linguistique et une analyse fine est nécessaire notamment dans la prise en compte de phénomènes majeurs dans tout dialogue : les références, ellipses et anaphores. Il est tout de même nécessaire ici de définir le terme de tour de parole puisque dans un dialogue, on n a pas à faire à des énoncés à proprement parlé : Un tour de parole est défini comme la totalité de la production langagière d un interlocuteur entre le moment où il prend la parole et le moment où il la laisse (ou la perd) Exemples d architecture de SDHM De la définition du dialogue et de la situation de dialogue ainsi que de la prise en compte d éléments théoriques tels que décrits précédemment dépendent l élaboration d un SDHM et son architecture. Les SDHM sont en général des systèmes modulaires. Je propose ici un détail de deux systèmes. Le premier, car il fait partie des plus récents et qu il en existe une description détaillée dans [19]. Le second, car il a été développé au sein du groupe LIR. Exemple d un système oral Noa Nguyen lors de sa thèse en 2005 défini un SDHM oral comme un système devant suivre trois processus principaux (perception, action, cognition) définissant un ensemble de tâches. Le schéma 4 illustre le système quelle expose de façon réduite (sans les tâches de traitement de la langue orale que j omets volontairement ici). Les différentes étapes de traitements décrites sont les suivantes : Compréhension sémantique D une chaîne de caractère à une représentation sémantique. Gestion du dialogue Détermination de l acte de langage et du contenu propositionnel de l acte. Ainsi, un tour de parole peut être constitué d une ou plusieurs phrases. On parle en fait de segment dialogique. On compte deux segments dialogiques dans l exemple suivant : Bonjour. Tu as vu Marie? Gestion du dialogue Gestion de la stratégie et des buts et élaboration des données nécessaires au générateur d énoncé. Il s agit d un processus itératif avec interrogation du gestionnaire de tâche. Exemple 5 Gestionnaire de tâche Valide ou invalide le choix du gestionnaire du dialogue. Génération A partir des instructions fournies par le gestionnaire du dialogue, génère une action et une chaîne de caractère. 6

7 Figure 4 : Architecture proposée dans la thèse de Noa Nguyen (2005) Exemple d un système écrit Le SDHM présenté dans le mémoire d HDR de Vilnat ([26]) repose trois analyses du dialogue : L interprétation du dialogue L analyse intentionnelle La gestion de l interaction Un module de gestion du dialogue gère les interactions entre les trois modèles correspondants. Il prend en entrée un tour de parole analysé syntaxiquement et sémantiquement et fourni en sortie des actes de langage qu un générateur va transformer en une réaction réelle du système. Ce module est composé de différents sous-modules : Gestion du dialogue Décide du déclenchement des autres modules en fonction des données externes, du modèle de la tâche, de l historique du dialogue et du modèle de l utilisateur. Interprétation thématique Infère les connaissances pertinentes permettant d établir des liens entre les différentes phrases ou de détecter les changements de thème. Gestion de l interaction Permet, en cas de mauvaise compréhension, de trouver une solution qui ne mène pas à un échec du dialogue. Analyse intentionnelle Détermine le ou les acte(s) de langage sous-jacent(s) à l intervention et leur rôle fonctionnel. Interagit avec le module d interprétation thématique pour mettre à jour la structure du dialogue en fonction d une grammaire de dialogue. Calcul du but Détermine le plan de l utilisateur (ou vérifie l intégration du but courant dans un plan précédant) et établit le plan du système en fonction. Planificateur Générateur d actes de langage De nombreux autres systèmes existent. On peut en avoir un aperçu dans [18] 6 où Noa Nguyen traite d une architecture de SDHM générique Conclusion Le domaine du DHM s est donc doté de nombreux outils théoriques et pratiques issus de nombreux domaines et dont l élément central est la prise en compte d une interaction évolutive et itérative entre les acteurs du dialogue dont l existence et les processus internes sont aussi pris en compte. 2.2 Systeme de Question-Reponse Un SQR peut être appréhendé comme un moteur de recherche particulier. En effet, il propose à l utilisateur de poser une question en langue naturelle à laquelle il va répondre non pas par un ensemble de lien hypertexte mais par un énoncé-réponse 7. 6 Système de dialogue homme-machine oraux uniquement 7 Nous verrons par la suite, la nature réelle de cette réponse 7

8 Par exemple, si on pose la question : Qui a été président de la république après Pompidou? le système fournira une réponse comme : Valéry Giscard d Estaing Ces informations sont déterminées par analyse syntaxique de la question. Pour chaque question, le système QALC recherche si le type attendu de la question correspond à une entité nommée ou EN (parmi une hiérarchie de 22 classes sémantiques telles que personne, organisation, etc.). Cette identification dépend notamment du pronom interrogatif utilisé dans la question. Le focus de la question est défini comme le nom de la question qui idéalement devrait être présent dans la phrase réponse ([10]). La catégorisation de la question qui s effectue en fonction de sa forme syntaxique permet de déterminer le patron syntaxique de la réponse attendue. Par exemple : Qui est le président de la république? sera catégorisé comme Qui-est-GN. Le type de réponse attendue sera ainsi EN personne-est-gn Exemple 8 Exemple 7 Le processus du SQR se divise en trois parties : Traitement de la question Filtrage de documents candidats Détermination de la réponse La première phase relève principalement de techniques issues du traitement automatique des langues naturelles (connaissances linguistiques mais aussi statistiques). A partir de cette première phase une requête formelle est construite à destination d un moteur de recherche. Ce moteur reçoit donc comme paramètre la requête ainsi formée et l ensemble des documents. Lors de la deuxième phase va s opérer une sélection successive des documents afin de ne conserver que ceux qui sont jugés comme étant les plus succeptibles de contenir une réponse à la question. La troisième phase consiste à l extraction à proprement parlé de la réponse parmi ces documents qui sont alors analysés plus finement. Ces deux dernières phases relèvent du domaine de la recherche d information Quoi repondre? L exemple de FRASQUE Pour savoir quoi répondre à une question, il est nécessaire d avoir une certaine compréhension de la question. Comprendre une question peut être vu comme savoir quelle réponse ou type de réponse est attendue. Pour déterminer cela, plusieurs approches ont été utilisées. Par exemple, le système FRASQUE extrait trois informations principales de la question : Le type attendu de la réponse Le focus de cette question La catégorie de celle-ci Il est important de noter que dans les SQR en général, il n y aucune prise en compte du contexte c est-à-dire que les SQR, en général, ne gèrent pas les échanges langagiers antérieurs (puisqu ils sont prévus pour traiter une question unique), ni les informations sur la situation d énonciation ou sur l utilisateur. On y analyse la question seule Filtrer les documents succeptibles de contenir la reponse Une fois cette première phase passée, il s agit de retrouver une réponse, la meilleure possible, parmi l ensemble des documents à disposition et à l aide des résultats de l analyse de la question et, étant donné la masse de document à traiter, il est souvent inenvisageable d observer chaque phrase de chaque document et de les comparer aux éléments extraits de la question. Il y a donc pré-sélection d un ensemble de documents jugés comme étant les plus pertinents par le moteur de recherche. Ce moteur travaillant en fonction des informations dont il dispose grâce à la première phase du processus. Finalement, seuls ces documents seront traités finement Quelle reponse? La réponse au sens information qui répond à la question est extraite des documents à partir des éléments issus de la question. Elle est reformulée sous forme d énoncé-réponse. Mais la réponse que le système peut donner est possiblement plus large. En effet, avec la réponse-énoncé, il est possible - et bien souvent très utile - de joindre, la phrase dont la réponse a été extraite, voire même un extrait du document source. On parle alors de justification ([6]). Il est aussi intéressant de fournir un ensemble de réponses (justifiées) plutôt qu une unique réponse. Un exemple de ces différentes réponses est présenté ci-après. 8

9 Question : Qui est le président de la république? Réponse-Information : x tel que Président République(x) c est-à-dire Chirac. Réponses-Enoncé possibles : Chirac Jacques Chirac est le président de la république française actuellement Il s agit de Jacques Chirac... Justifications : liste de documents, ensemble de paragraphes,... Exemple 9 tels système dit systèmes de question-réponse interactifs (ou SQRi). Kelly et Lin [13] définissent la tâche de ciqa (complex, interactive Question Answering) comme une tâche de questionréponse offrant une possibilité, même minime, à l utilisateur d interagir avec le système. Bien évidemment, de nombreux types d interactions sont imaginables. Par exemple, on peut offrir la possibilité de continuer à interagir avec le système avant qu il ait fourni sa réponse.une autre interaction correspond à la tâche de traitement de question et de réponse enchaînées dont voici un exemple : Utilisateur : Qui est président? Système : C est Jacques Chirac U : Et depuis quand? S : Depuis le 7 mai 1995 U : Et qui était au deuxième tour avec lui? Conclusion En résumé, les SQR ont la particularité de gérer un ensemble de documents très important, de traiter des énoncés particuliers : les questions. Il est à noter que si la réponse n est pas satisfaisante, les systèmes peuvent proposer un ensemble de réponses justifiées. Cependant, ces systèmes ne proposent pas la possibilité à l utilisateur de rebondir sur la réponse en affinant sa question de départ ou encore en réagissant à la réponse proposée. Dans la partie suivante, je vais exposer une ouverture permettant de palier cette limitation. 3. SYSTEME DE QUESTION-REPONSE IN- TERACTIONNELS Comme nous venons de le voir, les SQR se limitent à un couple question-réponse. Ils ne prennent pas en compte le contexte de la question. Ceci vient de la définition même de la tâche d un SQR. D autre part, bon nombre de ces systèmes sont prévus pour un domaine ouvert, c est-à-dire sans limite thématique. De plus, ils sont fait pour traiter des questions, c est-à-dire des énoncés dont l acte illocutoire est de type interrogatif. Un SDHM, par contre, prend en compte le contexte du tour de parole produit par l utilisateur et, par là même, prend aussi en compte le domaine d application du dialogue. On parle d un domaine fermé. Ils ont la particularité, par rapport aux SQR, de gérer l interaction entre les deux interlocuteurs et d être capable de répondre à tout type d énoncé (pas uniquement à des questions). Les SQR pourraient être étendus afin de prendre en compte une réaction de l utilisateur face à la réponse qu ils produisent. Quelques études commencent à s intéresser à de Exemple 10 Traiter de telles interactions implique la prise en compte de phénomènes linguistiques tels que les anaphores et les références mais aussi la prise en compte des interventions ayant précédemment eu lieu au cours du dialogue. C est à cette problématique que je m intéresse au cours de mon stage en partant de l hypothèse que le processus de questions-réponses enchaînées peut être vu comme un processus hybride, entre la question-réponse et le dialogue, c est-à-dire qu un ensemble de questions-réponses enchaînées est considéré comme un dialogue particulier qui est centré sur un thème principal lequel est annoncé par la première des questions. Akker et Bunt notamment ont travaillé dans cette optique [2]. Nous avons décidé d étudier un corpus de dialogue afin d y mettre en valeur l existence de phénomènes assimilables à des échanges questions-réponses enchaînées. Si tel est le cas, alors des modules issus d un SDHM et ceux d un SQR pourront être mis en commun au sein d un système unique permettant de mener à bien une tâche de questions-réponses enchaînées. Le corpus a ainsi fait l objet d une annotation en acte de langage. Comme nous le verrons par la suite, annoter ce corpus va permettre trois observations majeures. D abord cela va valider ou invalider l existence de suite d interventions assimilable à des questions-réponses enchaînées. Le cas échéant, ces annotations vont nous permettre d extraire du corpus les portions de dialogue afin de les étudier plus en détail. Et finalement, parce que le corpus est mis à ma disposition par une entreprise qui travaille sur des tâches de DHM à but, l annotation va permettre d extraire des parcours de 9

10 dialogue types offrant ainsi une possibilité d améliorer le système actuel. L annotation se fait à l aide d un logiciel d annotation XDML- Tool développé dans le cadre du projet AMITIÉ auquel le groupe TLP a participé et dont je ferai une présentation par la suite Format du corpus Le corpus a été mis à notre disposition sous la forme d un fichier cvs généré automatiquement à partir de la base de donnée SQL de VirtuOz. L exportation a été faite à partir du logiciel de gestion de base de données MySQL Query Browser utilisé dans l entreprise. Les données obtenues sont de la forme suivante : 3.1 Corpus Generalites Le corpus d étude est un corpus de dialogues réels provenants d une base de données dialogiques fournie par la société VirtuOz [27]. Il s agit de dialogue entre des internautes et un agent conversationnel implanté sur un site Internet de vente d assurance-retraite en ligne [7]. L humain est donc face à un agent conversationnel avec lequel il interagit par écrit (au travers d une zone de saisie de texte). Le système quant à lui est prévu pour gérer un dialogue à but. En effet, il est intégré au site Web dans le but de réaliser différentes tâches à caractère commercial : Renseigner l internaute L orienter dans ses choix Faire connaître le site (donc se faire connaître et proposer de recommander le site à des connaissances) Quelques chiffres Le corpus représente près de dialogues. Ce qui correspond à environ tours de parole. Ces dialogues ont eu lieu entre 2004 et Un sous-corpus Ici, l annotation ne portera que sur les dialogues de taille comprise entre 15 et 20 tours de parole. Ce choix vient d une part du fait que sur le temps de stage dont je dispose, annoter l ensemble du corpus n est pas envisageable, d autre part parce qu on suppose qu avec des dialogues de trop petite taille, on n observera pas de parcours de dialogue typique et que des dialogues de trop grande taille correspondent trop souvent à des utilisateurs qui font beaucoup de hors-sujet et qui recherchent plus à tester le système qu à réellement obtenir des renseignements. Il ne sera donc extrait du corpus que le sous-corpus constitué des dialogues de cette taille là. Il est constitué de plus de 500 dialogues pour environ tours de parole Sous-corpus annote De ce sous-corpus, une partie seulement sera annotée. En effet, certains dialogues correspondent à une campagne questionnaire et sont ainsi des dialogues très particuliers où l utilisateur ne fait que répondre à une série de questions posées par le système sans laisser libre cours au dialogue. L annotation porte ainsi sur un total de près de 300 dialogues. <num auto>, <locuteur>, <texte brut>, <num dialogue>, <date> avec num auto : numéro automatique servant de clef primaire locuteur : b-out pour l agent et i pour l utilisateur. texte brut : texte saisi par l utilisateur dans la zone de texte prévue ou bien réponse complète de l agent. num dialogue : numéro automatique permettant de distinguer chaque dialogue date : date d occurence du dialogue Exemple Recuperation du corpus Comme on peut le voir dans l exemple suivant les réponses émises par le système sont sous forme semi-structurée (XML). Pour ces raisons, la réimportation au sein d une base de donnée pose problème. 1208,"i","##FirstInit",135," :55:41" 1209,"b-out","Bonjour et bienvenue, je suis Edwards d Edwards Solutions et je suis là pour vous faire passer un petit test! ^Etes-vous inscrit sur notre site?",135," :55:42" 1210,"i","oui",135," :56:01" 1211,"b-out","<?xml version=""1.0"" encoding=""utf-8 ""?><Context SessionId=""CC48126E6B70BD3CE39DB4C458E 54A4""><Responses><Response><GUID>dc053f85-365d-406b f48e480724</GUID><OutText>Nous allons alors procéder à votre identification.</outtext><outgui> </OutGui><OutUrl></OutUrl><Mark></Mark></Response> <Response><GUID>ae aa7a-4a61-be fa2 </GUID><OutText> Quel est votre s il vous plait?</outtext><outgui>waitingcross</outgui><outurl> </OutUrl><Mark></Mark></Response></Responses> </Context>",135," :56:01" 1212,"i","xxx@xxx.xx",135," :56:16" (...) Exemple 12 J ai donc écrit un script perl, langage particulièrement adapté à la manipulation de chaîne de caractères afin d extraire 10

11 du fichier.csv les données voulues. Par là même, ce script met en forme les données en fonction du format d entrée nécessaire à XDMLTool tout en extrayant uniquement le sous-corpus qui fait ici l objet de notre étude. Speaker="b" Info-level="Communication-mgt" Conventional="Opening"> b: Bienvenue sur Clic-Retraite.Com! Mise en forme du corpus Le corpus est extrait de telle façon à obtenir un fichier (texte seul) par dialogue. Dans chacun de ces fichiers, on a une ligne par intervention. Voici le résultat obtenu à partir de l exemple précédant : Le jeu d étiquettes qu il propose est en partie issus du manuel d annotation DAMSL de James Allen et Mark Core 8. Il s agit d un jeu d étiquettes hiérarchisé en huit catégories présentées dans les sous-sections suivantes. Chacune des é- tiquettes peut être pondérée par un? dans le cas où l annotateur hésite sur l attribution d une étiquette. i: ###FirstInit" b: Bonjour et bienvenue, je suis Edwards d Edwards Solutions et je suis là pour vous faire passer un petit test! ^Etes-vous inscrit sur notre site? i: oui b:nous allons alors procéder à votre identification. Quel est votre s il vous plait? i: xxx@xxx.xx (...) Exemple Outil d annotation et jeu d etiquette Generalites L outil d annotation utilisé est un logiciel, XDMLTool. Cet outil propose une interface permettant d importer un fichier texte et générant un fichier semi-structuré XML. Le fichier en entrée doit contenir un unique dialogue avec un tour de parole par ligne. L exemple suivant illustre ces entrées et sorties : i : ##FirstInit b : Bienvenue sur Clic-Retraite.Com! J ai l impression que nous avons déjà discuté ensemble. non? i : oui b : En effet. je me disais bien que je vous connaissais. Quelle joie de discuter une nouvelle fois avec vous Alex. Que puis-je pour vous?... <?xml version="1.0" encoding="iso "?> <dialog User="AnneGF" File=" dia"> <Turn Id="1.1" Speaker="i" Info-level="Communication-mgt" Comment="#FI"> i: ##FirstInit <Turn Id="2.1" Choix de l outil d annotation Car il est pré-existant et disponible au sein du LIMSI, l outil d annotation utilisé est XDMLTool 9. L avantage de cet outil est de proposer une annotation fine tout en permettant de multi-annoter 10 si nécessaire ; ainsi il est possible d observer à la fois l évolution de la tâche et les échanges de type question-réponse. Un autre aspect de l outil est d offrir la possibilité de segmenter les tours de parole et donc d annoter séparement les différents segments dialogiques dont ils sont constitués (voir la section 2.1.7). De plus, la hiérarchie du jeu d étiquettes permet de considérer les attributs seuls (sont-ils instanciés ou non? Autrement dit, le segment a-t-il été annoté dans la catégorie informationlevel, statement,...) ou bien de passer à un niveau plus fin et d observer les valeurs qu ils prennent(la catégorie Conventional prend la valeur Opening ou bien Closing). Enfin, le groupe TLP dispose déjà d un corpus annoté avec cet outil et prévoit d annoter d autres corpus de la même façon ouvrant ainsi une possibilité de comparaison enrichissante. Les sections suivantes reprennent la description du jeu d étiquettes proposées dans [22] et décrivent en détail le jeu d étiquette utilisé Information level Permet d annoter un énoncé selon son rapport avec la tâche à réaliser. Voici quelques exemples de telles annotations : Bonjour Information-level = Communication-Mgt Je suis désolé mais je ne suis pas là pour parler de voyage Information-level = Task-management- Capabilities Exemple 14 8 Dialog Act Markup in Several Layers, voir [3] 9 Je remercie Sophie Rosset du groupe TLP du LIMSI d avoir bien voulu le mettre à ma disposition 10 Fait de donner plusieurs étiquettes simultanément 11

12 Les tags possibles dans cette catégorie sont : Communication-Mgt Annote les énoncés conventionnels. Seront annotés avec cette étiquette les énoncés qui ouvrent, maintiennent ou ferment la conversation. Ces énoncés permettent au locuteur de maintenir le contact avec l interlocuteur et, entre autres de lui faire part de son agrément ou de sa compréhension par rapport à ce qui vient d être dit. Ainsi seront annotés avec l étiquette Communication- Management les énoncés d ouverture (bonjour) et de fermeture (au revoir) de dialogue, les énoncés de politesse (merci), les accusés de réception (oui), les énoncés qui expriment la non-compréhension du locuteur. Out-of-topic Cette étiquette correspond ce qui n a rien à voir avec la réalisation de la tâche et qui n appartient pas aux principes standards de communication (les blagues, les anecdotes, thèmes sans rapport à la tâche... ). Task Annote les énoncés qui se réfèrent à la réalisation de la tâche proprement dite. Task-management-Summary Annote les énoncés qui récapitulent de ce qui vient d être fait ou qui marquent l aboutissement de la tâche. Task-management-Capabilities Annote les énoncés qui référent aux capacités du système. Task-management-Order Annote les énoncés qui réfèrent à l organisation de la tâche. Ces étiquettes vont permettre notament d observer des parcours de dialogue typique s ils existent Influence-On-Listener Permet d annoter l action, l influence d un énoncé sur son interlocuteur. Ces étiquettes vont permettre de repérer tout ce qui entre en jeu dans de la question-réponse. Voici quelques exemples de telles annotations : comment tu t appelles? Info-Request- Explicit Vous souhaitez être informé par ? Conf- Request-Explicit Je vous conseille l article ci-contre extrait des Conditions Générales. Open-Option Les tags possibles sont : Exemple 15 Info-Request-Explicit et Info-Request-Implicit Annote un énoncé qui constitue une demande explicite ou implicite d informations et qui exige donc une réponse de l interlocuteur. Conf-Request-Explicit et Conf-Request-Implicit Annote un énoncé par lequel le locuteur indique de façon explicite ou implicite qu il veut avoir confirmation de ce que vient de dire son interlocuteur. Repeat-Request Annote un énoncé qui constitue une demande d informations, alors que cette information a déjà été demandée par le même locuteur au sein du dialogue. Action-Directive Annote les énoncés qui ont comme finalité d amener l interlocuteur à réaliser une action (veuillez patienter, attendez une minute...). Open-Option Enoncés par lesquels le locuteur propose quelque chose à son interlocuteur, sans que cette proposition n engage qu aucun engagement ne soit pris de sa part et sans obligation pour l interlocuteur Forward-Function Permet d annoter les énoncés déclaratifs qui ont un contenu informatif explicite. L occurence de telles étiquettes va permettre des observations utiles pour mettre en exergue des parcours de dialogue typique. Voici quelques exemples de telles annotations : J m appelle X Assert Je viens de te le dire. Mon nom est X Reassert Pour faire ce devis, je dois d abord vous demander quelques renseignements Explanation Les tags possibles sont : Exemple 16 Assert Annote les énoncés qui donnent une nouvelle information de façon spontanée ou en réponse à une question. Explanation Annote les énoncés par lesquels les locuteurs se justifient, ou s expliquent sur leur propos. Commit Annote les énoncés par lesquels le locuteur s engage à faire quelque chose Expression Annote tous les énoncés performatifs (merci, je vous en prie...). Offer Le locuteur s engage à faire quelque chose sous réserve de l accord de son interlocuteur. d ailleurs ce genre d énoncé 12

13 constitue en général une question qui équivaut schématiquement à voulez-vous que je fasse cela. Je n ai pas complètement saisi ce que vous venez de me dire. Non-understanding Conventional Permet de noter les aspects conventionnels d un dialogue. Les tags sont Opening ( Bonjour )et Closing( A la prochaine ) Agreement Les étiquettes d agrément permettent de caractériser les énoncés par lesquels les locuteurs manifestent leur accord/désaccord par rapport à un énoncé précédemment émis. Les tags sont Accept, Accept-Part, Maybe, Reject, Reject- Part Answer Permet de préciser si l énoncé en question constitue une réponse à un énoncé précédant. Il s agit d un booléen. Le tag est True si l énoncé répond à un énoncé précédant du dialogue. Voulez-vous voir les Conditions Générales du contrat? oui Answer = True Elles se trouvent dans la fenêtre ci-contre Exemple 19 Ensuite. j ai besoin de connaître l âge auquel vous comptez prendre votre retraite. Quel est-il? 67 ans C est bien noté. Backchannel Exemple 20 et non... je ne suis pas investisseur! Vous vouliez dire : Je veux investir Repeat- Rephrase Les tags possibles sont : Exemple 21 Backchannel Annote un énoncé qui constitue un retour très court qui permet au locuteur d accuser réception de ce que dit son interlocuteur, pour marquer qu il écoute. Completion Annote les énoncés qui terminent l énoncé précédent de l interlocuteur. Exemple 17 A cette étiquette est associée une étiquette Response-to qui prend comme valeur le numéro du segment dialogique auquel la réponse renvoit. T4.1 b :Quel type de devis souhaitez-vous effectuer? T5.1 i :devis auto Answer = True et Responseto = T Understanding Exemple 18 Permet de noter les énoncés par lesquels les locuteurs manifestent leur compréhension. Voici quelques exemple de telles annotations : Correction Annote les énoncés par lesquels le locuteur apporte une correction à ce que vient de dire son interlocuteur. Repeat-rephrase Annote les énoncés qui répètent ou paraphrasent l énoncé précédent de l interlocuteur. Non-understanding Annote un énoncé qui marque que le locuteur n a pas compris ou n a pas entendu ce que vient de dire son interlocuteur Features Permet d annoter les apartés, les interruptions, les changements de sujet... Les tags possibles sont : Self-Talk, Third-Party-Talk, Abandoned. Etant donné que nous nous trouvons à l écrit aucun de sestags ne sera utilisé Comment Champ libre permettant à l annotateur d ajouter des commentaires. 13

14 Exemple annote Voici l extrait de dialogue présenté précedemment annoté : <?xml version="1.0" encoding="iso "?> <dialog User="AnneGF" File=" dia"> <Turn Id="1.1" Speaker="i" Info-level="Communication-mgt" Comment="#FI" Conventional="Opening"> i: ##FirstInit <Turn Id="2.1" Speaker="b" Info-level="Communication-mgt" Conventional="Opening"> b: Bonjour et bienvenue, je suis Edwards d Edwards Solutions <Turn Id="2.2" Speaker="b" Info-level="Task" Forward-function="Explanation"> b: et je suis là pour vous faire passer un petit test! <Turn Id="2.3" Speaker="b" Info-level="Task" Influence-on-listener="Conf-request-explicit"> b: ^Etes-vous inscrit sur notre site? <Turn Id="3.1" Speaker="i" Info-level="Task" Forward-function="Assert" Answer="true" Response-to="T2.3"> i: oui <Turn Id="4.1" Speaker="b" Info-level="Task" Forward-function="Explanation"> b: Nous allons alors procéder à votre identification. <Turn Id="4.2" Speaker="b" Info-level="Task" Influence-on-listener="Info-request-explicit"> b: Quel est votre s il vous plait? <Turn Id="5.1" Speaker="i" Info-level="Task" Forward-function="Assert" Answer="true" Response-to="T4.2"> i: xxx@xxxx.xx </dialog> Exemple Observations Sur le total des 270 dialogues annotés, on a 4896 tours de parole et 7704 segments dialogiques. On a donc en moyenne 18 tours de parole (ou TP) par dialogue et 1,6 segments dialogiques (ou SD) par tour de parole Convention et politesse On a 218 SD d utilisateur annotées Conventional = Opening pour seulement 35 annotées Conventional = Closing Du côté du système, on a 581 SD Conventional = Opening Sur les 270 dialogues annotés, 20% n ont pas d ouverture de la part des utilisateurs. Par contre, le système accueille l utilisateur au minimum deux fois par dialogue. En effet, c est le système qui débute le dialogue puis, lorsque l utilisateur le salue à son tour, il l accueille à nouveau. On observe que, si les dialogues commencent par une phase d ouverture ( bonjour et autres formules de politesses), les utilisateurs peuvent quitter la conversation sans phase de fermeture Traitement de la t^ache et hors-sujet On a 1 segment dialogique Out-of-topic pour 4.5 segments dialogiques Task chez l utilisateur. On a 1 segment dialogique Out-of-topic pour 30 segments dialogiques Task chez le système. On a 1 dialogue sur 3 dans lequel il y a au moins 1 segment dialogique Out-of-topic Dans un tiers des cas, un dialogue dévie hors du traitement de la tâche. En effet, les utilisateurs font très régulièrement des hors-sujet (environ 22% de leurs interventions) tandis que le système reste beaucoup plus centré sur la tâche Des reponses qui posent des questions On a 202 tours de parole composés d au moins un segment dialogique annoté Answer = True et d un autre annoté question c est-à-dire par l une des étiquettes suivantes : Info-request-explicit Info-request-implicit Conf-request-explicit Conf-request-implicit Il y a deux types d enchaînement question-réponse. Dans certains cas, l un des interlocuteurs pose les questions et l autre y répond et ainsi de suite. Mais on observe souvent qu une réponse est directement suivie d une nouvelle question au cours du tour de parole d un locuteur. 14

15 3.3.4 Suites de questions et reponses On a 1579 tours de parole question suivi d un tour de parole réponse. Soit presque un quart des dialogues. On compte : 188 suites Q-R-Q-R (longueur 2). 151 suites Q-R-Q-R-Q-R (longueur 3). et 40 suites Q-R-Q-R-Q-R-Q-R (longueur 4). On trouve un nombre important de suite question puis réponse au cours des dialogues. On observe relativement peu de tels enchaînements de longueur supérieure à Reponses tardives J appelle ici réponse tardive tous les SD qui ne répondent pas au tour de parole tout juste précédent de l interlocuteur. On compte 51 occurences de réponses tardives. En observant finement le corpus, on observe qu il y a deux cas majeurs de réponses tardives : Dans le premier cas, c est l utilisateur qui répond tardivement. En fait, il revient sur ses propos soit car il désire en fait avoir plusieurs renseignements, soit parce que la solution proposée ne lui convient finalement pas. En voici un exemple : T4.1 b : Quel type de devis souhaitez-vous effectuer? Un devis Auto, un devis Moto, un devis Habitation, un devis Santé? T5.1 i : devis auto T6.1 b : Voici la page qui vous permettra d effectuer en quelques minutes votre devis auto T7.1 i : devis moto Response-to = T4.1 Exemple 23 Dans le second cas, c est le système qui répond tardivement. Ces situations correspondent au fait que le système à parfois besoin de renseignements supplémentaires et donc de poser des questions intermédiaires avant de donner une réponse à la question initiale. T8.2 b : Que puis-je pour vous? T9.1 i : Quelle va être le montant de ma retraite? Info-request-implicit T10.1 b : Désirez-vous que nous fassions une simulation ensemble? T11.1 i : oui T12.1 b : Tout d abord, pourriez-vous me donner votre date de naissance s il-vous-plaît T13.1 i : le 31/10/55 T14.1 b : En 1955?!... Cette année-là : Edgar Faure élu à la présidence du Conseil dissout l assemblée... T14.2 b : Ensuite. j ai besoin de connaître l âge auquel vous comptez prendre votre retraite. T14.3 b : Quel est-il? T15.1 i : 62 ans T16.1 b : Enfin, quel est votre salaire mensuel? T17.1 i : euros T18.1 b : Merci. J ai bien noté le montant de votre salaire mensuel. T18.2 b : : De manière approximative. le montant de votre retraite devrait se situer aux alentours de 1380 euros par mois. Response-to = T9.1 Exemple Un parcours de dialogue type On peut observer un parcours de dialogue qui revient très souvent. Ceci peut permettre la mise en place d une stratégie de dialogue plus adaptée encore aux utilisateurs. Phase d ouverture, formules de politesse Demande d un devis correspondant à une suite de question-réponse avec ou non sous-dialogues outof-topic Demande d information à propos des formules d assurance proposées avec ou non sous-dialogues outof-topic Sous-dialogues out-of-topic centré sur les capacités (de dialogues, ses connaissances) de l agent Phase de fermeture 15

16 Un exemple de tel dialogue est le suivant : b : Bonjour et bienvenue sur assurone. En quoi puisje vous aider? i : je veux faire un devis b : Quel type de devis souhaitez-vous effectuer : un devis Auto, un devis Moto? L utilisateur fait un devis (...) i : vos tarifs sont chers b : Que recherchez-vous précisément : - Combien coûtent vos assurances? - Vos tarifs sont chers? i : je n ai pas confiance en vous! b : Je comprends vos réticences. Mon but aujourd hui est juste d essayer de vous informer, cela ne vous engage à rien en tous les cas. i : qui est votre patron? b : Le PDG de Edwards Solutions s appelle (...) Voulez vous que je vous fasse une présentation rapide du site? i : et ben tu diras à ton boss que ça craint FIN DU DIALOGUE 3.5 Conclusions Nous avons donc pu observer qu il y a en en effet des processus question-réponse dans le corpus étudié. On observe bien des suites de question-réponse. Pour une question donnée, la réponse n est pas toujours immédiate parce que l identification de la réponse nécessite parfois des informations supplémentaires. D autre part une réponse peut amener une nouvelle question. 4. CONCLUSION Nous avons vu ici que l interaction question-réponse enchaînée peut être vu comme un processus de dialogue particulier. On parle alors de question-réponse interactionelle. Nous avons vu, grâce à l étude de corpus qu au sein de dialogues homme-machine, ce type d interaction existe. Nous avons aussi vu que les SDHM et les SQR avaient des propriétés complémentaires quand à la gestion d une interaction en langue naturelle homme-machine laissant sousentendre la possibilité de créer un système hybride sélectionnant les avantages de chaque système dans l optique d être capable de gérer de la question-réponse interactionnelle. Une perspective à ce travail est d intégrer un module de gestion de l interaction à la chaîne de question-réponse du groupe LIR. Ce module devra d une part traiter les cas où l utilisateur demande des précisions après avoir obtenu une réponse de la part du système. D autre part, il devra permettre au système de poser des questions intermédaires afin de trouver la réponse adéquate à la question posée initialement par l utilisateur. 5. REMERCIEMENTS Je tiens à remercier le groupe LIR pour son accueil. Je remercie particulièrement Michèle Jardino, Sylvain Kahane et l université de Lille grâce à qui j ai eu la chance de pouvoir assister à deux écooles d été au cours de ce stage. Je remercie les stagiaires du 2ème, ceux de la salle 007. JT pour tout ce qu il m a appris. Kevin pour ses explications tout au long de mon stage et Marie, Vincent pour les conférences. Un grand merci à Benoît Habert pour son soutien constant Et enfin je remercie Anne Vilnat d avoir bien voulu m encadrer et de bien vouloir continuer encore et Sophie Rosset pour son aide généreuse et notre future collaboration. 6. REFERENCES [1] Site du projet amitie. [2] R. o. d. Akker, H. Bunt, S. Keiser, and B. v. Schooten. From question answering to spoken dialogue : towards an information search assistant for interactive multimodal information extraction. Interspeech, p [3] J. Allen and M. Core. Site du damls, http :// revisedmanual/, Valable au 08/06/06. [4] R. Amalberti, N. Carbonell, and P. Falzon. User s representation of the machine in human-computer speech interaction. Rapport Technique 1125, INRIA, Rocquencourt, [5] J. L. Austin. How to do things with words. Oxford University Press, London, [6] F. Benamara and P. Saint-Dizier. Construction de réponses coopératives : du corpus à la modélisation informatique. TALN - Web et Corpus, Volume n 32, numéro 1. [7] Clic-retraite. Le site internet où l agent edwards est implanté, http :// Valable au 18/06/06. [8] N. Colineau. Etude des marqueurs discursifs dans le dialogue finalisé. Thèse de Doctorat, Université Joseph Fourier - Grenoble I, [9] S. D. and D. Wilson. Relevancel :Communication and Cognition. Basil Blackwell, Oxford, [10] O. Ferret, B. Grau, M. Hurault-Plantet, G. Illouz, L. Monceaux, I. Robba, and A. Vilnat. Recherche de la réponse fondée sur la reconnaissance du focus de la question. TALN - RECITAL, Dourdan, [11] H. P. Grice. Syntax and Semantics 3 : Speech Acts. Academic Press, New-York, Chap. Logic and conversation, p [12] F. W. in Animate Conversational Agent. http ://www-leibniz.imag.fr/waca/, Valable au 01/09/06. 16

17 [13] D. Kelly and J. Lin. Trec 2006 ciqa task homepage, http :// jimmylin/ciqa/, Valable au 17/06/06. [14] T. Lemeunier. L intentionnalité communicative dans le dialogue homme-machine en langue naturelle. Thèse de Doctorat, Université du Maine, [15] LIMSI. Groupe lir du limsi, http :// Valable au 01/09/06. [16] LIMSI. Groupe tlp du limsi, http :// Valable au 01/09/06. [17] D. Luzzati. Psychologie du dialogue homme-machine en langage naturel. Europia Productions, Paris, p [18] H. Nguyen. Architecture générique de système de dialogue oral homme-machine. Récital, [19] H. Nguyen. Dialogue Homme-Machine : Modélisation de multisession. Thèse de Doctorat, Université Joseph Fourier - Grenoble I, [20] J. Pierrel and L. Romary. Quelles références dans les dialogues homme-machine dans Machine, langue et dialogue. Collection Sciences du langage, Presses du CNRS, Paris, [21] R. Privat. Adaptation dynamique des stratégies de dialogue aux usagers : application aux personnes âgées. Thèse de Doctorat, Université Toulouse III, [22] S. Rosset. Page personnelle, http :// activités scientifique, manuel xdmltool, Valable au 01/09/06. [23] J. Rouillard. Hyperdialogue sur Internet : le système HALPIN. Thèse de Doctorat, Université Joseph-Fourier - Grenoble I, [24] J. R. Searle. Les actes de langage. Hermann, Paris, [25] TLP. http :// Valable au 01/09/06. [26] A. Vilnat. Dialogue et Analyse de phrases. Mémoire d Habilitation à diriger des recherches, Université Paris Sud 11 - Orsay, [27] VirtuOz. http :// Valable au 18/06/06. [28] J. Vivier. Psychologie du dialogue homme-machine en langage naturel. Europia Productions, Paris, [29] J. Weizenbaum. A Computer Program For the Study of Natural Langage Communication Between Man and Machine, volume 9 n 1. Communication of the ACM, p [30] D. Wilson and S. D. L interprétation des énoncés, volume 30. Communications, p