P U B L I C A T I O N I N T E R N E 1690 CONTRIBUTIONS DES TECHNIQUES DU TRAITEMENT AUTOMATIQUE DES LANGUES À LA RECHERCHE D INFORMATION

Transcription

1 I R I P U B L I C A T I O N I N T E R N E 1690 N o S INSTITUT DE RECHERCHE EN INFORMATIQUE ET SYSTÈMES ALÉATOIRES A CONTRIBUTIONS DES TECHNIQUES DU TRAITEMENT AUTOMATIQUE DES LANGUES À LA RECHERCHE D INFORMATION FABIENNE MOREAU AND PASCALE SÉBILLOT ISSN I R I S A CAMPUS UNIVERSITAIRE DE BEAULIEU RENNES CEDEX - FRANCE

2

3 INSTITUT DE RECHERCHE EN INFORMATIQUE ET SYSTÈMES ALÉATOIRES Campus de Beaulieu Rennes Cedex France Tél. : (33) Fax : (33) Contributions des techniques du traitement automatique des langues la recherche d'information Fabienne Moreau * and Pascale S billot ** Syst mes symboliques Projet TexMex Publication interne n1690 F vrier pages R sum : Les techniques issues du traitement automatique des langues (TAL) permettent de mettre au jour des informations morphologiques, syntaxiques et s mantiques sur les unit s lexicales composant des textes. Ces divers types de connaissance ont t partiellement exploit s par de nombreux travaux s'int ressant l'interrogation de bases documentaires. Ce document, travers un tat de l'art de ces recherches, tente d' valuer l'impact des diff rentes sortes d'informations linguistiques acqu rables par des techniques de TAL sur les syst mes de recherche d'information et leurs performances, et de dresser un bilan de leurs contributions. Mots cl s : Traitement automatique des langues, recherche d'information, indexation, extension de requ tes, informations morphologiques, syntaxiques et s mantiques. (Abstract: pto) * fabienne.moreau@irisa.fr ** pascale.sebillot@irisa.fr Centre National de la Recherche Scientifique (UMR 6074) Université de Rennes 1 Insa de Rennes Institut National de Recherche en Informatique et en Automatique unité de recherche de Rennes

4 Contributions of natural language processing techniques to information retrieval Abstract: Natural language processing (NLP) techniques provide means to extract morphological, syntactic, and semantic information about lexical units in texts. This knowledge has been partly exploited by numerous works concerned by textual database questioning. This document presents a state-of-the-art of this eld that mixes NLP and information retrieval (IR). It aims at evaluating the impact of linguistic information gleaned from NLP on the performances of IR systems that integrate them. Key-words: Natural language processing, information retrieval, indexing, query expansion, morphological, syntactic, and semantic information.

5 Contributions des techniques du TAL lari 3 Table des mati res 1 Introduction 5 2 Prise en compte de connaissances morphologiques en recherche d'information Quelques notions utiles de morphologie Traitements de la variation morphologique en RI Utilisation d'un racineur Utilisation d'analyseurs morphologiques exionnels et d rivationnels Stemming vs analyse morphologique Exp riences comparatives Impact des erreurs Prise en compte des traitements des autres niveaux linguistiques Prise en compte de connaissances syntaxiques en recherche d'information Informations syntaxiques et RI Terme complexe Terme structur Utilisation des termes complexes et structur s et de leurs variantes Prise en compte de termes complexes au sein d'un SRI Les termes complexes statistiques Les termes complexes syntaxiques Bilan : apport respectif des di rents types de termes Int gration de termes structur s au sein d'un SRI Structuration des termes en paires t te+modieur Autres m thodes de structuration des termes Utilisation des termes structur s en post-traitement d'unsri Bilan de l'apport des termes structur s Adaptation des SRI pour l'int gration des informations syntaxiques Adaptation des mesures de pond ration des termes Strat gies d'int gration des termes complexes ou structur s dans les index Conclusion Prise en compte de connaissances s mantiques en recherche d'information Types d'informations s mantiques exploitables en RI Quelles informations s mantiques? M thodes d'int gration des informations s mantiques Exploitation d'informations s mantiques en extension de requ tes Utilisation d'informations s mantiques acquises par une approche num rique PI n1690

6 4 F. Moreau & P. S billot Utilisation d'informations s mantiques acquises l'aide de m thodes symboliques Utilisation d'informations s mantiques contenues dans une base lexicale Bilan Exploitation d'informations s mantiques pour l'indexation Indexation conceptuelle Indexation s mantique D sambigu sation et RI Conclusion Conclusion 44 R f rences 46 Irisa

7 Contributions des techniques du TAL lari 5 1 Introduction L'objectif d'un syst me (S) de recherche d'information (RI) est de retrouver, parmi une masse volumineuse de documents, ceux qui r pondent pr cis ment au besoin d'un utilisateur, besoin formul par le biais d'une requ te en langage naturel. La principale dicult pour ces SRI est d' tablir une correspondance entre l'information recherch e et l'ensemble des documents d'une collection. Pour y parvenir, ils se fondent g n ralement sur un appariement entre les mots contenus dans la requ te et ceux, potentiellement pond r s, qui repr sentent le contenu dechaque document. La pertinence d'un document est alors valu e en fonction des termes communs qu'il poss de avec la requ te. Compte tenu de ce m canisme de mise en correspondance bas sur une simple comparaison de cha nes de caract res, les SRI se trouvent rapidement confront s deux probl mes. Le premier concerne les formulations di rentes d'un m me concept : un document pertinent peut contenir des termes s mantiquement proches de ceux de la requ te mais toutefois di rents (synonymes, hyperonymes, termes ayant uneforme morphologique di rente...). Ce ph nom ne provoque une baisse du rappel de ces syst mes qui ne peuvent proposer l'utilisateur certains documents pourtant int ressants. ce probl me vient s'ajouter celui de la polys mie des mots. L'ambigu t qui en d coule est l'origine d'une baisse de pr cision des syst mes puisqu'elle entra ne potentiellement la r cup ration de documents non pertinents. Pour faire face ces dicult s li es la complexit du langage naturel, une solution souvent voqu e est d'int grer, au sein des SRI, une analyse linguistique qui pr sente l'avantage de ne plus consid rer les mots comme de simples cha nes de caract res mais comme des entit s linguistiques part enti re. Les traitements linguistiques en RI, eectu s par le biais de techniques du traitement automatique des langues (TAL), extraient automatiquement des informations linguistiques des documents et des requ tes. Ces connaissances ont pourambition de permettre aux SRI une meilleure compr hension des contenus et, par cons quent, d'avoir un impact sur leurs performances. Les traitements linguistiques peuvent intervenir de di rentes fa ons dans un SRI. Ils contribuent, d'une part, en exploitant les connaissances linguistiques extraites des textes, am liorer le processus d'indexation des documents, et cr er une repr sentation plus riche de leur contenu cette repr sentation vise obtenir un appariement plus pertinent entre l'information recherch e par l'utilisateur et les documents de la collection. Ils ont, d'autre part, pour objectif d'am liorer le processus de recherche des syst mes en enrichissant les requ tes par des informations compl mentaires, leur orant ainsi la possibilit de retrouver davantage de documents int ressants. Notre objectif, dans ce document, est de pr senter une synth se des contributions possibles des techniques issues du TAL pour une application de RI, travers un tour d'horizon des diverses tentatives qui ont d j t r alis es dans ce domaine. En TAL, on distingue g n ralement trois principaux niveaux d'analyse linguistique : les niveaux morphologique, syntaxique et s mantique. Pour parvenir dresser un bilan assez exhaustif des di rents apports possibles du TAL la RI, nous choisissons de reprendre ce d coupage et de nous attarder, pour chacun de ces niveaux, sur la fa on dont les informations linguistiques extraites des documents et des requ tes ont t jusqu' pr sent prises en compte par les syst mes. PI n1690

8 6 F. Moreau & P. S billot Nous nous int ressons dans un premier temps au niveau morphologique de la langue. L'exploitation en RI d'informations morphologiques a pour objectif de permettre aux syst mes de reconna tre, au sein des documents et requ tes, les di rentes formes d'un m me motetdepouvoir les apparier, limitant ainsi la baisse de rappel due cette variation morphologique. Les techniques issues du TAL orent di rentes possibilit s pour proc der l'analyse morphologique des documents et requ tes, i.e. pour op rer une normalisation des formes des mots ou acqu rir des informations morphologiques partir des textes. Nous faisons un tour d'horizon des diverses fa ons d'exploiter ces informations et ces techniques en RI, et analysons comment il est possible de les int grer au c ur m me des syst mes. Nous cherchons valuer concr tement l'impact de l'analyse morphologique sur les performances des syst mes tant en termes de rappel que de pr cision. Le second niveau de langue explor est celui de la syntaxe. L'int gration de ce niveau dans l'analyse des documents et requ tes peut en eet s'av rer pertinent pour plusieurs raisons. D'une part, ceci conduit extraire des documents de nouvelles entit s linguistiques plus pr cis ment des termes complexes ou structur s qui peuvent avoir une inuence directe sur la r solution d'ambigu t s, ces entit s tant g n ralement moins polys miques que les termes simples habituellement pris en compte par les syst mes. Ceci permet d'autre part, de pallier une des faiblesses des SRI, li e leur repr sentation du contenu textuel dite en sac de mots, en rep rant et exploitant les di rentes relations et d pendances qu'entretiennent les termes. La plupart des syst mes s'appuient, en eet, sur un mod le 1 o les documents sont repr sent s sous la forme d'un ensemble de termes non structur s, ind pendants les uns des autres et non class s. L'objectif d'une vision plus structur e du document est de manipuler des informations plus pr cises et de faire r f rence aux concepts contenus dans les documents [CH01]. Une fois ces termes et ces structures extraits, la principale dicult r side toutefois dans leur prise en compte eective au sein des SRI. Cela impose en eet une int gration dans des mod les de repr sentation o la notion de d pendance entre termes est en contradiction avec leur ind pendance g n ralement sous-jacente cela implique galement l'adaptation de m canismes de fonctionnement, tels que, par exemple, la transformation des mesures de pond ration pour prendre en compte les termes complexes. Nous faisons donc tat, travers la description de quelques travaux, des solutions qui ont t propos es pour r pondre ces probl mes et des di rentes strat gies test es. Cet article se termine par un focus sur la prise en compte du niveau s mantique de la langue dans les SRI. L'int gration d'informations s mantiques (acquises automatiquement partir de textes ou issues de ressources existantes) peut se faire au niveau de l'indexation. Certains travaux d veloppent ainsi une indexation dite s mantique, qui cherche associer aux termes d'un index un ensemble de sens non ambigus. Ce type d'indexation doit donc n cessairement tre coupl untraitement de d sambigu sation performant, et nous analysons les di rentes propositions faites en ce sens. L'int gration de connaissances s mantiques se situe aussi au niveau de l'extension des requ tes de l'utilisateur. Les requ tes sont alors enrichies gr ce l'ajout de mots li s s mantiquement ceux qu'elles contiennent, ce qui permet d' largir le champ de recherche. Ce traitement n cessite galement, comme 1. E.g. les mod les vectoriel, bool en... Irisa

9 Contributions des techniques du TAL lari 7 nous le montrons, un processus de d sambigu sation des termes, an de contr ler que le sens des mots utilis s pour l'extension soit identique (ou proche de) celui des termes de la requ te. Avertissement: Le nombre de travaux ayant cherch int grer de fa on souvent partielle des ressources linguistiques en RI est consid rable. Cet tat de l'art ne peut donc en faire une liste totalement exhaustive, et nous sommes conscientes que le lecteur avis du domaine pourra certainement noter l'absence de telle ou telle r f rence, aussi pertinente que certaines que nous avons cit es. De m me, il ne vise pas, par les travaux qui y sont mentionn s, faire une pr sentation explicite de chacune des exp riences men es, la lecture des r f rences donn es au l du texte permettant decombler cette description partielle. Son objectif est de tenter de mettre en vidence les id es-cl s de ce couplage TAL et RI, an de comprendre les limitations exactes des mod les de SRI actuels pour la prise en compte de ressources linguistiques, et pr ciser les eorts qu'il reste r aliser sur ces mod les pour accro tre leur perm abilit ces ressources. PI n1690

10 8 F. Moreau & P. S billot 2 Prise en compte de connaissances morphologiques en recherche d'information Apr s un bref rappel de quelques notions fondamentales en morphologie, nous nous int ressons, dans cette section, au traitement de la variation morphologique en RI. Nous faisons tat des di rents outils d'analyse qu'il est possible d'appliquer sur les documents et les requ tes pour reconna tre et prendre en compte ces variantes, en distinguant ceux qui sont seulement une approximation de traitements linguistiques (racineurs 2 ) et les analyseurs plus sophistiqu s qui proc dent une analyse linguistique plus ne des documents et requ tes (analyseurs exionnels et d rivationnels 3 ). Nous terminons par la description d'exp riences qui comparent l'ecacit de ces deux techniques, an de tenter de d terminer celle qui a le plus d'impact sur les performances des SRI. 2.1 Quelques notions utiles de morphologie La morphologie [Pol03] concerne la structure des mots, c'est- -dire les combinaisons de morph mes (i.e. plus petites unit s de sens) qui les forment. Ces morph mes sont soit lexicaux, soit grammaticaux (les axes), ces derniers se combinant aux pr c dents.lamorphologie exionnelle tudie les exions des mots (marques de genre, nombre, personne, temps...) elle permet de relier les unit s chien et chiens par exemple. La morphologie d rivationnelle s'int resse la formation de nouvelles unit s lexicales partir de morph mes lexicaux et d'axes dits d rivationnels elle explique la formation de chanteur partir de chant et du suxe eur. La morphologie compositionnelle, qui ne sera pas abord e ici, porte galement sur la formation de nouvelles unit s, mais par juxtaposition de plusieurs unit s [Gro96]. Un mot peut donc avoir plusieurs formes qui poss dent unsensproche (e.g. transformer, transforme, transformateur, transformation...), et il n'est parfois pas pertinent c'est le cas, bien souvent, en RI de les distinguer. Il convient par cons quent de d terminer les diverses formes eectives d'un m me mot, ou sa famille morphologique 4, par exemple en l'extrayant automatiquement de documents. Ceci permet alors de proc der leur normalisation, c'est- dire un recodage des diverses variantes du mot par une forme unique. Ce sont les possibilit s oertes par l'analyse morphologique. Si l'on s'oriente vers la morphologie exionnelle, la forme unique sera le lemme (i.e. une forme canonique d barrass e de ses exions). Le traitementassoci cetype de morphologie est la lemmatisation qui consiste reconna tre, pour chaque mot, sa forme de base en supprimant ses traits de morphologie exionnelle. Le recours la morphologie d rivationnelle aura pour principal r sultat la normalisation des formes autour d'une racine 5 ou d'un radical 2. Cf. section Cf. section Une famille morphologique peut tre d nie comme regroupant un ensemble de mots poss dant une racine morphologique commune, obtenue partir d'une analyse exionnelle et d rivationnelle. 5. On appelle racine l' l ment de base, irr ductible, commun tous les repr sentants d'une m me famille de mots l'int rieur d'une langue ou d'une famille de langue. La racine est obtenue par limination de tous Irisa

11 Contributions des techniques du TAL lari 9 (i.e. une des formes prises par la racine 6 ). Il existe, l aussi, di rentes approches pour prendre en compte ce type de morphologie, comme le recours des ressources morphologiques sp ciques ou l'utilisation d'analyseurs d rivationnels 7 [DFS02]. Enn, pour traiter la variation morphologique des unit s lexicales, on trouve galement des approches moins sophistiqu es (consid r es comme des approximations des traitements linguistiques) qui permettent derassembler les di rentes variantes d'un mot autour d'un stem (ou pseudo-racine) qui se rapproche de la notion de racine (sans n cessairement avoir une origine tymologique comme dans le cas de la racine linguistique). Le traitement permettant d'obtenir ce type d'information est la proc dure de stemming (ou racinisation), qui pr sente g n ralement l'avantage d' tre moins complexe mettre en uvre que les deux types de traitements pr c dents. Cette proc dure, qui cherche regrouper les mots appartenant une m me famille morphologique, peut se d nir comme une technique de d suxation et recodage supprimant les axes (essentiellement les suxes) pour isoler des pseudo-racines. Elle prend en compte la fois les cas relevant des morphologies exionnelle et d rivationnelle. 2.2 Traitements de la variation morphologique en RI Les di rentes exp riences r alis es pour valuer l'int r t de recourir un niveau d'analyse morphologique des documents et requ tes en RI n'utilisent pas n cessairement les m mes types de traitements morphologiques. An d'en dresser un bilan ecace, nous d composons la description de ces exp rimentations selon le type d'outils qu'elles manipulent. Nous nous attachons dans un premier temps d crire l'apport en RI d'une proc dure de stemming. Nous nous int ressons ensuite l'impact des analyseurs morphologiques exionnels coupl s des analyseurs d rivationnels Utilisation d'un racineur Il existe deux fa ons principales d'utiliser une proc dure de racinisation (ou stemming) dans un SRI. La premi re consiste l'appliquer lors de la phase d'indexation (c'est g n ralement le cas dans toutes les exp riences d crites plus bas). Les mots des documents et requ tes sont ramen s leurs stems, et l'appariement entre les termes de la requ te et ceux des documents s'eectue donc sur cette base. La racinisation peut aussi intervenir uniquement pour la t che d'extension des requ tes. Ces derni res sont alors enrichies l'aide de termes morphologiquement li s ceux qu'elles contiennent, g n ralement par le biais de familles morphologiques. les axes et d sinences. Elle est porteuse des s mes essentiels, communs tous les termes constitu s avec cette racine [Lar98]. 6. La di rence entre racine et radical est souvent ambigu. La racine est la forme abstraite servant de base de repr sentation tous les radicaux qui en sont les manifestations. Ainsi, la racine /chant/ poss de deux radicaux : chant- et cant-. Parfois, une racine ne poss de qu'un radical. Dans ce cas, les termes racine et radical peuvent se confondre. 7. I.e. des analyseurs morphologiques s'appliquant aux formes d riv es. PI n1690

12 10 F. Moreau & P. S billot Nous nous int ressons ici cette proc dure de racinisation et aux informations morphologiques (d'ordre exionnel et d rivationnel) qu'elle permet d'acqu rir lors de l'analyse des documents et requ tes. Nous pr sentons pour d buter quelques r sultats d'exp rimentations r alis es pour mesurer l'impact de stemmers sur les performances de SRI. Dans les deux sous-sections suivantes, nous dressons un premier bilan, en nous appuyant l aussi sur des exp riences concr tes, ayant pour but d'une part, de distinguer les cas o le stemming est ecace des cas o il semble n faste et, d'autre part, de d terminer les facteurs qui ont une inuence directe sur l'ecacit de cette proc dure. Quelques r sultats Comme nous venons de le mentionner, la premi re s rie d'exp riences que nous allons d crire a pour objectif d' valuer l'apport en RI d'une proc dure de stemming des documents et des requ tes. Les stemmers traditionnellement utilis s au sein de ces travaux sont ceux de Porter [Por80] et Lovins [Lov68]. L'impact des algorithmes de stemming sur les performances de SRI varie selon les exp rimentations. Les exp riences de Lennon et al. [LPTW81] et Harman [Har91] 8 mesurent l'inuence de la racinisation pour la langue anglaise. Elles aboutissent des conclusions globalement d cevantes puisqu'aucune am lioration de r sultats n'est constat e par rapport un SRI traditionnel (i.e. qui ne prend pas en compte les variantes morphologiques). Les m mes observations sont galement obtenues par Fuller et Zobel [FZ98], qui comparent l'apport respectif de quatre types de stemmers (les algorithmes de Porter, de Lovins, le S-Stemmer et un stemmer base de dictionnaires). Leur conclusion est que les am liorations apport es par ce traitement restent insusantes, bien qu'elles existent pour certaines requ tes. Dans une tude plus d taill e, Hull [Hul96] tente de justier les faibles r sultats obtenus lors des exp riences de Harman et Lennon et al. Il montre ainsi que les mesures d' valuation traditionnelles de la RI (i.e. le rappel et la pr cision) ne sont pas forc ment appropri es pour valuer pr cis ment l'inuence du stemming. Il propose de nouvelles mesures 9, et les exp riences r alis es 10, en revisitant l'algorithme de Porter (dictionnaires ajout s pour valider les r sultats apr s limination des suxes), montrent que le stemming est ecace pour l'anglais, sauf pour les requ tes longues. La hausse des performances de recherche est sensible pour les requ tes courtes, le stemming permettant entre 1 et 3% d'am lioration par rapport aux syst mes ne prenant pas en compte les variantes morphologiques. Cette am lioration n'est toutefois pas eective sur de tr s petites collections de documents. D'autres exp riences relatives l'utilisation du stemming en RI apparaissent galement encourageantes. Pour Krovetz [Kro93], la racinisation conduit une hausse des r sultats 8. Harman compare la fois les stemmers de Porter, de Lovins et son stemmer (fond sur un fonctionnement basique qui consiste supprimer seulement quelques terminaisons (principalement les marques du pluriel)) lors de recherches dans de petites collections de documents (tests r alis s sur les collections Medlars, Craneld et Cacm). 9. Ces mesures (bas es notamment sur le test de Friedman) consid rent, entre autres, la longueur des requ tes et le nombrededocuments pertinents retourn s pour chacune d'entre elles. 10. Sur une large collection de documents (180000). Irisa

13 Contributions des techniques du TAL lari 11 situ e entre 1,3% et 45,3% selon les collections et les techniques de stemming utilis es. Il montre de fa on plus pr cise que l'accroissement de la pr cision moyenne est d'environ 40% pour les textes courts (environ 45 mots) associ s des requ tes courtes (comportant 7mots en moyenne) contre seulement 2% pour les textes longs (environ 500 mots) coupl s des requ tes courtes (avec 9 mots en moyenne). Loupy et al. [LBEM98]proposent aussi une s rie d'exp riences concernant plus particuli rement l'enrichissement des requ tes. Les r sultats obtenus illustrent l'int r t du stemming pour cette t che : une am lioration de 3,6% de la pr cision est constat e pour l'anglais. Il ressort de ces di rentes exp riences que l'inuence du stemming en RI est tributaire d'un certain nombre de facteurs. Ainsi, alors que pour certaines requ tes, la racinisation s'av re tr s b n que [Hul96], elle peut entra ner, pour d'autres requ tes, une d gradation des performances. Il est donc n cessaire d' tre capable de distinguer les cas o le stemming est int ressant des cas o il ne l'est pas, ce qui demeure toutefois une t che dicile, comme nous allons le voir pr sent. Analyse de cas d'ecacit ou de non ecacit de la racinisation Quelques travaux ont propos desstrat gies pour tenter d'analyser plus pr cis ment les cas o la proc dure de stemming s'av re ecace. Une premi re tentative d'explication propos e par Harman [Har91] a consist penser que le stemming aurait plus d'impact s'il tait appliqu uniquement pour tendre les termes de la requ te les plus discriminants 11. Cependant, aucune am lioration de r sultats n'a t constat e lors des exp rimentations r alis es. Dans une autre exp rience, Harman a cherch valuer si une am lioration tait possible en tendant une requ te par le biais de variantes morphologiques choisies par l'utilisateur. Les tests montrent alors une hausse substantielle des r sultats et impliquent que l'intervention d'un utilisateur pour op rer un ltre sur les termes tendre au sein de sa requ te peut s'av rer utile. Parall lement ces observations, d'autres remarques [Chu95, Kro93] tentent d'expliquer l'irr gularit des r sultats obtenus lors de l'application du stemming en RI. Elles reposent sur l'observation d'un lien entre l'ecacit des stemmers et la prise en compte d'un niveau s mantique pour relier les variantes morphologiques. En eet, traditionnellement les stemmers proc dent lanormalisation des formes morphologiques sans consid rer le sens des mots raciniser. Or, il appara t que les requ tes qui retrouvent des documents avec le plus de pr cision sont celles dont les variantes morphologiques propos es poss dent un lien s mantique, ce qui d pend du type de stemmer utilis et de la qualit de la racinisation eectu e. Une mauvaise racinisation 12 a pour cons quence de regrouper des variantes qui font r f rence des concepts di rents, ce qui entra ne une d gradation des performances d'un SRI l'utilisant. Il n'est toutefois pas toujours vident d' valuer pr cis ment leliens Termes de fr quence moyenne dans les documents. 12. Une mauvaise racinisation est g n ralement provoqu e par une proc dure de d suxation excessive ou trop souple qui entra ne des erreurs dites de sur-racinisation ou de sous-racinisation. La sur-racinisation implique que la pseudo-racine est trop large (e.g. la pseudo-racine nat qui regroupe la fois nature et nation). Inversement, pour la sous-racinisation, la pseudo-racine n'est pas assez large (e.g. la pseudo-racine adaptat qui emp che le regroupement des formes adapter et adaptation). PI n1690

14 12 F. Moreau & P. S billot mantique qui unit deux variantes, et ce lien peut aussi d pendre du domaine de connaissance des documents, ceci expliquant pourquoi les diverses tudes aboutissent des r sultats mitig s. L'int gration d'une proc dure de stemming au sein d'une strat gie de recherche qui prend en compte le sens des mots est une solution possible pour l'am lioration des performances des SRI. Dans cette optique, nous pouvons citer l'approche mise en uvre par Xu et Croft [XC98] qui consiste appliquer une proc dure de racinisation pour former des classes de mots qui sont utilis es pour l'extension de requ tes. De fa on plus pr cise, la m thode propos e, qui fonctionne en corpus, sans ressources ni r gles pr d nies, consiste dans un premier temps normaliser les mots l'aide d'un stemmer du type Porter. Elle rassemble ensuite au sein d'une m me classe d' quivalence morphologique 13 les mots racinis s qui, en plus de poss der la m me pseudo-racine, cooccurrent de fa on signicative(valeur mesur e l'aide d'une variante de l'information mutuelle). L'utilisation des cooccurrences pr suppose l'id e d'une proximit s mantique entre termes. Les r sultats obtenus lors de ces exp riences montrent une am lioration signicative des performances. Il semble donc, travers ces di rentes observations, que la proc dure de stemming doive tre coupl e des traitements compl mentaires (comme la prise en compte d'une dimension s mantique) si l'on souhaite qu'elle ait un impact plus important enri. Analyse des facteurs contribuant un meilleur impact des stemmers De nombreux facteurs entrent en fait en jeu dans l' valuation pr cise que l'on peut faire de l'impact du stemming. Comme nous l'avons vu, les r sultats d pendent de la requ te, longue ou courte, de l'utilisateur. Il est galement n cessaire de prendre en compte le type de stemmer utilis : un taux d'erreurs importantintroduit n cessairement un bruit lev etdonc une baisse de la pr cision du syst me. Pour r duire ces erreurs, Krovetz [Kro93] a propos une nouvelle approche du stemming bas e sur l'utilisation de dictionnaires lectroniques comme source additionnelle de connaissances. L'impl mentation de son outil (kstem) consiste associer un stemmer traditionnel du type Porter un dictionnaire lectronique de l'anglais. Ce dictionnaire exerce un contr le et stoppe le processus de suppression de suxes lorsque le mot obtenu y est trouv. Bien que son stemmer r gle en grande partie les probl mes de l'algorithme de Porter, les r sultats en termes de rappel et de pr cision des SRI l'utilisant ne sont n anmoins pas am lior s pour autant. D'autres exp riences relativisent galement l'apport en RI d'un stemmer bas sur des dictionnaires. L'exp rimentation men e par Fuller et Zobel [FZ98] value les performances de di rents stemmers (stemmers traditionnels et base de dictionnaires) en mesurant leur capacit retrouver les di rentes variantes morphologiques d'une m me forme. Il appara t que le stemmer bas sur l'utilisation d'un dictionnaire fournit g n ralement la meilleure pr cision mais passe c t de beaucoup de termes (i.e. des termes qui auraient d tre rapproch s car tant morphologiquement li s) qui sont absents de la ressource. De fa on plus pr cise, les r sultats observ s montrent que le stemmer base de dictionnaire retrouve correctement 48% des variantes morphologiques, contre 67% pour l'algorithme de Porter et 75% pour celui de Lovins. Il semble donc que le recours de tels stemmers ne constitue pas une solution vraiment pertinente pour r duire 13. E.g. stocks, stock, stocked, stocking... Irisa

15 Contributions des techniques du TAL lari 13 le nombre d'erreurs. D'ailleurs, il est important de noter (comme le montrent Dal et Namer [DN00]) qu'il n'a jamais v ritablement t d montr quel point les erreurs g n r es par les syst mes de stemming pouvaient tre n fastes aux performances des SRI. Les pr judices commis d pendent notamment dunombre (i.e. de la fr quence) de ces erreurs et galement de leur contexte (par exemple, dans le cas de requ tes longues, la co-pr sence de nombreux mots dans la requ te permet de minimiser les probl mes). Une autre information importante consid rer lorsque l'on applique une proc dure de stemming en RI est le type de forme qui est fournie en sortie du stemmer. Pour l'algorithme de Porter par exemple, le traitement produit un stem (i.e. pseudo-racine) qui peut tre un mot ou seulement une partie de mot (e.g. d m nag-) qui n'a pas toujours d'existence part enti re. Or, ce type de forme sera dicilement manipulable si l'on souhaite eectuer d'autres traitements plus complexes, n cessitant, par exemple, de confronter le stem obtenu des donn es pr sentes dans des ressources (e.g. des dictionnaires). L'algorithme de Lovins quant lui recode les formes obtenues an d'obtenir des mots. Enn, un autre param tre important est la langue sur laquelle le stemming est appliqu. Comme le soulignent Arampatzis et al. [AVKV00], l'ecacit du stemming d pend de la complexit morphologique de la langue. Les exp riences r alis es sur des langues morphologiquement plus riches que l'anglais montrent qu'une am lioration des performances de recherche peut tre apport e par la racinisation. Popovic et Willett [PW92] constatent par exemple que le stemming en Slov ne am liore de fa on signicative la pr cision (une augmentation d'environ 40% pour de petites collections de r sum s). Pour cette langue, le stemmer d velopp prend en compte plus de 5200 suxes. Pour le Su dois, Carlberger et al. [CDHK01] montrent que la proc dure de stemming est int ressante en RI, puisqu'une augmentation du rappel et de la pr cision comprise entre 15 et 18% est observ e pour des textes d'une longueur moyenne de 181 mots. Il appara t donc que plus une langue est morphologiquement riche, plus il devient pertinent de prendre en compte le niveau morphologique de la langue travers une proc dure de stemming, voire de traitements morphologiques plus volu s. En conclusion, nous retenons que l'utilisation d'une racinisation en RI peut tre ecace condition de tenir compte d'un certain nombre de facteurs. Nous pensons plus particuli rement la n cessit, lorsque l'on regroupe les variantes morphologiques d'un m me terme, de s'assurer de l'existence d'une relation entre ces termes qui d passe le niveau morphologique (i.e. essayer de d terminer un lien s mantique). Il est galement important de v rier la abilit de l'outil utilis (i.e. contr ler qu'il ne g n re pas un taux d'erreurs trop important). Ce contr le est d'autant plus important lorsque l'on utilise cette proc dure sur des langues morphologiquement riches. Enn, il est important de remarquer que la di rence entre les r sultats des exp riences s'expliquent galement par la dicult valuer concr tement l'impact de ce traitement sur les performances des SRI, les mesures de rappel et de pr cision tant, en particulier peu adapt es et trop impr cises pour cette valuation [Hul96, Pai94]. C'est pourquoi, avant de conclure d nitivement sur l'apport ou non de la proc dure de stemming enri,ilestcertainement n cessaire de mener de nouvelles exp riences qui utilisent des mesures d' valuation plus appropri es. PI n1690

16 14 F. Moreau & P. S billot An d'avoir une vision g n rale de l'int r t des informations morphologiques au sein des SRI, nous nous int ressons pr sent aux syst mes qui int grent une analyse morphologique plus sophistiqu e des documents et requ tes, analyse qui s'eectue par le biais de lemmatiseurs (qui se focalisent sur des informations de morphologie exionnelle) et d'analyseurs d rivationnels (qui consid rent les informations de morphologie d rivationnelle). Notre choix de ne pas faire de distinction dans notre pr sentation entre ces deux types d'outils se justie par le fait que, au sein des diverses exp riences que nous allons d crire, ces traitements sont souvent coupl s en raison de leur compl mentarit Utilisation d'analyseurs morphologiques exionnels et d rivationnels Comme pour la proc dure de racinisation, les analyseurs morphologiques (exionnels et d rivationnels) interviennent deux niveaux d'un SRI. Ils peuvent, en eet, tre appliqu s pour l'indexation des documents et des requ tes. C'est le cas le plus fr quent. L'appariement entre les termes de la requ te et ceux des documents s'eectue donc sur la base du lemme (pour les analyseurs exionnels) ou de la racine (pour les analyseurs d rivationnels). Ils peuvent aussi intervenir uniquement pour la t che d'extension des requ tes. Il s'agit alors d'identier les lemmes des termes des requ tes et d'enrichir ces derni res l'aide des familles morphologiques constitu es partir d'analyses exionnelles et d rivationnelles. Nous nous int ressons ici ces informations obtenues par le biais d'outils de lemmatisation et d'analyse d rivationnelle, appliqu s lors de l'analyse morphologique des documents et requ tes. Apr s avoir donn certains r sultats d'exp rimentations r alis es pour valuer leur impact, nous pr sentons quelques points-cl s li s l'application de ces traitements en RI. Quelques r sultats Les exp riences de Gaussier et al. [GGS97] pour le Fran ais montrent l'apport de la morphologie exionnelle en RI. Les r sultats obtenus lors de l'int gration d'un module de lemmatisation 14 dans leur SRI pr sentent une am lioration de la pr cision moyenne de 16%. Ces auteurs proposent galement de combiner le traitement de lemmatisation un module dit de morphologie relationnelle 15. Le fonctionnement de ce module, bas sur un lexique d rivationnel, est d'extraire des suxes potentiels qui sont ensuite r utilis s pour tenter de relier les lemmes de m me famille. Ce traitement additionnel ore une augmentation compl mentaire de la pr cision moyenne de 2%. Zweigenbaum et al. [ZGD01] montrent galement l'apport faible mais r el de la lemmatisation et de la d rivation dans une t che d'appariemententre requ tes et termes normalis s. La principale di rence avec l'exp rience pr c dente est que le SRI utilis est sp cialis dans un domaine de connaissance restreint (i.e. le domaine m dical). L'utilisation de connaissances exionnelles 16 et d rivationnelles am liore en moyenne les r ponses une requ te. 14. Utilisation des outils de lemmatisation de Xerox. 15. Nous consid rons ici le terme relationnel comme quivalent d rivationnel. Pour une distinction plus pr cise de ces notions, se r f rer [GGS97]. 16. L'analyseur exionnel utilis est le lemmatiseur flemm d velopp par Namer [Nam00]. Irisa

17 Contributions des techniques du TAL lari 15 La exion agit dans 6,6% des cas avec une hausse modeste, et la d rivation agit dans 2% des cas avec une augmentation plus nette. Les exp riences de Vilares Ferro et al. [VBA02] pour l'espagnol exploitent galement successivement ces deux types d'analyseurs. La premi re tape du syst me consiste tiqueter morpho-syntaxiquement les unit s lexicales et obtenir les lemmes des textes indexer. Chacun des lemmes est ensuite remplac par le repr sentant de la famille morphologique laquelle il appartient. Une hausse signicative du rappel peut alors tre constat e par rapport une proc dure de stemming traditionnelle. Points-cl s Au vu de ces exp riences, il appara t donc que l'analyse morphologique exionnelle et d rivationnelle des documents et requ tes peut tre consid r e comme une t che pertinente en RI. Gr ce aux r gles linguistiques fortes qu'elle met en jeu, elle limite les rapprochements de termes non li s. De plus, son application peut constituer une premi re tape de d sambigu sation des mots 17.Lapriseen compte des variantes allomorphiques favorise le rappel. N anmoins, comme pour la proc dure de stemming, l'impact d'une analyse morphologique (exionnelle ou d rivationnelle) semble troitement li la langue prise en compte les exp riences d crites pr c demment ont cependant toutes t men es sur des langues morphologiquementriches (aussi bien le Fran ais que l'espagnol), et il convient d' tudier sa pertinence pour d'autres langues, telles que l'anglais par exemple. La combinaison des deux types de morphologie para t tre une solution ecace en vue de l'accroissement des performances des syst mes. L'int r t du couplage est justi, en eet, par la compl mentarit des deux analyses : la lemmatisation permet, sans g n rer un nombre d'erreurs important, le regroupementdevariantes morphologiques de m me cat gorie grammaticale. L'analyse d rivationnelle conduit ensuite, partir des r sultats de la lemmatisation, rassembler (de fa on plus pr cise qu'une proc dure de stemming car motiv e linguistiquement) les variantes morphologiques quelle que soit leur cat gorie grammaticale. Il semble toutefois important, lors de leur int gration au sein d'un SRI, de bien cloisonner les traitements li s la morphologie d rivationnelle des traitements li s la morphologie exionnelle an d'optimiser au mieux leur ecacit, ce que conrment les exp riences r alis es par Savoy [Sav93]. La pr sentation de ces outils de lemmatisation et d'analyse d rivationnelle, telle que nous venons de la faire, ne nous permet cependant pas de mettre clairement en vidence leur valeur ajout e par rapport la proc dure de stemming d crite pr c demment. Il est donc n cessaire d'aller plus loin dans cette tude si l'on souhaite d terminer le type d'outils qui a le plus d'impact pour traiter le probl me de la variation morphologique en RI. 17. L'analyse et la production de la forme de base d'un terme polys mique peut n cessiter la d termination automatique de sa cat gorie morpho-syntaxique (e.g. porte = nom ou verbe) en se basant sursoncontexte d'apparition. PI n1690

18 16 F. Moreau & P. S billot 2.3 Stemming vs analyse morphologique Nous faisons ici tat de di rentes exp riences qui comparent l'ecacit des stemmers celle de lemmatiseurs et analyseurs d rivationnels. Les r sultats de ces travaux nous permettent de dresser un bilan plus g n ral qui montre l'int r t d' valuer l'inuence des erreurs g n r es par ces outils, et met en valeur l'id e que le choix de l'outil appliquer d pend fortement de la nature des traitements qui succ dent l'analyse morphologique Exp riences comparatives Hull et Grefenstette [HG96] s'int ressent au calcul de la pertinence des r sultats d'un SRI en r ponse une requ te en comparant des donn es t moins (i.e. requ tes et documents en Anglais non racinis s ni lemmatis s) celles trait es par quatre algorithmes : un algorithme de stemming soit de Lovins, soit de Porter, une proc dure de lemmatisation et un module de d rivation. Leurs exp rimentations indiquent que les performances des algorithmes d pendent des caract ristiques de la requ te formul e [Nam00]. Il appara t toutefois que pour des requ tes types (i.e. importantes relativement au test de Friedman), la lemmatisation est dans 40% des cas l'une des deux meilleures m thodes pour retrouver et classer les documents pertinents. Les auteurs analysent les cas d' chec comme tant li s au lemmatiseur utilis dans l'exp rience qui, d'une part, n'a pas la capacit de reconna tre les mots inconnus et, d'autre part, repose sur des r gles qui, bien qu' tant pertinentes en linguistique 18,sont dommageables en RI 19. Ils pr disent que pour une langue comme le Fran ais, les r sultats seront sans doute encore meilleurs, condition d'utiliser un lemmatiseur non tributaire d'un dictionnaire. Moulinier et al. [MML00] comparent la fois les impacts respectifs d'un traitement de lemmatisation, d'une proc dure de stemming (de type Porter) et d'un syst me sans analyse morphologique sur les performances d'un SRI, et mettent en valeur les di rences importantes observ es pour le Fran ais et l'anglais selon l'analyse mise en uvre. Les r sultats obtenus pour le Fran ais peuvent tre rapproch s de ceux de Hull et Grefenstette [HG96] pour l'anglais, except que la lemmatisation fournit des r sultats l g rement meilleurs. Deux observations majeures issues de ces travaux sont qu'un stemmer de type Porter est trop agressif et produit un nombre important d'erreurs pour le Fran ais, et que le lemmatiseur utilis dans l'exp rience, bas sur un lexique, ne traite pas tous les mots des textes, t moignant par-l m me des limites de l'utilisation de telles ressources dans un cadre de RI. Dans l'ensemble, ces di rentes tudes tendent montrer l'int r tdeprendreencompte les variantes morphologiques pour am liorer le rappel et la pr cision des SRI. Mais il reste toutefois encore dicile de choisir clairement le type d'outils (i.e. stemmer vs analyseurs exionnels et d rivationnels) r ellement le plus adapt. Comme nous d j l'avons vu, la proc dure de stemming peut tre b n que certaines conditions (i.e. selon la langue prise en compte, le type de stemmer utilis et les erreurs qu'il g n re) l'approche la plus ecace 18. L'exemple donn est celui du nom optics qui n'est pas reli optic puisque ce dernier est un adjectif. 19. L'exemple cit (toujours par les auteurs) est celui de la requ te ber optics qui ne permet pas de retrouver des documents (pourtant pertinents) traitant de ber optic. Irisa

19 Contributions des techniques du TAL lari 17 consiste coupler un racineur avec une proc dure de contr le (e.g. introduire une dimension s mantique entre les variantes morphologiques) qui permet de v rier que les variantes regroup es ont eectivement un lien morphologique. L'analyse morphologique d'ordre exionnel, qui para t d'ailleurs assez able, contribue galement am liorer les performances des syst mes, et semble plus particuli rement adapt e aux langues morphologiquement riches. Son couplage avec un traitement de morphologie d rivationnelle, en proc dant au rassemblement des formes quelles que soient leurs cat gories grammaticales, ore l'avantage de retrouver plus de variantes Impact des erreurs Si l'on cherche valuer l'inuence exacte des erreurs g n r es par ces divers outils, on constate que celle-ci est fortement li e la fa on dont les variantes morphologiques vont tre utilis es. Le syst me d velopp par Xu et Croft [XC98] par exemple ne n cessite pas une analyse morphologique ne puisque les r sultats obtenus sont coupl s des traitements statistiques qui op rent un ltrage des erreurs obtenues par la proc dure de stemming. Ainsi, pour reprendre l'exemple de Dal et Namer [DN00], que les mots marmaille et marmite soient consid r s comme appartenant une m me famille de radical n'est pas si pr judiciable, car les chances de voir appara tre ces deux mots ensemble au sein de documents sont assez faibles. l'inverse, pour les syst mes qui n'utilisent pas de ltrage statistique, les erreurs g n r es par les stemmers peuvent devenir rapidement n fastes, p nalisant aussi bien la pr cision que le rappel Prise en compte des traitements des autres niveaux linguistiques Le choix de la m thode adopter pour g rer le probl me des variantes morphologiques d pend galement des traitements qui succ deront l'analyse morphologique. Si l'on souhaite int grer des analyses linguistiques compl mentaires au sein du SRI (i.e. prise en compte des niveaux syntaxique et s mantique de la langue), l'utilisation d'une analyse morphologique plus sophistiqu e s'av re n cessaire dans la mesure o les traitements suivants exploiteront les informations fournies en sortie de cette premi re phase. Ainsi, une analyse syntaxique peut, par exemple, exploiter les informations exionnelles fournies par le lemmatiseur les cat gories morpho-syntaxiques g n r es par l'analyse morphologique sont galement utiles pour un traitement ded sambigu sation. De plus, si l'on souhaite recourir des ressources lexicales ou s mantiques (e.g. des dictionnaires), il est indispensable de disposer du lemme qui, contrairement austem, est la forme standard des entr es lexicales de ces ressources. Inversement, l'apport r el des informations morphologiques sur les performances des SRI pourrait certainement tre accru par l'int gration d'analyses plus pouss es (e.g. exploitation du niveau syntaxique ou s mantique). Un certain nombre d'exp riences montrent que des erreurs des traitements morphologiques sont li es la non prise en compte des termes complexes (extractibles par une analyse syntaxique) ou la pr sence de termes morphologiquement ambigus (d sambigu sables par le biais d'informations s mantiques ou syntaxicos mantiques). Comme l'attestent Arampatzis et al. [AVKV00] ou Krovetz [Kro93], ce sont PI n1690

20 18 F. Moreau & P. S billot les variations linguistiques qui d gradent nettement les r sultats. Traiterlavariation morphologique constitue une premi re tape, qui doit tre compl t e par la prise en compte de celles d'autres niveaux de la langue pour se faire une opinion plus pr cise de ce que les informations linguistiques peuvent apporter la RI. Irisa

21 Contributions des techniques du TAL lari 19 3 Prise en compte de connaissances syntaxiques en recherche d'information Cette deuxi me section est d di e l' tude et l' valuation de l'int gration d'informations d'ordre syntaxique au sein de SRI. Nous pr sentons tout d'abord les types de connaissances syntaxiques qui peuvent tre concr tement exploit s, en nous limitant deux d'entre eux : les termes complexes et structur s. Nous d crivons successivement, dans les deux parties suivantes, diverses exp riences prenant en compte chacune de ces sortes de donn es, et analysons les r sultats obtenus. Nous terminons enn par la mention d'adaptations qu'il est n cessaire de pr voir pour les SRI si l'on souhaite int grer de telles informations. 3.1 Informations syntaxiques et RI L'analyse syntaxique s'int resse l' tude de la structure des phrases et des syntagmes. Son application un document permet 20 notamment de prendre en compte l'ordre des mots dans une phrase, d'identier les fonctions grammaticales des termes, de rep rer des termes complexes ou des collocations... Dans un cadre de RI, toutes ces informations syntaxiques ne sont pas forc ment exploitables 21,etnousavons choisi de nous int resser plus particuli rement deux types de structures : les termes complexes et structur s. Nous d butons cette section par les d nitions successives de ces deux notions, et expliquons ensuite comment elles peuvent tre exploit es en RI Terme complexe Un terme complexe est une unit lexicale constitu e d'au moins deux termes pleins, auxquels peuvent s'adjoindre des d terminants et pr positions. Tr s fr quemment, les termes complexes tudi s contiennent deux noms 22. Les termes complexes ontl'avantage d' tre moins ambigus que les simples, et sont souvent plus aptes d signer des concepts puisqu'ils r f rent g n ralement un domaine de connaissance sp cialis. Ceci leur conf re un int r t particulier en RI pour repr senter le contenu s mantique de documents et requ tes. Ils sont toutefois plus diciles rep rer car sujets des variations (cf. section 3.1.3). Les termes complexes peuvent tre extraits de textes l'aide de techniques d'acquisition exploitant soit des indices num riques (aspect fr quentiel), soit des indices structurels (aspect symbolique), ou combinant ces deux approches de l'extraction [Cla03]. Alors que 20. Selon les applications, e.g. la traduction automatique, la correction orthographique, la recherche d'information..., les besoins sont di rents. 21. Certaines informations exigent, pour leur acquisition, une analyse des documents particuli rement profonde qui n'est pas toujours r alisable en RI puisque le temps de traitement peut tre un facteur important prendre en compte, de m me que les qualit et variabilit r dactionnelles des documents. 22. Exemples de termes complexes : accident devoiture, pince piler, ing nieur chimiste... En Fran ais, les structures du type Nom Pr p (Det) Nom sont fr quentes. PI n1690