Croisement de langues en recherche d information : traduction et désambiguisation de requêtes par phrases alignées

Transcription

1 Croisement de langues en recherche d information : traduction et désambiguisation de requêtes par phrases alignées Nawel Nassr, Mohand Boughanem Laboratoire IRIT/SIG Campus Univ. Toulouse III 118, Route de Narbonne F Toulouse Cedex 4 {nassr, boughane}@irit.fr RÉSUMÉ. Cet article compare deux techniques de traduction de requêtes pour le croisement de langues en recherche d information. La première technique utilise un dictionnaire bilingue et la seconde est basée sur l utilisation de phrases alignées dans un corpus parallèle. Les résultats obtenus à partir d expérimentations effectuées sur une collection de documents provenant du programme CLEF2001, montrent que la traduction de requêtes par phrases alignées est viable en recherche d information multilingues. ABSTRACT. This paper comparestwo query translation techniques in Cross languageinformation Retrieval(CLIR). The first one is based on bilingual dictionary and the second is based on parallel sentences. Results obtained via experiments carried out on CLEF2001 collection, showed that the query translation based on parallel sentences is effective in multilingual information retrieval. MOTS-CLÉS : Croisement de langues, système de recherche d information Mercure, dictionnaire bilingue, traduction de requêtes, phrases alignées, corpus aligné. KEYWORDS: Cross-Language, information retrieval system Mercure, parallel sentences, bilingual dictionary, query translation, aligned corpus. XXème Congrès INFORSID - Nantes, 4-7 juin Volume 8 - n 8/2002, pages 1 à 11

2 2 XXème Congrès INFORSID - Nantes, 4-7 juin Volume 8 - n 8/ Introduction Le développement de l Internet avec ses collections d information écrites dans différentes langues, conduit le réseau des réseaux naturellement vers un multilinguisme de fait. Eliminer les barrières de la langue en permettant à un Système de Recheche d Information (SRI) de retrouver des documents pertinents exprimés dans une langue autre que celle de la requête, est une tâche importante à laquelle la communauté de la Recherche d Information (RI) s intéresse de plus en plus. La recherche d information par croisement de langues (Cross-Language) [GRE 98], est la possibilité offerte à un SRI de sélectionner des documents exprimés dans une langue différente de celle de la requête. Ceci nécessite donc, soit la traduction des documents vers la langue de la requête, soit la traduction de la requête vers la langue des documents, soit de trouver des représentations des documents et des requêtes indépendantes de la langue. Les travaux effectués dans le domaine de la recherche d information par croisement de langues se sont principalement focalisés sur la traduction de requêtes car elle est moins coûteuse [OAR 96]. Dans ce contexte, ces systèmes tentent de résoudre trois problèmes majeurs. Le premier problème concerne la traduction des termes de la requête. Dans ce cas on essaie de substituer chaque terme exprimé dans la langue source ( ) par un ou plusieurs terme(s) censés le représenter dans la langue cible ( ). Dans le cas où un terme possède plusieurs traductions, le second problème posé est le choix de la ou des meilleure(s) traduction(s), c est le problème de désambiguisation. Ceci conduit au troisième problème qui concerne la pondération des termes traduits. Les méthodes de traduction de requêtes proposées sont basées sur l utilisation de : Dictionnaires bilingues : l idée principale de ces techniques est de remplacer chaque terme de la requête par le ou les terme(s) approprié(s) dans la langue cible. Davis [DAV 96] et Ballestros [BAL 96], exploitent une version électronique du Collins pour réaliser la traduction des termes de la requête de l anglais vers l espagnol et Gollins et al[san 00] utilisent le dictionnaire multilingue EuroWordnet pour traduire les termes de la requête de l allemand vers l anglais. Corpus alignés (parallèles ou comparables) : les méthodes basées sur le corpus utilisent directement le contenu d un ensemble de documents, regroupés dans un corpus soit pour la traduction ou pour la désambiguisation des requêtes. Davis [DAV 96], Ballestros [BAL 98], Sheridan [SHE 96] et Braschler et al [SCH 00] ont utilisé les corpus pour la traduction de requêtes. Cette traduction est réalisée en utilisant un thesaurus de co-occurence construit automatiquement à partir du corpus aligné. Boughanem et al [BOU 00],[BEN 02] ont proposé différentes techniques de désambiguisation, notamment celles basées sur la traduction bidirectionnelle des termes de la requête (de l anglais vers le français puis du français vers l anglais) et celles basées sur l ordre

3 Croisement de langues en recherche d information 3 lexicographique ou sur les coefficients de corrélation dans les corpus alignés. Nous rappelons, que l alignement de documents consiste à mettre en correspondance des documents de langues différentes selon un critère donné. Nous distinguons deux types d alignement : alignement parallèle et alignement comparable. - L alignement parallèle consiste à mettre en correspondance chaque document d une langue source avec le document représentant sa traduction dans la langue cible. Dans ce cas on peut réduire la taille des parties étudiées comparativement afin de mieux cibler les correspondances, ainsi l alignement peut être fait sur: le document, les paragraphes, les phrases ou les termes. - L alignement comparable plus délicat à réaliser [SHE 96], revient à mettre en correspondance des documents en se basant sur des critères comme par exemple la présence de mêmes dates, de mêmes noms de personnes dans des documents de langues différentes [GRE 98], [OAR 96]. Dans ce cas, on n utilise plus des documents et leurs traductions, mais des documents de différentes langues dont le contenu est proche; en effet l alignement se fait selon le contexte des documents et ne peut être réalisé que sur le document en entier. Traducteurs automatiques : les techniques basées sur les traducteurs automatiques sont principalement employées lors de la traduction des documents. Ces systèmes sont généralement plus complexes et loin d être parfaits. Les travaux de Yamabana [YAM 96],Oard [OAR 96] et Gey [GEY 95] ont montré des performances plus faibles que les techniques de traductions citées ci-dessus. Ceci est dû au fait que la requête est souvent une liste de mots dépourvue de syntaxe. Dans ce cas précis, les traducteurs automatiques ne produisent pas de bonnes traductions [PIR 98]. La plupart des travaux basés sur les corpus alignés utilisent l alignement de documents soit pour la traduction [DAV 96], [BAL 98], [SHE 96], [SCH 00] ou bien pour la désambiguisation de requêtes [BOU 00], [BEN 02]. Pour notre part, nous proposons dans cet article une technique de traduction de requêtes basée sur les phrases alignées. Pour montrer la faisabilité de cette technique, nous l avons comparée à la traduction par dictionnaire bilingue. Nous décrivons dans la section 2 de cet article, la technique de traduction que nous proposons. La section 3 présente les expérimentations effectuées sur la base CLEF (Cross Language Evaluation Forum) et les différents résultats obtenus. 2. Traduction par phrases alignées La technique que nous proposons pour la traduction de requêtes est basée sur l utilisation des phrases alignées dans un corpus aligné. Le corpus aligné que nous avons utilisé, contient des documents en langue source. CLEF: Cross Language Evaluation Forum, est un programme de recherche pour l évaluation des techniques et approches de croisement de langues en recherche d information, (

4 4 XXème Congrès INFORSID - Nantes, 4-7 juin Volume 8 - n 8/2002 (an- (français dans notre cas) qui sont alignés avec les documents en langue cible glais dans notre cas). La figure 1 donne un exemple de deux documents alignés. DOC1 dans la Langue source (Ls) (C1 (P1 (S1 les quantités de précipitation )S1 (S2 )S2 )P1 (P2 (S1 )S1 )P2 )C1 (C2 (P1 (S1 )S1 )P1 )C2 DOC1 dans la Langue cible (Lc) (C1 (P1 (S1 precipitation amounts )S1 (S2 )S2 )P1 (P2 (S1 )S1 )P2 )C1 (C2 (P1 (S1 )S1 )P1 )C2 Figure 1. Exemple de corpus aligné Un document du corpus est composé d un ensemble de sections, eux mêmes composées de paragraphes qui eux mêmes sont composés de phrases. Outre ces élements, nous disposons d un alignement plus fin effectué entre phrases (éléments ). La figure 2 donne un exemple de fichier de cet alignement. DOC1 en Ls C1P1S1 C1P1S2 C1P2S1 C2P1S1 DOC1 en Lc C1P1S1 C1P1S2 C1P2S1 C2P1S1 Figure 2. Exemple d alignement de phrases entre documents du corpus aligné Le fichier décrit l alignement entre les phrases de deux documents alignés dans le corpus, par exemple la phrase du paragraphe de la section du document Doc1 écrit en langue source (français) est alignée avec la phrase du paragraphe de la section du document Doc1 écrit en langue cible (anglais). Il faut noter que pour nos éxpérimentations, nous avons utilisé le corpus WAC (Word-wideweb Aligned Corpus) de RALI (Laboratoire de Recherche appliquée en linguistique informatique - Université de Montréal) qui dispose de ces différents alignements.

5 Croisement de langues en recherche d information 5 L approche adoptée pour la traduction de requêtes est représentée shématiquement par la figure 3. On y distingue deux opérations principales: l indexation et la traduction Documents du corpus Requête en Ls Liste mots Indexation Représentation du corpus par pharses alignées Traduction Liste substitutions Collection de Documents Comparaison Documents retrouvés Représentation de requête en Lc Figure 3. Approche générale pour CLIR Indexation: le corpus aligné est dans un premier temps indexé. L indexation du corpus est effectuée sur les phrases. L unité indexée donc sélectionnée est la phrase. L indexation consiste à extraire les mots d une phrase d un document puis à les radicaliser, soit par troncature pour le français ou bien par l algorithme de Porter pour les textes en anglais. Les mots vides de la langue sont éliminés. Le résultat de cette opération est une liste de mots significatifs extraits des phrases avec un poids associé à chaque terme. Le résultat de cette indexation est : - Un fichier inverse indexant les phrases des documents - Un fichier inverse indexant les phrases des documents en français. en anglais. Traduction: le processus de traduction est contextuelle. En effet notre but n est pas de traduire chaque mot de la requête initiale, comme ceci est fait dans les techniques basées sur le dictionnaire. Le processus de traduction représentée schématiquement par la figure 4. Il est effectué de la façon suivante : la requête initiale (écrite en ) est évaluée sur les phrases du corpus en. On récupère les phrases de alignées avec celles sélectionnées par la requête initiale. On extrait à partir de ces phrases de les meilleurs termes. Ces termes sont triés par rapport à leur poids détaillé ci dessous. Ces termes représentent donc la traduction de la requête initiale. D un point de vue algorithmique, ce processus se traduit comme suit :

6 R 5 6 XXème Congrès INFORSID - Nantes, 4-7 juin Volume 8 - n 8/2002 Requête en Ls Termes en Ls Ls t 1 Ls t 2 Recherche monolingue S3 S1 S2 Langue source (Ls) S3 S1 S2 Langue cible (Lc) Corpus aligné par phrases Selection des n meilleurs termes Termes en Lc Lc t 1 Lc t 2 Lc t 3 Requête en Lc Figure 4. Traduction basée sur les phrases alignées dans. - Evaluer la requête source sur les phrases du corpus aligné exprimées (français), dans notre cas chaque phrase est considérée comme un document. - Sélectionner les premières phrases ( ) répondant à la requête source - Sélectionner les phrases alignées avec celles de (b). Soit l ensemble de ces phrases,.. - Pour chaque terme des phrases de calculer un score :!"$#&%&')(+* -, /&01& où: 6 est le poids du terme i dans la phrase. Ce poids est donné par la formule suivante [BOU 00] : 6 *98 7 ;: (=<?> < :A@ #CBD(E FHG <HJ,I, > <HK :MLONQPL > <S : *98 Notations 6 : : le poids du terme* dans la phrase, *98 : la fréquence d apparition du terme* dans la phrase, T : nombre total de phrases, U : le nombre de phrases contenant le terme*, [1]

7 <,<,< and < : la longueur de la phrases, Croisement de langues en recherche d information 7 : des paramètres constant, 6 : taille moyenne d une phrase, - Trier les ( U, premiers termes de plus grand poids, soit * * * F. - Construire la requête cible finale en anglais, comme suit :, est la traduction de la requête source. 3. Expérimentations et résultats 3.1. La collection de documents L expérimentation a été effectuée sur un corpus de documents issus du projet CLEF2001. Cette collection est composée de: documents en anglais CLEF-Ang. Le corpus de documents utilisé provient des journaux Los Angeles Times (Etats-Unis). Le tableau 1 montre les caractéristiques de cette collection. Collection CLEF 2001 CLEF-Ang Nbre de documents Nombre de termes Taille moyenne d un Document 282 Tableau 1. Les caractéristiques de la collection CLEF requêtes exprimées en français. La requête est une liste de termes. Jugements de pertinence: les jugements de pertinence déterminent pour chaque requête, l ensemble de ces documents pertinents. Dans nos tests nous nous sommes restreints à un croisement sur la paire de langues Français-Anglais. Les expérimentations effectuées consistent à sélectionner les documents en anglais pour des requêtes exprimées en français. L indexation des documents est effectuée par le système Mercure développé au sein de l équipe SIG de l IRIT [BOU 00]. Le processus d indexation produit pour chaque document une liste de termes pondérés. Le processus de recherche consiste à comparer la liste des termes de la requête avec celles des documents. Une liste ordonnée de documents est retournée à l utilisateur en réponse à la requête.

8 8 XXème Congrès INFORSID - Nantes, 4-7 juin Volume 8 - n 8/2002 Le corpus aligné utilisé pour la traduction contenant des phrases alignées est le WAC, corpus aligné (Français-Anglais) construit à partir des pages Web par le RALI ( Le tableau 2 présente quelques caractéristiques du corpus WAC. Corpus WAC Corpus Français Corpus Anglais Nbre de phrases Nombre de termes Taille moyenne d une phrase 7 6 Tableau 2. Les caractéristiques du corpus WAC aligné par phrases 3.2. Expérimentation Le but de nos expérimentations est double: Le premier objectif consiste à montrer si la traduction par phrases alignées est viable en recherche d information multilingues. Pour ce faire, nous comparons cette technique à celle basée sur le dictionnaire bilingue. Pour cette expérimentation nous avons utilisé un dictionnaire bilingue (français-anglais) obtenu gratuitement via Internet le dictionnaire est une liste simple de termes en français alignés avec d autres termes en anglais. le second consiste à mesurer si les phrases alignées peuvent être utilisées pour désambiguiser les requêtes traduites par le dictionnaire bilingue. Trois expériences ont été réalisées. Dictionnaire: la liste des termes de la requête en français est traduite via le dictionnaire bilingue en une requête en anglais. Cette requête en anglais est évaluée sur les documents exprimés en anglais. Phrases alignées: la liste des termes en français est traduite via les pharses alignées en une requête en anglais. Cette requête est ensuite évaluée avec les documents en anglais. Combinaison du dictionnaire avec les phrases alignées (dico+désambiguisation): la requête source est traduite via le dictionnaire en langue cible. Cette requête sera notée. La désambiguisation consiste à : - traduire la requête initiale par phrases alignées. Le résultat est une requête, notée 2. - Pour chaque terme* de faire : - Si* est dans 2, alors garder*, - Sinon Si* est la seule traduction d un terme source, alors garder*,. - Sinon supprimer* de

9 Croisement de langues en recherche d information 9 L évaluation des performances est effectuée sur l ensemble des documents sélectionnés pour les 50 requêtes. Cette évaluation est effectuée en se basant sur les mesures de rappels et de précision. Soient les précisions à différents points P5, P10, P15, P100 représentant le nombre de documents pertinents parmi les 5, 10, 15, 100 premiers documents, et une précision moyenne (Prec.Moy) sur l ensemble des documents sélectionnés. Cette évaluation est effectuée selon le processus TREC 2 (Text REtrieval Conference)[VOO 98]. id-exec (50 requêtes) P5 P10 P15 P100 Prec.Moy Dictionnaire Phrases alignées Amélioration (%) Tableau 3. comparaison entre le dictionnaire et les phrases alignées La tableau 3, compare les résultats de la technique basée sur les phrases alignées à ceux obtenus par le dictionnaire. On remarque clairement que les résultats obtenus par les phrases alignées sur toutes les précisions sont meilleurs que ceux obtenus par le dictionnaire. Plus précisement la précision moyenne (Prec.Moy) est de contre pour les phrases alignées. Ce résultat est dû à l alignement par phrases qui pour un terme donné récupère la traduction exacte du terme source, contrairement au dictionnaire qui propose plusieurs traductions pour un terme donné (le problème d ambiguité). La précision moyenne augmente de 8%. id-exec (50 requetes) P5 P10 P15 P100 Prec.Moy Dictionnaire dico+désambiguisation Amélioration (%) Tableau 4. Impact de la désambiguisation basée sur les phrases alignées Le tableau 4, montre l impact des phrases alignées utilisées pour la désambiguisation des traductions par dictionnaire. On remarque qu effectivement la précision augmente sur tous les points. Mais, cette augmentation reste faible par rapport à l utilisation des phrases alignées comme moyen de traduction, comme on peut le voir dans le tableau 5. Le tableau 5 récapitule les résultats obtenus par les différentes techniques. La technique basée sur les phrases alignées donne de meilleurs résultats par rapport au dictionnaire et au dico+désambiguisation. La précision moyenne(prec.moy) est de contre et pour les pharses alignées.. TREC: un programme international d évaluation des systèmes de recherche et de filtrage d information,

10 10 XXème Congrès INFORSID - Nantes, 4-7 juin Volume 8 - n 8/2002 id-exec (50 requetes) P5 P10 P15 P100 Prec.Moy Dictionnaire Phrases alignées dico+désambiguisation Tableau 5. comparaison entre les trois techniques Revenons sur la comparaison éffectuée entre la technique des phrases alignées et celle basée sur le dictionnaire. Nous rappelons que nous avons utilisé un dictionnaire bilingue, récupéré gratuitement via Internet. On pouvait penser, à juste titre, que les résultats obtenus par la technique des phrases alignées sont meilleurs que ceux du dictionnaire, car celui ci est une version gratuite avec un vocabulaire incomplet. Ceci n est pas vrai car ce même dictionnaire a été utilisé et testé dans d autres travaux [OAR 98], [ADR 00] qui montrent que ce dictionnaire donne des résultats comparables aux résultats des dictionnaires commerciaux. 4. Conclusion et perspectives Nous avons présenté dans cet article une technique de traduction de requêtes en recherche d information multilingues. Notre technique basée sur les phrases alignées a été comparée à celle basée sur le dictionnaire. Ces techniques ont été testées en utilisant le moteur de recherche Mercure. Nous avons montré que l utilisation de notre technique est une solution viable est intéressante pour la traduction de requêtes en recherche d information multilingues. Les résultats obtenus par cette dernière donne de meilleurs résultats en terme de précision que le dictionnaire. Les phrases alignées peuvent être également un moyen de désambiguisation de requêtes. Il faut également noter que le corpus WAC utilisé pour la traduction n a pas de lien avec la collection de documents utilisé pour les tests. Nous rappellons que cette collection est composée d articles de journaux. Nous souhaitons élargir notre technique de traduction vers d autres langues, par exemple traduire des requêtes éxprimées en français vers l italien. Dans ce cas il est souvent difficile de trouver des corpus alignés entre différentes langues, alors que les corpus de type langue vers l anglais ou de l anglais vers existent. Notre but est alors d utiliser ces corpus alignés ( -anglais, anglais- ) pour passer d une langue vers. L anglais sera considéré comme la langue pivot (intermédiaire) pour passer d une langue vers une autre langue. 5. Bibliographie [BAL 96] BALLESTEROS L., CROFT W, «Dictionary methods for cross-langual information retrieval», In proceedings of DEXA 96, pages:

11 Croisement de langues en recherche d information 11 [SAN 00] GOLLINS T, SANDERSON M,«Sheffield university CLEF2000 submission Bilingual track: German to English», Workshop of the Cross-Laguage Evaluation Forum, CLEF Lecture Notes in computer Science (LNCS 2069), Springer Verlag, Carol Peters (Ed), pages: [SCH 00] SCHAUBLE P., BRASCHLER M,«Experiments with the Eurospider Retrieval System for CLEF 2000», Workshop of the Cross-Laguage Evaluation Forum, CLEF Lecture Notes in Computer Science (LNCS) 2069, Springer Verlag, Carol Peters (Ed), pages: [BAL 98] BALLESTEROS L, CROFT W,«Resolving Ambiguity for Cross-Language Retrieval», In proceedings of the 21st ACM SIGIR 98, pages:64-71 [BOU 00] BOUGHANEM M., NASSR N,«Mercure at CLEF1», Workshop of the Cross- Laguage Evaluation Forum, CLEF Lecture Notes in Computer Science (LNCS) 2069, Springer Verlag, Carol Peters (ED), pages: [ADR 00] ADRIANI M,«Ambiguity Problem in Multilingual Information Retreival», Workshop of the Cross-Laguage Evaluation Forum, CLEF Lecture Notes in Computer Science (LNCS) 2069, Springer Verlag, Carol Peters (ED), pages: [BEN 02] BENFERHAT S.,BOUGHANEM M., NASSR N.,CHRISMENT C., PRADE H,«Disambiguation translation in multilingual queries», In proceedings of the 9th International Conference on Information Processing and Managment of Uncertainty in Knowledge-Based System (IPMU 2002), pages (à paraître). [DAV 96] DAVIS M.,«New Experiments in cross-langage test retrieval», In proceedings of TREC-5, pages: [GEY 95] GEY F,«Manual Queries and Machine Translation in Cross-Language Retrieval and Interactive Retrieval with Cheshire II»,In proceedings of the fifth Text Retrieval Conference (TREC-5), pages: [GRE 98] GREFENSTETTE G,«The Problem of Cross-language Information Retrieval», In Cross-Language Information Retrieval, Edited by Gregory Grefenstette, Kluwer Academic Publishers, pages:1-9. [OAR 96] OARD O, DORR B, «A Survey of Multilingual Text Retrieval», Report UMIACS- TR CS-TR-3615 ( [OAR 98] OARD W.O.,WANG J.,LIN D., SOBOROFF I.,«TREC-8 Experiments at Maryland: CLIR, QA and Routing», In proceedings of the Eighth Text Retrieval Conference (TREC- 8), pages: [PIR 98] PIRKOLA A.,«The Effects of Query Structure and Dictionary Setups in Dictionay- Based Cross-laguage Information Retrieval»,In proceedings of ACM-SIGIR 98, pages: [SHE 96] SHERIDAN P., BALLERINI J. P.,«Experiments in multilingual information retrieval using SPIDER system», In proceedings of ACM SIGIR 96, pages: [VOO 98] VOORHEES E.M., HARMAN D.K., «Overview of the Eighth Text REtrieval Conference (TREC-8)»,In proceedings of the Eighth Text REtrieval Conference (TREC-8). NIST Special Publication, pages:1-24. [YAM 96] YAMABANA K.,MURAKI F.,DOI S., KAMEI S,«A Language Conversion Frontend for Cross-Linguistic Information Retrieval», In proceedings of ACM-SIGIR 96, pages 43-39