Programme scientifique du projet PAPILLON Base lexicale multilingue et dictionnaires libres sur Internet

Transcription

1 Programme scientifique du projet PAPILLON Christian BOITET GETA, CLIPS, IMAG 385, av. de la bibliothèque, BP 53 F Grenoble cedex 9, France Résumé Le projet Papillon vise à créer un environnement coopératif permanent pour le développement et la consultation libre et personnalisable d une base lexicale multilingue sur la Toile. Il met en œuvre un serveur de construction coopérative, où chaque contributeur a son espace propre, de sorte que ses contributions puissent être validées et intégrées dans la base par un groupe d experts. Il s agit notamment de fournir un outil et des méthodes génériques de fabrication de ressources lexicales riches. Les données monolingues principales sont des "lexies" (sens de mots) au format DiCo, simplification du DEC par A. Polguère et I. Mel'čuk (Université de Montréal), très riche et systématique. Ces lexies sont reliées par des liens interlingues (axies). On ne se borne pas à générer des lexiques terminologiques multilingues, par nature symétriques, mais aussi et surtout des dictionnaires d usage bilingues ou multicibles. Les exemples, citations, gloses, définitions, etc., relatifs à une langue donnée, constituent des lexies particulières qui ont vocation à être traduites dans les autres langues. Des développements importants sont prévus pour la personnalisation des environnements de consultation et de contribution. Les travaux informatiques sont réalisés à Grenoble et Tokyo, le travail linguistique et lexicographique est réparti en France, au Canada, au Japon, en Australie et en Thaïlande. Une thèse démarre sur l'accélération de la création de ressources et d'outils pour des langues peu traitées, par réutilisation coopérative, avec application au lao. 1. Motivations, contexte et objectifs La motivation initiale du projet est l'absence de dictionnaires français-japonais (dans les deux sens) de taille convenable pour l'usage courant, et utilisables par des francophones non spécialistes du japonais. Les dictionnaires disponibles de plus de entrées, chers, ne contiennent les parties japonaises qu'en écriture japonaise (contenant 2000 idéogrammes), sans transcription phonétique, et donc illisible par les apprenants. D'autre part, certaines informations cruciales pour les étrangers manquent, en particulier les classificateurs (comme "brin" et "touffe" pour "herbe" en français), sans lesquels on ne peut pas compter les substantifs. Ce manque est également criant pour toutes les langues asiatiques. Il n'a été que partiellement comblé par la création du dictionnaire d'usage français-anglais-malais de entrées et acceptions FEM [22] réalisé, avec l'appui du MAE et sous la coordination de l'association Champollion, par le GETA-IMAG à Grenoble, l'utmk-usm à Penang, l'ambassade de France et le DBP à Kuala Lumpur. Ce projet a montré la voie, en particulier avec la diffusion sur papier et sur machine (disquettes, CD-ROM et site AUF-CNRS). Depuis, les efforts entrepris pour ajouter les traductions vers le thaï ont été arrêtés par la crise en Thaïlande, mais un autre projet d'extension au vietnamien (FEV, réseau Francil de l'auf) est en cours. Cpendant, la méthode employée ne permet ni d'inverser les dictionnaires (car on va des sens vers les mots et pas des sens vers les sens, ou en termes plus techniques, on va des lexies vers les vocables et pas vers les lexies), ni de créer des dictionnaires entre langues cibles. Le projet Papillon a été lancé en janvier 2000 avec le support actif de l'ambassade de France à Tokyo, en coopération avec le National Institute of Informatics (NII) japonais. Depuis, des partenaires thaïlandais (Kasetsart University & NECTEC à Bangkok) se sont joints au projet, et Vincent Berment, spécialiste de l'informatisation et du traitement du lao, a entrepris une thèse sur l'accélération de la construction de ressources et d'outils linguistiques pour les langues "mal dotées", par réutilisation de ressources et d'outils existant pour des langues voisines mieux dotées, avec application au lao, proche du thai. Enfin, l'université de Da Nang, partenaire du projet FEV, et l'université de Hanoi, ont rejoint le projet. 1/7

2 La méthode retenue pour résoudre le problème consiste à construire une grande base lexicale "symétrique", formée de dictionnaires monolingues de "lexies" (sens de mots) reliés par des acceptions interlingues (architecture à "pivot"), d'où on pourra tirer à tout moment des dictionnaires et des lexiques bilingues ou multicibles, à usages humains et machinaux, dans des formats variés, avec filtrage et présentation personnalisés des informations. Pour chaque langue, on construit un dictionnaire strictement monolingue au format DiCo de Polguère et Mel'čuk [31], où l'unité essentielle est la "lexie" (sens de mot), avec une description très riche et systématique (collocations, fonctions lexico-sémantiques, exemples ) permettant des usages fins et variés. On relie les lexies dans un "pivot" central de "liens interlingues" dits aussi "acceptions interlingues" ou "axies", en utilisant pour cela les équivalences traductionnelles attestées par les sources disponibles. Ces axies ont donc un statut plus linguistique que conceptuel, et sont motivées de façon pragmatique et testable, ce qui évite les problèmes de construction d'ontologies. Dans un souci d'ouverture vers d'autres systèmes de représentation, et de mémorisation des informations qui auront servi à construire la base, une axie n'est pas seulement reliée à une liste de lexies pour chaque langue, mais aussi, pour chaque système extérieur utilisé (Worldnet, UNL, Ontos, LexiGuide, catégories de ALT/JE ) à une liste d'éléments de ce système plus ou moins équivalents ou voisins (synsets, concepts, universal words, catégories sémantiques ). Un aspect novateur et essentiel du projet est que la construction du contenu se fera sur la base d'informations libres de droits, produites par des chercheurs (FeM, JMDict, Saikam) ou par des internautes bénévoles coopérant à travers Internet. Sur le serveur Papillon, chaque contributeur pourra voir la base active, et aura son espace de contribution privé. Seul un petit groupe d'experts aura les droits nécessaires pour intégrer les contributions dans la base active, après validation et correction. Les données produites seront disponibles publiquement selon les termes d'une licence de logiciel libre (Open Source). Les enjeux scientifiques de cette recherche sont d'ordre conceptuel, technique et ergonomique. Il s agit d'articuler : des macrostructures (organisation globale de la base) et microstructures (structures lexicales des entrées de chaque dictionnaire) pour représenter les données ; des outils permettant la manipulation des ressources lexicales ; un environnement de construction de dictionnaires en coopération et de navigation/consultation dans une base lexicale. La macrostructure représentée par une architecture avec dictionnaire pivot est basée sur les travaux de thèse de Gilles Sérasset [24]. La microstructure des dictionnaires monolingues est tirée des travaux d'alain Polguère sur le format lexicographique DiCo, qui est une simplification de celui du Dictionnaire Explicatif et Combinatoire d'igor Mel'čuk [23, 30, 31]. L'environnement de construction de dictionnaires et de navigation dans une base lexicale via Internet est basé sur les travaux de thèse de Mathieu Mangeot-Lerebours [2, 4, 5]. L'axe principal de recherche porte dans un premier temps sur la définition des structures utilisées et sur la méthodologie de construction des dictionnaires à partir de ressources existantes. Dans un deuxième temps, les problèmes majeurs tournent autour de l'organisation d'un grand serveur coopératif et de la construction d'outils permettant le travail directement sur la Toile aussi bien qu'en connexion épisodique, avec des outils portables et multilingues fondés sur XML. 2. Nécessité d'une coopération internationale La coopération internationale est naturellement nécessaire pour un tel projet multilingue : le but étant de créer des données lexicales pour les différentes langues du projet, les compétences se trouvent dans les pays parlant ces langues, les théories lexicales étant influencées par la perception des phénomènes linguistiques dans la culture de leurs auteurs, il est bon de se référer aux théories les plus admises dans chaque pays, par exemple en ce qui concerne les catégories morphosyntaxiques, les classificateurs numériques, et les niveaux de langue. 2/7

3 3. Travaux déjà effectués en commun 3.1 Première année du projet Le premier séminaire Papillon (août 2000, Tokyo) a permis la prise de décisions conceptuelles essentielles telles que l adoption de la notion de lexie de Mel'čuk/Polguère et plus généralement de la structure générique DiCo pour les dictionnaires monolingues. Un site Web ( a été mis à disposition par l'unu (Université des Nations-Unies, Tokyo), et une liste de discussion (très active) a été créée. Ces outils servent quotidiennement de support de réflexion aux partenaires du projet PAPILLON, répartis dans 4 continents. Les schémas XML des DiCo et du pivot ont été écrits (en 1ère version), et un certain nombre d'articles en français, japonais et anglais ont été mis sous ces formats pour validation. Le second séminaire PAPILLON (juillet 2001, Grenoble) a permis la prise de décisions techniques et organisationnelles au vu du fonctionnement durant la première année, ainsi que la révision de certains points théoriques à l'aide d'exemples concrets élaborés par les partenaires. 1.2 Publications Voir la liste des références à la fin du document. 4. Plan de travail et les différentes étapes 4.1 Méthode Pour atteindre ces objectifs, l'approche suivante est mise en œuvre : définition des structures en coopération avec les partenaires de la liste de discussion, définition de méthodes de travail, et conception et réalisation d outils pour manipuler les données de la base lexicale, récupération des données existantes (FeM, JMDict, SAIKAM) et préparation d'un squelette de dictionnaire, correction des données existantes et ajout de nouvelles données par des contributeurs travaillant en coopération sur la Toile, validation et insertion dans la base lexicale des données corrigées par des lexicologues, mise à disposition des données au public pour navigation et consultation de la base. 4.2 Schéma de la base multilingue Schéma de représentation interne de la base lexicale multilingue 3/7

4 5. Partenariats et sources de financement extérieurs existant sur le sujet du PICS 5.1 Japon 1.1 Ambassade et MAE Financement d'un serveur (20 KF) et de missions par le MAE (Ambassade de France à Tokyo) pour le séminaire Papillon-2000 (107 KF) et pour la recherche de partenaires japonais en 2001 (127 KF). 1.2 NII MOU signé entre le NII et l'ujf. Financement par le NII de 2 stages de 6 mois d'ingénieurs informaticiens sur le projet (Magali Grant 2000, Jérôme Godard 2001) et de 2 mois de travail de lexicologie et lexicographie sur des entrées japonaises (2001). Suivi du projet par F. Andrès (0,1 DR 1 ). 1.3 Monbushô Financement par le JSPS d'un séjour postdoctoral de 2 ans au NII (Mathieu Mangeot à partir de minovembre 2001 ( 540 KF). Financement espéré d'un autre postdoctorat (David Thévenin à partir d'avril 2002). 1.2 France 2.1 IMAG et CLIPS Financement par l'imag de deux missions (France), d'une réception et de l'impression des actes prévus pour Papillon-2001 (10 KF). Prise en charge par le CLIPS des frais d'organisation locale (photocopies, secrétariat ) 5 KF. Prise en charge par le GETA de la mission du Pr Phan (Vietnam) à Papillon-01 (13 KF). Suivi du projet (Ch. Boitet & E. Planas ; 0,2 PR, 0,2 CC), spécifications détaillées et développements (G. Sérasset, M. Mangeot ; 0,5 CD, 0,2 MC avec 3*0,15 ET et 1*3,5 ET). 1.2 LIRMM Université de Montpellier pour le traitement et la consultation sur la Toile de dictionnaires informatisés (Mathieu Lafourcade ; 0,1 MC). 1.3 IRIN Université de Nantes pour l'aspect corpus (Béatrice Daille ; 0,2 PR, 4*0,5 ET). Financement d'une mission en France pour Papillon-2001 (2 KF). 1.4 LIMSI LIMSI (Orsay) pour les aspects psycholinguistiques, entre autres accès à l'information (M. Zock). Financement d'une mission en France pour Papillon-2001 (2 KF). 1.3 Australie Partenaire australien : professeur Jim Breen, université Monash à Melbourne (mise à disposition en usage libre pour la recherche de son dictionnaire J-E JDict de termes japonais-anglais en ligne). 1.4 Canada Collaboration avec l'olst (Université de Montréal, Pr. Alain Polguère et M. François Lareau) qui coopère au projet pour la définition des structures de dictionnaires monolingues et le travail sur le DiCo du français. Financement d'une mission en France pour Papillon-2001 (5 KF). 1 PR = professeur, MC = maître de conférences, DR = directeur de recherche, CC = chercheur confirmé, CP = chercheur postdoctorant, CD = chercheur débutant (3ème cycle), ET = étudiant (2ème cycle, Maîtrise ou Magistère). 4/7

5 1.5 Thaïlande Kasetsart University (KU, Pr Asanee) pour le travail lexicologique (schéma spécifique pour le thaï) et lexicographique (mise à disposition du dictionnaire lao-thaï-anglais de 8000 entrées). NECTEC à Bangkok (Dr Virach) pour les aspects de construction coopérative de bases lexicales sur la Toile, en liaison avec le projet SAIKAM (4000 entrées), et peut-être mise à disposition du dictionnaire UNL-thaï (50000 entrées) basé sur l'anglais. Un MOU a été signé entre le NII et KU. D'autre part, le GETA et NECTEC coopèrent déjà dans le cadre du projet UNL de communication personnelle et de recherche d'information multilingue sur la Toile. 1.6 Vietnam Université de Da Nang (Pr. Phan Huy Khanh, M. Vo Hung Trung), pour le travail lexicographique sur le vietnamien et ensuite sur les aspects liés à la traduction automatique ou automatisée des gloses, exemples, citations et proverbes. 6. Impact sur la formation par la recherche Ont déjà eu lieu : 2 stages de 6 mois d'ingénieurs en informatique au NII (2000, 2001), 4 stages de TER à Nantes ( ), 3 stages de TER (4 mois) et 1 stage de Magistère (8 + 2 mois) à Grenoble ( ). Sont prévus : un post-doctorat de 2 ans au NII (15/11/01-14/11/03) sur l'architecture logicielle et collecticielle de la base, Sont envisagés : 1 doctorat à Grenoble (étudiante thaï), début 1/10/01, un post-doctorat de 2 ans au NII à partir d'avril 2002 sur les questions d'interface utilisateur. 7. Remarques finales Les contacts pris au Japon dans les jours précédant la remise de cette proposition de PICS "PAPILLON" ont été très encourageants. Plusieurs groupes d'atr sont intéressés, pour la traduction de l'oral. À NTT, le Dr Francis Bond a accepté de faire partie du comité du projet, auquel il apporte déjà sa participation active. Au NAIST, le Pr Matsumoto a montré un intérêt précis pour coopérer sur l'extraction de collocations à partir de corpus et l'utilisation des dictionnaires extraits de la base. 8. Publications [1] Fafiotte G. & Boitet C. (2000) Rapport final de la phase 1 du projet "FeV" (Réalisation d'un dictionnaire d'usage et d'une base terminologique par acceptions informatisés français-vietnamien via l'anglais). GETA, CLIPS, IMAG, 16 p. [2] Mangeot-Lerebours M. (2000) Papillon Lexical Database Project: Monolingual Dictionaries & Interlingual Links. Proc. 7th Workshop on Advanced Information Network and SystemPacific Association for Computational Linguistics 1997 Conference (WAINS'7), Bangkok, Thailande, 7-8 décembre 2000, Kasetsart University, H. Sakaki ed., 6 p. [3] Tomokiyo M., Mangeot-Lerebours M. & Planas E. (2000) Papillon : a Project of Lexical Database for English, French and Japanese, using Interlingual Links. Proc. Journées des Sciences et Techniques de l'ambassade de France au Japon, Tokyo, Japon, novembre 2000, Ambassade de France au Japon, 3 p. [4] Mangeot-Lerebours M. (1999) Accès unique à des dictionnaires hétérogènes. Proc. Lexicologie, Terminologie, Traduction (LTT'99), Beyrouth, Liban, novembre 1999, AUPELF-UREF, A. Clas ed., 3 p. (à paraître) [5] Mangeot-Lerebours M. (1999) Visualisation et Navigation dans des bases de données hétérogènes. Proc. Journée de l'audiovisuel ANRT/INA, Paris, 23 septembre 1999, INA. [6] Mangeot M. (1999) Accès Internet au dictionnaire FEM (français-anglais-malais). GETA, CLIPS, IMAG, Grenoble, Dictionnaire trilingue d'usage. 5/7

6 [7] Ampornaramveth V., Aizawa A. & Oyama K. (2000) An Internet-based Collaborative Dictionary Development Project: SAIKAM. Proc. 7th Intl. Workshop on Academic Information Networks and Systems (WAINS'7), Bangkok, 7-8 December 2000, Kasetsart University, H. Sakaki ed. [8] Ampornaramveth V. (1998) Trilingual WWW interface to Saikam dictionary project. Proc. 5th Intl. Workshop on Academic Information Networks and Systems (WAINS'5), Bangkok, December 1998, AIT. [9] Sérasset G. & Mangeot M. (1998) L'édition lexicographique dans un système générique de gestion de bases lexicales multilingues. Proc. Natural Language Processing and Industrial Applications, Moncton, vol. 1/2, pp [10] Ampornaramveth V. (1998) Saikam: an online dictionary development project. Proc. 4th Intl. Workshop on Academic Information Networks and Systems (WAINS'4), NACSIS Seminar House, Karuizawa, Japan, February [11] Lafourcade M. & Rivepiboon W. (1997) Issues in the French-English-Thai Dictionary Project. Proc. International Workshop on Human and Computer Processing of Language and Speech, Chulalongkorn University, Bangkok, Thailand, 8-12 December 1997, S. Luksaneeyanawin ed., vol. 1/1. [12] Sérasset G. (1997) Le projet NADIA-DEC : vers un dictionnaire explicatif et combinatoire informatisé? Proc. La mémoire des mots, 5ème journées scientifiques du réseau LTT, Tunis, septembre 1997, AUPELF UREF, A. Clas ed., 7 p. [13] Lafourcade M. (1997) Multilingual Dictionary Construction and Services - Case Study with the Fe* Projects. Proc. PACLING'97, Meisei University, Ohme, Tokyo, Japan, 2-5 September 1997, PACL, H. Sakaki ed., vol. 1/1, pp [14] Sérasset G. & Polguère A. (1997) Outils pour lexicographes : application à la lexicographie explicative et combinatoire. Proc. RIAO'97, Montréal, juin 1997, vol. 2/2, pp [15] Lafourcade M. (1997) Construction et services dictionnaires n-lingues, exemple des projets Fe*. Proc. Quatrième conférence annuelle sur Le traitement Automatique du Langage Natural (TALN), Grenoble, France, juin 1997, CLIPS, IMAG, D. Genthial ed., pp [16] Sérasset G. (1997) Informatisation du Dictionnaire Explicatif et Combinatoire. Proc. TALN-97, Grenoble, juin 1997, CLIPS, IMAG, D. Genthial ed., pp [17] Lafourcade M. (1996) Serveurs de dictionnaires - Etude de cas avec l'outil Alex et le projet de dictionnaire Français-Anglais-Malais. Proc. Séminaire Lexique - Représentation et Outils pour les Bases Lexicales - Morphologie Robuste, Grenoble, France, 13-novembre 1996, GDR-PRC - Communication Homme-Machine, vol. 1/1, pp [18] Sérasset G. (1996) Informatisation du Dictionnaire Explicatif et Combinatoire : le projet NADIA-DEC. Proc. Lexicomatique et Dictionnairique, Lyon, septembre 1996, AUPELF UREF, A. Clas ed. [19] Sérasset G. (1996) Un éditeur pour le dictionnaire explicatif et combinatoire du français contemporain. Proc. Journées lexique du PRC-CHM, Grenoble, D. Genthial ed. [20] Lafourcade M. & Sérasset G. (1996) Apple Technology Integration - A WEB dictionary server as a practical example. MacTech magazine (MacTech magazine), 12/7 (1996), pp [21] Lafourcade M. (1996) Structured lexical data: how to make them widely available, useful and reasonably protected? - a practical example with a trilingual dictionary. Proc. COLING-96, Copenhagen, 4-9 Aug. 1996, ICCL, B. Maegaard ed., 4 p. [22] Gut Y., Yusoff Z., Samat S. A., Boitet C., Nedobejkine N., Lafourcade M. & al. (1996) Kamus Perancis Melayu dewan - dictionnaire français-malais. Dewan Bahasa dans Pustaka, Kuala Lumpur, Malaisie, 1 vol., pp [23] Mel tchuk I., Clas A. & Polguère A. (1995) Introduction à la lexicologie explicative et combinatoire. AUPELF-UREF/Duculot, Louvain-la-Neuve, 256 p. [24] Sérasset G. (1994) SUBLIM, un système universel de bases lexicales multilingues; et NADIA, sa spécialisation aux bases lexicales interlingues par acceptions. Nouvelle thèse, UJF (Grenoble 1). [25] Blanc É., Sérasset G. & Tchéou F. (1994) Designing an Acception-Based Multilingual Lexical Data Base under HyperCard: PARAX. Research Report, GETA, IMAG (UJF & CNRS), Aug. 1994, 10 p. [26] Sérasset G. (1994) Interlingual Lexical Organisation for Multilingual Lexical Databases. Proc. 15th International Conference on Computational Linguistics, COLING-94, 5-9 Aug. 1994, 6 p. [27] Sérasset G. (1994) An Interlingual Lexical Organization Based on Acceptions. Proc. ICLA-94, July 1994, USM, 12 p. [28] Sérasset G. (1994) Recent Trends of Electronic Dictionary Research and Development in Europe. TM 038, EDR, Japon, mars 1994, 88 p. 6/7

7 [29] Blanc E. (1993) Visite guidée de PARAX, une base lexicale pentalingue par acceptions sous HyperCard. GETA, IMAG, 30 p. [30] Mel tchuk I. & Polguère A. (1987) A Formal Lexicon in the Meaning-Text Theory: or How to do Lexica with Words. Computational Linguistics 13/3-4 (1987), pp [31] Mel tchuk I. (1981) Meaning-Text models: a recent trend in Soviet linguistics. Annual Review of Anthropology 10 (1981), pp Table des matières Résumé Motivations, contexte et objectifs Nécessité d'une coopération internationale Travaux déjà effectués en commun Première année du projet Publications Plan de travail et les différentes étapes Méthode Schéma de la base multilingue Partenariats et sources de financement extérieurs existant sur le sujet du PICS Japon Ambassade et MAE NII Monbushô France IMAG et CLIPS LIRMM IRIN LIMSI Australie Canada Thaïlande Vietnam Impact sur la formation par la recherche Remarques finales Publications... 5 Table des matières o-o-o-o-o-o-o-o-o- 7/7