MARQUEUR, UN LOGICIEL DE MARQUAGE SEMI-AUTOMATIQUE DE TEXTES

Transcription

1 MARQUEUR, UN LOGICIEL DE MARQUAGE SEMI-AUTOMATIQUE DE TEXTES 1 Abdelkrim Mokhtari Département de Langue et de Littérature Françaises Université Ibn Tofail Faculté des Lettres et des Sciences Humaines Kénitra, Maroc mabdelkrim@hotmail.com Résumé : Marqueur est un logiciel de marquage semi-automatique des textes. Il sert à attribuer aux mots le lemme et la catégorie appropriés au contexte. Marqueur utilise un dictionnaire de contextes qui l aide à résoudre certains cas ambigus. Pour les cas problématiques, Marqueur offre une interface de traitement interactif. Il offre aussi la possibilité de marquer les mots par d autres marques (note, objet multimédia, etc..). Un accès libre au dictionnaire et au texte fait de ce logiciel un outil d exploration et de manipulation des données textuelles. Mots-clés : marquage, étiquetage, annotation de textes, TAL, exploration de textes, dictionnaire électronique. Nous nous proposons dans cet article de présenter un outil informatique qui s inscrit dans le cadre général de la linguistique informatique ou, dit autrement, du traitement automatique des langues (TAL). Cet outil, baptisé Marqueur 1, est un logiciel de marquage semi-automatique de textes. Il a été conçu et développé par Abdelkrim Mokhtari (Université Ibn-Tofail, Kénitra, Maroc) et Michael Mepham (Université Laval, Québec, Canada). Prévu initialement pour permettre le marquage au niveau du lemme et de la catégorie, ses capacités ont été étendues à l introduction d autres marques, appelées marques ouvertes, comme à diverses tâches relatives à la manipulation des données textuelles. Bien que son développement soit déjà avancé, ce programme n est pas tout à fait achevé et d autres idées peuvent être prises en compte. Marqueur est un programme ouvert et peut être utilisé pour accomplir différentes tâches relatives à l analyse ou à l exploration de textes. Le public ciblé est très large : lexicographes, terminologues, analystes du discours ou tout autre chercheur intéressé par la manipulation du lexique dans un texte donné. Plus précisément, Marqueur peut être utile à tout utilisateur qui a besoin de : - marquer les mots d un texte en leur assignant respectivement le lemme adéquat et la catégorie grammaticale adéquate ; - attacher aux mots d un texte des marques libres telles qu une note, un signet ou un objet multimédia (image, son, clip vidéo etc.) ; - faire des recherches sur le texte ; - faire un commentaire de texte assisté par des outils d exploration de texte ; - constituer un dictionnaire sur la base de corpus variés. Cette liste de tâches va nous servir de plan pour cette présentation. 1. MARQUAGE AU NIVEAU DU LEMME ET DE LA CATÉGORIE La plupart des applications en TAL requièrent que le texte traité soit enrichi d informations linguistiques. Qu il s agisse de traduction automatique, d interprétation sémantique ou d indexation, la

2 connaissance par exemple du lemme ou de la catégorie mise en œuvre dans le contexte peut apporter un élément décisif. Cette information est d autant plus importante que le nombre de mots qui posent un problème d ambiguïté est élevé. Marqueur exploite un dictionnaire d environ formes dont environ sont ambiguës quant au lemme ou la catégorie. Marqueur, comme son nom l indique, est un logiciel de marquage des textes. Il a été conçu pour assigner aux mots du texte d abord le lemme et la catégorie. Si l on tient compte des textes qui ont servi de test, cette assignation est accomplie de manière non problématique dans environ 80 % des cas. Marqueur utilise un dictionnaire répertoriant en principe toutes les formes du français. Chaque forme est enregistrée dans le dictionnaire soit comme univoque si on ne peut lui associer qu un seul lemme et si elle ne peut être utilisée que sous une seule catégorie, soit comme ambiguë si plus d un lemme peut lui être affecté ou si elle peut être utilisée sous plus d une catégorie. Environ 81 % des formes du dictionnaire utilisé sont univoques. L algorithme est donc simple. Passée la phase de segmentation, les mots relevés dans le texte (de manière séquentielle) sont confrontés aux formes du dictionnaire, s il y a correspondance, l information sur le statut de la forme est prise et le marquage s effectue automatiquement. Les formes univoques sont enregistrées dans le dictionnaire de manière unique. Deux homographes se verront inscrits comme une seule entité («cher» au sens affectif et «cher» au sens de «onéreux» recevront une seule entrée) ; cette façon de faire ne rend pas justice à ceux qui prêchent la distinction des homonymes, mais elle apporte une simplification dans la représentation des informations lexicales. À l inverse, deux homophones constitueront deux unités séparées si leur graphie diffère («fard» et «phare»). Les mots à double graphie, même quand ils partagent la même signification, comme c est le cas de «clé» et «clef», sont représentés en deux unités distinctes. Les mots qui sont univoques sont marqués sur la base de l information disponible dans le dictionnaire intégré dans le logiciel. Cette information étant unique, le marquage est par conséquent non problématique. La représentation des lemmes présente un peu plus de difficultés. La logique suivie est de retenir toute entité discrète liée à la forme. Ainsi, la forme «avions» engendre-t-elle deux lemmes différents : «avoir» et «avion». Mais faut-il retenir deux lemmes différents pour la forme «aïeux» («aïeul» et «aïeux»), autrement dit, doit-on considérer que le lemme «aïeux» existe en tant qu entité à part, ou bien a-t-on affaire seulement à une flexion du lemme «aïeul». La question est encore plus sensible avec «nouvelle» qui peut engendrer deux lemmes «nouveau-nom» et «nouvelle-nom». La forme «nouvelle» est à la fois une forme fléchie de «nouveau» et un lemme à part : «nouvelle-nom» au sens d information. Quoi qu il en soit, nous avons organisé les données du dictionnaire de manière à permettre à l utilisateur d ajouter des lemmes ou d en supprimer. Il peut également raisonner à un niveau supérieur au lemme et manipuler le concept d hyper-lemme. Dans tous les cas, en revanche, le fichier des lemmes ne permet pas de retenir des doublons. Par ailleurs, l utilisateur a, à tout moment, la possibilité de vérifier tous les lemmes pour une forme donnée et toutes les formes associées à un lemme donné. Les mots qui sont ambigus sont traités selon un dictionnaire des contextes immédiats, dictionnaire également intégré dans le logiciel. S il n y a aucun contexte de disponible pour le mot envisagé, Marqueur ne fait rien et renvoie le traitement à l étape du marquage interactif. L utilisation du dictionnaire des contextes repose sur l hypothèse que certains contextes (seuls les contextes immédiats ont été implémentés dans Marqueur) sont suffisants pour lever l ambiguïté lemmatique et catégorielle. Un exemple peut montrer l intérêt de cette démarche. [1] La valeur de son père en son temps sans pareille, Tant qu a duré sa force, a passé pour merveille (Le Cid) Le mot «force» mis en italique dans le texte peut naturellement avoir deux lemmes différents : «forcer-verbe» et «force-nom». La présence du mot «sa» immédiatement à gauche suffit à opter pour le second lemme. 2

3 On sera tenté d étendre cette règle lexicale à tout le paradigme des adjectifs possessifs et même au paradigme des déterminants et d envisager de retenir une règle du genre «déterminant» + force implique force-nom. Le même raisonnement tient pour le second exemple : [2] Mais à ce peu de mots je crois que sa pensée Entre vos deux amants n est pas fort balancée. (Le Cid) Le mot «pensée» qui doit être résolu en tant que «pensée-nom» et non en tant que «penser-verbe», peut bénéficier d une règle de contexte grammatical du genre : déterminant + «pensée» implique «pensée-nom». Marqueur permet de retenir ces deux types de contextes et en tire profit à chaque session de marquage automatique. L utilisateur doit se convertir en linguiste expert et faire preuve de beaucoup de perspicacité pour ne pas retenir des règles contre-productives. Le terrain est miné et l on doit soupeser toutes les règles que l on veut établir. Cette démarche est inspirée des travaux de Eric Brill (Brill 1995), mais elle ne recourt pas comme c est le cas de la démarche de Brill à un corpus témoin, ni à un processus d apprentissage de règles. Il s agit pour nous d alimenter le dictionnaire de contextes discriminatoires. Chacun de ces contextes aura fait l objet d une évaluation empirique. Le logiciel permet par ailleurs d éliminer les cas les moins heureux. Nous avons évoqué plus haut le marquage interactif. En effet, pour tous les cas non résolus, Marqueur offre la possibilité de les résoudre manuellement. L interface a été conçue pour cependant disposer des informations appropriées contenues dans le dictionnaire. C est une aide appréciable qui facilite l analyse au sens où les différents lemmes ne sont pas forcément présents à l esprit. C est le marquage assisté. Si, par contre, l utilisateur souhaite marquer un mot sans que ce mot ne soit enregistré dans le dictionnaire (on peut vouloir travailler avec un dictionnaire de spécialité et n intégrer dans celui-ci que le lexique qu on juge pertinent), il suffira de basculer vers le marquage personnel. Le marquage assisté est cependant plus productif. Les mots nouveaux qu on ajoute, les mots dont on rectifie les marques, les contextes qu on retient, sont autant d apports pour les analyses ultérieures. Enfin, les mots absents du dictionnaire, à l instar des mots ambigus non résolus, sont renvoyés à l étape interactive, à l exception de quelques cas qui sont traités d après leur morphologie. Mais Marqueur offre paradoxalement un avantage qui est généralement considéré comme un défaut dans le monde de l automatisation : le logiciel permet de désactiver le recours aux contextes et aux règles (morphologiques pour l instant) et ce pour permettre à l utilisateur d aboutir à un marquage exclusivement manuel. Ce qui pourrait être utile dans certaines situations. En fait, une interface appropriée permet de sélectionner les sources de marquage qu on souhaite mettre en œuvre DES MARQUES OUVERTES Marqueur sert aussi à affecter aux mots d autres marques. Une note, une définition, un signet, mais aussi des informations de type multimédia (image, son, clip vidéo). Ces marques peuvent être insérées soit dans le texte, soit dans le dictionnaire. Pour le premier cas, l utilisateur peut juger pertinent d attacher les marques appropriées au mot dans son contexte, sans laisser de traces dans le dictionnaire. On peut en effet être intéressé par l apport de la mise en discours des mots. Des annotations de différents niveaux peuvent être retenues, recherchées plus tard. Pour le second cas, l utilisateur jugera si l information a une portée générale, si elle a la prétention à une valeur universelle. Elle sera enregistrée dans le dictionnaire, soit dans la partie forme (la transcription phonétique par exemple peut être placée à cet endroit), soit dans la partie lemme (la signification peut trouver sa place à ce niveau). Marqueur rend possible au prix d un paramétrage par l utilisateur de renvoyer vers le texte les marques souhaitées à l exclusion des autres, et inversement de renvoyer les marques spécifiques au texte vers le dictionnaire. Cette interaction entre les deux univers, l univers du texte, donc du discours et de la création,

4 et l univers du dictionnaire, donc de la mémoire, est voulue dans la mesure où elle ajoute une grande souplesse dans la circulation et l organisation des données linguistiques. Une fois ces marques enregistrées, elles pourront servir dans les prochaines sessions de marquage. Les mots univoques se verront étiquetés automatiquement, sans autre forme de procès. Les mots ambigus devront attendre que l ambiguïté soit levée FILTRAGE ET RECHERCHE AVANCÉE Dans un souci de rendre la tâche de marquage interactif moins fastidieuse, mais aussi pour permettre à l utilisateur de naviguer dans le texte selon des critères variés et pointus, nous avons enrichi l interface de l interactif par des outils de filtrage et de recherche avancée. L utilisateur peut ainsi sélectionner la liste des mots qui l intéressent et les retenir comme candidats au marquage ou tout simplement les rendre visibles pour un examen à un niveau ou à un autre. Le filtre est très puissant et permet de jouer sur la morphologie des mots que l on veut retenir, sur leurs propriétés ou marques, sur le mode de traitement déjà subi. Une recherche avec des expressions rationnelles va être ajoutée. Ainsi, on peut revoir des mots précédemment traités. Par exemple, on peut revenir sur les cas marqués comme adjectifs ou comme noms. Comme on peut sérier les cas qui ont bénéficié des règles contextuelles (lexicales ou grammaticales). On peut même retenir uniquement les mots du texte qui font partie d une liste de mots (préparée grâce aux services de Marqueur), une liste formée par exemple d une thématique ou d un champ lexical donné ou même des mots qui composent une œuvre entière. Cette souplesse de filtrage rend possible de tester des postulats linguistiques. L affichage des mots candidats au marquage se fait dans l éditeur principal du traitement interactif. On passe d un mot à l autre en utilisant les outils de navigation. Mais on peut travailler sur n importe quel mot visible dans l éditeur ; il suffit de le rendre courant en double-cliquant dessus. 4. CONSTITUTION ET MANIPULATION DU DICTIONNAIRE Marqueur permet de travailler sur un projet avec un dictionnaire vierge. Seule la structure du dictionnaire est imposée. La table des catégories est aussi laissée à la discrétion de l utilisateur. Bien entendu, les deux bases étant liées, on prendra soin de ne pas changer l une sans se préoccuper de l autre. Le dictionnaire est modifiable. On peut le modifier à tout moment. On peut y accéder à travers le marquage interactif ou de manière directe à partir du menu général du logiciel. Le dictionnaire est structuré en formes et en lemmes respectifs, ce qui pourrait favoriser une étude du lexique. De leur côté, les contextes, rassemblés de manière structurée, peuvent être considérés comme un corpus spécialisé, tout à fait exploitable. Des procédés de création ou d alimentation automatique du dictionnaire sont en cours de développement. Il s agit de permettre à l utilisateur d ajouter au dictionnaire les mots nouveaux épinglés dans un texte inédit. Marqueur donne aussi les moyens de se constituer des glossaires particuliers. L utilisateur doit pour ce faire envoyer le mot (et ses propriétés) dans un glossaire personnel. 5. COMMENTAIRE ASSISTÉ PAR DES OUTILS D EXPLORATION Il peut être commode de pouvoir commenter un texte, tout en tirant profit d informations obtenues grâce à des outils d exploration et de filtrage tant au niveau du texte que du dictionnaire. Marqueur offre cette possibilité et met à la disposition de l utilisateur toute la base des contextes lexicaux et grammaticaux.

5 6. CONCLUSION Compte tenu de ce qui a été dit, Marqueur se présente d abord comme un outil de marquage semi-automatique de textes au service des terminologues, des lexicologues, et des développeurs d application d automatisation. S il n a pas la prétention d apporter une solution forte au problème de l étiquetage, il a au moins le mérite de permettre un marquage manuel souple et transparent. Mais Marqueur, c est également un outil ouvert à tous les chercheurs qui voudraient emmagasiner des connaissances pour les transférer ensuite dans des textes inédits. Les étudiants pourraient l utiliser pour les mêmes raisons ou comme outil d exploration de textes, voire d extraction d information. Enfin, Marqueur se présente comme un outil pédagogique, mettant à l épreuve l utilisateur pour une réflexion sur différents aspects linguistiques, tant au niveau du lexique qu au niveau du fonctionnement du discours. 5

6 Bibliographie Brill (E.), 1995 : «Transformation-Based Error-Driven Learning and Natural Language Processing : A case Study in Part-of-Speech Tagging», dans Computational Linguistics, volume 21, numéro 4, p Fuchs (C.), 1993 : Les traitements automatiques des langues, Hachette, 304 p. Fuchs (C.), 1996 : Les ambiguïtés du français, Ophrys, 184 p. Martin (W.), Heymans (R.) et Platteau (F.), 1988 : «Dilemma, an automatic lemmatizer» dans Willy Martin (éd.) Computational Linguistics at the University of Antwerp, Antwerp papers in Linguistics n 56. Mepham (M.), 1989 : «Le Traitement interactif des documents» dans C. Ouellon, Actes du Coll. La description des langues naturelles en vue d applications informatiques, Québec, Université Laval. Mepham (M.), 1989 : «Lexitex : Textual Analysis Software» dans Tools for Humanists, Toronto, Center For Computing in the Humanities : U. Toronto, p. Mepham (M.), 1991 : «Efficient Pre-processing for the Creation of Large-scale Full-text Data Bases» dans Actes du Colloque RIAO 91. Mokhtari (A.), 1993 : «Cohésion et désambiguïsation lexicale automatique : cas de l anaphore» dans Actes des 7 e Journées de Linguistique, Ciral, Université Laval, Québec. Mokhtari (A.), 1994 : «Collocateur : Première version d un logiciel de reconnaissance semi-automatique d expressions» dans Actes des 8 es Journées de Linguistique, Ciral, Université Laval, Québec. Mokhtari (A.), 1998 : Cohésion lexicale et automatisation : application à la désambiguïsation lexicale. Thèse Ph.D., Université Laval, Québec, Canada. 6

7 7 Note 1 Marqueur a été développé dans le cadre d une thèse (Ph. D.) en linguistique informatique (voir bibliographie). Abdelkrim Mokhtari a bénéficié durant l été 1996 d une bourse d échanges entre départements accordée par L aupelf-ficu pour améliorer la version initiale de Marqueur. Le logiciel a aussi été utilisé dans un projet soutenu par L aupelf sur la désambiguïsation lexicale et les recherches textuelles. Il fait également l objet de mémoires des étudiants de 4 e année à la faculté des Lettres, Université Ibn Tofail, Kénitra, Maroc.