Des indices sur la fiabilité des sorties ou comment un analyseur robuste pourrait s auto-évaluer.

Transcription

1 Des indices sur la fiabilité des sorties ou comment un analyseur robuste pourrait s auto-évaluer. Nuria Gala GETA-CLIPS-IMAG 385 av. de la Bibliothèque, BP 53 F Grenoble cedex 9, France nuria.gala@imag.fr 1 Introduction Les analyseurs robustes associent automatiquement à des chaînes découpées en unités une représentation structurelle et/ou des relations fonctionnelles existant entre ces unités. Le principal enjeu auquel se heurtent ces systèmes est le maintient d un équilibre entre une description linguistique précise et des performances computationnelles eficaces pour le traitement de grands volumes de données. Cependant, des taux de précision et de rappel constants et homogènes ne sont toujours pas possibles devant des corpus de domaines et genres variés, étant donné la présence de phénomènes avec une compléxité linguistique et typodispositionnelle variée. Pour pallier ces difficultés, nous présenterons une méthode qui permet de découper l analyse en deux étapes garantissant différents niveaux de fiabilité des sorties produites. Ainsi, selon la fiabilité de l analyse, ces sorties peuvent être utilisées différemment dans des applications diverses. La méthode proposée a été implémentée sous la forme d un modèle d analyseur robuste et couvrant pour le français, développé sur la plate-forme XIP de Xerox. 2 Le modèle d analyseur proposé Notre modèle a été implémenté sous la forme d un analyseur robuste et couvrant développé sur la plate-forme XIP [Aït-Mokhtar et al.2001, Hagège et Roux2002]. Il produit comme résultat, à partir du texte en entrée, un texte découpé en unités (phrases, titres, listes) segmentées en syntagmes noyau et une liste de relations de dépendance entre les têtes des syntagmes des phrases. Dans cette approche, le résultat est produit grâce à l application de différentes grammaires correspondant à des niveaux d analyse différents. L analyse par niveaux est une stratégie mise en oeuvre dans certains formalismes existants, par exemple celui de J. Slocum [Slocum et al.1987]. Cependant, 1

2 à la différence de cette approche et des approches d autres analyseurs existants, ici ces niveaux d analyse sont définis en fonction des caractéristiques structurelles de chaque phrase en entrée [Gala2001]. Nous définissons ainsi deux niveaux d analyse en fonction de la typologie de phrase ou de phénomène que nous avons modélisé. L évaluation du taux de précision et de la fiabilité des sorties varie en fonction de ces deux niveaux. 2.1 Le niveau noyau Nous partons du principe que dans tout corpus il existe des phrases ou des phénomènes présentant une structure syntaxique facilement modélisable, que nous appelons des phrases de "Niveau 1" (N1). Des règles de grammaire appartenant une grammaire noyau permettent de marquer et d extraire des analyses avec un taux de précision importrant. Une analyse syntaxique précise pour ce genre de structures et contextes n est pas difficile à obtenir (modéliser et implémenter). Le niveau noyau de notre modèle d analyseur comporte trois modules : un module pour le marquage en constituants de base (indépendamment que la phrase ou phénomène soit de type N1 ou N2), un module contenant des règles de grammaire pouvant extraire et marquer sans trop de difficulté des phénomènes facilement modélisables, des contextes très sûrs, etc. et finalement un module de marquage spécifique des phrases et structures de ce niveau (N1 pour le découpage structurel des phrases, F1 pour les dépendances liées aux rattachements prépositionnels). Dans ce niveau, les phrases ont une configuration SVO avec pas ou peu de modifieurs et deux virgules au maximum. Ce type de phrases représente une moyenne d environ 20 % des phrases des corpus 1, tous domaines confondus, avec une moyenne de 18 mots par phrase. Exemples : (a1) "La Bourse de Paris a terminé sur une note négative" (a2) "Un cliquet maintiendra la fenêtre ouverte dans la position voulue." (a3) "Toutefois, une grande variété de produits alimentaires doivent être importés." (a4) "Cette transformation, liée notamment à la prise de conscience de l ampleur de l épidémie du SIDA, a entraîné concomitamment une revendication de reconnaissance du statut du couple homosexuel." Dans le cas de l extraction de dépendances liées au rattachement prépositionnel, nous considérons de niveau 1 les contextes non ambigus. Ce type de rattachement non ambigu est marqué avec l indice F1 lors de l analyse (cf. 3). Il s agit, par exemple, d un SP entre un SN sujet et une marque de ponctuation forte (b1) ou entre le SN sujet et le verbe principal de la proposition (b2) : 1 Pour notre étude, nous avons utilisé des corpus variés : journaux divers (Le Monde, Libération), rapports économiques, documents scientifiques, textes juridiques, manuels techniques. L ensemble de ces corpus comprend environ mots (4.000 phrases) et a été extrait à partir du Web pendant l été

3 (b1) "Impôt sur le revenu : suivez le guide" (b2) "La méthode d amortissement aura un impact significatif sur les comptes." L ensemble de règles constituant la grammaire noyau comprend une centaine de règles, entre le découpage structurel et l extraction de dépendances. Il est à noter qu une phrase peut être considérée N1 du point de vue structurel, mais présenter des rattachements prépositionnels ambigus, par exemple (a4) et (b2). 2.2 Le niveau spécialisé Par ailleurs, les phrases et phénomènes concernant des structures plus complexes à modéliser sont traités par différents modules spécialisés. La création de grammaires spécialisées dans le traitement de phénomènes particuliers a donc comme objectif de garantir la précision et la robustesse de l analyseur. Nous appelons de "Niveau 2" (N2) les phrases ou phénomènes qui présentent des caractéristiques liées à la présence de la ponctuation et de paramètres typodispositionnels (espaces verticaux et horizontaux). Il s agit, aussi, de phrases dont la composition et l organisation des constituants impliquent des contextes ambigus (portée de la coordination, rattachement des syntagmes prépositionnels, etc.). Ces dépendances ambiguës liées au rattachement prépositionnel sont marquées avec l indice F2 (cf. 3). L ensemble de ces phrases et phénomènes est traité par des grammaires spécialisées et, du fait de leur complexité, le niveau de précision des analyses est inférieur à celui obtenu avec les règles de la grammaire noyau. Le deuxième niveau d analyse est constitué d un ensemble de règles de grammaire mettant en jeu des mécanismes plus complexes pour faire face à des phénomènes plus difficiles du point de vue de leur traitement automatique. Dans notre modèle, nous avons créé des grammaires spécialisées (au niveau du marquage structurel et de l extraction de dépendances) pour le traitement de la ponctuation, des listes et des énumérations, des titres ainsi que du rattachement prépositionnel ambigu. Quelques exemples de phrases et de phénomènes de type N2 : (c1) "L École des Hautes Études en sciences sociales (EHESS, 54 boulevard Raspail, Paris 6) accueille du 28 janvier au 6 mars «Les images médiatiques de la ville», une exposition comprenant timbres de France, d Allemagne, d Espagne et des pays de l ex-bloc de l Est." (c2) "Pour ce faire, plusieurs techniques sont possibles : - le blindage (de matériaux) ; - le filtrage par détecteurs en «sandwich» ; - l intégration temporelle des résultats par filtrages. " On peut facilement constater que la présence de la ponctuation et des marques typodispositionnelles doit être prise en compte pour l obtention d une analyse de qualité. De même, des stratégies particulières (dans notre modèle, la combinaison 3

4 de règles et d informations statistiques puisées dans le web) doivent être mises en œuvre pour le traitement du rattachement prépositionnel car l analyseur ne dispose pas de suffisamment d information pour résoudre ce type d ambiguïtés. 3 Marquage des indices de fiabilité Devant l impossibilité de garantir une précision homogène pour tout type de phrase et phénomène, nous avons choisi de diviser l analyse en deux niveaux, chacun d eux garantissant des niveaux de fiabilité différents. Cette idée est comparable à des méthodes d IA de la fin des années 70 et du début des années 80 où on donnait des scores dépendant des objets de sortie (algorithmes estimateurs, notion de tournoi, etc.), par exemple, E. Black chez ATR, J. Slocum avec le système METAL, Sh. Amano avec l ATN de Toshiba, etc. Ainsi, à l heure actuelle, notre modèle d analyseur affiche un indice de fiabilité à côté du résultat de l analyse pour une phrase entière ou pour une relation de dépendance concernant un rattachement prépositionnel (de type A(x,y,z) où x est la tête de la dépendance (nom, verbe ou adjectif), y est la préposition et z l élément à rattacher) 2. Voici quelques sorties produites par l analyseur pour les exemples (b2) et (c2). L étiquete MAX correspond au nœud maximal (phrase, liste ou titre) : SUBJ(aura,méthode) VARG(aura,impact) NADJ(impact,significatif) NADJ(méthode,choisie) A_F1(méthode,de,amortissement) A_F2(avoir,sur,compte) A_F2(impact,sur,compte) A_F2(significatif,sur,compte) 1>MAX_N1{NP{La méthode} PP{d NP{amortissement}} AP{choisie} FV{aura} NP{un impact} AP{significatif} PP{sur NP{les comptes}}.} SUBJ(sont,techniques) VARG(sont,possibles) NADJ(intégration,temporelle) A_F1(blindage,de,matériaux) A_F1(filtrage,par,détecteurs) A_F1(intégration,des,résultats) A_F2(filtrage,en," sandwich ") A_F2(détecteurs,en," sandwich ") A_F2(intégration,par,filtrages) A_F2(résultats,par,filtrages) A_F2(temporelle,par,filtrages) 2 Nous n avons pas encore implementé ce procédé de marquage de la fiabilité pour d autres cas d ambiguïté structurelle (coordinations, entités nommées, etc.). 4

5 NGM(détecteurs," sandwich ") NPR(blindage,( blindage de matériaux )) NOYAU(techniques) ITMLIST(blindage) ITMLIST(filtrage) ITMLIST(intégration) 2>MAX_N2{<list> AMR{Pour ce faire, NP{plusieurs techniques} FV{sont} AP{possibles} <sp> : </sp>} IT{SP{-} NP{le blindage} PR{( NP{blindage} PP{de NP{matériaux}} )} <sp> ; </sp>} IT{SP{-} NP{le filtrage} PP{par NP{détecteurs}} PP{en GM{" sandwich "}} <sp> ; </sp>} IT{SP{-} NP{l intégration} AP{temporelle} PP{des NP{résultats}} PP{par NP{filtrages}} <sp>. </sp>} </list>} Nous avons évalué la relation de dépendance sujet et le rattachement prépositionnel avec tout type de tête syntaxique (nom, verbe, adjectif) sur des corpus variés [Gala2003]. Les résultats pour ces dépendances, selon le degré de fiabilité, sont les suivants : Dépendance syntaxique Taux de Précision Sujet phrases N1 96,0 % Sujet phrases N2 90,4 % Rattachement A_F1 93,0 % Rattachement A_F2 76,6 % Table 1. Évaluation des dépendances selon le degré de fiabilité. 4 Conclusion Un des principaux enjeux auxquels se heurtent les analyseurs reste le maintien d un équilibre entre la qualité des analyses et le traitement de grands volumes de données. Devant l impossibilité de garantir des analyses homogènes et précises en tenant compte de la diversité de corpus et phénomènes, nous proposons de diviser l analyse en deux étapes, avec des niveaux de traitement différents. Selon que la sortie de l analyseur est produite par telle ou telle étape, des indices de fiabilité sont affichés et permettent d estimer la qualité de l analyse. Les marques des taux de fiabilité des parties ou de la totalité des analyses peuvent donc fournir une première estimation de la qualité des sorties et s avérer utiles selon les applications visées. Ainsi, pour un système de question réponse, on sera peut être intéressé par les sorties fiables (qualité par rapport à quantité) ; en revanche, pour la recherche d informations, on préférera plutôt utiliser la totalité des sorties (quantité par rapport à qualité). 5

6 Références [Aït-Mokhtar et al.2001] S. Aït-Mokhtar, J. P. Chanod, et C. Roux. A multi-input dependency parser. In Proceedings of International Workshop on Parsing Technologies, IWPT-2001, Beijing, China [Gala2003] N. Gala. Un modèle d analyseur syntaxique robuste fondé sur la modularité et la lexicalisation de ses grammaires. Thèse de doctorat, Université de Paris-Sud, UFR scientifique d Orsay, France [Gala2001] N. Gala. A two-tier corpus-based approach to robust syntactic annotation of unrestricted corpora. Revue TAL, 42(2) : , France [Hagège et Roux2002] C. Hagège, et C. Roux. A Robust and Flexible Platform for Dependency Extraction. In Proceedings of 3rd Conference on Language Ressources and Evaluation, LREC-2002, , Las Palmas de Gran Canaria, Spain [Slocum et al.1987] J. Slocum, W. S. Bennet, J. Bear, M. Morgan, et R. Root. ME- TAL : the LRC machine translation system. Dans Machine Translation Today : the state of the art, édité par S. Michaelson et Y. Wilks, , Edinburgh University Press