Comment obtenir plus des Méta-Grammaires

Transcription

1 Comment obtenir plus des Méta-Grammaires ou comment construire des grammaires TAG/TIG compactes avec des arbres factorisés François Thomasset & Éric de la Clergerie ATOLL TALN 2005 Dourdan Mardi 7 Juin 2005 É. de la Clergerie Comment obtenir plus des Méta-Grammaires TALN 05 1 / 18

2 Motivations Des systèmes pour construire des analyseurs syntaxiques, dont DYALOG formalismes hybrides TAG+TIG, DCG, RCG, Prolog Mais manque de ressources : lexiques et grammaires à large couverture pb pour la campagne d évaluation EASy Développement de grammaires processus complexe et long avec pb de cohérence et maintenance taille importante des grammaires lexicalisables (TAG : 1000 à arbres) redondance importante dans les grammaires Solution : Méta-Grammaire [Candito] Niveau plus abstrait et compact de description linguistique Développement plus rapide, maintenance facilitée Génération d une grammaire, en général de grande taille en particulier à cause de sous-catégorisations x extractions É. de la Clergerie Comment obtenir plus des Méta-Grammaires TALN 05 2 / 18

6 Motivations Des systèmes pour construire des analyseurs syntaxiques, dont DYALOG formalismes hybrides TAG+TIG, DCG, RCG, Prolog Mais manque de ressources : lexiques et grammaires à large couverture pb pour la campagne d évaluation EASy Développement de grammaires processus complexe et long avec pb de cohérence et maintenance taille importante des grammaires lexicalisables (TAG : 1000 à arbres) redondance importante dans les grammaires Solution : Méta-Grammaire [Candito] Niveau plus abstrait et compact de description linguistique Développement plus rapide, maintenance facilitée Génération d une grammaire, en général de grande taille en particulier à cause de sous-catégorisations x extractions Question : Obtention de grammaires compactes à partir de MG? É. de la Clergerie Comment obtenir plus des Méta-Grammaires TALN 05 2 / 18

7 Des opérateurs pour des arbres factorisés DYALOG propose des opérateurs réguliers pour factoriser les arbres : disjonctions T [t 1 ;t 2 ] T [t 1 ] T [t 2 ] répetitions (Étoile de Kleene) t@ kleene t (ɛ) kleene t (t, kleene t ) entrelacements (ordre libre entre séquences de noeuds) (t 1, t 2 )##t 3 (t 1, t 2, t 3 ; t 1, t 3, t 2 ; t 3, t 1, t 2 ) optionalité (noeud optionel) t? (t; ɛ) gardes (noeuds gardés) T [G +, t; G ] T [t].σ + T [ɛ].σ gardes : formules booléennes sur des équations entre chemins É. de la Clergerie Comment obtenir plus des Méta-Grammaires TALN 05 3 / 18

8 Des opérateurs pour des arbres factorisés DYALOG propose des opérateurs réguliers pour factoriser les arbres : disjonctions T [t 1 ;t 2 ] T [t 1 ] T [t 2 ] répetitions (Étoile de Kleene) t@ kleene t (ɛ) kleene t (t, kleene t ) entrelacements (ordre libre entre séquences de noeuds) (t 1, t 2 )##t 3 (t 1, t 2, t 3 ; t 1, t 3, t 2 ; t 3, t 1, t 2 ) optionalité (noeud optionel) t? (t; ɛ) gardes (noeuds gardés) T [G +, t; G ] T [t].σ + T [ɛ].σ gardes : formules booléennes sur des équations entre chemins Ces opérateurs ne changent pas le pouvoir d expression ou la complexité peuvent être élimés par expansion mais taille résultante exponentielle en le nombre d opérateurs plus efficace de les évaluer sans expansion analyses plus naturelles opérateurs très génériques (non spécifiques TAG ou TIG) É. de la Clergerie Comment obtenir plus des Méta-Grammaires TALN 05 3 / 18

9 Les Méta-Grammaires par l exemple Definition (Méta-Grammaire) Description modulaire par classes regroupant des contraintes, avec héritage É. de la Clergerie Comment obtenir plus des Méta-Grammaires TALN 05 5 / 18

10 Les Méta-Grammaires par l exemple Definition (Méta-Grammaire) Description modulaire par classes regroupant des contraintes, avec héritage class c o l l e c t _ r e a l _ s u b j e c t _ c a n o n i c a l { < : c o l l e c t _ r e a l _ s u b j e c t ; $arg. e x t r a c t e d = value (~ c l e f t ) ; S >> VSubj ; V >> psubj ; VSubj < V ; VMod < psubj ; node psubj : [ cat : N2, i d : subject, top : [ wh :, sat : + ] ] ; psubj : : agreement ; psubj = psubj : : N; psubj => node ( I n f l ). bot. i n v = value ( + ), $arg. e x t r a c t e d = value ( ), $arg. r e a l = value (N2), desc. e x t r a c t i o n = value (~ ), node (V). top. mode= value (~ i n f imp... ) ; ~ psubj=> node ( I n f l ). bot. i n v = value (~+ ) ; } Héritage (<:) Contraintes dominance (>> et >>+) précédence (<) égalité (=) Décorations (FS) noeuds classe Éq. entre chemins (.) noeuds (node psubj) classe (desc) variable ($arg) Ressources + / Besoins Espace de noms ( :: ) Gardes (=>) É. de la Clergerie Comment obtenir plus des Méta-Grammaires TALN 05 5 / 18

11 Compiler la méta-grammaire Compilateur MGCOMP, développé avec DYALOG É. de la Clergerie Comment obtenir plus des Méta-Grammaires TALN 05 6 / 18

12 Compiler la méta-grammaire Compilateur MGCOMP, développé avec DYALOG Étape 1 : Classes terminales Héritage des contraintes par les classes terminales (+ vérif contraintes) É. de la Clergerie Comment obtenir plus des Méta-Grammaires TALN 05 6 / 18

13 Compiler la méta-grammaire Compilateur MGCOMP, développé avec DYALOG Étape 1 : Classes terminales Héritage des contraintes par les classes terminales (+ vérif contraintes) Étape 2 : Classes neutres Croisement des classes terminales pour neutraliser ressources & besoins C1 [ R K 1 ]xc 2 [+R K 2 ] = (C 1 xc 2 )[=R K 1 K 2 ] (Espace de nom) import classe productrice avec renommage C 1 [ N::R K 1 ]xc 2 [+R K 2 ] = (C 1 xn::c 2 )[=N::R K 1 N::K 2 ] Réduction des gardes (quand possible) Vérification des contraintes É. de la Clergerie Comment obtenir plus des Méta-Grammaires TALN 05 6 / 18

14 Compiler la méta-grammaire Compilateur MGCOMP, développé avec DYALOG Étape 1 : Classes terminales Héritage des contraintes par les classes terminales (+ vérif contraintes) Étape 2 : Classes neutres Croisement des classes terminales pour neutraliser ressources & besoins C1 [ R K 1 ]xc 2 [+R K 2 ] = (C 1 xc 2 )[=R K 1 K 2 ] (Espace de nom) import classe productrice avec renommage C 1 [ N::R K 1 ]xc 2 [+R K 2 ] = (C 1 xn::c 2 )[=N::R K 1 N::K 2 ] Réduction des gardes (quand possible) Vérification des contraintes Étape 3 : Arbres TAG Utilisation des contraintes des classes neutres pour construire les arbres précédence sous spécifiée entre noeuds frères entrelacement É. de la Clergerie Comment obtenir plus des Méta-Grammaires TALN 05 6 / 18

15 La grammaire en quelques tables Classes Arbres Init. Aux. Aux. Env. Aux. Gauches Aux. Droits = Distribution par catégories d arbres non ancrés v coo adv adj csu prep aux np nc det pro Distribution par la catégorie de l ancre Canonique Extr. Actif Passif Quest. Rel. Clivées Coord Adv Adj Distribution par phénomènes syntaxiques Gardes Disjonctions Entrelacement Étoiles de Kleene Utilisation des opérateurs de factorisation É. de la Clergerie Comment obtenir plus des Méta-Grammaires TALN 05 7 / 18

16 La grammaire en quelques tables (suite) arbres 25 arbres noeuds Distribution par nombre de noeuds É. de la Clergerie Comment obtenir plus des Méta-Grammaires TALN 05 8 / 18

17 Arbre #111 Arbre #111 : pour la construction canonique du verbe croisement de 25 classes terminales ; 43 nœuds plus 3 alternatives et 1 entrelacement ; 35 gardes ; lignes XML É. de la Clergerie Comment obtenir plus des Méta-Grammaires TALN 05 9 / 18

18 Arbre #111 Arbre #111 : pour la construction canonique du verbe croisement de 25 classes terminales ; 43 nœuds plus 3 alternatives et 1 entrelacement ; 35 gardes ; lignes XML S VMod V VMod ## cln N2 CS S PP V1 N2 VMod VMod cl adv clr clseq Infl clseq adv adv cld cla cld cll clg v cln CS PP N2 comp PP prep ce csu S É. de la Clergerie Comment obtenir plus des Méta-Grammaires TALN 05 9 / 18

19 Arbre #111 Arbre #111 : pour la construction canonique du verbe croisement de 25 classes terminales ; 43 nœuds plus 3 alternatives et 1 entrelacement ; 35 gardes ; lignes XML S VMod V VMod ## cln N2 CS S PP V1 N2 VMod VMod cl adv clr clseq Infl clseq adv adv cld cla cld cll clg v cln CS PP N2 comp PP prep ce csu S Taux de compaction : difficile à évaluer ( à ), mais + réaliste entre 100 et 1000 É. de la Clergerie Comment obtenir plus des Méta-Grammaires TALN 05 9 / 18

20 Lien lexique / Grammaire : ancrage par hypertag 2 arg0 arg0 arg1 arg1 arg2 arg2 cat v 6 4diathesis refl refl Grammaire hypertag # extracted - kind subj 6 4 pcas real real0 - CS N2 PP S cln prel pri 2 3 extracted - kind kind1 - acomp obj prepacomp prepobj 6pcas pcas1 + - apres à avec de par real real1 - CS N N2 PP S V adj cla extracted - kind kind2 - prepacomp prepobj prepscomp prepvcomp scomp vcomp whcomp 6pcas pcas2 - + apres à real real2 - CS N N2 PP S... active 7 5 É. de la Clergerie Comment obtenir plus des Méta-Grammaires TALN / 18

21 Lien lexique / Grammaire : ancrage par hypertag 2 arg0 arg0 arg1 arg1 arg2 arg2 cat v 6 4diathesis refl refl Grammaire hypertag # extracted - kind subj 6 4 pcas real real0 - CS N2 PP S cln prel pri 2 3 extracted - kind kind1 - acomp obj prepacomp prepobj 6pcas pcas1 + - apres à avec de par real real1 - CS N N2 PP S V adj cla extracted - kind kind2 - prepacomp prepobj prepscomp prepvcomp scomp vcomp whcomp 6pcas pcas2 - + apres à real real2 - CS N N2 PP S... active 7 5 Lexique hypertag «promettre» 2» 3 kind subj - arg0 pcas -» kind obj scomp - arg1 pcas -» kind prepobj - 6arg2 4 pcas à refl - É. de la Clergerie Comment obtenir plus des Méta-Grammaires TALN / 18

22 Lien lexique / Grammaire : ancrage par hypertag Grammaire hypertag # extracted - kind subj arg0 arg0 6 4 pcas real real0 - CS N2 PP S cln prel pri 2 3 extracted - kind kind1 - acomp obj prepacomp prepobj arg1 arg1 6pcas pcas1 + - apres à avec de par real real1 - CS N N2 PP S V adj cla extracted - kind kind2 - prepacomp prepobj prepscomp prepvcomp scomp vcomp wh- arg2 arg2 comp 6pcas pcas2 - + apres à real real2 - CS N N2 PP S... cat v 6 4diathesis active 7 5 refl refl - Lexique hypertag «promettre» 2» 3 kind subj - arg0 pcas -» kind obj scomp - arg1 pcas -» kind prepobj - 6arg2 4 pcas à refl - Les variables propagent les valeurs des hypertags aux noeuds et gardes É. de la Clergerie Comment obtenir plus des Méta-Grammaires TALN / 18

23 Environnement de développement Principes : Développement de MG développement de programmes (objets) Utilisation de formats intermédaires XML vues multiples (XSL) Édition et visualisation des MG : MGTOOLS Mode Emacs avec coloration syntaxique Interaction avec une visualisation graphique de la hiérarchie des classes Conversion format XML É. de la Clergerie Comment obtenir plus des Méta-Grammaires TALN / 18

24 Environnement de développement (suite) Visualisation de la grammaire conversion format TAGML (XML) vers vue HTML script CGI de recherche (par id et par mots clés) Utilisation de la grammaire Serveur de parseur + visualisation des analyses sous différents formats (forme XML formes «grammaire», dérivations et dépendances) Possibilité de visualisation des arbres utilisés dans une analyse Utilisation de jeux de tests avec calculs de statistiques (temps, couverture, taux d ambiguité,... ) + modif round précédent Calcul de taux de «parsabilité» par mot amélioraton lexique É. de la Clergerie Comment obtenir plus des Méta-Grammaires TALN / 18

25 Sorties d analyse syntaxique (format dépendances) il a voulu en promettre une à Paul. il cln: a voulu subject Infl aux:53 v:62 en V clg promettre v:111 object vmod preparg une pro:49 VMod:90 N2 PP a prep:40 prep:2 N2 N2 Paul np:50 clg: cll. cll: S S:33 void _: Definition (Ambiguité moyenne par mot α) α = nombre d arcs nombre motsn 1 Pour une phrase non ambiguë : α = 0 Pour une phrase ambiguë : nombre d analyse (1 + α) n É. de la Clergerie Comment obtenir plus des Méta-Grammaires TALN / 18

26 Sorties d analyse syntaxique (format dépendances) il a voulu en promettre une à il cln: a voulu subject Infl aux:53 v:62 en V clg: clg cll promettre v:111 object vmod preparg une pro:49 VMod:90 cll: S efinition (Ambiguité moyenne par mot α) nombre d arcs α = 1 É. de la Clergerie Comment obtenir plus des Méta-Grammaires TALN / 18

27 Couverture et performances Utilisation de l analyseur TAG/TIG pour des analyses complètes note : l analyseur peut aussi retourner des analyses partielles (mode robuste) #phrases % couv. temps (s) ambiguïté Corpus moyen médian EUROTRA TSNLP MD10x EASY Résultats (avec un timeout de 100s) É. de la Clergerie Comment obtenir plus des Méta-Grammaires TALN / 18

28 Couverture et performances Utilisation de l analyseur TAG/TIG pour des analyses complètes note : l analyseur peut aussi retourner des analyses partielles (mode robuste) #phrases % couv. temps (s) ambiguïté Corpus moyen médian EUROTRA / OLD / / / / 0.3 TSNLP / OLD / / / / 0.2 MD10x20 / OLD / / / / 0.5 EASY / / / / - Résultats (avec un timeout de 100s) Modif mal contrôlées de dernière minute pour améliorer la couverture dégradation temps et ambiguïté par rapport à une ancienne version OLD importance d un suivi constant et régulier Manque information sur la précision : Attente résultats EASy Attente corpus annoté en syntaxe É. de la Clergerie Comment obtenir plus des Méta-Grammaires TALN / 18

29 Conclusion MG + env. développement + factorisation grammaire compacte temps de développement rapide (quelques mois) DYALOG + factorisation : puissance et généricité Mais le dev. d une MG reste une tâche complexe Besoin important d expertise linguistique Besoin d un lexique syntaxique riche Discipline rigoureuse de tests Contraintes plus expressives et plus puissantes exclusion, topologique, rang,... Formalisme cible plus expressif que les TAGs, comme les MC-TAGs réduire la distance entre MG et Formalisme Cible Besoin de probabilités/heuristiques pour lever les ambiguïtés Outils et ressources librement disponibles : DYALOG, FRMG, MGCOMP, MGTOOLS + LEFFF rubrique Catalogue É. de la Clergerie Comment obtenir plus des Méta-Grammaires TALN / 18

30 Estimer le taux de compaction des arbres factorisés Pour l arbre #111 subjreal = 5 choix de réalisations pour un sujet pré-verbal : cln N2 CS S PP subjpos choix entre sujet «absent», «pré-verbal», «pré-verbal et cl post-verbal», «absent et cl post-verbal», «post-verbal» ; argspos = 3 entrelacements entre 2 args post-verbaux + un sujet post-verbal, tous optionnels ; clseqpos = X choix entre 2 séquences de clitiques pré ou post verbaux optionnels : cld, cla, cld, cll, clg ; clopt = 2 clitiques pré-verbaux optionnels : clneg («ne»), clr (réflexif) ; neg = 3 positions de négation (advneg «que» sur les arguments verbaux ou advneg pré-verbal pour les infinitives) ; arg1real = 3 réalisations possibles pour arg1 : N2 comp PP (nominal, adjectival, infinitif, complétif,... ) ; arg2real = 2 réalisations possibles (au moins) pour arg2 (CS,PP) ; É. de la Clergerie Comment obtenir plus des Méta-Grammaires TALN / 18

31 Meta Grammaire du Français Sous-catégorisation des verbes : sujet, attribut, object, prep-object, vcomp et scomp, prep-vcomp, wh-comp prep-scomp. au plus 3 arg. verbaux (sujet inclus) Constructions auxiliaires, verbes à controle (sujet) Diverses réalisations (np, clitique, infinitive, complétive) et position (pre, post, post-clitique) du sujet extraction arguments et modifiers (questions, relatives, et clivées) construction passive et active coordination partielle (sans ellipse) modifieurs du verbe à diverses positions (participiales, PP, adv,... ), É. de la Clergerie Comment obtenir plus des Méta-Grammaires TALN / 18

32 EASY Détail corpus #sent % coverage general elda % general lemonde % general mlcc % general senat % litteraire % litteraire % litteraire % litteraire % mail % mail % mail % mail % mail % mail % mail % mail % mail % mail % medical % medical % medical % medical % É. de la Clergerie Comment obtenir plus des Méta-Grammaires TALN / 18 corpus #sent % coverage medical % medical % oral delic % oral delic % oral delic % oral delic % oral delic % oral delic % oral delic % oral delic % oral delic % oral elda % oral elda % oral elda % oral elda % oral elda % oral elda % oral elda % oral elda % questions amaryllis % questions trec %