Analyse syntaxique probabiliste

Dimension: px

Commencer à balayer dès la page:

Download "Analyse syntaxique probabiliste"

Robert René
il y a 6 ans
Total affichages :

1 Analyse syntaxique probabiliste Alexis Nasr LIF - Université de la Méditerranée GT AA-TALN, 12/10/2007 p.1/??

2 Plan Analyse probabiliste pour la langue naturelle Les grammaires d arbre adjoints Résultats Perspectives GT AA-TALN, 12/10/2007 p.2/??

3 Motivation : ambiguïté des grammaires syntaxiques 1e+08 max moy 1e+07 Nombre d analyses 1e Longueur de la phrase GT AA-TALN, 12/10/2007 p.3/??

4 Ingrédients pour un analyseur probabiliste Grammaire Modèle probabiliste Algorithme d analyse Algorithme de recherche de l analyse la plus probable GT AA-TALN, 12/10/2007 p.4/??

5 Grammaire : CFG Extraction à partir d une banque d arbre banque d arbre : collection de couples (phrase, arbre syntaxique). corpus Penn Treebank corpus Paris 7 mots phrases cat. syntag parties de discours règles GT AA-TALN, 12/10/2007 p.5/??

6 Grammaire : CFG S GN Det N GV V le chat dort S GN GV GN Det N GV V Det le N chat V dort GT AA-TALN, 12/10/2007 p.6/??

7 Modèle probabiliste : PCFG On associe à toute règle de la CFG une probabilité P(A α) est la probabilité que le non terminal A se réecrive α. P(T,S) = n T P(r(n)) r(n) désigne la règle qui a servi à réecrire le non terminal n estimation par maximum de vraisemblance P(A α) = #(A α) #(A) GT AA-TALN, 12/10/2007 p.7/??

8 Analyse Algorithmes standard : Earley ou CYK production de l ensemble des analyses sous la forme d une grammaire instanciée S[0..5] -> GN[0..3] GV[3..5] S[0..5] -> GN[0..2] GV[2..5] GN[0..3] -> D[0..1] ADJ[1..2] N[2..3] GN[0..2] -> D[0..1] N[1..2] GV[3..5] -> PRO[3..4] V[4..5] GV[2..5] -> V[2..3] GN[3..5] GN[3..5] -> D[3..4] N[4..5] D[0..1] -> la[0..1] ADJ[1..2] -> petite[1..2] N[2..3] -> ferme[2..3] PRO[3..4] -> le[3..4] V[4..5] -> voile[4..5] N[1..2] -> petite[1..2] V[2..3] -> ferme[2..3] D[3..4] -> le[3..4] N[4..5] -> voile[4..5] GT AA-TALN, 12/10/2007 p.8/??

9 Représentation graphique de la forêt d analyse S[0..5] S[0..5] > GN[0..2] GV[2..5] S[0..5] > GN[0..3] GV[3..5] GN[0..2] GN[0..3] GV[2..5] GV[3..5] D[0..1] N[1..2] N[2..3] V[2..3] GN[3..5] PRO[3..4] V[4..5] A[1..2] D[3..4] N[4..5] la[0..1] petite[1..2] ferme[2..3] le[3..4] voile[4..5] GT AA-TALN, 12/10/2007 p.9/??

10 cherche de l analyse la plus probable : algorithme de Viter δ(a[i...j]) meilleure probabilité associée à un sous-arbre de racine A couvrant la portion de la phrase m i...m j. δ(r[i...j]) même chose avec la racine réécrite par la règle R A R1 R2 Rn δ(a) = max 1 i n δ(r i ) R A1 A2 An T δ(r) = P(R) 1 i n δ(a i) δ(t) = 1 GT AA-TALN, 12/10/2007 p.10/??

11 mesure d évaluation : PARSEVAL (Black et al, 1991) étant donné une phrase s, un arbre candidat C pour s et l arbre référence R pour s. un constituent dans C est correct s il existe un constituent dans R étiqueté par la même catégorie et recouvrant le même segment de phrase. labeled recall (LR) = # constituents corrects dans C # constituents dans R labeled precision (LP) = # consituents corrects dans C # constituents dans C F1 : moyenne harmonique de LR et LP (F1 = 2 LR LP LR+LR ) Résultats sur le PTB : F1 = GT AA-TALN, 12/10/2007 p.11/??

12 Limites des PCFG (1) Indépendance lexicale La réecriture d un symbole pré-terminal X ne dépend pas du contexte d occurrence de X mise en défaut : la préposition introduisant un complément d un verbe dépend de la nature lexicale du verbe Exemple : Jean pense à Marie cette dépendance n est pas modélisée : GV V GP V pense GP P GN P à GT AA-TALN, 12/10/2007 p.12/??

13 Limites des PCFG (2) Indépendance structurale le choix d une règle pour la réécriture d un symbole X est indépendant du contexte d occurrence de X mise en défaut : Dans le corpus switchboard, 91% des sujets sont des pronoms alors que seule 34% des objets le sont (Francis et al 99) Or il n y a qu une règle de la forme GN Pro et une seule probabilité lui correspondant GT AA-TALN, 12/10/2007 p.13/??

14 Lexicalisation (Charniak,1997) (Collins, 1999) tête lexicale : un syntagme est construit autour d une tête lexicale les catégories non terminales de la grammaire sont constituées de couples (cat,lex) où lex est la tête du syntagme de catégorie cat Exemple : (GV, penser) (V, penser)(gp, à) Explosion du nombre de catégories et du nombre de règles Problèmes sévères d estimation des probabilités des règles. GT AA-TALN, 12/10/2007 p.14/??

15 Grammaires fondées sur l historique (Black et al, 1992) la probabilité d appliquer une règle à une étape de la dérivation dépend de la structure dérivée jusque là R S = T 1 R 1 = 2 R n 2 R n 1 T2 =... = T n 1 = T n = T P(T) = n 1 i=1 P(R i T i ) modèle non réaliste : la partie conditionnelle est beaucoup trop importante, l estimation de la probabilité des règles est difficile. regroupement des historiques en classes d équivalence. P(R i T i ) P(R i E[T i ]) GT AA-TALN, 12/10/2007 p.15/??

16 Markovisation des règles (Klein Manning 03) Markovisation verticale : prise en compte des v premiers ancêtres dans la partie conditionnelle Markovisation horizontale : prise en compte des h frères de gauche dans la partie conditionnelle ordre horizontal ordre vertical h = 0 h = 1 h = 2 h = v = v = v = GT AA-TALN, 12/10/2007 p.16/??

17 Divers résultats sur le Penn Tree Bank LP LR F1 Magerman Collins Charniak Collins GT AA-TALN, 12/10/2007 p.17/??

18 Réordonancement des sorties d un analyseur Génération des n analyses les plus probables des phrases du corpus d apprentissage. Apprentissage de modèles discriminants (Boosting, maximum entropy) Réordonancement des sorties de l analyseur sur le corpus de test. LP LR F1 Collins Charniak GT AA-TALN, 12/10/2007 p.18/??

Documents pareils

Grammaires d unification

Cours sur le traitement automatique des langues (IV) Violaine Prince Université de Montpellier 2 LIRMM-CNRS Grammaires d unification Grammaire catégorielle Grammaire syntagmatique généralisée (GPSG) Les