Etiquetage morphosyntaxique probabiliste

Transcription

1 Etiquetage morphosyntaxique probabiliste Traitement Automatique des Langues Master Informatique Université Paris-Est Marne-la-Vallée Matthieu Constant

2 Références de base du cours Christopher D. Manning and Hinrich Schütze, 1999, Foundations of Statistical Natural Language Processing, Massachussetts Insititute of Technology Ruslan Mitkov, 2003, The Oxford Handbook of Computational Linguistics, Oxford University Press

3 Plan introduction étiquettes morphosyntaxiques et ambiguïté caratéristiques des analyseurs quelques rappels sur les probabilités analyseurs stochatisques architecture d'un analyseur par modèles de Markov par apprentissage de règles de transformation (Brill)

4 INTRODUCTION

5 Analyse morphosyntaxique processus d'assigner une étiquette morphosyntaxique à chaque mot d'un texte exemple : Max donne une pomme à Léa N V DET N PREP N terminologie équivalente : étiquette morphosyntaxique partie du discours (Part-of-Speech = POS)

6 INTRODUCTION Etiquettes morphosyntaxiques et ambiguïté

7 Etiquettes - 1 en général, les étiquettes sont données aux mots en utilisant des critères formels : distribution syntaxique (ex. DET A N) fonction syntaxique (ex. nom tête d'un groupe nominal) appartenance à une classe morphologique ou syntaxique

8 Etiquettes - 2 le jeu d'étiquettes utilisé est très variable suivant les analyseurs une étiquette peut contenir les informations suivantes : une catégorie grammaticale (obligatoire) ex. verbe, nom, adjectif, adverbe, déterminant,... des informations flexionnelles ex. genre, nombre, personne, temps, mode,... des informations morphosyntaxiques ex. distinction entre nom propre et nom commun

9 Etiquettes - 3 extension possible : une étiquette peut contenir des traits sémantiques quelques traits : humain, concret, abstrait exemple d'entrée : avocat avocat => nom commun humain avocat => nom commun concret mais la limite entre étiquetage morphosyntaxique et étiquetage morphosyntaxique devient flou!

10 Echantillon de jeu d'étiquettes pour l'anglais - 1 AT : article (ex. a) BEZ : mot is IN : préposition (ex. for) JJ : adjectif (ex. beautiful) JJR : adjectif comparatif (ex. clearer) MD : modal (ex. should) NN : nom commun singulier (ex. car) NNP : nom propre singulier (ex. George) NNS : nom commun pluriel (ex. cars) PN : pronom personnel (ex. we)

11 Echantillon de jeu d'étiquettes pour l'anglais - 2 RB : RBR : TO : VB : VBD : VBG : VBN : adverbe (ex. nicely) adverbe comparatif (ex. sooner) mot to verbe à l'infinitif (ex. sing) verbe au passé (ex. changed) verbe au gérondif (ex. eating) verbe au participe passé (ex. been)

12 Ambiguïté - 1 exemple de phrase ambigue : La belle femme ferme le voile. ambiguités : la : déterminant, nom ou pronom belle : adjectif ou nom ferme : adjectif, nom ou verbe le : déterminant ou pronom voile : nom ou verbe

13 Ambiguïté - 2 en général, les mots sont ambigus certains mots n'ont qu'une seule étiquette âge : nom masculin singulier ânerie : nom féminin singulier éducatif : adjectif masculin singulier

14 INTRODUCTION Caractéristiques des analyseurs

15 Caractéristiques des étiqueteurs les mots sont des tokens utilisation de contextes très locaux (2-3 mots) bonne précision : 96-98% de mots correctement étiquetés

16 Approches règles construites manuellement modèle de Markov modèle de Markov caché transformations automatiquement apprises arbres de décisions...

17 Quelques applications recherche d'information extraction d'information analyse syntaxique

18 INTRODUCTION Quelques rappels sur les probabilités

19 Probabilités soit A un événement dans un univers donné la probabilité de cet événement est notée P(A) : avec P A = f A n [0,1] f(a) : nombre de fois que A se produit n : nombre de tous les possibles dans l'univers

20 Probabilité conditionnelle - 1 soient A et B deux événements on note P(A B), la probabilité conditionnelle que A se produise sachant que B s'est déjà produit : P A B = P A,B P B avec P(A,B) la probabilité que les deux événements A et B se produisent ensemble

21 Probabilité conditionnelle - 2 soient les n événements A 1,..., A n généralisation : P A 1,..., A n =P A 1. P A 2 A 1. P A 3 A 1, A 2... P A n A 1... A n 1

22 Indépendance deux événements A et B sont indépendants l'un de l'autre si P(A,B) = P(A).P(B) A et B sont aussi conditionnellement indépendant : soit C un événement, alors P(A,B C) = P(A C).P(B C)

23 Indépendance Soient les n événements A 1,..., A n indépendants Généralisation : P A 1,..., A n C =P A 1 C.P A 2 C... P A n A n 1

24 Théorème de Bayes théorème : P B A = P B, A P A = P A B. P B P A déterminer l'événement B qui maximise P(B A) argmax B P A B.P B P A = argmax B P A B. P B car P(A) est constante quelque soit B

25 Hypothèses de Markov on suppose que les événements A 1,..., A n apparaissent dans un certain ordre Markov fait deux approximations : horizon limité : un événement ne dépendant que de son précédent P A n 1 A 1,..., A n = P A n 1 A n invariant temporel : la probabilité ne dépend pas du temps

26 Plan introduction étiquettes morphosyntaxiques et ambiguïté caratéristiques des analyseurs quelques rappels sur les probabilités analyseurs stochatisques architecture d'un analyseur par modèles de Markov par apprentissage de règles de transformation (Brill)

27 ANALYSEURS STOCHASTIQUES

28 ANALYSEURS STOCHASTIQUES Architecture des analyseurs

29 Architecture générale tokenisation analyse lexicale ambigüe levée d'ambiguité

30 Tokenisation découpage d'une séquence de caractères en tokens un token peut être : un mot simple un symbole de ponctuation un nombre un caractère blanc

31 Analyse lexicale ambigue assigner à chaque token l'ensemble des étiquettes possibles méthodes : utilisation d'un lexique listes de mots modèles à états finis utilisation d'un guesser (devineur) application de règles morphologiques application de règles contextuelles application de priorités

32 Levée d'ambiguité probabiliste à base de deux types d'informations information sur le mot à étiqueter information contextuelle syntaxique combinaison de ces deux informations apprentissage des ces informations sur des corpus en général annotés (étiquetés) à la main

33 Informations sur les mots - 1 étant donné un mot, on est capable de déterminer la probabilité de lui assigner une étiquette soient un mot w et une étiquette t, la probabilité d'avoir l'étiquette t sachant que l'on a le mot w est : P t w = f w,t f w f(w,t) est le nombre de fois que w est étiqueté par t dans le corpus d'apprentissage f(w) est le nombre d'occurrences du mot

34 Informations sur les mots - 2 implémentation simpliste d'un étiqueteur : on assigne à chaque mot l'étiquette la plus probable indépendement du contexte exemple : le mot tables serait étiqueté comme nom, car il apparaît plus souvent comme un nom que comme un verbe. résultats plutôt bons : environ 90% de précision

35 informations sur les mots - 3 étant donné une étiquette t, on peut aussi calculer la probabilité qu'elle soit celle d' un mot w P w t = f w,t f t moins intuitif! Mais utile pour la suite...

36 Information contextuelle syntaxique on est capable de déterminer la probabilité d'avoir une étiquette t k quand elle est précédée de l'étiquette t j dans le texte P t k t j = f t j,t k f t j exemple : a new play P(NN JJ) = 0.45 P(VBP JJ) = dans le Brown Corpus, d'après (Manning et Schütze, 1999)

37 ANALYSEURS STOCHASTIQUES Modèle de Markov

38 Définition du problème - 1 Soient w 1,n = w 1 w 2... w n, une séquence de n mots t 1,n = t 1 t 2... t n, une séquence d'étiquettes associée à w 1,n Etant donné w 1,n, le but est de trouver t = t 1,n tel qu'elle maximise P(t 1,n w 1,n ) t = argmax t 1,n P t 1,n w 1,n = argmax t 1,n P w 1,n t 1,n.P t 1,n cf. théorème de Bayes

39 Définition du problème - 2 en appliquant trois hypothèses : horizon limité (Markov) : P(t n t 1,n-1 ) = P(t n t n-1 ) indépendance des mots : P(w 1,..., w n ) = P(w 1 )...P(w n ) l'identité d'un mot dépend de son étiquette : P(w i t 1,n ) = P(w i t i ) on obtient [avec P(t 1 t 0 ) = 1.0 par convention] : n t = argmax t 1,n i=1 P w i t i. P t i t i 1

40 Algorithme d'apprentissage après parsing d'un corpus annoté pour chq étiquette t k faire pour chq étiquette t j faire P(t k t j ) = f(t j,t k )/f(t j ) fin fin pour chq étiquette t j faire pour chq mot w i faire P(w i t j ) = f(w i,t j )/f(t j ) fin fin

41 Exemple - 1 second tag first tag AT BEZ IN NN VB PERIOD AT BEZ IN NN VB PERIOD statistiques sur le Brown Corpus, tirées de (Manning et Schütze, 1999)

42 Exemple - 2 AT BEZ IN NN VB PERIOD bear is move on president progress the statistiques sur le Brown Corpus, tirées de (Manning et Schütze, 1999)

43 Représentation sous la forme d'un automate AT the VB bear 0.01 NN bear BEZ is IN 0.3 on AT the VB move 0.03 NN move PERIOD. 0.4

44 Représentation sous la forme d'un automate AT the VB bear 0.01 NN bear BEZ is IN 0.3 on AT the VB move 0.03 NN move PERIOD. 0.4

45 Résolution du problème méthode naïve : on évalue l'équation pour chaque possibilité d'étiquetage => complexité exponentielle méthode itérative : algorithme de Viterbi en partant de la position 1 jusqu'à n à chaque état de cette position, on calcule le meilleur chemin (et sa probabilité) en se servant des états et transitions entrants.

46 Algorithme de Viterbi trois étapes : initialisation induction finalisation calcul de deux fonctions : d i (j) indique la probabilité d'être dans l'état j (ou étiq j) au mot i g i+1 (j) indique l'état (ou étiq) le plus probable au mot i sachant que nous sommes dans l'état j du mot i + 1

47 #initialisation d 1 (PERIOD) = 1.0 Algorithme d 1 (t) = 0.0 pour chq étiq t PERIOD #induction #n: longueur de la phrase pour i=1 à n faire pour chq étiq t j faire d i+1 (t j ) = max tk (d i (t k ).P(w i+1 t j ).P(t j t k )) fin fin g i+1 (t j ) = argmax tk (d i (t k ).P(w i+1 t j ).P(t j t k ))

48 Algorithme # terminaison #X1,...,Xn : étiquettes assignées X n+1 = argmax t d n+1 (t) pour j = n à 1 faire [pas -1] X j = g j+1 (X j+1 ) fin

49 ANALYSEURS STOCHASTIQUES Etiqueteurs basés sur des transformations

50 Etiqueteurs basés sur des transformations limitation des approches par le modèle de Markov : le contexte est limité à 2 mots (voire 3) idée : pourquoi ne pas étendre à des contextes plus grand capturant des informations complexes transformations : transforme un étiquetage imparfait en un autre avec moins d'erreurs, si l'on se trouve dans certains contextes les types de contextes sont spécifiés à la main les transformations sont apprises automatiquement