De l étiquetage morpho-syntaxique au super-chunking: levée d ambiguités à l aide de méthodes hybrides et de ressources lexicales riches

Transcription

1 De l étiquetage morpho-syntaxique au super-chunking: levée d ambiguités à l aide de méthodes hybrides et de ressources lexicales riches De l étiquetage morpho-syntaxique au super-chunking: levée d ambiguités à l aide de méthodes hybrides et de ressources lexicales riches Université Paris-Est Marne-la-Vallée 4 septembre 2009 De l étiquetage morpho-syntaxique au super-chunking: levée d ambiguité

2 Points Importants Points Importants Experiences sur l étiquetage morpho-syntaxique : Hybridation, intégration de modules de désambiguisation statistiques et symboliques (Elag). Prise en compte de données linguistiques lors de l étiquetage, en particulier les mots composés. Experiences sur l analyse syntaxique partielle, chunking. Hybridation, utilisation d un module de désambiguisation statistique en sortie d un super-chunker, Pom.

3 Table des matières Table des matières 1 Points Importants 2 Table des matières 3 introduction et définitions : étiquetage morpho-syntaxique introduction et définitions : état de l art Corpus annoté du Français Principe général de l étiqueteur Algorithmes de désambiguisation Évaluations 4 Analyse syntaxique partielle introduction et définitions : chunking introduction et définitions : état de l art Principe général du chunker Évaluations 5 Perspectives 6 Bibliographie

4 introduction et définitions : étiquetage morpho-syntaxique Étiquetage morpho-syntaxique L étiquetage morpho-syntaxique d un texte (Part-Of-Speech en anglais) consiste à assigner à chaque mot d un texte une étiquette morpho-syntaxique. Une étiquette morpho-syntaxique décrit : catégorie grammaticale : nom N, verbe V, adjectif A,... informations morphologiques : genre :masculin m, féminin f nombre : pluriel p, singulier s temps : imparfait I, présent P,... Exemple phrase = Max a mangé une pomme étiquettes = {N,V,DET} en sortie : Max.N a.v mangé.v une.det pomme.n

5 introduction et définitions : étiquetage morpho-syntaxique Problème : Les mots de la langue sont ambigüs. On peut parfois assigner plusieurs étiquettes morpho-syntaxiques à un mot donné de la phrase. Exemple texte tokénisé = je le, bois lexique = { je.pro, le.det, le.pro, bois.n, bois.v }

6 introduction et définitions : état de l art Levée d ambiguités : La désambiguisation de l automate du texte consiste en la recherche du meilleur chemin décrit par cet automate. C est à dire pour chaque mot du texte, choisir l étiquette morpho-syntaxique la plus pertinente au regard du contexte de ce mot. Plusieurs approches : approches statistiques : à base de probabilités : Hmm,TreeTagger,SVM,... utilisant des modèles de règles : Brill l apprentissage est fait sur un corpus annoté manuellement, nécessite un coût humain de création approche symbolique : les règles sont construites manuellement, nécessite un coût humain de création Elag,... approche hybride : combinaison des deux approches, symbolique et statistique approche étudiée

7 introduction et définitions : état de l art Étiqueteurs évalués sur l anglais : SVMTOOL : 97,20% sur le corpus Wall-Street Journal (37 étiquettes) Tree-Tagger : 96,36% sur le corpus Penn-TreeBank (36 étiquettes) Brill Tagger : 96% Innovations La plupart des étiqueteurs utilisent une approche statistique ou une approche symbolique, mais peu une méthode hybride. Peu d étiqueteurs prennent en compte les mots composés dans le processus d étiquetage.

8 Corpus annoté du Français Corpus annoté Pour l approche statistique de la désambiguisation, nous avons besoin d un corpus annoté du Français. Corpus arboré d Anne Abeillé issu du journal Le Monde (environ mots). Le choix s est porté sur le corpus d Anne Abeillé pour plusieurs raisons : découpage du texte en token-mots informations morpho-syntaxiques sur chaque token-mot repérage des mots composés découpage du texte en chunks Exemple (XN) (w cat= DET mph= ms lemma= le ) le (/w) (w cat= A mph= ms lemma= deuxième ) deuxième (/w) (w cat= N mph= ms lemma= problème ) problème (/w) (/XN)

9 Principe général de l étiqueteur Architecture de l étiqueteur Architecture composée de trois principaux modules : expériences de désambiguisation statistique : DelPaths, suppression de chemins à l aide de mots composés. AddPaths, ajout de chemins étiquetés à l aide de mots composés. Learning Errors, règles contextuelles et lexicales désambiguiseur symbolique ELAG. linéarisation faite par un désambiguiseur statistique probabiliste basé sur les modèles de Markov cachés (HMM).

10 Principe général de l étiqueteur Modèle probabiliste HMM But : Trouver la meilleur séquence d étiquettes t pour toute séquence w de token-mots d une phrase d un texte : argmax(p(w/t)) Exemple phrase du texte = il a mangé lexique = il.pro, a.n, a.v, mangé.v chemins possibles : il.pro a.n mangé.v P(il a mangé/pro N V) = il.pro a.v mangé.v P(il a mangé/pro V V) = meilleur chemin : il.pro a.v mangé.v Problème : temps de calcul exponentiel Solution : Algorithme dynamique de Viterbi, compléxité réduite O(n 2 )

11 Algorithmes de désambiguisation Intuition Les mots composés ont plus de poids dans l automate que les mots simples. journal télévisé.n+na a plus de poids que journal puis télévisé. Problème On ne peut utiliser les mots composés en sortie de l étiquetage mais on s en sert pour traiter les mots simples. Ceci dans le but de comparer avec les étiqueteurs actuels.

12 Algorithmes de désambiguisation DelPaths Supprime des chemins de mots simples en concurrence avec des mots composés en parallèles. AddPaths Ajoute des chemins de mots simples dans l automate étiquetés par les noms composés. Le réétiquetage est aussi fait dans le corpus d apprentissage.

13 Algorithmes de désambiguisation Learning Errors Crée automatiquement des règles lexicales et contextuelles à partir d erreurs d étiquetages initiales. On étiquete basiquement le corpus d apprentissage avec l étiqueteur. Ensuite on récupère la liste des erreurs d étiquetage et pour chaque mot, on récupère des informations : Lexicales, catégories grammaticales + fréquences contextuelles, contextes gauches et droits fréquents Puis avec ces informations, on crée automatiquement des règles applicables sur l automate ambigü du texte. Exemple Règle lexicale : aussi est souvent associé à ADV Règle contextuelle : ce.pro a souvent un contexte droit PRO

14 Algorithmes de désambiguisation ELAG ensemble de grammaires définissant des règles contextuelles et lexicales écrites manuellement. Exemple si.adv existe si et seulement si le contexte droit est une des catégories, ADV, A, V :K, début de phrase ou ponctuation. elle est si.adv belle.a si.adv intimement.adv Si tel n est pas le cas alors l ambiguité si.adv est supprimée de l automate du texte.

15 Évaluations Jeu d étiquettes simple(catégorie grammaticale) : Étiqueteur mots connus mots inconnus total HmmTagger (basic) 95,56 92,16 95,41 HmmTagger 96,23 93,76 96,13 TreeTagger 96,58 87,33 96,19 SVMTOOL 97,81 92,04 97,58 Jeu d étiquettes complexe (catégorie + traits) : Étiqueteur mots connus mots inconnus total HmmTagger (basic) 92,45 90,39 92,40 HmmTagger 93,53 90,21 93,40 TreeTagger 93,44 8,81 89,91 SVMTOOL 94,78 85,40 94,40 Évaluation de l étiqueteur selon l utilisation indépendante de chaque module de désambiguisation

16 Analyse syntaxique partielle introduction et définitions : chunking Chunking/Super-Chunking L Analyse syntaxique partielle, ou chunking, consiste à découper la phrase en séquences de mots, que l on appelera chunks, auxquelles on attribue une classe grammaticale : chunks nominaux XN : la jolie pomme, le pantalon,... chunks prépositionnels XP : sur la colline, de la terre, Exemple phrase = Brill vit l homme sur la colline étiquettes = {XN,XV,XP} en sortie : [XN Brill][XV vit][xn l homme][xp sur la colline] Le super-chunking prend en compte les unités multi-mots (mots composés, expressions figées,...). Exemple chunks = [XN le cordon][xa bleu] en sortie : [XN le cordon bleu]

17 Analyse syntaxique partielle introduction et définitions : état de l art Levée d ambiguités : Plusieurs approches : approches statistiques : On effecte un étiquetage morpho-syntaxique du texte. Avec les étiquettes, on fait l analyse en chunks (grâce aux HMM). l apprentissage est fait sur un corpus annoté. Exemple : Skut, Molina,... approche symbolique : Résolution par cascade de transducteurs (des grammaires). Chacun des transducteurs permet de reconnaître un type de chunk particulier. Exemple : Pom, Abney, Macaon,... approche hybride : combinaison des deux approches, symbolique et statistique. approche étudiée. Les résultats en général de ces chunkers sont d environ 90% de chunks bien segmentés et bien étiquetés (sur l Anglais).

18 Analyse syntaxique partielle Principe général du chunker Architecture du super-chunker Pom Utilisation du module de désambiguisation statistique probabiliste (HMM) aux différentes sorties ayant un automate ambigü. Recherche de la meilleure position du module.

19 Analyse syntaxique partielle Évaluations Les évaluations ont porté sur le corpus d évaluation crée par Takuya Nakamura et Stavroula Voyatzi : 3336 chunks répartis dans 453 phrases. algorithme rappel précision Pom 81,73 77,86 Pom+StatProb 83,54 79,54 Couverture des analyses : 53,87% Couverture des chunks : 88,84% En focalisant sur les chunks : chunk chunks trouvés total dans le corpus pourcentage XN ,62 XV ,61 XP ,23 XADV ,12 XA ,68 det,conjc,conjs, ,32

20 Perspectives Ajout des lemmes dans les étiquettes morpho-syntaxiques. Ajout de règles ELAG. Adapter et évaluer notre étiqueteur sur un corpus Anglais. Analyse syntaxique partielle Transformer Pom en chunker standard et évaluer sur le corpus d Anne Abeillé. Implémenter et évaluer un super-chunker se basant sur une approche uniquement statistique utilisant notre étiqueteur morpho-syntaxique.

21 Bibliographie Anne Abeillé, Lionel Clément, Un corpus français arboré : quelques interrogations. Christopher D. Manning, Hinrich Schütze, Foundations of Statistical Natural Language Processing, MIT. Éric Laporte, Anne Monceaux, Elimination of lexical ambiguities by grammars. The ELAG system Éric Brill, A Simple Rule-Based Part of Speech Tagger Jesus Giménez, Lluis Marquez, SVMTool : A general POS tagger generator based on Support Vector Machines Olivier Blanc, Matthieu Constant and Patrick Watrin Segmentation in super-chunks with a finite-state approach Helmut Schmid Probabilistic part-of-speech tagging using decision trees Antonio Molina and Ferran Pla Shallow parsing using specialized HMMs. J. of Machine Learning Research 2 : pp

22 Bibliographie FIN