INGENIERIE DES LANGUES. Master en Informatique 1ère Année Semestre 1. Département d'informatique Université de Caen Basse-Normandie

Transcription

1 INGENIERIE DES LANGUES Master en Informatique 1ère Année Semestre 1 Département d'informatique Université de Caen Basse-Normandie

2 Plan Intuition Modèles à base de Règles Modèles de Markov Cachés Apprentissage à Transformation Résumé

3 Intuition L'étiquetage morpho-syntaxique est la tâche qui consiste à attribuer une étiquette morphosyntaxique (POS) à chaque unité lexicale. Le chat mange la souris Le/ART chat/n mange/v la/art souris/n

4 Intuition Quel est l'intérêt de connnaître les étiquettes morpho-syntaxiques des unités lexicales? Analyse syntaxique Filtrer l'information (unités polylexicales) Prononciation Désambiguïsation sémantique Reconnaissance d'entités nommées Etc...

5 Intuition Quels sont les défis? Combien d'étiquettes pour une unité lexicales? L'ogre garde le manger/n dans la cuisine C'est l'heure d'aller manger/v Quelle étiquette pour une unité lexicale inconnue? J'ai un ami qui kiffe/v sa life/n

6 Intuition Quels sont les défis? Quel grain pour l'ensemble d'étiquettes Le/ART chat/n mange/v la/art souris/n Le/ARTDM chat/ncsm mange/vtp3 la/artdf souris/ncsf

7 Intuition Quels sont les modèles? Modèles à base de règles Modèles de Markov cachés Apprentissage à Transformation

8 Modèles à base de Règles Les premières expériences sont basées sur: Un dictionnaire ou plutôt un lexique Un ensemble de règles compilées manuellement comme règles de décision lexique

9 Modèles à base de Règles Exemple Les limitations de cette approche sont évidentes. Quelles sont-elles?

10 Modèles de Markov Cachés L'assomption de Markov propose que seul un voisinage restreint est suffisant pour calculer des probabilités conditionnelles. Règles de Chaînes Assomption de Markov Chaînes de Markov bigrammes trigrammes

11 Modèles de Markov Cachés Le problème de l'étiquetage morpho-syntaxique peut être défini comme trouver la séquence d'étiquettes morpho-syntaxiques optimale pour une séquence d'unités lexicales donnée Nous pouvons faire l'hypothèse que chaque étiquette est indépendante des autres

12 Modèles de Markov Cachés Nous faisons aussi l'hypothèse que l'étiquette d'un mot dépend uniquement du mot en question et non de son entourage Quels sont les problèmes? P(ART N le manger) = P(ART le) * P(N manger) P(ART V le manger) = P(ART le) * P(V manger) Que se passe-t-il?

13 Modèles de Markov Cachés Il faut introduire le contexte des étiquettes dans le calcul des probabilités Théorème de Bayes Dans notre contexte, peut-on simplifier?

14 Modèles de Markov Cachés Finalement que reste-il pour un modèle bigramme des étiquettes? Modèle final

15 Modèles de Markov Cachés Reprenons notre exemple P(ART N le manger) = P( le ART) * P( manger N) * P(ART Ø) * P(N ART) P(ART V le manger) = P( le ART) * P( manger V) * P(ART Ø) * P(V ART)

16 Modèles de Markov Cachés Comment calculer les probabilités? Comme dans les modèles du langage, nous avons besoin d'un corpus d'entraînement Brown, Penn TreeBank, Claws series, Etc...

17 Modèles de Markov Cachés Comment calculer les probabilités? Comme dans les modèles du langage, nous avons besoin d'un corpus d'entraînement Brown, Penn TreeBank, Claws series, Etc...

18 Modèles de Markov Cachés Comment traiter les unités inconnues? Pour le modèle ngramme des étiquettes, utiliser les fonctions de lissage des modèles du langage. En particulier, l'interpolation linéaire donne de bons résultats

19 Modèles de Markov Cachés Comment traiter les unités inconnues? Pour les mots inconnus, le problème peut-être résolu comme pour les modèles du langage en se basant sur la distribution des étiquettes. Nous pouvons aussi introduire des connaissances dans le modèle. Par exemple, si nous connaissons un peu la langue, nous pouvons orienter le calcul des probabilités Constante à paramétrer

20 Modèles de Markov Cachés Comment traiter les unités lexicales inconnues?

21 Modèles de Markov Cachés Problème computationnel L'espace de recherche explose rapidement

22 Modèles de Markov Cachés La programmation dynamique et en particulier l'algorithme Viterbi sont utilisés pour résoudre ce problème

23 Modèles de Markov Cachés Exemple de l'algorithme Viterbi

24 Apprentissage à Transformation Les modèles de Markov ne permettent que de restreindre l'étiquetage par un modèle du langage basé sur des étiquettes L'apprentissage à transformation permet de formuler d'autres contraintes par des règles de réécriture Un corpus étiqueté est réétiqueté grâce à un dictionnaire avec l'étiquette la plus fréquente Un algorithme d'apprentissage apprend alors des règles de réécriture dans la forme correcte

25 Apprentissage à Transformation Exemple INPUT ETIQUETE CORRECTEMENT L'/ART ogre/n garde/v le/art manger/n dans/prep la/art cuisine/n INPUT ETIQUETE PAR LE DICTIONNAIRE L'/ART ogre/n garde/n le/art manger/v dans/prep la/art cuisine/n APPRENDRE LES REGLES

26 Apprentissage à Transformation Exemple INPUT ETIQUETE CORRECTEMENT L'/ART ogre/n garde/v le/art manger/n dans/prep la/art cuisine/n INPUT ETIQUETE PAR LE DICTIONNAIRE L'/ART ogre/n garde/n le/art manger/v dans/prep la/art cuisine/n APPRENDRE LES REGLES

27 Apprentissage à Transformation Apprentissage Simple Problème adapté à la programmation logique inductive (ILP)

28 Résumé Intuition Modèles à base de Règles Modèles de Markov Cachés Apprentissage à Transformation

29 Prochains Cours CM: Extraction d'unités Polylexicales TP: Stanford Part-of-Speech Tagger