Fondements linguistiques et informatiques pour le traitement au. naturelle écrite

Transcription

1 Fondements linguistiques et informatiques pour le traitement automatique de la langue naturelle écrite Philippe Muller, Patrick Saint-Dizier Philippe.Muller/Cours/Master2/

2 Plan du cours Introduction : les applications et les problèmes fondements formels le lexique la syntaxe la sémantique conclusion : méthodologie et évaluation

3 Les niveaux de traitement phonologie : les sons les mots morphologie : la forme des mots (conjugaisons, etc) syntaxe/lexique : l organisation des mots en structures sémantique : le sens des mots le sens de la phrase pragmatique : le sens des phrases en contexte (dans un texte, un dialogue).

4 Problèmes fondamentaux ambiguïté du langage humain ambiguïté lexicale ambiguïté grammaticale richesse et variation d expressions différentes sur la forme mais plus ou moins équivalentes

5 Cours LN 3/10 L outillage conceptuel pour le traitement du langage

6 Plan du cours outils pour analyser des structures automates grammaires outils pour représenter de l information structure de traits lambda-calcul

7 Ex : Grammaire et analyse Pourquoi la grammaire? structuration du sens phrase liste de mots Justine Henin a battu Kim Clijsters Kim Clijsters a battu Justine Henin mais Kim Clijsters a été battue par Justine Henin je (ne) veux (pas) un billet pour Paris (Pierre et Marie Curie) ont découvert la radioactivité

8 Sens et structure La syntaxe définit l interprétation Example La conductrice est morte dans la collision de la voiture qu elle occupait avec un arbre dépendances entre parties de la phrase il peut y avoir des ambiguïtés

9 Sens et structure La syntaxe définit l interprétation Example La conductrice est morte dans la collision de la voiture qu elle occupait avec un arbre dépendances entre parties de la phrase il peut y avoir des ambiguïtés La conductrice est morte dans la collision de la voiture qu [elle occupait avec un arbre]

10 Sens et structure La syntaxe définit l interprétation Example La conductrice est morte dans la collision de la voiture qu elle occupait avec un arbre dépendances entre parties de la phrase il peut y avoir des ambiguïtés La conductrice est morte dans la collision de la voiture qu [elle occupait avec un arbre] La conductrice est morte [dans la collision [de la voiture qu elle occupait] [avec un arbre]]

11 Sens et structure La syntaxe définit l interprétation Example La conductrice est morte dans la collision de la voiture qu elle occupait avec un arbre dépendances entre parties de la phrase il peut y avoir des ambiguïtés La conductrice est morte dans la collision de la voiture qu [elle occupait avec un arbre] La conductrice est morte [dans la collision [de la voiture qu elle occupait] [avec un arbre]] La conductrice est morte [dans la collision de la voiture qu elle occupait] [avec un arbre]

12 Objectifs de la syntaxe pouvoir décrire les structures de phrase possibles pouvoir analyser les phrases en structure pouvoir retrouver certaines structures

13 Des règles structurales pourquoi certaines phrases sont correctes et pas d autres règles de bonne formation (ordre, dépendances, etc) L ignorance toujours est prête à s admirer. Admirer toujours prête est ignorance l à s la grammaticalité d une phrase ne vient pas de ce qu on l a déjà entendu. de la vérité de la phrase Je connais un homme politique sincère. du fait qu on peut lui donner un sens ou non Des idées vertes sans couleur dorment furieusement.

14 Première partie I Analyser des structures

15 Langages formels D un point de vue mathématique, un langage est un ensemble de chaînes ou phrases composées à partir d un alphabet ou vocabulaire ex : V = {a, b, c} On note uv la concaténation des chaînes u et v On note u n la concaténation de n fois la chaîne u, n N. Ex de langage : L 1 = {u n /u {a, b}}

16 Quelques définitions l union de deux langages est l union des ensembles de chaînes le produit de deux langages L 1 et L 2 est L 1 L 2 = {uv/u L 1, v L 2 } la fermeture (ou l étoile) d un langage A = 0 n A n où A n = A } A.. {{ A} et A 0 = {} n l intersection de deux langages L 1 et L 2 est L 1 L 2 = {u/u L 1 etu L 2 }

17 Expressions rationnelles (regular expressions) soit V un alphabet. On peut définir inductivement un ensemble d expressions rationnelles sur ce vocabulaire : pour tout u V, u est une e.r. ɛ est une e.r. si φ et ψ sont des e.r., alors (φ ψ), (φ ψ) et φ sont des e.r. rien d autre n est une e.r.

18 A partir de là on peut définir les abbréviations courantes suivantes, sur un alphabet V = {u 1, u 2,..., u n } : φ+ =

19 A partir de là on peut définir les abbréviations courantes suivantes, sur un alphabet V = {u 1, u 2,..., u n } : φ+ = φ (φ ) φ? =

20 A partir de là on peut définir les abbréviations courantes suivantes, sur un alphabet V = {u 1, u 2,..., u n } : φ+ = φ (φ ) φ? = φ ɛ φ n = φ φ... φ }{{} n

21 A partir de là on peut définir les abbréviations courantes suivantes, sur un alphabet V = {u 1, u 2,..., u n } : φ+ = φ (φ ) φ? = φ ɛ φ n = φ φ... φ }{{} n. = (u 1 u 2... u n )

22 Langages correspondant aux e.r. pour tout u V {ɛ}, l e.r. u dénote le langage {u} si φ et ψ sont des e.r. (φ ψ) dénote l union des langages associés à φ et ψ (φ ψ) dénote le produit des langages associés à φ et ψ φ dénote la fermeture du langage associé à φ langages réguliers

23 Exemples L = {a, ab, aba, abab, ababab,...} comment peut-on décrire L avec une e.r.? soit V 1 l alphabet courant (. s) désigne l ensemble des mots terminant par s (. s. aux. oux) l ensemble des noms pluriels ou finissant par s.

24 Exemples L = {a, ab, aba, abab, ababab,...} comment peut-on décrire L avec une e.r.? ((ab)*a?) soit V 1 l alphabet courant (. s) désigne l ensemble des mots terminant par s (. s. aux. oux) l ensemble des noms pluriels ou finissant par s.

25 Propriétés des langages réguliers si L 1 et L 2 sont réguliers, l intersection la différence le complément l inversion le sont aussi

26 Automates à états finis pour reconnaître si une expression appartient à un langage définition : un automate est un tuple V, Q, T, I, F V est un ensemble de symboles (vocabulaire) Q est un ensemble fini d états T est un ensemble de transitions d état à état, marquées par un symbole de V (c est une relation sur Q V Q) I est un ensemble d états de Q, dits initiaux F est un ensemble d états de Q, dits finaux en anglais : Finite State Automaton

27 Exemple l automate suivant correspond au langage défini par l expression régulière : (baa)a*! b a a! q0 q1 q2 q3 q4 a

28 Automates (non)-déterministes dans l exemple précédent, une seule transition partant de chaque état avec un symbole donné : déterminisme si plusieurs transitions partent du même état avec un même symbole : non-déterminisme il existe des traductions non-déterminisme déterminisme

29 Automates non-déterministes l automate suivant correspond au langage défini par l expression régulière : a q1 b q0 q3 c q2 b b

30 Automates non-déterministes l automate suivant correspond au langage défini par l expression régulière : (ab cb b) a q1 b q0 q3 c q2 b b

31 Equivalence déterminisme/non-déterminisme a b c q0 q1 q2 q1 q3 q2 q2,q3 q3 on ajoute q4 = {q2, q3}, et on raccorde les transitions a b c q4 q4

32 Lien automates / expressions rationnelles il y a équivalence entre automates à états finis et expressions rationnelles : tout langage reconnu par un AEF correspond à une expression rationnelle toute expression rationnelle peut être reconnue par un AEF

33 Transducers / transducteurs si on ajoute à chaque transition d un automate un symbole de sortie, on obtient un transducer correspond à la traduction d une chaîne en une autre enchaînement de transducers = cascade cf. partie analyse syntaxique

34 Grammaires formelles on a vu un type de formalisme reconnaissant des éléments d un langage formalisme très basique pas de structure

35 Grammaire et analyse Pourquoi la grammaire? structuration du sens phrase liste de mots Justine Henin a battu Kim Clijsters Kim Clijsters a battu Justine Henin mais Kim Clijsters a été battue par Justine Henin je (ne) veux (pas) un billet pour Paris (Pierre et Marie Curie) ont découvert la radioactivité

36 Les niveaux de traitement phonologie : les sons les mots morphologie : la forme des mots (conjugaisons, etc) syntaxe/lexique : l organisation des mots en structures sémantique : le sens des mots le sens de la phrase pragmatique : le sens des phrases en contexte (dans un texte, un dialogue).

37 Insuffisances des automates finis : exemples abstraits L = {a n b n, n N} Lemme de pompage : pour tout automate à états finis qui reconnaît un langage infini L, il existe x,y( ɛ),z tels que L admet des chaînes de la forme xy n z pour tout n > 0. L = {xx R, x...}

38 Insuffisances des automates finis : exemple concret exemple : les constructions si... alors, ou bien... ou bien Si je suis ou bien fatigué ou bien malade alors ou bien je reste au lit ou bien si construction avec dépendances de type abba (eventuellement infinies) équivaut à un langage de la forme xx R

39 Notions de grammaire formelle Pour rendre compte des régularités, un modèle courant est assimilable à un système de production/réécriture ( générativisme ) : Exemple : grammaire associée à des automates : un état non final est un niveau de structure, une transition est une règle de réécriture b a a! q0 q1 q2 q3 q4 a S b A1 A1 a A2 A2 a A3 A3 a A3 A3! on introduit des symboles non-terminaux par opposition aux symboles du vocabulaire (terminaux) S correspond à l état initial.

40 Dérivation On appelle une dérivation la suite de l application de règles qui produisent une chaîne composée de symboles terminaux : S b A1 b a A2 b a a A3 b a a! S il existe une dérivation pour une chaîne donnée, la grammaire accepte, (ou engendre ou génère) la chaîne comme une phrase du langage.

41 Arbre de dérivation pour type > 1 S A1 b A2 a A3 a!

42 Définition générale d une grammaire Plus généralement une grammaire est un tuple V T, V N S, R V T est le vocabulaire terminal (constituants le vocabulaire des chaînes engendrées par la grammaire) V N est l ensemble des symboles non-terminaux S V N est le symbole initial R est un ensemble fini de règles de production R (V T V N ) (V T V N ) A 1, A 2,..., A i B 1, B 2,... B j

43 Le cas des langages naturels S NP VP NP DET N VP V VP V NP DET le DET la N chien N chat V mange V dort symbole non-terminaux / symboles terminaux (catégories syntaxiques)/(mots) structure/lexique importance de la notion de symbole pré-terminal

44 Différents types de grammaire règle générale de réécriture : A 1, A 2,..., A i B 1, B 2,... B j même chose avec i j même chose avec i = 1 A B C D même chose avec symbole terminal à gauche de toute partie droite de règle A x B C D hiérarchie de complexité de Chomsky : type 3 type 2 type 1 type 0 Quel est le type de l exemple précédent?

45 Différents types de grammaire type 0 grammaires transformationnelles type 1 grammaires contextuelles type 2 grammaires hors-contexte (CFG : context-free grammar) type 3 grammaires régulières

46 Equivalence de grammaire équivalence faible : quand deux grammaires acceptent les mêmes phrases (et rejettent les mêmes) équivalence forte : quand deux grammaires attribuent les mêmes arbres d analyse aux mêmes phrases (à un isomorphisme près)

47 Deuxième partie II Représenter de l information

48 Structures de traits Une structure de traits (feature structure) est une liste de paire d attributs/valeurs. l usage le plus courant pour le LN : enregistrer les traits syntaxiques et sémantiques des éléments du lexique ex : l accord en genre et en nombre pour les noms, les articles, les adjectifs, en nombre et personne pour les verbes le : [ ] genre masc mange [ ] personne 3 nombre singulier nombre singulier on notera S :att la valeur de l attribut att pour la structure S

49 Structures de traits : sous-spécification Accord : l article les est ambigu entre féminin et masculin (le/la pluriel) structure de traits = matrice de paires d attributs-valeurs, pas nécessairement instanciées [ genre nombre ] [ masc vs nombre pluriel ] pluriel

50 Vers la notion de compatibilité : la subsomption Une ST S1 subsume une ST S2, si toute l information contenue dans S1 est aussi dans S2 S1 est plus générale que S2 [ genre nombre [ nombre ] [ ] masc? nombre pluriel pluriel genre masc ] [ ] pluriel? nombre pluriel personne 2

51 L unification L unification de deux structures S1 et S2 correspond à la fusion des informations qu elles contiennent, si elles sont compatibles. Formellement : l unification de S1 et S2, si elle existe, est une ST S3 telle que S3 est subsumée par S1 et S2, et S3 est minimale par rapport à la subsomption. ex : [ ] [ ] genre masc nombre pluriel nombre pluriel personne 3 nombre pluriel personne 3 genre masc

52 Unification : exemple l accord en genre et en nombre peut se faire un réalisant l unification des structures de traits les [ ] +chiens [ ] acc nombre pluriel acc genre masc nombre pluriel [ les chiens]= ] [genre masc acc nombre pluriel

53 L unification n est pas toujours définie Si les deux ST sont incompatibles, l unification échoue : ] ] [genre masc acc [genre fem acc nombre singulier nombre singulier le trait genre est contradictoire

54 Structures de traits complexes les structures de traits sont des structures récursives : les valeurs peuvent etre des ST accord cas [ ] nombre sg pers 3 accord datif cas genre féminin nombre sg pers 3 accusatif

55 Algorithme d unification des ST unifier(s1,s2): si S1=[] renvoyer S2 si S2=[] renvoyer S1 resultat=[] pour tout (attribut,valeur) de S1 si valeur est atomique si S2:attribut existe et est <>S1:attribut alors echec sinon aux=s1:attribut sinon si valeur complexe alors aux=unifier(s1:attribut,s2:attribut) ajouter aux à resultat ajouter au resultat les (a,v) de S2 absents de S1 renvoyer resultat

56 Structures de traits complexes on peut contraindre une ST avec des liens réentrants : A= [ ] nombre sg sujet acc 1 pers 2 [ ] verbe acc 1 différent de : B= sujet acc verbe acc [ ] pourquoi? nombre sg pers 2 [ ] nombre sg pers 2

57 Réponse C= sujet [ acc [ genre ] masc quel est le résultat de A C, et B C?

58 Réponse C= sujet [ acc [ genre ] masc A C= 2 6 sujet 6 4 verbe genre masc 6 6 4acc 1 4nombre sg 5 pers 2» 7 5 acc 1

59 Réponse C= sujet [ acc [ genre ] masc A C= 2 6 sujet 6 4 verbe genre masc 6 6 4acc 1 4nombre sg 5 pers 2» 7 5 acc 1 B C= sujet 4acc 2 6 4verbe 4acc 2 3 genre masc 6 4nombre sg 5 pers 2 " # 3 nombre sg pers 2

60 Structure de traits réentrantes elles sont en fait formellement équivalentes à des graphes dirigés non-cycliques (DAG : directed acyclic graphs). A= sujet acc pers 2 verbe acc nb sg

61 Lambda-calcul pour plus tard