Web Sémantique, Langues et Raisonnement

Transcription

1 Web Sémantique, Langues et Raisonnement Noémie-Fleur Sandillon-Rezer Révision du 13 février 2014

2 Table des matières 1 Rappels : Automates, mots, langages Définitions formelles Rappels Définition des automates Calculs sur les automates Déterminiser un automate Propriétés de clôture Grammaires Hierarchie de Chomsky Grammaires régulières Grammaire Hors contexte Grammaire Contextuelle Grammaire Générales Corpus arborés Création d un corpus POS-Tag Annotations de syntagmes Les corpus arborés de la langue française Corpus de Paris VII Corpus Séquoia : Une alternative LGPL-LR au corpus de Paris VII Différence entre les deux corpus Utilisations Grammaires catégorielles Le calcul de Lambek Les Bases Règles La théorie, c est bien, mais... En pratique? Exemple Exercices Exercice Exercice

3 Chapitre 1 Rappels : Automates, mots, langages 1.1 Définitions formelles Rappels alphabet ensemble non vide de symboles insécables nommées lettres mot suite finie de lettre d un alphabet donné langage Ensemble de mot. mot vide noté ε, est le mot ne comportant aucune lettre Définition des automates Automate fini Un Automate fini est un tuple < X, Q, D, A, δ > où : X est l alphabet d entrée. X fini, Q est l ensemble d états fini, D Q est l ensemble d états de départ, A Q est l ensemble d états acceptant (ou terminaux), δ : Q X Q est l ensemble des transitions. Un automate est dit complet s il existe une transition dans tous les cas de figure possible. Il est dit fini si Q est fini. Il est déterministe si D n a qu un seul élément et que δ n a pas d ε transitions. Un mot u X est reconnu ou accepté par un automate A ssi il existe un chemin dans A menant d un état initial à un état final, parcourant les lettres de u. Le langage reconnu par l automate est noté usuellement L A. On peut représenter L A aussi bien par un automate qu une expression rationnelle. Les transitions peuvent être représentées 1.2 Calculs sur les automates On peut concaténer, effectuer une opération de complémentation (calcul de L), d intersection et d union. La concaténation rend parfois des automates déterministes non déterministes. 2

4 voir cours Dicky. 1.3 Déterminiser un automate 1.4 Propriétés de clôture voir cours GES. 3

5 Chapitre 2 Grammaires 2.1 Hierarchie de Chomsky Les grammaires seront notées tout au long de ce cours : avec : N l alphabet non terminal T l alphabet terminal S l axiome, ou règle de départ R l ensemble des règles G :< N, T, S, R > Entre les différents types que grammaires que l on va voir, les différences majeures se porteront sur les règles, les autres ensembles ne changeront pas de définition. Figure 2.1 Hierarchie de Chomsky 4

6 2.2 Grammaires régulières Ce sont les plus restrictives. Elles correspondent aux Automates finis. Elles peuvent être régulières à droite ou à gauche mais pas les deux en même temps. Dans les grammaires linéaires à gauche, les règles sont de la forme : A Ba, A a (A, B N, a T ) Dans les grammaires linéaires à droite, les règles sont de la forme : A ab, A a (A, B N, a T ) L idée est de reconnaître les mots lettre par lettre. 2.3 Grammaire Hors contexte Aussi appelées CFG (Context Free Grammar) ou grammaires algébriques. La notion capitale qui va avec les grammaires hors contextes sont les arbres de dérivation. Elles sont souvent utilisées en NLP. Par exemple les grammaires de Lambek sont des CFG. Sans donner un exemple aussi formel, les arbres syntaxiques utilisés pour analyser des phrases en linguistiques peuvent être générés par une grammaire hors contexte. On peut donner en exemple la grammaire qui génère a n b n (impossible avec une grammaire régulière ou un automate) : S asb ε Plus généralement, les règles sont du type : X w avec X faisant partie de l alphabet non terminal et w étant une association libre de lettres de l alphabet terminal ou non terminal. Pour plus de vocabulaire sur les grammaires algébriques, on dira que : Une grammaire réduite est une grammaire où toute variable est utile, c est-à-dire figure dans au moins une dérivation d un mot du langage. On peut toujours réduire une grammaire, c est-à-dire supprimer, de manière effective, les variables inutiles. Une grammaire est propre lorsqu aucun membre droit de règle n est égal au mot vide ou à une variable. On peut rendre une grammaire propre, à condition que le langage engendré ne contient pas le mot vide, ou alors autoriser la seule ε-règle S ε, où S est l axiome, avec la condition supplémentaire que S ne figure dans aucun membre droit de règle. On peut passer les grammaires algébriques en FORME NORMALE DE CHOMSKY (TD). On note qu elle est utile pour l algorithme de parsing CYK, que nous étudierons plus tard. Toutes les règles auront alors la forme : X Y Z X a S ε 2.4 Grammaire Contextuelle Les règles, ici, sont de la forme : uxv uxv où u, v et x sont des mots quelconques, avec x non vide, et X est une variable. Ainsi, le remplacement de X par x se fait en présence du contexte (u,v). Elles ont une puissance expressive plus importante que les CFG. En effet, avec elles on peut exprimer le langage a n b n c n : 5

7 S asbc S abc BC HB HB HC HC BC ab ab bb bb bc bc cc cc Les langues naturelles peuvent être décrites par les grammaires contextuelles, cependant celles-ci sont plus vastes que simplement les langues naturelles. En exemple de grammaire faiblement contextuelles, on peut donner les grammaires d arbres adjoints (grammaires TAG - Tree Adjoining Grammars - permettent d ajouter des arbres à la suite des autres - ex simple 2). 2.5 Grammaire Générales Aucune restriction n est imposée aux règles. Leur expressivité correspond à celles des machines de Turing. 6

8 Chapitre 3 Corpus arborés Les corpus arborés que nous allons aborder sont des représentations sous forme d arbres de phrases françaises. Un arbre est une représentation de données. Une définition inductive serait : 1. une feuille est un arbre 2. un arbre peut avoir pour fils plusieurs sous-arbres. 3. un sous-arbre est un arbre C est la représentation usuellement utilisée pour le classement des dossiers et des fichiers, ou encore les arbres généalogiques, et dont nous allons nous servir pour les phrases. C est ce que nous appellerons ensuite arbre syntaxique, car en plus de la phrase, l arbre donne des informations syntaxiques et morphologiques sur la phrase. Ces corpus arborés ont de nombreuses utilisations dans le domaine du TALN, que ce soit en traduction automatique ou en apprentissage automatique. On s en sert aussi bien pour traiter la syntaxe d une langue que la sémantique. Il existe, pour des corpus, d autres représentations, comme des représentations relationnelles (bases de données), sous forme de graphes (de dépendances), ou encore logiques (lambda termes). Le choix d arbres syntaxique est motivé par des contraintes algorithmiques (recherche rapide) et de stockage. De plus, les arbres donnent naturellement une idée de classification des données. 3.1 Création d un corpus La création d un corpus arboré se fait autant manuellement qu automatiquement. En effet, un ordinateur peut automatiquement donner la catégorie syntaxique des mots, voir découper les phrases en syntagmes, mais pour valider le travail, un humain éclairé doit faire une passe de corrections. Pour plus d explications, vous pouvez vous référer à [2] POS-Tag Donne la catégorie syntaxique des mots, cela correspond à Parties du discours (cela fait appel aux bonnes vielles grammaires qui énumèrent les mots par un classement peu rigoureux sémantique et fonctionnel) ou encore Catégorie distributionnelle (on fait ici appel à des valeurs bien connus en linguistique structurale : le distinction entre deux classes de mots par leurs distinctions combinatoires). A Adjectif ADV Adverbe 7

9 CC Conjonction de Coordination CLS Clitique Sujet CLO Clitique Objet CLR Clitique Réflexif CS Conjonction de Subordination DET Determinant ET Etranger I Interjection NC Nom Commun NPP Nom Propre P Préposition PREF Préfixe PRO Pronom V Verbe VS Verbe Subjonctif VPP Verbe Participe Passé VPR Verbe Participe Présent VINF Verbe Infinitif PONCT Ponctuation Annotations de syntagmes Nature Donnent le type et le rôle du syntagme représenté par le sous-arbre. AP Adjectival Phrase AdP Adverbial Phrases COORD coordinated phrases NP Noun Phrases PP Prepositional Phrases VN Verbal Nucleus VPinf Verbal infinitive Phrases VPpart Verbal Participal Phrases SENT Sentences Sint Subordinates (infinitives) Srel Subordinates (relatives) Ssub Subordinates (subjonctives) 8

10 Fonction Peuvent être rajoutées à certains constituants. SUJ Sujet OBJ Objet ATS Attribut du sujet (complément prédicatif d un sujet) ATO Attribut de l objet (complément prédicatif d un objet) MOD modificateur A OBJ objet indirect introduit par à DE OBJ objet indirect introduit par de P OBJ objet indirect introduit par n importe quelle autre préposition En addition à toutes ces étiquettes, nous utiliserons TEXT, qui représente une phrase terminée par une ponctuation. 3.2 Les corpus arborés de la langue française Jusqu à juin 2012, il n existait qu un seul corpus de référence pour la langue française, le corpus de Paris VII [1]. Depuis cette date, le corpus Séquoia [6] offre une alternative au corpus de Paris VII. Les deux corpus sont représentés sous forme arborée, soit dans des fichiers mrg, utilisés par le logiciel Stanford Tregex que nous apprendrons à utiliser la semaine prochaine, soit dans des fichiers XML, qui permettent de donner plus d informations sur les mots, comme on peut le voir figure 3.1. Il est important de comprendre que personne ne s accorde sur l annotation des mots dans la communauté du TAL, ce qui explique parfois l hétérogénéité des annotations au sein même d un corpus Corpus de Paris VII Le corpus de Paris VII (on y fait aussi référence en tant que FTB) est composé d environs phrases tirées du journal Le Monde, entre 1989 et 1994, annotées par le laboratoire de linguistique de Paris VII. Il a longtemps été le seul corpus arboré du français, ce qui en fait une référence importante dans le domaine du TALN. Le projet a été lancé en 1997, la première version du corpus date de 2003 et est en perpétuelle évolution. Ce qui caractérise le corpus de Paris 7, c est le choix qui a été motivé et arrêté avec une forte documentation. On peut ne pas être d accord avec les notations, mais elles ont été systématiquement documentées et, sauf erreur, systématiquement apposées aux phénomènes semblables. Je ne connais pas d expérience semblable, mais je connais maintenant peu de corpus arborés. Venant d un journal national, les articles analysés sont écrits dans un français soutenu, ce qui vient majoritairement du style journalistique, et donnent majoritairement des informations politiques et économiques. Cela entraine nécessairement un manque de diversité linguistique Corpus Séquoia : Une alternative LGPL-LR au corpus de Paris VII Le corpus Séquoia contient des phrases françaises, venant d Europarl, du corpus de l Est Républicain 1, de Wikipédia Français et d EMEA (European MEdecine Agency). Il est composé 1. ce corpus est composé de phrases brutes 9

11 (a) sous arbre sous forme XML (b) sous arbre sous forme mrg (c) visualisation avec le logiciel Stanford Tregex Figure 3.1 Deux sous-arbres représentant la même phrase ainsi que la visualisation de celle-ci d environs 3200 phrases, et a été annoté manuellement en suivant les instructions d annotation du Corpus de Paris VII. C est l équipe INRIA Alpage qui est en charge du projet. Le style des phrases est très différent du FTB, principalement à cause de leur différentes origines. Par exemple, les phrases d EMEA étant des notices de médicament, leur structure est très carrée et les phrases sont peu longues Différence entre les deux corpus On remarque des différences majeures, à la fois positives et négatives, entre les deux corpus : 1. La licence d exploitation : Pour utiliser le Corpus de Paris VII, il faut demander une licence, bien que celle-ci soit gratuite pour les chercheurs. Séquoia est utilisable sous Lesser General Public License For Linguistic Resources. 2. La complexité des phrases : les phrases sont en moyenne moins longues dans Séquoia. 3. Une meilleure (pas de phrase comme Mais Po dans Séquoia) sélection et analyse des 10

12 phrases due au plus petit nombre de celles-ci dans Séquoia 4. Plus grande diversité des phrases dans le FTB. 3.3 Utilisations Nous utiliserons les corpus arborés pour y appliquer des algorithmes d apprentissage. Derrière le terme apprentissage, on peut mettre énormément de concepts, comme nous verrons dans quelques heures. On peut se demander quelle est l utilité d apprendre le français à travers ces corpus, quelles sont les applications et le but de cet apprentissage. En réponse à ces légitimes question, on peut citer la correction grammaticale (compréhension de la syntaxe des phrases), la génération de phrases (bien que sans sémantique, celles-ci restent sans sens aucun, comme on peut voir figure 3.2) ou encore l amélioration des recherches web. Figure 3.2 Phrases générées à partir de la grammaire extraite du FTB Les corpus arborés peuvent aussi être utilisés pour extraire des arbres de dépendances, des lexiques, ou encore des informations sémantiques sur les phrases. Nous ne nous focaliserons pas sur ces techniques. 11

13 Chapitre 4 Grammaires catégorielles 4.1 Le calcul de Lambek Les grammaires catégorielles n ont pas vu le jour en une seule fois. Ainsi, on leur donne comme origine les travaux de K. Ajdukiewicz [3] et Bar-Hillel [4], ou encore ceux de Lambek [9]. Les travaux de Lambek, il faut cependant noter, recouvrent ceux d Ajdukiewicz et Bar-Hillel. On se focalisera donc sur les grammaires de Lambek, et leur application dans le domaine du TAL. Les grammaires catégorielles, appelées par la suite aussi bien grammaires de Lambek que grammaires AB, réduisent la syntaxe des phrases à de l algèbre, c est à dire une grammaire formelle dirigée par des règles de combinaisons fixes. Il existe de très nombreux travaux sur ces grammaires, mais nous citerons deux ouvrages très accessibles. L article d Erwan Moreau [13] et sa thèse [14] Les Bases Non appellerons T l ensemble des catégories possibles. On a : T = P T/T T\T où P représente les catégories atomiques (dans notre cas : np, s, n, pp, cs,...) On lit x sur y pour x / y et y sous x pour y\ x. Lorsque l on a : y y\x ou x/y y, on peut simplifier en x Règles Il y a a présent deux types de règles : les règles d introduction 4.1 et les règles d élimination 4.2. On dénote par A et B des catégories de T, et par Γ un contexte (ensemble de catégories) qui peut être vide. Les deux types de règles peuvent être considérés comme des miroir l un de l autre. En effet, pour les règles d introduction on se doit de rajouter une variable B pour compléter la catégorie, tandis que pour l élimination, on supprime B de la catégorie A. Le résultat est donc A privé de B, a droite ou à gauche. 12

14 B, Γ A Γ B\A [\I] (4.1) Γ, B A Γ A/B [/I] (4.2) Figure 4.1 Règles d introduction B B\A A A/B B A [\E] [/E] (4.3) (4.4) Figure 4.2 Règles d élimination La théorie, c est bien, mais... En pratique? En pratique, les grammaires de Lambek sont utilisées pour associer des catégories aux mots. Ainsi, si les catégories de deux mots peuvent s associer, le groupe de mot ainsi créé aura son propre type. Voici les exemples donnés dans l article de Lambek de 1958 pour nous montrer comment fonctionne sa grammaire. Comme phrase de départ, nous prendrons John works. John : np works : np\s (John works) : s P oor : np/np John : np works : np\s (P oor John) : np works : np\s (P oor John works) : s John : np works : np\s here : s\s (John works) : s (John works here) : s John : np never : (np\s)/(np\s) works : np\s John : np (never works) : np\s (John never works) : s John : np works : np\s for : (s\s)/np Jane : np (John works) : s (for Jane) : s\s John : np works : np\s and : (s\s)/s Jane : np rest : np\s (John works) : s (and (Jane rest) : s) : s\s Remarque : John works here here sera considéré comme grammaticalement bien formé. Pour plus de détails, vous pouvez vous référer à l article d origine de Lambek, disponible gratuitement, ou encore pour ceux qui souhaiteraient commencer des recherches dans le domaine, le livre de Richard Moot et Christian Retoré [11]. 13

15 4.2 Exemple le np/n un np/n ciel n John np Mary np homme n est (np\ s)/(n\ n), (np\ s)/np aiment (np \ s)/np bleu n\ n triste n\ n, n/n et ((n \ n)\( n \ n))/ (n \ n) ; (np\ np)/np On peut générer : un ciel, un ciel bleu, un ciel triste, un triste ciel, un triste ciel bleu, un ciel triste et bleu, le ciel, le ciel bleu, le ciel triste, le triste ciel, le triste ciel bleu, le ciel triste et bleu, un homme, un homme bleu, un homme triste, un triste homme, un triste homme bleu, un homme triste et bleu, le homme, le homme bleu, le homme triste, le triste homme, le triste homme bleu, le homme triste et bleu. Tous ces groupes de mot ont le type np, de même que Jhon et Mary. À partir de là, avec est on va pouvoir générer : NP est bleu, NP est triste, NP est NP, NP aiment NP, (NP et NP) est triste, NP et NP est bleu, NP et NP aiment NP. Problème de surgénération : on peut aussi générer : bleu et triste et bleu et triste et bleu et triste et bleu et triste... 14

16 4.3 Exercices Exercice1 Générez toutes les phrases possibles avec le lexique suivant : Le np/n une np/n chat n souris n John np Mary np mange (np\ s)/np aime (np\ s)/np Quel problème relevez-vous? Voyez-vous une manière de le corriger? Exercice2 Quelques erreurs se sont glissées dans cette grammaire. Saurez-vous les trouver? Proposez une correction après les avoir relevées, en décrivant votre méthodologie. le n/n, (s/s)/n un np/n 26 np, np/n jeudi s/s, n il np va (np\ s)/(np\s i ), (np \ s)/(np\s p ) avoir (np\s i )/np, n, np, (np\s i )/((np\s p ) reçu (np\s p ), n, (np\s p )/np soufflé n, (np\s i ) chèque n bougies np 15

17 Bibliographie [1] Abeillé, A., Clément, L., Toussenel, F. : Building a treebank for French. Treebanks, Kluwer, Dordrecht (2003). [2] Abeillé, A., Clément, L., Toussenel, F. : Annotation Morpho-syntaxique. http ://llf.linguist.jussieu.fr (2003). [3] Ajdukiewicz K. : Die syntaktische Konnexität. Stud. Philos. (1935) [4] Bar-Hillel Y. : Language and information : selected essays on their theory and application Addison-Wesley Pub. Co. (1964) [5] Buszkowski, W., Penn, G. : Categorial grammars determined from linguistic data by unification. Studia Logica (1990). [6] Candito M. and Seddah D. : Le corpussequoia : annotation syntaxique et exploitation pour l adaptation d analyseur par pont lexical TALN 2012 proceedings, Grenoble, France (2012). [7] Gold M. : Language identification Limit, Information and Control (1967). [8] Kanazawa, M. : Learnable Classes of Categorial Grammars. Center for the Study of Language and Information (1998). [9] Lambek, J. : The Mathematics of Sentence Structure. (1958). [10] Levy R., Andrew G. : Tregex and Tsurgeon : tools for querying and manipulating tree data structures. http ://nlp.stanford.edu/software/tregex.shtml (2006). [11] Moot R. and Retoré C. : The Logic of Categorial Grammars. Springer LNCS 6850 (2012) [12] Moot, R. : Automated extraction of type-logical supertags from the spoken dutch corpus. Complexity of Lexical Descriptions and its Relevance to Natural Language Processing : A Supertagging Approach (2010) [13] Moreau E. : Apprentissage symbolique de grammaires et traitement automatique des langues TALN 2007 [14] Moreau E. :Acquisition de grammaires lexicalisées pour les langues naturelles Thèse soutenue en 2006 [15] Sandillon-Rezer, NF., Moot, R. : Using tree tranducers for grammatical inference. Proceedings LACL 2011, Montpellier (2011) [16] Bechet, D and Bonato, R and Dikovsky, A and Foret, A and Le Nir,Y and Moreau, E and Retoré, C and Tellier, I : Modèles Algorithmiques de l acquisition de la syntaxe : concepts et méthodes, résultats et problèmes Revue Linguistique de Vincennes (2007) [17] http :// 16