Corpus et outils de requête

Transcription

1 Corpus et outils de requête Séminaire de linguistique expérimentale 2010/2011 Clément Plancq Laboratoire de Linguistique Formelle 01 et 08 avril 2011

2 Plan 1 Présentation des corpus disponibles 2 Présentation des outils de requête 3 Mise en pratique

3 Plan 1 Corpus 2 Outils de requête 3 Mise en pratique

4 FrenchTreebank Corpus arboré pour le français, Anne Abeillé, Paris 7, LLF Français écrit Projet inité en 1997 Annotation annotation morpho-syntaxique (catégorie (POS), sous-catégorie, lemme, informations flexionnelles, mots composés) annotation en constituants annotation en fonctions Source Le Monde (1990, 1992, 1993) Volume mots Licence Disponible gratuitement pour une utilisation dans un cadre de recherche ou d enseignement http French-Treebank-fr.php

5 Penn Treebank (1) Corpus arboré pour l anglais, Mitch Marcus, Ann Taylor, University of Pennsylvania (LDC : Treebank-3) Anglais écrit et oral transcrit Projet initié en 1989 Annotation annotation morpho-syntaxique (catégorie (POS), lemme) annotation en constituants annotation en fonctions annotation des disfluences (switchboard)

6 Penn Treebank (2) Sources Wall Street Journal (1989), POS, parsé Brown Corpus (1961), POS, parsé Une partie de ATIS-3 (1995, Air Travel Information Services, oral spontané), POS, parsé Une partie du corpus Switchboard (1991, 240 heures de conversation spontanée au téléphone, 3 millions de mots), POS, parsé, annotation des disfluences Volume mots pour WSJ, mots pour Brown Licence Distribué par LDC, droit d utilisation pour ALPAGE, LLF? http

7 ESTER Projet ESTER (Evaluation des systèmes de transcription enrichie d émissions radiophoniques) Français oral transcrit + données audio Annoté par Guillaume Gravier Annotation annotation morpho-syntaxique (POS, lemme, informations flexionnelles) Sources France Inter, France Info, France Culture, RFI Radio Classique RTM (Radio-Télévision Marocaine) (Emissions diffusées entre le 14/04/2003 et le 23/12/2004) Volume 60 heures d enregistrement, mots Licence Distribué par ELRA, droit d utilisation pour LLF http products_id=999

8 Est Républicain Editions régionales et informations générales du quotidien l Est Républicain, Bertrand Gaiffe, CNRTL Français écrit Annoté par ALPAGE Annotation annotation morpho-syntaxique (POS, lemme) Sources EstRépublicain 1999, 2002, 2003 Volume mots pour la partie annotée Licence Distribué par le CNRTL sous licence Creative Commons, gratuit pour une utilisation dans un cadre de recherche ou d enseignement http

9 CORALROM Corpus multilingue de parole spontanée pour quatre langues romanes : français, italien, portugais et espagnol Données orales (audio et transcription) Annotation Etiquetage des pauses prosodiques annotation morpho-syntaxique (POS, lemme) Sources Dialogues/conversations ou monologues dans un contexte informel (privé ou public) ou formel (contexte naturel, media, téléphone) Volume mots ( mots par langue) Licence Distribué par ELRA, droit d utilisation pour LLF http products_id=757

10 Où trouver les corpus?

11 Plan 1 Corpus 2 Outils de requête 3 Mise en pratique

12 Tgrep2 / Tregex Tgrep2 Interrogation des treebanks Recherche de motifs portants sur les noeuds et les relations entre ces noeuds L annotation morpho-syntaxique n est pas prise en compte Contexte d occurrence limité à la phrase MIT, outil en ligne de commande, Unix Très rapide, y compris sur les treebanks volumineux Tregex Stanford, outil avec interface graphique Ecrit en Java, multiplateforme

13 CWB IMS Corpus Workbench Université de Stuttgart, outils en ligne de commande, Unix Optimisé pour les corpus volumineux (jusqu à 2 milliards de mots) Outils d interrogation de corpus annotés (POS, lemmes). Contextes de recherche et d occurrence paramétrables Utilisation des expressions régulières Calcul de fréquence Listes de mots Langage de macros API

14 Outils et corpus disponibles Tgrep2/Tregex CWB FrenchTreebank X X PennTreebank X? ESTER X Est Républicain X CORALROM X

15 Plan 1 Corpus 2 Outils de requête 3 Mise en pratique

16 Où trouver les outils et les manuels? Les outils sont installés sur le serveur : kolodner.linguist.jussieu.fr Connexion au serveur : $ ssh [email protected] (Même login et identifiant que pour minerve) Manuels Outils /corpus/tools/*/docs/ sur kolodner ~corpus/tools/*/docs/ sur minerve Tgrep2 Commande $ tgrep2 CWB Commande $ cqp Tregex Installer Tregex à partir de ~corpus/tools/tregex/bin/ Interroger les fichiers du répertoire ~corpus/frenchtreebank/tregex ou ~corpus/ptbiii/parsed/prd/all

17 Digest CWB Lisez le manuel! Premiers pas $ cqp (option -e activée par défaut) > show corpora > info FT > FT > show cd Requêtes simples forme FT> ".+eurs?" pos FT> [pos = "ADV"] lemme FT> [lemma = "^etre"] combinaison FT> [(word ="est sommes") & (pos!= "V")]

18 Digest CWB (2) Lisez le manuel! Tri et fréquence FT> [pos = "A"] []{1,2} [pos="n"] FT> sort by word %c FT> count by pos FT> A-N = [pos = [pos="n"] FT> group A-N target word FT> group A-N target lemma Enregistrement des résultats FT> A-N = [pos = [pos="n"] FT> cat A-N > "minerve/a-n.txt"

19 Digest CWB (3) Lisez le manuel! Définition du contexte de recherche (1) Par défaut la recherche se fait sans prendre en compte les marques de fin de phrase FT> [pos="adv"] [pos="ponct"]? </s> (adverves en fin de phrase) FT> <s> [ee="v--w"] (phrases commençant par un verbe à l infinitif) FT>? (phrases commençant par un verbe à l impératif et se terminant par un adverbe) FT> [(pos="n") & (lemma=".*ité")] []* [(pos="n") & (lemma=".*able")] within s (restriction du contexte de recherche à la phrase)

20 Digest CWB (4) Lisez le manuel! Définition du contexte de recherche (2) FT> ESTER ESTER> show cd ESTER> A-N = [pos = [pos="nom.*"] ESTER> set PrintStructures "file radio" ESTER> cat A-N ESTER> A-N = [pos = [pos="nom.*"] :: match.file radio = "CLASSIQUE" ESTER> A-N = [pos = [pos="nom.*"] :: match.file radio!= "RTM ELDA"

21 Digest tgrep2 / tregex (1) Les corpus disponibles FrenchTreebank FT-constit phrases FT-fonctions phrases Penn Treebank atis3 577 phrases brown phrases swdb phrases wsj phrases

22 Digest tgrep2 / tregex (2) Lisez le manuel! $ tgrep2 -c /corpus/frenchtreebank/tgrep2/ft-constit.t2c "PP < NP" Options : -h affiche l aide -l affiche le résultat sous forme d arbre -t n affiche que les terminaux -w affiche toute la phrase plutôt que le sous-arbre résultat -v recherche inverse Requêtes simples PP < NP PP < NP << COORD PP < NP << COORD < AP PP < (NP << COORD) < AP AP < (ADV. fort) Opérateurs booléens négation PP!< NP et PP < (NP $ COORD & $ AP) ou PP < NP << COORD << AP