Annotations manuelles et automatiques de corpus

Dimension: px
Commencer à balayer dès la page:

Download "Annotations manuelles et automatiques de corpus"

Transcription

1 Annotations manuelles et automatiques de corpus Cyril Grouin 1 Définitions Base de données : ensemble structuré de données (feuille Excel). Id Ville Pays 01 Paris France 02 Dublin Irelande 03 Tbilissi Géorgie Données structurées : données dont les éléments sont catégorisés (valeurs d une base de données, étiquetage). Données non structurées : données présentes telles quelles (texte libre), sans traitement complémentaire. Mot : unité significative empirique de la grammaire traditionnelle. EXERCICE : souligner les mots de la phrase d exercice suivante : Le chat aime s installer derrière les fenêtres. Token : suite de caractères entre deux espaces. Tokénisation : processus qui consiste à découper un texte en tokens (séparer les ponctuations des mots). EXERCICE : découper la phrase de l exercice en tokens : Xq Lemme : forme générique des différentes formes d un mot (infinitif, forme masculin/singulier). EXERCICE : trouver les lemmes de la phrase d exercice (voir tableau 1, p. 13) : Xq Partie du discours/pos : étiquettes morpho-syntaxiques. EXERCICE : trouver les étiquettes en parties du discours de la phrase d exercice (voir tableau 1, p. 13) : Xq 2 Fouille de données vs. Fouille de textes La fouille de données (data mining) renvoie à l ensemble des méthodes et algorithmes pour l exploration et l analyse de gros volumes de données (bases de données informatiques) dans la perspective d une aide à la prise de décision. La fouille de données repose sur la mise en évidence de règles, de tendances invisibles pour un analyste humain. La fouille de données (i) repose sur des bases relationnelles et (ii) traite des données structurées. La fouille de textes (text mining) repose sur des données textuelles non structurées. Pourquoi faire de la fouille de données/textes? Les données sont disponibles et elles le sont massivement ; La production massive de données doit s accompagner d outils d exploitation de ces données ; L informatique permet de traiter toujours plus de documents : capacités de stockage, puissance de calcul, etc. 3 Quels éléments utiliser dans les textes? 3.1 Les mots mots simples : tokenization (récupération des chaînes de caractères entre deux espaces) : «chat», «fenêtre» mots composés : «pomme-de-terre» formes composées : «y a t-il?» 1

2 mots non fléchis : lemme (forme générique d un mot : l infinitif pour un verbe, le singulier pour les noms, le masculin singulier pour les adjectifs), lemmatisation (processus qui consiste à remplacer un mot par son lemme) : voir page 13 faut-il conserver tous les mots? Faut-il supprimer certains mots? mots fréquents (statistiques), quel seuil? mots outils (articles, conjonctions, pronoms, etc) : utiles : typage de textes, reconnaissance de la parole inutiles : indexation de documents. n-grammes : succession de n mots consécutifs : 1 mot : unigrammes de mots ; 2 mots consécutifs : bigrammes de mots ; 3 mots consécutifs : trigrammes de mots. EXERCICE : relever les unigrammes de mots dans la phrase «Le chat aime s installer derrière les fenêtres.» Xq EXERCICE : relever les bigrammes de mots dans la phrase «Le chat aime s installer derrière les fenêtres.» Xq EXERCICE : relever les trigrammes de mots dans la phrase «Le chat aime s installer derrière les fenêtres.» Xq 3.2 Les entités nommées Ce sont des éléments du texte (mots, chiffres), qu il est possible de catégoriser au niveau sémantique. Lors de la conférence MUC-6 (1995), trois catégories d entités nommées ont été définies : noms de personnes (nom, prénom) ; noms de lieux (ville, région, pays) ; noms d organisation (entreprise, organisation). Et ces catégories ont été complétées par des éléments numériques : dates (27/04/2015), montants (GEL 7). EXERCICE : souligner les entités nommées dans le texte suivant (extrait d un article 1 du journal Le Monde, 27/10/2013). En Kakhétie, région centrale de l industrie vinicole géorgienne située à 160 kilomètres au nord-est de Tbilissi, l humeur des habitants suit la courbe de la récolte. Quand la vendange est abondante et les prix d achat élevés, comme c est le cas cette année, les Kakhétiens ont le cœur léger. «On peut dire que nous avons le vin dans le sang», explique Rezo. Petit propriétaire terrien, il officie à la dégustation des crus locaux (Mukuzani, Kidzmarauli, Saperavi et d autres) dans le domaine musée des Princes Tchavtchavadze, perché sur les hauteurs du petit bourg de Tsinandali. La cuvée 2013 s annonce savoureuse, Rezo se frotte les mains. Les mauvais souvenirs sont oubliés. 3.3 Les caractères identification de la langue (environ 100 caractères nécessaires), deux étapes : 1. apprentissage : tri-grammes de caractères appris sur de gros corpus pour chaque langue à identifier ; 2. document inconnu : relevé des trigrammes de caractères et comparaison avec ceux de chaque langue (incrémentation de compteurs). typage de textes : par fréquence des caractères. EXERCICE : en fonction de vos connaissances du géorgien et du français, quelles différences voyez-vous entre ces deux langues au niveau des caractères? _3214.html 2

3 4 Les mesures d évaluation 4.1 Quoi? Comment? Différents types d évaluation Typage (classification, recherche d information) : un document est-il bien classé (objectif/subjectif)? Une entité nommée est-elle correctement étiquetée (personne, lieu, organisation)? Frontière (repérage d entités nommées) : les frontières de l entité sont-elles correctes (début et fin de la portion à annoter dans un texte)? Différents niveaux d évaluation Mono-classe (recherche d information) : quels documents correspondent à la requête d un utilisateur? Multi-classes (classification) : catégories d entités nommées. Définitions Pour une étiquette donnée, Vrais positifs : nombre d éléments étiquetés de la même manière dans l hypothèse et la référence ; Faux positifs : nombre d éléments de l hypothèse absents de la référence ; Faux négatifs : nombre d éléments de la référence absents de l hypothèse ; Vrais négatifs : nombre d éléments absents de la référence et de l hypothèse. référence hypothèse Faux négatifs Vrais positifs Faux positifs Vrais négatifs 4.2 Mesures Rappel Le «rappel» (recall), «sensibilité» (sensitivity) ou «taux de vrais positifs», est une mesure quantitative (formule 1). Elle mesure le nombre d éléments correctement étiquetés par le système (vrais positifs) rapporté au nombre d éléments étiquetés dans la référence (vrais positifs et faux négatifs). Rappel = vrais positifs vrais positifs + faux négatifs (1) Précision La «précision» (precision), ou «valeur prédictive positive», est une mesure qualitative (formule 2). Elle mesure le nombre d éléments correctement étiquetés par le système (vrais positifs) rapporté au nombre total d éléments étiquetés par le système (vrais et faux positifs). Précision = vrais positifs vrais positifs + faux positifs (2) 3

4 F-mesure Moyenne harmonique pondérée du rappel et de la précision F-mesure = (1 + β2 ) Précision Rappel β 2 Précision + Rappel La valeur attribuée à β permet : soit d équilibrer les poids du rappel et de la précision (β=1) ; soit de favoriser le rappel par rapport à la précison (β=2), ou la précision par rapport au rappel (β=0.5). 4.3 Exercices Recherche d information Un moteur de recherche a indexé le contenu textuel des documents suivants (i.e. le moteur de recherche a mémorisé l association entre chaque mot du texte et le numéro du document) : 1. Un projet de loi au printemps pour réformer la psychiatrie. 2. A Arbury Park, un projet immobilier moderne et séduisant paralysé par la crise économique. 3. Récession, chômage : le gouvernement prévoit que la crise sera longue. 4. Japon : un train atteint la vitesse record de 603 km/h. 5. Un champagne intact après avoir passé 170 ans sous la mer. Un utilisateur utilise ce moteur de recherche et effectue la requête suivante : Projet Le moteur de recherche renvoie les documents 1, 2 et 3 à l utilisateur. En fonction du contenu de chaque document d une part, et du contenu de la requête d autre part, calculez (i) le nombre de vrais positifs (nombre de documents renvoyés par le moteur qui correspondent à la requête), faux positifs (nombre de documents renvoyés par le moteur qui ne correspondent pas à la requête) et faux négatifs (nombre de documents non trouvés par le moteur qui correspondent à la requête), puis (ii) les valeurs de rappel, précision et F-mesure. OK Vrais positifs Faux positifs Faux négatifs Rappel Précision F-mesure Repérage d entités nommées (REN), classification Pour un travail de repérage d entités nommées parmi trois catégories (personne, lieu, date), nous disposons des annotations de référence (i.e. la liste des entités qu un système doit identifier dans un texte). Nous avons lancé un système automatique de repérage d entités nommées sur ce texte. Ce système produit des annotations, certaines sont correctes, d autres sont fausses. Votre objectif est d évaluer la qualité des annotations produites par le système, en comparant les annotations du système aux annotations de référence. Annotations de référence : Le cinéaste français personne Georges Lautner, auteur des personne Tontons flingueurs, est mort, date vendredi 22 novembre à lieu Paris, à l âge de 87 ans, a annoncé l ancien cascadeur personne Rémy Julienne, citant son entourage proche. Le metteur en scène s est éteint à la suite d une «longue maladie», a précisé personne Rémy Julienne, qui avait effectué les cascades dans nombre de ses films. Avec une quarantaine de films à son actif en soixante ans de carrière, lieu Georges Lautner aura tourné avec les plus grands. Annotations du système : Le cinéaste français personne Georges Lautner, auteur des personne Tontons flingueurs, est mort, date vendredi 22 novembre à lieu Paris, à l âge de date 87 ans, a annoncé l ancien cascadeur Rémy Julienne, citant 4

5 son entourage proche. Le metteur en scène s est éteint à la suite d une «longue maladie», a précisé Rémy Julienne, qui avait effectué les cascades dans nombre de ses films. Avec une quarantaine de films à son actif en soixante ans de carrière, lieu Georges Lautner aura tourné avec les plus grands. Exercice Comparez les annotations de référence avec les annotations produites par le système, et calculez en complétant le tableau suivant : (i) le nombre de vrais positifs, faux positifs et faux négatifs pour chaque catégorie, puis (ii) les valeurs de rappel, précision et F-mesure pour chaque catégorie. Vrais positifs Faux positifs Faux négatifs Rappel Précision F-mesure Date Lieu Personne 5 Corpus 5.1 Définitions Corpus : ensemble de documents (audios, vidéos, textes) contenant des données à exploiter. corpus enrichi/annoté : corpus dont les documents ont bénéficié de traitements complémentaires (étiquetage morphosyntaxique, sémantique, méta-informations, etc.) ; corpus alignés/parallèles : alignement de deux corpus (deux langues : français/anglais, spécialité/générale) à un/plusieurs niveaux (paragraphe, phrase, mot) ; corpus comparables : corpus non parallèles mais traitant du même sujet de manière différente ; corpus de référence : corpus que le responsable considère comme étant la version à atteindre par des moyens automatiques (version alignée/annotée de référence). 5.2 Annotation de corpus Annotation : processus qui consiste à apporter des informations supplémentaires à un corpus (informations syntaxiques, morphologiques, sémantiques). Pour annoter des documents, il est nécessaire de disposer d un guide d annotation : document qui indique quoi/comment annoter (définitions, exemples, contre-exemples), dans quel objectif. Le résultat de l annotation de documents peut servir, soit directement (repérage d entités nommées), soit être réutilisé par d autres systèmes (dans ce cas, les annotations apportent des informations utiles pour d autres traitements). De manière plus spécifique, le résultat de l annotation manuelle peut être utilisé pour évaluer la qualité des annotations automatiques. documents annotation manuelle (outil BRAT) documents annotés annotation automatique (outil WAPITI) documents annotés lexiques annotation automatique (outil DARK) documents annotés repérage d'entités nommées liste d'entités nommées règles FIGURE 1 Annotations manuelles et automatiques de corpus 5

6 5.2.1 Représentation des annotations annotations embarquées : annotations reportées directement sur le corpus (balises XML) < v i l l e > Paris< / v i l l e > est en <pays>france< / pays>. annotations débarquées : annotations renseignées dans un fichier extérieur au fichier de données (référence au texte par des indices de position de ligne, de caractère/de token) Fichier textuel Fichier d annotations Paris est en France. T1 ville 1 6 Paris Paris est du 1er au 6e caractère T2 pays France France est du 14e au 20e caractère Modalités d annotation annotation manuelle : processus d annotation réalisé par un humain annotation automatique : processus d annotation réalisé par une machine pré-annotation : processus d annotations grossières (base de travail) devant être repris/complété par un annotateur humain < v i l l e prénom> Paris< / v i l l e prénom> est en < v i l l e prénom>france< / v i l l e prénom>. 5.3 Annotation manuelle Guide d annotation On cherche à annoter tous les noms de lieux présents dans un corpus d extraits d articles Wikipédia sur les différents pays du monde, rédigés en français. Quatre catégories de lieux sont utilisées, du plus générique au plus spécifique (cf. figure 2) : régions (régions du monde qui regroupent plusieurs pays) : Asie, Caucase, Europe ; pays (forme courte des pays, correspondant à une dénomination officielle, pour un pays reconnu comme tel au niveau international) : États-Unis, France, Géorgie ; territoires (partie d un pays, plus ou moins autonome, mais pas indépendant) : Californie, Floride ; villes : Paris, Tbilissi, Washington. Régions Pays Territoires Villes FIGURE 2 Hiérarchisation des catégories utilisées pour l annotation de corpus Annoter les noms de lieux relevant des quatre catégories précédentes en respectant les règles d annotation suivantes : annoter toutes les occurrences de lieux dans un document, y compris si la même occurrence revient plusieurs fois ; annoter les formes courtes, pas les formes longues : on annote «Finlande» mais pas «République de Finlande» ; annoter uniquement les noms écrits en français : on annote «Finlande» (version française) mais pas «Suomi» ou «Suomen» (versions finnoises) ; annoter les noms de lieux actuels, pas les anciens noms : on annote «Géorgie» mais pas «Colchide» et «Ibérie» (anciens royaumes disparus). Consignes 1. Télécharger l archive suivante : https://perso.limsi.fr/grouin/tbilissi/exercices.tar.gz 2. Copier le répertoire corpus/brat/ dans le répertoire brat-v1.3_crunchy_frog/data/ 3. Lancer le serveur depuis les lignes de commandes : cd brat-v1.3_crunchy_frog/ python standalone.py 4. Ouvrir un navigateur à l adresse : 6

7 5. Se connecter (nom d utilisateur et mot de passe) puis sélectionner le corpus corpus/brat/ 6. Annoter toutes les noms de régions, pays, territoires et villes contenus dans les documents textuels de ce corpus en respectant le guide d annotation ci-dessus. 5.4 Annotation automatique Méthodes symboliques Méthodes qui reposent sur des connaissances d expert formalisées en listes/expressions régulières listes : fichier contenant des données relevant d une seule catégorie (adjectifs, noms de ville) ; dictionnaire : ensemble des mots (lemmes) d une langue classés par ordre alphabétique (mot, définition, exemple, information morphologique, prononciation) ; thesaurus : ensemble des mots (lemmes) d une langue organisés par thématiques en distingant les différents sens ; expressions régulières : séquences de caractères qui définissent un patron de recherche : [A-Z][a-z]+ patron syntaxique/motif : motif particulier cherché dans un texte (un mot commençant par une majuscule suivie de minuscules non accentuées) : Paris, France Méthodes par apprentissage Méthodes qui reposent sur des observations statistiques ; l utilisateur fournit à la machine des exemples de sorties attendues (supposent un corpus annoté). formalismes : CRF (champs aléatoires conditionnels), SVM (séparateurs à vaste marge), arbres de décision outils : CRF++, Wapiti, LibSVM, SVMLight, Weka caractéristiques : ensemble des informations associées à chaque token permettant de construire des modèles : caractéristiques de surface : propriétés inférées du token (capitalisation, taille) caractéristiques profondes : informations morpho-syntaxiques, syntaxiques, sémantiques caractéristiques externes : position dans le document, fréquence globale, cluster 6 Les expressions régulières 6.1 Présentation Une expression régulière est une suite de caractères qui décrit, de manière générique, un motif qu on souhaite identifier dans un texte, dans le but d appliquer un traitement sur la chaîne de caractères identifiée par le motif : ajout, remplacement ou suppression. Plusieurs langages de script et commandes permettent d appliquer des expressions régulières (grep, perl). Les expressions régulières sont généralement indiquées entre 2 barres obliques (/regex/), sauf pour les substitutions pour lesquelles 3 barres obliques sont utilisées (s/ancien/nouveau/). Des caractères spéciaux utilisés avant et après ces barres obliques permettent de préciser la portée de ces expressions : Avant : s/motif/remplacement/ (le «s» indique une substitution du motif par le remplacement ; dans ce cas, la règle contient 3 barres obliques) Après : /motif/i (le «i» indique que le motif peut s appliquer aussi bien sur un texte en majuscules qu en minuscules ; le motif est insensible à la casse typographique) Après : /motif/g (le «g» indique que le motif sera généralisé sur l ensemble du texte ; le motif sera appliqué sur le texte tant qu il est possible de le faire) Après : /motif/gi (combinaison des deux options précédentes) Entre barres obliques : /^motif/ (le caractère «^» après la 1e barre oblique indique que le motif doit être trouvé au début du contenu de la variable) Entre barres obliques : /motif$/ (le caractère «$» avant la 2e barre oblique indique que le motif doit être trouvé à la fin du contenu de la variable) Exemples (perl) 7

8 Ajout : $mot="dé".$mot; (on ajoute «dé» devant le contenu de la variable $mot et on enreigstre le résultat dans la variable $mot ; permet de générer de modifier le sens des mots : construire déconstruire) Remplacement : $texte=~s/é/e/g; (on remplace toutes les lettres «é» par la lettre «e» ; permet de désaccentuer un mot : éléphant elephant) Suppression : $mot=~s/s$//; (on supprime le caractère «s» dans la variable $mot s il s agit du dernier caractère ; permet de transformer un mot du pluriel vers le singulier : ordinateurs ordinateur) Test : if ($fichier=~/\.txt/) { print "Fichier texte"; } (on teste si la variable $fichier contient l extension «.txt») Il est possible de regrouper plusieurs caractères, soit en définissant un intervalle, soit en utilisant des classes de caractères. Intervalles [0-9] (tous les chiffres de 0 à 9) [0-3] (tous les chiffres de 0 à 3) [a-z] (toutes les lettres non accentuées en minuscules de «a» à «z») [a-zàçéèêëîïôûù] (toutes les lettres en minuscules de «a» à «z» plus les lettres accentuées utilisées en français) [A-Za-z] (toutes les lettres de «a» à «z», en majuscules et en minuscules) Classes de caractères (lua) Les classes de caractères permettent de regrouper des caractères de même valeur :. (n importe quel caractère) %a (n importe quelle lettre) %c (caractère de contrôle) %d (chiffres) %l (lettre en minuscule) %p (ponctuations) %s (caractère d espace ou de tabulation) %u (lettre en majuscule) %w (caractère alphanumérique) %x (chiffres hexadécimaux) %z (the character with representation 0). Quantifieurs (perl, lua) Ils permettent de fixer le nombre de caractères qu on cherche à faire correspondre dans un motif : + (1 caractère ou plus) * (0 caractères ou plus, chaîne de caractères la plus longue) - (0 caractères ou plus, chaîne de caractères la plus courte)? (0 ou 1 caractère). Exemples (lua) /%u?%l+/ (0 ou 1 caractère en majuscule, au moins 1 caractère en minuscule ; ce motif permet d identifier «Paris» ou «Tbilissi» dans un texte) /(19 20)%d%d/ (soit «19», soit «20» suivi de deux chiffres ; permet d identifier des années : «1995», «2015») 6.2 Exercices Dans le tableau suivant, indiquer le résultat de l application des expressions régulières sur le contenu textuel présenté. Texte Expression régulière Résultat 1995 /%a/ mars 1995 /^%a+/ le chat boit le lait s/chat/chien/ Pour le contenu textuel présenté ci-dessous, en fonction du résultat qu on souhaite obtenir, indiquer quelle expression régulière permet d atteindre ce résultat. Texte Résultat voulu Expression régulière mars 1995 Extraire le mois le chat boit le lait mon chat boit le lait 8

9 7 Annotation automatique à base de règles : outil DARK 7.1 Présentation Ce travail repose sur l outil DARK (Direct Annotation using Rules and Knowledge), Thomas Lavergne (LIMSI-CNRS). L ajout, la modification et la suppression de règles et de lexiques se font dans le fichier «regles.lua». Syntaxe Les lignes ne se terminent pas par un point-virgule «;», le symbole pourcentage «%» sert à déspécialiser ou pour les classes de caractères Les étiquettes sont précédées d une esperluette «&» : &chemical &disorder &sosy Les captures se font au moyen des crochets (énorme avantage par rapport à PERL qui emploie les parenthèses aussi bien pour les captures que pour la disjonction), et le premier élément qui suit le crochet ouvrant est l étiquette qui sera apposée si la règle s applique : [&weight /%d+/ kg] Les commentaires se font avec deux tirets, on ne met pas de commentaire en fin de ligne : -- Ceci est un commentaire Les opérateurs habituels des expressions régulières sont disponibles : début, fin, quantifieurs "greedy" (capture la plus longue) et "lazy" (capture la plus courte), classes de caractères, disjonction, etc. : ^ $ * +? *? +??? [0-9] [a-z] %d %a %l %u (un deux) Les éléments atomiques sont les tokens, pas les caractères! Initialisation (création d un pipeline, objet dans lequel DARK va réaliser les différentes étapes) : local main = dark.pipeline() Lexiques Chargement d un lexique depuis un fichier (un mot par ligne) : main:lexicon("&objet", "objets.txt") tous les mots du corpus identifiés dans le lexique contenu dans le fichier objets.txt recevront l étiquette «objet». Création d un lexique dans le fichier *.lua : main:lexicon("&animaux", {"chien", "chat"}) les mots chien et chat du corpus recevront l étiquette «animaux». Règles (reposent sur les expressions régulières) : Sur une ligne : Exemple 1 : main:pattern( [&ponct /%p/ ] ) tous les signes de ponctuation du corpus recevront l étiquette "ponct" Exemple 2 : main:pattern( [&weight /%d+/ kg] ) les séquences constituées de chiffres suivis du token kg recevront l étiquette «weight» Exemple 3 : main:pattern( [&weight /%d+/ /kg/] ) les séquences constituées de chiffres suivis d un token contenant la chaîne kg recevront l étiquette «weight» Sur plusieurs lignes (ne change rien, améliore la lisibilité) : main:pattern([[ [&info &animaux &VRB ] ]]) les séquences constituées d un premier token déjà porteur de l étiquette «animaux» et d un deuxième token porteur de l étiquette «VRB» recevront l étiquette «info» Affichage à l écran 9

10 On définit la liste des étiquettes qu on souhaite afficher, et la couleur associée à chaque étiquette : local tags = { animal = "red", objet = "blue", } On peut décider : soit d afficher toutes les étiquettes produites par les différentes règles, projections de lexiques, et autre étiquetage (utile pour débugguer) : print(main(line)) soit d afficher uniquement les étiquettes listées ci-dessus (plus lisible pour un humain) : print(main(line):tostring(tags)) Modèles DARK est fourni avec un modèle d étiquetage en parties du discours pour le français et l anglais. Chaque token est donc étiqueté avec l une des 13 étiquettes suivantes (taux d erreur de 5 % sur du texte journalistique) : ADJ (adjectifs), ADP (pré/post-positions), ADV (adverbes), CON (conjonctions), DET (déterminants), NNC (noms communs), NNP (noms propres), NUM (numéraux et cardinaux), OTH (autres), PCT (ponctuations), PRO (pronoms), PRT (particules), VRB (verbes). Il est donc possible d écrire des règles fondées sur l étiquetage en POS. 7.2 Fichier «regles.lua» -- Création d un pipeline pour DARK local main = dark.pipeline() -- Chargement d un modèle existant (.mdl) ou création du modèle à -- partir de données annotées (*.dat) au moyen des MaxEnt main:model("model/postag-fr") -- Création d un lexique ou chargement d un lexique existant main:lexicon("&animal", {"chien", "chat"}) main:lexicon("&objet", "objets.txt") -- Création de patterns en LUA. La capture se fait avec les crochets, -- l étiquette à afficher est précédée de &~: &word main:pattern( [&weight /%d+/ kg] ) main:pattern("[&np ( &ADJ &DET )* &NNC ( &ADJ &DET )* ]") -- Sélection des étiquettes voulues, attribution d une couleur (black, -- blue, cyan, green, magenta, red, white, yellow) pour affichage sur -- le terminal ou valeur "true" si redirection vers un fichier de -- sortie (obligatoire pour éviter de copier les caractères de -- contrôle) local tags = { animal = "red", NP = "yellow", objet = "blue", weight = "magenta", } -- Traitement des lignes du fichier for line in io.lines() do -- Toutes les étiquettes print(main(line)) 10

11 end -- Uniquement les étiquettes voulues --print(main(line):tostring(tags)) 7.3 Exercice EXERCICE : télécharger et copier les fichiers «regles.lua» et «objets.txt» dans votre répertoire de travail. echo "Le petit chat dort sur la table de 80 kg."./dark regles.lua doit produire ceci à l écran : <NP>Le p e t i t < animal>chat< / a nimal>< / NP> d o r t sur <NP> l a < o b j e t > t a b l e < / o b j e t >< / NP> de < w e i g h t >80 <NP>kg< / NP>< / weight>. 8 Annotation automatique par apprentissage statistique : outil WAPITI 8.1 L apprentissage statistique Modèles génératifs (en haut du schéma 2 ) : bayésiens naïfs, chaînes de Markov cachées (HMM). Ils modélisent la probabilité jointe P (y, x) c est-à-dire la probabilité de l étiquette y compte tenu du vecteur de caractéristiques x. Pour décider de l étiquette à apposer sur un token, il est nécessaire de modéliser la probabilité conditionnelle P (y x) et de calculer la probabilité d un vecteur de caractéristiques P (x) : P (y, x) = P (y x)/p (x) Bayésien naïf (Naïve Bayes) : prédiction d un label sur la base d observations. Chaînes de Markov cachées (HMMs) : prise en compte des transitions au niveau local, entre la position courante et la position précédente. Modèles discriminants (en bas du schéma) : régression logistique (Logistic Regression) = entropie maximale, champs aléatoires conditionnels (CRF) de chaîne linéaire (Linear-chain CRFs). Ils modélisent directement la probabilité conditionnelle P (y x) c est-à-dire la séquence de labels la plus probable pour une séquence donnée de tokens. 2. Source : 11

12 8.2 WAPITI Présentation L outil Wapiti repose sur le formalisme des champs aléatoires conditionnels (CRF Conditional Random Fields). Il implémente plusieurs alogirthmes (bcd, l-bfgs, rprop, sgd-l1). Il prend deux fichiers en entrée : Corpus avec annotations de référence format tabulaire (i.e., plusieurs colonnes séparées par une tabulation) ; un token par ligne (nécessite de réaliser une tokénisation) ; autant de colonnes que souhaité (même nombre de colonnes sur chaque ligne) ; la dernière colonne contient l annotation de référence. fichier.txt Le Mm 2 NUL DET O fichier.txt petit mm 5 NUL ADJ O fichier.txt chat mm 4 NUL NOM B-animal fichier.txt boit mm 4 NUL VRB O fichier.txt 2 NUL 1 DIGIT NUM B-quantite fichier.txt litres mm 6 NUL NOM I-quantite fichier.txt lait mm 4 NUL NOM O fichier.txt. NUL 1 NUL PCT O Ce fichier tabulaire contient, pour chaque token, des informations que l on espère utiles pour réaliser des prédictions. On distingue plusieurs types de caractéristiques : Caractéristiques de surface : informations qu il est possible d inférer directement depuis le token (nombre de caractères, casse typographique, présence de chiffres, présence de ponctuation, présence d affixes particulier, appartenance du token à une liste) ; Caractéristiques profondes : informations «riches» obtenues au moyen d outils externes (étiquetage en parties du discours, dépendances syntaxiques, appartenance du token dans un lexique) ; Caractéristiques externes : informations obtenues par rapport aux autres tokens, aux autres documents du corpus (fréquence du token en corpus, position du token dans le document, clustering non supervisé). Fichier de configuration pour préciser comment «lire» le corpus annoté. Système de coordonnées entre crochets [position:colonne] (avec position = 0 pour la ligne courante et colonne = 0 pour la première colonne). Pour les CRF : # Unigramme et bigrammes de tokens U10:%x[0,1] U11:%x[-1,1]/%x[0,1] U12:%x[0,1]/%x[1,1] # Unigramme de la casse typographique, de la taille U20:%x[0,2] U30:%x[0,3] # Bigram of output * Utilisation Création d un modèle : wapiti train -a rprop -p config.tpl corpus-appr.tab modele.wap (avec -a le nom de l algorithme utilisé l-bfgs/owl-qn/sgd-l1/bcd/rprop et -p le fichier de configuration). 12

13 Application d un modèle : wapiti label -m modele.wap corpus-test.tab >sortie.tab (avec -m le nom du modèle précédemment créé, et éventuellement -c pour contrôler les prédictions produites par label, et -s pour ajouter les scores en sortie, utile pour un post-traitement correcteur). A Étiquettes en partie du discours (POS) et lemmes Catégorie (POS) Mots Lemme Forme générique Articles (ART) la, le, les le un, une, des un Adjectifs (ADJ) petit, petite, petits, petites petit géorgien, géorgienne, géorgiens, géorgiennes géorgien masculin singulier chat, chatte, chats, chattes chat Substantifs (SUB) fenêtre, fenêtres fenêtre table, tables table suis, es, est, sommes, êtes, sont être ai, as, a, avons, avez, ont avoir Verbes (VB) vais, vas, va, allons, allez, vont aller infinitif aime, aimes, aimons, aimez, aiment aimer installe, installes, installons, installez, installent installer Adverbes (ADV) ici ici Conjonctions (CONJ) et et mais mais à à au, aux à+le Prépositions (PREP) de de en en sur sur je je Pronoms (PRO) tu tu il, ils il ( cas nominatif) elle, elles elle nous nous sans changement vous vous me, m me Pronoms (PRO) te, t te ( cas accusatif) se, s se France France Noms propres (NOM) Géorgie Géorgie Paris Paris Tbilissi Tbilissi TABLE 1 Exemples d étiquettes en partie du discours (POS) et de lemmes pour quelques mots B Architecture Scripts PERL pour l annotation automatique avec l outil DARK application de DARK sur les fichiers *.txt d un répertoire, en utilisant un fichier de règles : perl 01_appliqueDARK.pl repertoire/ regles.lua conversion du format balisé au format tabulaire des fichiers d une extension donnée présents dans un répertoire : perl 02_tag2tab.pl repertoire/ extension fusion de deux versions de fichiers tabulaires en un seul tabulaire au format BIO (format BIO mal géré) : perl 03_fusionne.pl repertoire/hypothese/ repertoire/reference/ >sortie 13

14 évaluation des prédictions réalisées par l outil DARK d après la référence manuelle : perl conlleval.pl -d \t <sortie corpus/dark/*txt 00_creeFichiersAnn.pl 01_appliqueDARK.pl corpus/brat/*ann BRAT corpus/dark/*dark corpus/ref/*ann 02_tag2tab.pl 00_brat2xml.pl corpus/dark/*tab corpus/ref/*tag 02_tag2tab.pl 03_fusionne.pl corpus/ref/*tab sortie conlleval.pl FIGURE 3 Chaîne de traitements pour l application de DARK sur le corpus Corpus corpus/ brat/ fichiers *.txt, *.ann et *.conf pour l annotation manuelle avec l outil BRAT (voir section 5.3, page 6) ; dark/ fichiers *.txt pour l annotation automatique à base de règles et de lexiques avec l outil DARK (page 9) ; ref/ fichiers *.txt, *.ann et *.tag contenant les annotations manuelles de référence pour lancer les évaluations ; wapiti/ deux sous-répertoires pour l annotation par apprentissage statistique avec l outil WAPITI (page 11) : train/ fichiers tabulaires pour la construction du modèle CRF (apprentissage) test/ fichiers tabulaires pour l application du modèle (décodage) 14

Apprentissage Automatique

Apprentissage Automatique Apprentissage Automatique Introduction-I jean-francois.bonastre@univ-avignon.fr www.lia.univ-avignon.fr Définition? (Wikipedia) L'apprentissage automatique (machine-learning en anglais) est un des champs

Plus en détail

NLTK: Corpus et Segmentation. Les corpus NLTK. Corpus et pré-traitement. Les corpus NLTK. Claire Gardent. Construire un index. Segmentation 2007/2008

NLTK: Corpus et Segmentation. Les corpus NLTK. Corpus et pré-traitement. Les corpus NLTK. Claire Gardent. Construire un index. Segmentation 2007/2008 NLTK: Corpus et Segmentation Les corpus NLTK Claire Gardent CNRS/LORIA Campus Scientifique, BP 239, F-54 506 Vandœuvre-lès-Nancy, France Construire un index Segmentation 2007/2008 1/ 26 2/ 26 Corpus et

Plus en détail

Des traitements aux ressources linguistiques : le rôle d une architecture linguistique

Des traitements aux ressources linguistiques : le rôle d une architecture linguistique Des traitements aux ressources : le rôle d une architecture Frederik Cailliau Villetaneuse, le 9 décembre 2010 Sous la direction d Adeline Nazarenko 1. 2. 3. 4. 5. 6. 2 Sinequa Cifre à Sinequa Recherche

Plus en détail

Point sur les expériences avec XCRF, Shared Task CoNLL 2009

Point sur les expériences avec XCRF, Shared Task CoNLL 2009 Point sur les expériences avec XCRF, Shared Task CoNLL 2009 Erwan Moreau erwan.moreau@lipn.univ-paris13.fr Réunion CRoTAL 8 avril 2009 Point sur les expériences avec XCRF, Shared Task CoNLL 2009 1/18 Approche

Plus en détail

Sage 100 CRM - Guide de l Import Plus Version 8. Mise à jour : 2015 version 8

Sage 100 CRM - Guide de l Import Plus Version 8. Mise à jour : 2015 version 8 Sage 100 CRM - Guide de l Import Plus Version 8 Mise à jour : 2015 version 8 Composition du progiciel Votre progiciel est composé d un boîtier de rangement comprenant : le cédérom sur lequel est enregistré

Plus en détail

Introduction 2 Environnement de travail... 2 Groupement de commandes... 2 Caractères spéciaux... 2

Introduction 2 Environnement de travail... 2 Groupement de commandes... 2 Caractères spéciaux... 2 TP OS n 5 2012 tv - v.1.0 Sommaire Introduction 2 Environnement de travail....................................... 2 Groupement de commandes..................................... 2 Caractères

Plus en détail

Introduction aux CRF via l annotation par des modèles graphiques. Isabelle Tellier. LIFO, Université d Orléans

Introduction aux CRF via l annotation par des modèles graphiques. Isabelle Tellier. LIFO, Université d Orléans Introduction aux CRF via l annotation par des modèles graphiques Isabelle Tellier LIFO, Université d Orléans Plan 1. Annoter pour quoi faire 2. Apprendre avec un modèle graphique 3. Annnoter des chaînes

Plus en détail

Compilateurs : Analyse lexicale. Vous êtes ici 2. Analyse lexicale 4. Matthieu Amiguet. En entrée d un compilateur, on a généralement un fichier

Compilateurs : Analyse lexicale. Vous êtes ici 2. Analyse lexicale 4. Matthieu Amiguet. En entrée d un compilateur, on a généralement un fichier Compilateurs : Matthieu Amiguet 2009 2010 Vous êtes ici 2 Partie Avant Analyse syntaxique Analyse sémantique Arbre syntaxique abstrait (AST) Partie Arrière Optimisation de l AST Génération de code Optimisation

Plus en détail

UTILISER le TRAITEMENT de TEXTE WORD 97 (ou 2 000)

UTILISER le TRAITEMENT de TEXTE WORD 97 (ou 2 000) UTILISER le TRAITEMENT de TEXTE WORD 97 (ou 2 000) 1. Démarrer l ordinateur et attendre l affichage du bureau Le bureau L image du bureau peutêtre changée : tous les ordinateurs n ont pas la même! 2. Double

Plus en détail

Marie-Claude L Homme Université de Montréal

Marie-Claude L Homme Université de Montréal Évaluation de logiciels d extraction de terminologie : examen de quelques critères Plan Marie-Claude L Homme Université de Montréal Unités recherchées et problèmes de base Catégories de critères Critères

Plus en détail

Leçon : La phrase GRAMMAIRE. 1. La phrase est une suite de mots qui a du sens : elle raconte

Leçon : La phrase GRAMMAIRE. 1. La phrase est une suite de mots qui a du sens : elle raconte GRAMMAIRE La phrase 1 1. La phrase est une suite de mots qui a du sens : elle raconte quelque chose. 2. Au début de la phrase, on trouve une majuscule. 3. A la fin de la phrase, on trouve un point. Lis

Plus en détail

Projet TAL : traduction français-sms

Projet TAL : traduction français-sms Projet TAL : traduction français-sms 1 Objectif L objectif de ce projet est de concevoir un logiciel permettant de traduire un texte écrit en langage SMS vers le français. La traduction sera effectuée

Plus en détail

TP 1. Prise en main du langage Python

TP 1. Prise en main du langage Python TP. Prise en main du langage Python Cette année nous travaillerons avec le langage Python version 3. ; nous utiliserons l environnement de développement IDLE. Étape 0. Dans votre espace personnel, créer

Plus en détail

Informatique tronc commun TP 02

Informatique tronc commun TP 02 Informatique tronc commun TP 02 15 septembre 2015 NB : 1. Lisez attentivement tout l énoncé avant de commencer. 2. Après la séance, vous devez rédiger un compte-rendu de TP et l envoyer au format électronique

Plus en détail

Références. Compter les mots. Le langage comme donnée. Communication Langagière Ingénierie des langues et de la parole

Références. Compter les mots. Le langage comme donnée. Communication Langagière Ingénierie des langues et de la parole Communication Langagière Ingénierie des langues et de la parole 1. Introduction générale 2. Ingénierie des langues 2.1 Représentation et codage des textes 2.2 Théorie de l information et probabilités 2.3

Plus en détail

clef primaire ; clef étrangère ; projection ; restriction ; jointure ; SQL ; SELECT ; FROM ; WHERE

clef primaire ; clef étrangère ; projection ; restriction ; jointure ; SQL ; SELECT ; FROM ; WHERE Cas Neptune hôtel Base de données et langage SQL Propriété Intitulé long Formation concernée Matière Notions Transversalité Présentation Description Neptune Hôtel. L interrogation d une base de données

Plus en détail

GUIDE DE PUBLICATION AU BALO

GUIDE DE PUBLICATION AU BALO GUIDE DE PUBLICATION AU BALO Le bulletin des annonces légales obligatoires (BALO) est une publication éditée par la Direction de l information légale et administrative, dans le cadre de sa mission de contribuer

Plus en détail

Recherche d information textuelle

Recherche d information textuelle Recherche d information textuelle Pré-traitements & indexation B. Piwowarski CNRS / LIP6 Université Paris 6 benjamin@bpiwowar.net http://www.bpiwowar.net Master IP - 2014-15 Cours et travaux pratiques

Plus en détail

GUIDE DE PUBLICATION AU BALO

GUIDE DE PUBLICATION AU BALO GUIDE DE PUBLICATION AU BALO TRANSMISSION D UNE ANNONCE ET RÈGLES DE NORMALISATION Une première partie vous présentera comment passer une annonce au BALO. Pour passer une annonce au BALO (Bulletin des

Plus en détail

PHP. Introduction à la programmation web serveur. Université Nice Sophia-Antipolis. Découverte et pratique avec PHP. Fabien Givors

PHP. Introduction à la programmation web serveur. Université Nice Sophia-Antipolis. Découverte et pratique avec PHP. Fabien Givors Introduction à la programmation web serveur Découverte et pratique avec PHP Fabien Givors d après les cours de Philippe Renevier Gonin Université Nice Sophia-Antipolis Année universitaire 2014-2015 PHP

Plus en détail

GUIDE MEMBRE ESPACE COLLABORATIF. Février 2012

GUIDE MEMBRE ESPACE COLLABORATIF. Février 2012 GUIDE MEMBRE ESPACE COLLABORATIF Février 2012 Ce document est disponible sur le site WEB de l Agence de la santé et des services sociaux de la Montérégie, à l adresse suivante : http://extranet.santemonteregie.qc.ca/userfiles/file/espace-collabo/2012-02-04guide-membre-espace-collaboratif.pdf

Plus en détail

Quelques exemples d utilisation de Lexique avec Awk

Quelques exemples d utilisation de Lexique avec Awk Quelques exemples d utilisation de Lexique avec Awk Christophe Pallier 9 Octobre 2001 (dernière mise à jour: 16 mai 2004) Lexique est une base de données lexicale disponible sur le site www.lexique.org.

Plus en détail

Logiciel Statistique : SPSS

Logiciel Statistique : SPSS Faculté des Sciences Économiques et de Gestion de Tunis Logiciel Statistique : SPSS Notes du cours pour les étudiants du Master Recherche en Marketing, Management & Finance Dr. Jalila ATTAFI 2011-2012

Plus en détail

Convertisseur de monnaies

Convertisseur de monnaies Convertisseur de monnaies La logique algorithmique en première STG Propriétés Intitulé long Formation concernée Matière Notions Présentation Pré-requis Outils Mots-clés Auteur(es) Version 1.0 Description

Plus en détail

SEANCE 2 : REQUETES DE SELECTION & FORMULAIRES DE CONSULTATION

SEANCE 2 : REQUETES DE SELECTION & FORMULAIRES DE CONSULTATION SEANCE 2 : REQUETES DE SELECTION & FORMULAIRES DE CONSULTATION Année universitaire 20015-2016 Masters Économie Société - Finances Informatique appliquée SGBD Pierre-Henri GOUTTE La requête de sélection

Plus en détail

LIVRE BLANC ZEDOC NET SOLUTION V2

LIVRE BLANC ZEDOC NET SOLUTION V2 LIVRE BLANC ZEDOC NET SOLUTION V2 Solution logicielle prête à l emploi pour la numérisation, l indexation et la recherche en Texte Intégral de documents en mode Intra/Internet. Cette solution est composée

Plus en détail

Personnaliser et adapter SPIP Développeur SPIP

Personnaliser et adapter SPIP Développeur SPIP Personnaliser et adapter SPIP Développeur SPIP En Théorie Le fonctionnement de SPIP Qu est ce que SPIP? SPIP (Système de Publication pour l Internet Partagé) est un logiciel libre destiné à la production

Plus en détail

GUIDE Excel (version intermédiaire) Version 2007 Table des matières

GUIDE Excel (version intermédiaire) Version 2007 Table des matières GUIDE Excel (version intermédiaire) Version 2007 Table des matières 1. Les rubans... 2 2. Recherchez des données... 5 3. Trier et filtrer.... 6 Trier... 6 Filtre... 7 4. Plage... 9 Attribuer un nom...

Plus en détail

Manuel d utilisation du site web de l ONRN

Manuel d utilisation du site web de l ONRN Manuel d utilisation du site web de l ONRN Introduction Le but premier de ce document est d expliquer comment contribuer sur le site ONRN. Le site ONRN est un site dont le contenu est géré par un outil

Plus en détail

Présentation de la plateforme d analyse linguistique médiévale

Présentation de la plateforme d analyse linguistique médiévale Présentation de la plateforme d analyse linguistique médiévale 1. Introduction Tout au long de ce document, notre projet sera présenté à travers la méthodologie suivie pour développer la plateforme d analyse

Plus en détail

Microsoft WORD. Sommaire :

Microsoft WORD. Sommaire : Le traitement de texte avec : Microsoft WORD Sommaire : 1 Le traitement de texte : usages typographiques ITALIQUE Règles Typographiques On se sert de l italique pour attirer l attention sur un mot, sur

Plus en détail

Tableau des aides technologiques pour l aide à la rédaction

Tableau des aides technologiques pour l aide à la rédaction WordQ VS Lexibar Merci à Hélène Labranche et à Mark Miller pour leur partage. Tableau d Hélène Tableau des aides technologiques pour l aide à la rédaction Produit Prix Aide Forces Limites Bolabolka Gratuit

Plus en détail

CorpuSearch : présentation d un outil d extraction spécifique

CorpuSearch : présentation d un outil d extraction spécifique CorpuSearch : présentation d un outil d extraction spécifique Jean-Philippe Demoulin, Alda Mari, Romain Vinot ENST Département INFRES CNRS URA 820 46 rue Barrault - 75013 PARIS - +33(0)145817259 {demoulin,

Plus en détail

II. EXCEL/QUERY ET SQL

II. EXCEL/QUERY ET SQL I. AU TRAVAIL, SQL! 1. Qu est-ce que SQL?... 19 2. SQL est un indépendant... 19 3. Comment est structuré le SQL?... 20 4. Base, table et champ... 21 5. Quelle est la syntaxe générale des instructions SQL?...

Plus en détail

INFO-F-101 Programmation Projet 4 Page Ranking(1/4): Création de la matrice du compte des liens

INFO-F-101 Programmation Projet 4 Page Ranking(1/4): Création de la matrice du compte des liens INFO-F-101 Programmation Projet 4 Page Ranking(1/4): Création de la matrice du compte des liens Année académique 2009 2010 1 Introduction Ce projet est le premier d une série de quatre projets qui ont

Plus en détail

Mon aide mémoire traitement de texte (Microsoft Word)

Mon aide mémoire traitement de texte (Microsoft Word) . Philippe Ratat Mon aide mémoire traitement de texte (Microsoft Word) Département Ressources, Technologies et Communication Décembre 2006. Sommaire PRÉSENTATION DU DOCUMENT 1 Objectif principal 1 Deux

Plus en détail

ACCESS 2013. Système de Gestion de Bases de Données Relationnelles

ACCESS 2013. Système de Gestion de Bases de Données Relationnelles Access est un logiciel permettant de gérer des données en masse : une liste de clients ou de fournisseurs, un stock de produits, des commandes, des salariés, un club de tennis, une cave à vin, une bibliothèque,

Plus en détail

Ouvrir ce texte avec Word ou open office- Enregistrez-le dans un format portable sous le nom DM_votreNom

Ouvrir ce texte avec Word ou open office- Enregistrez-le dans un format portable sous le nom DM_votreNom STAGE DOCTORAL INFORMATIQUE POUR LA RECHERCHE Objectif général : BUREAUTIQUE TRAITEMENT DE TEXTE Il s agit de mettre en forme un document libre de droit (le discours de la méthode), de procéder à un certain

Plus en détail

MAITRISE DU LANGAGE ET DE LA LANGUE FRANCAISE au cycle 2 (programmes 2007)

MAITRISE DU LANGAGE ET DE LA LANGUE FRANCAISE au cycle 2 (programmes 2007) MAITRISE DU LANGAGE ET DE LA LANGUE FRANCAISE au cycle 2 (programmes 2007) Ces tableaux reprennent les compétences des programmes 2007. Ils servent de référentiel commun à tous les enseignants du cycle

Plus en détail

Ressources pour l école élémentaire

Ressources pour l école élémentaire Ressources pour l école élémentaire Français éduscol Progressions pour le cours préparatoire et le cours élémentaire première année Ces documents peuvent être utilisés et modifiés librement dans le cadre

Plus en détail

CRÉATION D UNE ADRESSE DE MESSAGERIE

CRÉATION D UNE ADRESSE DE MESSAGERIE CRÉATION D UNE ADRESSE DE MESSAGERIE AVEC OUTLOOK.COM Outlook.com, la messagerie de Microsoft le successeur de Hotmail et de Live.fr dispose de nombreux outils (courriel, stockage de documents, suite allégée

Plus en détail

Laboratoire 4 Développement d un système intelligent

Laboratoire 4 Développement d un système intelligent DÉPARTEMENT DE GÉNIE LOGICIEL ET DES TI LOG770 - SYSTÈMES INTELLIGENTS ÉTÉ 2012 Laboratoire 4 Développement d un système intelligent 1 Introduction Ce quatrième et dernier laboratoire porte sur le développement

Plus en détail

QUALIFICATION DE FICHIERS PROFESSIONNELS

QUALIFICATION DE FICHIERS PROFESSIONNELS QUALIFICATION QUALIFICATION DE FICHIERS PROFESSIONNELS 2 Téléchargement 3 Installation 7 Ecran d accueil 14 Qualification sur Score3 16 Qualification de fichiers sur Pages Jaunes 23 Maniulation des fichiers

Plus en détail

Méthodes et outils pour l annotation manuelle ou semi-automatique de corpus

Méthodes et outils pour l annotation manuelle ou semi-automatique de corpus Méthodes et outils pour l annotation manuelle ou semi-automatique de corpus Yann Mathet, Antoine Widlöcher Laboratoire GREYC - Université de Caen Ecole thématique «Annotation de données langagières» Biarritz,

Plus en détail

LES MODULES BUREAUTIQUE

LES MODULES BUREAUTIQUE PRISE EN MAIN D UN MICRO-ORDINATEUR ET DES OUTILS BUREAUTIQUE LES PLUS FREQUEMMENT UTILISES Environnement WIINDOWS Navigateur INTERNET EXPLORER / FIIREFOX Messagerie OUTLOOK & THUNDERBIIRD Traitement de

Plus en détail

Analyse syntaxique et application aux langues naturelles. Grammaires Lexicales Fonctionnelles (LFG)

Analyse syntaxique et application aux langues naturelles. Grammaires Lexicales Fonctionnelles (LFG) Université de Nice Sophia Antipolis Master 2 Recherche PLMT Analyse syntaxique et application aux langues naturelles Grammaires Lexicales Fonctionnelles (LFG) Jacques Farré et Sylvain Schmitz Analyse syntaxique

Plus en détail

Manuel de l Utilisateur. Suite de Traduction IdiomaX

Manuel de l Utilisateur. Suite de Traduction IdiomaX Manuel de l Utilisateur Suite de Traduction IdiomaX L information contenue dans ce manuel peut être modifiée, sans avoir pour autant à communiquer ces changements au préalable. La distribution de ce produit

Plus en détail

Cycle Matière Activités

Cycle Matière Activités Traitement de texte et TICE Liste des activités Cycle Matière Activités Recopie, après identification,d une lettre. Variantes : Le modèle est à l écran, puis sur une feuille de papier (afin d'expérimenter

Plus en détail

Mon code d autocorrection 1 er cycle. Est-ce que ma phrase débute par une MAJUSCULE et se termine par un point? J encercle la majuscule et le point.

Mon code d autocorrection 1 er cycle. Est-ce que ma phrase débute par une MAJUSCULE et se termine par un point? J encercle la majuscule et le point. Mon code d autocorrection 1 er cycle Structure de la phrase Est-ce que ma phrase se dit bien en français écrit? Je relis ma phrase. Je fais lire ma phrase par quelqu un. Ponctuation Est-ce que ma phrase

Plus en détail

Mon aide mémoire traitement de texte (OpenOffice.org Writer 2)

Mon aide mémoire traitement de texte (OpenOffice.org Writer 2) . Philippe Ratat Mon aide mémoire traitement de texte (OpenOffice.org Writer 2) Département Ressources, Technologies et Communication décembre 2006. Sommaire PRÉSENTATION DU DOCUMENT 1 Objectif principal

Plus en détail

Plan. Traitement de texte et PAO 4/10/06. Initiation à Word 2002 1

Plan. Traitement de texte et PAO 4/10/06. Initiation à Word 2002 1 Plan Initiation A Microsoft Word 2002 Quelques grandes fonctionnalités Comment se présente Microsoft Word La mise en page La typographie Lettrines, puces et illustrations Créer des tableaux Ecrivez sans

Plus en détail

données en connaissance et en actions?

données en connaissance et en actions? 1 Partie 2 : Présentation de la plateforme SPSS Modeler : Comment transformer vos données en connaissance et en actions? SPSS Modeler : l atelier de data mining Large gamme de techniques d analyse (algorithmes)

Plus en détail

GED MARKETING. Page 1 sur 18

GED MARKETING. Page 1 sur 18 GED MARKETING I. Présentation du produit... 2 II. Page principale de l application... 3 L arbre... 3 Le menu... 4 La fenêtre de navigation... 4 III. La recherche de documents... 4 Rechercher tous les documents...

Plus en détail

Mesures transitoires et bonnes pratiques de gestion des documents numériques. Proposées par le Sous-comité des archivistes

Mesures transitoires et bonnes pratiques de gestion des documents numériques. Proposées par le Sous-comité des archivistes Mesures transitoires et bonnes pratiques de gestion des documents numériques Proposées par le Sous-comité des archivistes 7 décembre 2007 TABLE DES MATIÈRES 1. LA GESTION DES DOCUMENTS NUMÉRIQUES : POUR

Plus en détail

Séminaire: Méthodes et outils d'analyse de données textuelles, un nouveau souffle?

Séminaire: Méthodes et outils d'analyse de données textuelles, un nouveau souffle? Séminaire: Méthodes et outils d'analyse de données textuelles, un nouveau souffle? Daniel K. Schneider TECFA FPSE - Université de Genève daniel.schneider@unige.ch Unité de technologie de l'éducation Université

Plus en détail

Prénom :.. Nom :... Langage oral. Lecture

Prénom :.. Nom :... Langage oral. Lecture CP EVALUATION FRANCAIS Fin du 3ème trimestre Prénom :.. Nom :... Langage oral LO04 - Raconter une histoire déjà entendue en s appuyant sur des illustrations. =Raconte l'histoire de Blanche Neige en t'aidant,

Plus en détail

LES TYPES DE DONNÉES DU LANGAGE PASCAL

LES TYPES DE DONNÉES DU LANGAGE PASCAL LES TYPES DE DONNÉES DU LANGAGE PASCAL 75 LES TYPES DE DONNÉES DU LANGAGE PASCAL CHAPITRE 4 OBJECTIFS PRÉSENTER LES NOTIONS D ÉTIQUETTE, DE CONS- TANTE ET DE IABLE DANS LE CONTEXTE DU LAN- GAGE PASCAL.

Plus en détail

QUALIFICATION DE FICHIERS PROFESSIONNELS

QUALIFICATION DE FICHIERS PROFESSIONNELS QUALIFICATION QUALIFICATION DE FICHIERS PROFESSIONNELS 2 Téléchargement 3 Installation 7 Ecran d accueil 14 Qualification sur Score3 16 Qualification de fichiers sur Pages Jaunes 32 Configuration d internet

Plus en détail

Personnaliser l interface et l environnement... 15

Personnaliser l interface et l environnement... 15 Personnaliser l interface et l environnement... 15 Astuce 1 - Choisir la couleur de base de la fenêtre... 16 Astuce 2 - Modifier l affichage des info-bulles... 16 Astuce 3 - Réduire le Ruban... 18 Astuce

Plus en détail

4. La commande grep (ne demandez pas pourquoi grep!)

4. La commande grep (ne demandez pas pourquoi grep!) 4. La commande grep (ne demandez pas pourquoi grep!) 4.1. Ou alors si. Grep de la commande d'édition g/re/p 'globally search for RE and print it' ou RE est un raccourci pour RegularExpression. La commande

Plus en détail

Apprentissage supervisé

Apprentissage supervisé Apprentissage supervisé 1 Apprendre aux ordinateurs à apprendre Objectif : appliquer la démarche de l apprentissage par l exemple à l ordinateur. Montrer des exemples à l ordinateur en lui disant de quoi

Plus en détail

Sujet Projets 2 nd Semestre

Sujet Projets 2 nd Semestre Sujet Projets 2 nd Semestre Seuls les appels systèmes vus en cours sont autorisés. L usage d autres fonctions doit impérativement être validé par l enseignant. La date d ouverture pour l assignation de

Plus en détail

Évaluer les liens entre codage et les données structurées (variables) Introduction au gestionnaire de rapport et au journal de commandes

Évaluer les liens entre codage et les données structurées (variables) Introduction au gestionnaire de rapport et au journal de commandes Trois approches en analyse de texte L'Analyse Qualitative L'analyse de Contenu Quantitative (par dictionnaires) Le forage de texte ("Text Mining") Introduction aux logiciels de Provalis Research QDA Miner

Plus en détail

OBJECTIFS DE CE GUIDE... 5 QU EST-CE QU UN DOCUMENT ACCESSIBLE... 5 LA STRUCTURE D UN DOCUMENT... 6 LES TITRES ET LES SOUS-TITRES...

OBJECTIFS DE CE GUIDE... 5 QU EST-CE QU UN DOCUMENT ACCESSIBLE... 5 LA STRUCTURE D UN DOCUMENT... 6 LES TITRES ET LES SOUS-TITRES... Diffusion de l information dans Internet Guide de création de documents Word accessibles 5 novembre 2009 OBJECTIFS DE CE GUIDE... 5 QU EST-CE QU UN DOCUMENT ACCESSIBLE... 5 LA STRUCTURE D UN DOCUMENT...

Plus en détail

Cours n 3 : Microsoft WORD

Cours n 3 : Microsoft WORD Cours n 3 : Microsoft WORD I. Introduction Il y a longtemps que l ordinateur a remplacé la machine à écrire, pour la saisie du texte. En effet, les gens on vite compris les apports et avantages que cela

Plus en détail

Interaction Homme Machine

Interaction Homme Machine Interaction Homme Machine Sommaire Introduction... 2 Qu est ce qu une IHM?... 2 Comment ça marche?... 7 Ma première IHM... 10 Ma première IHM (suite)... 15 Ma première IHM (suite)... 19 Ma première IHM

Plus en détail

CORRESPONDANCE WORD OPEN OFFICE WRITER

CORRESPONDANCE WORD OPEN OFFICE WRITER CORRESPONDANCE WORD OPEN OFFICE WRITER Table des matières La barre de menus...2 Remarques concernant les copies d écran des menus :...2 Menu Fichier...2 Menu Édition...3 Menu Affiche...4 Menu Insère...5

Plus en détail

Les typologies d information que le moteur est en mesure de rechercher sont :

Les typologies d information que le moteur est en mesure de rechercher sont : AIDE SUR LA BIBLIOTHEQUE VIRTUELLE Le système de recherche de la bibliothèque virtuelle permet l accès rapide aux informations qui intéressent les étudiants et qui sont disponibles dans le cyberespace

Plus en détail

WEKA : c est quoi? Brigitte Bigi. 15 février 2011. LPL - Équipe C3I. Brigitte Bigi (LPL - Équipe C3I) WEKA : c est quoi? 15 février 2011 1 / 32

WEKA : c est quoi? Brigitte Bigi. 15 février 2011. LPL - Équipe C3I. Brigitte Bigi (LPL - Équipe C3I) WEKA : c est quoi? 15 février 2011 1 / 32 WEKA : c est quoi? Brigitte Bigi LPL - Équipe C3I 15 février 2011 Brigitte Bigi (LPL - Équipe C3I) WEKA : c est quoi? 15 février 2011 1 / 32 Introduction 1 Introduction 2 Classification supervisée 3 WEKA

Plus en détail

Guide préparatoire des tests de sélection du secteur bureau via Moodle 2.5

Guide préparatoire des tests de sélection du secteur bureau via Moodle 2.5 Guide préparatoire des tests de sélection du secteur bureau via Moodle 2.5 Avril 2015 Tests de français niveaux de base, intermédiaire et avancé Durée : 60 minutes Orthographe grammaticale o Accords o

Plus en détail

Programme de formation informatique. Plan de cours

Programme de formation informatique. Plan de cours Programme de formation informatique Plan de cours Dernière mise à jour : le 28 août 2006 Version 1.0 2 Introduction Le Programme de formation informatique (PFI) de l Institut national de la magistrature

Plus en détail

OPEN OFFICE.org. Sommaire :

OPEN OFFICE.org. Sommaire : Le traitement de texte avec : OPEN OFFICE.org OpenOffice Writer est la partie traitement de texte d'openoffice. org, la suite bureautique libre. Cette suite bureautique est téléchargeable librement et

Plus en détail

Utilisation du client de messagerie Thunderbird

Utilisation du client de messagerie Thunderbird Outlook express n existant plus sur les systèmes d exploitation sortis après Windows XP, nous préconisons désormais l utilisation du client de messagerie libre distribué gratuitement par la Fondation Mozilla.

Plus en détail

II - Traitement de texte ; ex. : Word Plan

II - Traitement de texte ; ex. : Word Plan Cours 2 à 5 II - Traitement de texte ; ex. : Word Plan 1 - Notion de bases : pp. 3 à 28 2 - Fonctions avancées : suite à fin! 24/09/2015 UCP - éco-gestion - Info - L2 EF/G + DU ECE 2 - N. Revault 1 Cours

Plus en détail

Les expressions. Daniel Tschirhart : Programmation Java V1.34

Les expressions. Daniel Tschirhart : Programmation Java V1.34 Les expressions régulières Daniel Tschirhart : Programmation Java V1.34 Les expressions régulir gulières Le langage des expressions régulières est spécialement conçu et optimisé pour la manipulation de

Plus en détail

! Text Encoding Initiative

! Text Encoding Initiative Format XML: suite! le contenu d un élément est la concaténation de! texte! et d éléments (imbrication)! => structure arborescente! pas de chevauchement de balises! => exemple : une analyse syntagmatique

Plus en détail

TD3 - Facturation avec archivage automatisé

TD3 - Facturation avec archivage automatisé TD3 - Facturation avec archivage automatisé Objectifs Insérer les formules nécessaires aux calculs d une facture. Créer une macro- commande avec l enregistreur de macros et l affecter à un bouton. Utiliser

Plus en détail

GUIDE UTILISATEUR. http://mib.futuroffice.fr/

GUIDE UTILISATEUR. http://mib.futuroffice.fr/ GUIDE UTILISATEUR http://mib.futuroffice.fr/ SOMMAIRE Connexion Onglet E-mails 1. Gestion des expéditeurs 2. Gestion des e-mails stoppés Onglet Paramètres 1. Paramètres 2. Statistiques 3. Personnalisation

Plus en détail

Initiation WORD. Module 2 : Les fonctions de base

Initiation WORD. Module 2 : Les fonctions de base Initiation WORD. Module 2 : Les fonctions de base Système d exploitation utilisé : Windows XP Service Pack 2 Créé par Xavier CABANAT Version 1.0 Document créé par Xavier CABANAT Page 1 sur 14 Avant propos.

Plus en détail

Contenu des cellules 36 Sélectionner des cellules 37 Sélectionner des lignes, des colonnes et des plages spéciales 38

Contenu des cellules 36 Sélectionner des cellules 37 Sélectionner des lignes, des colonnes et des plages spéciales 38 1 2 Introduction XVII Débuter avec Excel 1 Démarrer Excel 2 Nouveau! La fenêtre Excel 3 Utiliser le ruban 4 Nouveau! Choisir des commandes 5 Nouveau! Utiliser le ruban et les barres d outils 6 Nouveau!

Plus en détail

MAÎTRISE DE L ENVIRONNEMENT WINDOWS VISTA

MAÎTRISE DE L ENVIRONNEMENT WINDOWS VISTA MAÎTRISE DE L ENVIRONNEMENT WINDOWS VISTA OBJECTIFS : manipuler les fenêtres et l environnement Windows, gérer ses fichiers et dossiers, lancer les applications bureautiques présentes sur son poste. PUBLIC

Plus en détail

Sage 100 CRM Guide de l Import Plus avec Talend Version 8. Mise à jour : 2015 version 8

Sage 100 CRM Guide de l Import Plus avec Talend Version 8. Mise à jour : 2015 version 8 Sage 100 CRM Guide de l Import Plus avec Talend Version 8 Mise à jour : 2015 version 8 Composition du progiciel Votre progiciel est composé d un boîtier de rangement comprenant : le cédérom sur lequel

Plus en détail

Bases de données (INF225), TELECOM ParisTech. TP PHP & MySQL

Bases de données (INF225), TELECOM ParisTech. TP PHP & MySQL Bases de données (INF225), TELECOM ParisTech TP PHP & MySQL Pierre Senellart (pierre.senellart@telecom-paristech.fr) Bogdan Cautis (bogdan.cautis@telecom-paristech.fr) Ioana Ileana (ioana.ileana@telecom-paristech.fr)

Plus en détail

Bouchekif Abdesselam 11 mars 2012

Bouchekif Abdesselam 11 mars 2012 Expériences sur les données du répertoire de données de UCI avec une boîte à outils Bouchekif Abdesselam 11 mars 2012 Résumé Les dix dernières années ont été témoin de grands progrès réalisés dans le domaine

Plus en détail

Informatique Macros en VBA / Excel

Informatique Macros en VBA / Excel Informatique Macros en VBA / Excel Licence 3 TCI et Tourisme A. Lemay 1 Introduction Visual Basic for Applications (VBA) est le langage de programmation des applications de Microsoft Office. VBA permet

Plus en détail

La feuille de style. Word 2007 à 2011. Sciences Po - École Doctorale - DSI - La feuille de style

La feuille de style. Word 2007 à 2011. Sciences Po - École Doctorale - DSI - La feuille de style La feuille de style Word 007 à 0 Plan du document - Installer et utiliser le modèle... - Démarrer sa thèse : page de titre et pied de page... 3 - Description et utilisation des styles concernant le texte..

Plus en détail

TP1 : Initiation à l algorithmique (1 séance)

TP1 : Initiation à l algorithmique (1 séance) Université de Versailles Vanessa Vitse IUT de Vélizy - Algorithmique 2006/2007 TP1 : Initiation à l algorithmique (1 séance) 1 Prise en main de l environnement Unix : rappels et compléments Le but de la

Plus en détail

Manuel d utilisation du web mail Zimbra 7.1

Manuel d utilisation du web mail Zimbra 7.1 Manuel d utilisation du web mail Zimbra 7.1 Sommaire 1 CONNEXION A LA MESSAGERIE ZIMBRA... 5 1.1 Prérequis... 5 1.1.1 Ecran de connexion à la messagerie... 5 2 PRESENTATION GENERALE DE L INTERFACE ZIMBRA...

Plus en détail

Extraction d informations

Extraction d informations Extraction d informations Reprise de slides de T. Poibeau (CNRS et U. Paris 13), de W. Cohen (CMU), de Julien Lemoine (Exalead) Antoine Rozenknop 6 février 2009 Antoine Rozenknop () Extraction d informations

Plus en détail

OMI TP 2 : Outils numériques pour l apprentissage

OMI TP 2 : Outils numériques pour l apprentissage OMI TP 2 : Outils numériques pour l apprentissage Introduction aux Google Docs Google Documents permet de créer, stocker dans l internet et partager facilement des documents. Des outils collaboratifs permettent

Plus en détail

ADMINISTRATION DU PORTAIL AFI OPAC 2.0 V3 AFI OPAC 2.0

ADMINISTRATION DU PORTAIL AFI OPAC 2.0 V3 AFI OPAC 2.0 ADMINISTRATION DU PORTAIL AFI OPAC 2.0 V3 AFI OPAC 2.0 V3 Sommaire Sommaire... 2 Note :... 2 Quelques Notions... 3 Profil :... 3 Pages :... 5 Créer du contenu... 6 Identification de l administrateur :...

Plus en détail

Ecole Technique «Transformation de données documentaires» Poitiers, 14-16 mars 2011. Atelier 1: Sphinx. import, conversion, export de données

Ecole Technique «Transformation de données documentaires» Poitiers, 14-16 mars 2011. Atelier 1: Sphinx. import, conversion, export de données Ecole Technique «Transformation de données documentaires» Poitiers, 14-16 mars 2011 Atelier 1: Sphinx import, conversion, export de données Introduction à la Recherche d'ist via le Web INRA Grignon, 03/2011

Plus en détail

TEPZZ 74 84 A_T EP 2 743 843 A1 (19) (11) EP 2 743 843 A1 (12) DEMANDE DE BREVET EUROPEEN. (51) Int Cl.: G06F 17/30 (2006.01)

TEPZZ 74 84 A_T EP 2 743 843 A1 (19) (11) EP 2 743 843 A1 (12) DEMANDE DE BREVET EUROPEEN. (51) Int Cl.: G06F 17/30 (2006.01) (19) TEPZZ 74 84 A_T (11) EP 2 743 843 A1 (12) DEMANDE DE BREVET EUROPEEN (43) Date de publication: 18.06.14 Bulletin 14/2 (1) Int Cl.: G06F 17/ (06.01) (21) Numéro de dépôt: 1319246.7 (22) Date de dépôt:

Plus en détail

TP Compilation Analyse lexicale

TP Compilation Analyse lexicale TP Compilation Analyse lexicale Eric Ramat ramat@lisic.univ-littoral.fr 9 mai 2014 Durée : 6 heures 1 Introduction Le but de cet TP est de vous donner les bases nécessaires afin de pouvoir écrire votre

Plus en détail

le Coin du petit programmeur...

le Coin du petit programmeur... le Coin du petit programmeur... 1: calcul d une expression numerique. L informatique est, de nos jours, partout autour de nous. Mais pour qu il se passe quelque chose à l écran, il faut souvent derrière

Plus en détail

Évaluation des compétences. Identification du contenu des évaluations. Septembre 2014

Évaluation des compétences. Identification du contenu des évaluations. Septembre 2014 Identification du contenu des évaluations Septembre 2014 Tous droits réservés : Université de Montréal Direction des ressources humaines Table des matières Excel Base version 2010... 1 Excel intermédiaire

Plus en détail

< Atelier 1 /> Démarrer une application web

< Atelier 1 /> Démarrer une application web MES ANNOTATIONS SONT EN ROUGE : Axel < Atelier 1 /> Démarrer une application web Microsoft France Tutorial Découverte de ASP.NET 2.0 Sommaire 1 INTRODUCTION... 3 1.1 CONTEXTE FONCTIONNEL... 3 1.2 CONTEXTE

Plus en détail

EMC SourceOne TM for Microsoft SharePoint Recherche dans les archives Carte de référence rapide version 7.2

EMC SourceOne TM for Microsoft SharePoint Recherche dans les archives Carte de référence rapide version 7.2 Utilisez la fonctionnalité pour rechercher et restaurer du contenu SharePoint archivé dans EMC SourceOne La fonctionnalité de SharePoint est destinée aux administrateurs et utilisateurs de SharePoint.

Plus en détail