Journée d étude CONSCILA (ENS Paris) Annotation syntaxique de corpus oraux. DisMo. Un outil d annotation morphosyntaxique pour le français parlé

Transcription

1 Journée d étude CONSCILA (ENS Paris) Annotation syntaxique de corpus oraux DisMo Un outil d annotation morphosyntaxique pour le français parlé Georges Christodoulides george@mycontent.gr Iulia Grosman iulia.grosman@student.uclouvain.be Université catholique de Louvain, Centre de recherche VALIBEL Discours et Variation Louvain-la-Neuve, Belgique 7 décembre 2012

2 PLAN 1. Objectifs 2. Acquis et choix 3. Entrée et sortie 4. Annotation 5. Architecture du système 6. Corpus 7. Evaluation 8. Fiche technique 9. Perspectives 10. Bibliographie 2

3 OBJECTIFS Une annotation compréhensive pour le français parlé: Annotation grammaticale (POS, parties du discours) & Annotation des phénomènes discursifs: disfluences, marqueurs discursifs, segmentation en séquences Liens entre les différents couches d annotation pour améliorer la performance de 4 modules habituellement séparés (POS, Syntaxe, Disfluences, Discours). Un système hybride: Utilisation de ressources lexicales ouvertes et fermées. Modèles probabilistes(conditional Random Fields) et règles linguistiques. Possibilités ouvertes d intégration de paramètres acoustiques: Temporalité : mesure objective des pauses et durée des tokens. Autres perspectives : intonation (f0 ou stylisation) 3

4 ACQUIS ET CHOIX Prosodie et Disfluences MD& MC TAL La détection des ponctuants améliore le POS tagging (Liu et al., 2006) Détection des disfluences: besoin d informations lexicales, POS et prosodiques (Shriberg, 1996 ; Dister, 2007) Détection des disfluences avec des modèles CRF (Georgila 2009 ; 2010) Désambiguïsation Le modèle statistique (HMM, CRF) sera influencé par la séquence à annoter Intégration des ressources lexicales pour les MC dans un modèle CRF (Constant & Tellier 2012) Indices de frontières syntaxiques de l oral Détection des ponctuants, marqueurs, connecteurs Détection des frontières prosodiques(simon 2009) 4 Bénéfice des systèmes hybrides qui combinent: (1) règles linguistiques (2) ressources lexicales (3) modèles statistiques Un modèlecrf peutêtre entrainé avec plusieurs features

5 ENTRÉE ET SORTIE Entrée obligatoire : Transcription orthographique standardisée Entrée facultative : Transcription alignée au mot Sorties annotées: (1) Mots simples / POS (2) Mots composés / POS (3) MD et connecteurs (4) Disfluences.txt,.xls,.textgrid 5

6 ANNOTATION (1) Comparaison état de l art : Benzitoun, Fort & Sagot2012 ; Clément & Abeillé 2006 ; Dister2007 ; Beaufort 2009 ; Schmid 1994 (2) Choix d équilibre : les systèmes varient de 32 à 311 étiquettes, DisMoen propose+/- 60 (3) Homogénéisation : favoriser les étiquettes bilingues, éviter les étiquettesad hoc, ne pas s éloigner de l intuition d un annotateur humain POS DISFLUENCES DISCOURS 44 étiquettes (10 catégories) > Possibilité d études sur la flexion > Distinction entre ppaet ppe 9 étiquettes (5 disf.) Système IOB2 Pause non sonore (pause vide, prise de souffle) > pause sonore (euh) > amorce > répétition > autocorrection La majorité des catégories majeures connaissent une extension + syntagmes disfluents + séquences de disfluences 6 3 étiquettes - CONN - MD - PARA (+INTJ) Définies par leur fréquence, distribution et leur indépendance syntaxique

7 ARCHITECTURE DU SYSTÈME Cascade : chaque étape affineles résultats des étapes précédentes Lexiques : proposent toutes les étiquettes possibles pour un item Levée d ambiguïtés : à chaque étape, par modèles statiques et règles linguistiques Aller-retour : entre POS et phénomènes discursifs, pour améliorer leur détection 7

8 ARCHITECTURE DU SYSTÈME modules lexicaux DELAF LexMWU(< DELAC) LexConn LexMD LexDis LexEntitésNommées [ ] Aller-retour et dépendances entre modules Modules statistiques (CRF) POSMIN: annotation POS préalable Features: forme, classe d ambigüité (p.ex. VER+ADJ+NOM), durée, MWU détecté (i-2, i-1, i, i+1, i+2). DISFLUENCE: détection des disfluences Features: forme, durée, pos-min(i-2, i-1, i, i+1, i+2), distance Levenshtein(i/i+1). DISCOURS: détection des phénomènes discursifs Features: forme, durée, pos-min(i-2, i-1, i, i+1, i+2) POSFIN: annotation POS finale, prise en compte des MC Features: forme, classe d ambigüité, durée du token (i-2, i-1, i, i+1, i+2). À partir des frontières détectées. 8

9 CORPUS C-Gram Prom Entraînement : 80% (équilibré) Test : 20% (équilibré) Corpus alignés en traitement : Un corpus multigenre permet d évaluer les performances combinées et individuelles du systèmes et de ses modules selon le type de discours : - degré de préparation - type d interaction - degré de contrainte de la tâche Détail Dismo GENRE WORD % Conf. Sc ,09 Interview ,05 itinéraire ,37 Info(JT) ,96 Lecture 413 3,69 Narratif ,01 Politique ,83 TOTAL genres + de tokens (hors silences) C-Humoristes tokens 1:30 hrs 3 genres C-Interprètes 2:00 hrs 3 genres C-Didactique 1:30 hrs 2 genres 9

10 EVALUATION POS min disfluence discours POS final précision précision recall catégorisation précision recall précision Conf. scien. 84,6% 100,0% 61,1% 100,0% 100,0% 96,7% 83,2% Interview 81,3% 100,0% 66,7% 100,0% 100,0% 88,9% 80,9% Itinéraire 76,4% 100,0% 83,3% 100,0% 100,0% 100,0% 77,4% Info (JT) 82,6% 100,0% 66,7% 100,0% 100,0% 100,0% 81,5% Narratif 78,3% 97,8% 80,4% 99,9% 98,7% 93,9% 77,6% Politique 71,5% ,0% 100,0% 100,0% 71,0% Erreur / catégorie Fq VER:impe vs VER:pres VER:pres vs VER:pred DISS:rep vs DIS:corr 10

11 PERSPECTIVES Corpus d entrainement : augmentation constante équilibrée Paramètres acoustiques supplémentaires: ajout de featurescrf après une analyse de la f0 Perspective d évaluation : affinement des étiquettes des marqueurs discursifs et grammaticales, test du système sur un corpus non aligné (apport de la duréeet l intonation sur la détection des disfluences) Traitement des mots composés : affinement du compromis LEX-MWU & DELAC et du traitement des MWU en séquence IOB2 Recherches : (1) sur concordance entre l annotation en frontièreset l annotation en séquences et unités de rection (2) sur la relation et l annotation entre frontières prosodiques et syntaxiques (analyse en BDU Basic Discourse Units). 11

12 FICHE TECHNIQUE Licence : système & ressources linguistiques libres sources (GPL & LGPLLR) Intègre d autres projets en sources libres : CRF++, Open FST, HFST Langue de programmation : C++ avec la bibliothèque Qt. Plateforme : Windows, Mac, Linux Environnement : (1) Praat (2) Plugin (3) logiciel indépendant 12

13 BIBLIOGRAPHIE Avanzi, M., Simon, A.C., Goldman, J.-P., Auchlin, A. (2010). C-PROM. Un corpus de français parlé annoté pour l étude des proéminences. Actes des 23èmes journées d'étude sur la parole (Mons, Belgique, mai 2010). Benzitoun, Ch., Fort, K., Sagot, B. (2012). TCOF-POS : un corpus libre de français parlé annoté en morphosyntaxe. JEP-TALN- RECITAL 2012, vol. 2 : TALN : Boersma, P. & Weenink, D. (2009). Praat: doing phonetics by computer. Dister A. (2007). De la transcription à l'étiquetage morphosyntaxique. Le cas de la banque de données textuelles orales VALIBEL. Thèse de linguistique. Université catholique de Louvain. Georgila K. (2009). Using Integer Linear Programming for Detecting Speech Disfluencies. In Proceedings of the North American Chapter of the Association for Computational Linguistics - Human Language Technologies (NAACL-HLT), Boulder, Colorado, Georgila K., Wang N., and Gratch J. (2010). Cross-Domain Speech Disfluency Detection. In SIGdial 2010, the 11th Annual SIGdial meeting on Discourse and Dialogue, Tokyo, Japan, Germesin, S., Becker, T., Poller P. (2008). Hybrid multi-step disfluency detection. In Proceedings of the 5 th international workshop on Machine Learning for Multimodal Interaction. Lafferty J., McCallum A., Pereira F. (2001). Conditional random fields: Probabilistic models for segmenting and labeling sequence data, In Proc. of ICML, pp Liu, Y., Shriberg, E., Stolcke, A., Hillard, D, Ostendorf, M., Harper, M. (2006). Enriching Speech Recognition with Automatic Detection of Sentence Boundaries anddisfluencies. IEEE Trans. Audio, Speech and Language Processing. Vol 5. (pp ) Roze C., Danlos L. & Muller P. (2010).LEXCONN: a French Lexicon of Discourse Connectives, Proceedings of Multidisciplinary Approaches to Discourse (MAD 2010), Moissac, France. Schmid, H. (1994). Probabilistic Part-of-Speech Tagging Using DecisionTrees. Proceedings of International Conference on New Methods in Language Processing, Manchester, UK. Simon, A.C. & P. Mertens. (2009). Automatic detection of prosodic boundaries in spoken French. A step towards the identification of basic discourse units. Unpublished Ms, 16 p. 13

14 MERCI 14

15 Journée d étude Conscila (ENS Paris), Annotation syntaxique de corpus oraux, 7 décembre 2012 Georges Christodoulides & Iulia Grosman, Université catholique de Louvain-La-Neuve, ILC - Centre Valibel 1 DisMo : Un outil d annotation morphosyntaxique de corpus oraux Détail des étiquettes du corpus (par Tagset) n GRAM Explications Exemples 1. NOM:com nom commun chien, chat, voiture 2. NOM:prop nom propre Chine, Bruce, François 3. ADJ:adj adjectif beau, belle 4. ADV:adv adverbe gentiment, amicalement 5. ADV:comp adverbe de comparaison comme, autant, aussi...que 6. ADV:deg adverbe de gradation très, plus, mieux, beaucoup de 7. ADV:int adverbe interrogatif comment, combien? 8. ADV:neg adverbe de négation ne, point, pas, plus 9. CON:coo conjonction de mais, car, et, ou coordination 10. CON:sub conjonction de parce que, que, de, subordination 11. DET:def déterminant défini le, la, les 12. DET:dem déterminant démonstratif ce, c, ces,,cette 13. DET:ind déterminant indéfini un, une, des 14. DET:num déterminant numeral quatre, cinq 15. DET:pos déterminant posessif le mien, la mienne 16. NOM:acr sigle et acronyme ump, spas, cac 17. NOM:prop nom propre max, france, académie 18. NUM:num nombre ordinal et cardinal deux trois 19. PFX préfixe hyper-, mega-, giga- 20. PRO:dem pronom démonstratif ce, ça, ceux 21. PRO:ind pronom indéfini aucun, quelqu un 22. PRO:nprp pronom clitique non le, la, les prépositionnel (direct) 23. PRO:pos pronom possessif mon, ma, mes 24. PRO:prp pronom clitique prépositionnel (indirect) lui, à elle, lui, en, y, s 25. PRO:rel pronom relatif qui, que, qu 26. PRO:sjt pronoms personnels sujets je, tu, il, elle 27. PRO:ton pronoms toniques moi, toi, soi, nous, lui 28. PRP préposition à, de, sur, sous 29. PRP:det préposition + determinant du, des, au, aux 30. VER:xxx verbe + temps je mange 31. VER:xxx:aux verbe + temps + auxiliaire j ai mange 32. VER:xxx:pred verbe + temps + prédicat je suis gentil VER :cond conditionnel, VER:futu futur, VER:impe impératif, VER:impf Imparfait, VER:inf Infinitif, VER:ppa participe passé, VER:ppe participe présent, VER:pres présent, VER:simp passé simple, VER:subi subjonctif imparfait, VER:subp subjonctif présent Les séries d étiquettes ont toutes la possibilité de s appliquer à un mot simple, un syntagme ou à un mots-composé. Ces derniers apparaissent dans une couche d annotation séparée, afin de préserver les données des étiquettes grammaticales minimales. Tous les verbes et temps verbaux peuvent être suivis de l étiquettes [PRED] (prédicat) ou [AUX] (auxiliaires).

16 Journée d étude Conscila (ENS Paris), Annotation syntaxique de corpus oraux, 7 décembre 2012 Georges Christodoulides & Iulia Grosman, Université catholique de Louvain-La-Neuve, ILC - Centre Valibel 2 Reprise immédiate Qui termine avec silence et/ou hésitation Autocorrection Qui termine avec une amorce lexicale la parole maintenant des ou une amore et une hésitation description qui CORR-B la CORR-B hélicoptères que CORR-B vont CORR-I deuxième CORR-I n' CORR-B non CORR-I _ SIL:l rai AMO enf- AMO qu' euh HESI le euh HESI on _ SIL:l deuxième n' en qu' constat enfreignent Répétition Unilexicale Polylexicale Entre pauses ou Double répétition, hésitations complexe c' c' REP- B _ SIL:s mais est est REP-I euh HESI _ SIL:b un REP-B un REP-I notre REP-B mh PARA un _ SIL:s euh HESI c' REP-B objet c' notre est REP-I est colloque c' REP-I un est REP-I choix mh PARA _ SIL:b Dans une séquence d autocorrection Amorce Lexicale simple maintenant ils la CORR-B enf/ AMO deuxième enfreignent SIL:b rai AMO La le loi n Discours Explication Exemples 1 CONN connecteur elle me dit ça parce que c est bien mais 3 INTJ Interjection isolée cris, onomatopées, gram utilisé comme interjection (bon!, allez!) 2 MD marqueur discursif alors ça c est incroyable déjà que j ai du mal [ ] 4 PARA discours para-verbal interjection pourvue d une n Disfluence Explications Exemples 1 REP-B répétition initiale (B-beginning) je je veux le le truc [ ] 2 REP-I répétition interne (I-Internal) je je veux le le truc [ ] 3 AMO toutes amorces confondues mademois/ i/ il aimerait [ ] 4 CORR-B autocorrection initiale (erroné) il le l aime bien quoi 5 CORR-I autocorrection interne (corrigé) il le l aime bien quoi 6 HESI hésitation euh 7 SIL:b pause brève (-250 ms) son, (sil),_,# 8 SIL:l pause longue (+250ms) son, (sil),_,# 9 SIL:s pause avec prise de souffle son, *