De la modélisation linguistique aux applications logicielles: le rôle des Entités Nommées en Traitement Automatique des Langues

Transcription

1 De la modélisation linguistique aux applications logicielles: le rôle des Entités Nommées en Traitement Automatique des Langues Maud Ehrmann Joint Research Centre Ispra, Italie. Guillaume Jacquet Xerox Research Centre Europe, Grenoble, France.

2 Contexte/historique Hier Travaux de thèse avec Bernard Victorri: Guillaume: travail sur la polysémie verbale et la calcul du sens Maud: travail sur les entités nommées, définition et désambiguïsation Aujourd hui Guillaume à XRCE: extraction d information et intégration logicielle Maud au JRC: extraction d information multilingue de la modélisation linguistique aux applications logicielles

3 Plan Entités Nommées: quoi, comment, pourquoi Traitement de l information et médias sociaux: deux exemples d application

4 Les Entités Nommées, encore et toujours Extraction d information Extraire des informations factuelles précises d un ensemble de documents homogènes pour remplir automatiquement un formulaire défini à l avance. (Conférences MUC, Grishman) Reconnaissance d entités nommées des unités textuelles particulières, «saillantes» sur le plan sémantique noms de personnes, de lieux, d organisations, dates, unités monétaires, pourcentages que l on identifie et catégorise exemple Succès rapide: en termes de performances et en termes applicatifs durable: nouveaux domaines nouvelles tâches nouveaux «corpus» Un incontournable du TAL

5 Un «objet TAL» difficile à cerner Hétérogénéité des réalisations Les EN dans le monde et le problème de la catégorisation le choix des catégories la détermination de ce qu elles recouvrent Les EN dans le texte et le problème de l annotation combinaisons de syntagmes : une ou plusieurs entités? un syntagme : quelles frontières? une entité : quelle unité lexicale? Les EN dans la langue et le problème des «polysémies» homonymie métonymie facettes Hétérogénéité des points de vue Formules définitoire sous la formes d énumération Caractérisation diverses (sens, forme) Comment définir les entités nommées?

6 Un peu de tout Le «matériau» de départ

7 Mais pas n importe quoi Proposition de définition Etant donné un modèle applicatif et un corpus, on appelle entité nommée tout expression linguistique qui réfère à une entité unique du modèle de manière autonome dans le corpus. Questions que l on s est posées: Comment définir un objet TAL? Que sont les noms propres et les descriptions définies? Que devient le cadre linguistique du sens et de la référence en TAL?

8 Considération des aspects linguistiques Etant donné un modèle applicatif et un corpus, on appelle entité nommée tout expression linguistique qui réfère à une entité unique du modèle de manière autonome dans le corpus. L ensemble EN ne se réduit pas à une catégorie linguistique Plus que les noms propres et moins que les descriptions définies Caractérisation d un comportement référentiel référence à une entité unique autonomie référentielle Barack Obama, le président des Etats-Unis, la déclaration du président La perspective linguistique ne suffit pas

9 Considération des aspects liés au TAL Etant donné un modèle applicatif et un corpus, on appelle entité nommée tout expression linguistique qui réfère à une entité unique du modèle de manière autonome dans le corpus. Caractérisation de la référence en TAL restriction représentation La référence en TAL désigne le lien qui existe entre une expression linguistique et l élément du modèle auquel elle renvoie. Articulation sens-référence en TAL entre le langage et le modèle trois mécanismes: segmentation, catégorisation et reformulation

10 Les Entités Nommées: une création TAL De la linguistique au TAL, spécification d un cadre théorique pour les EN Pas d entité nommée «en soi», seulement des critères linguistiques et un modèle. Conséquences point de vue général: explication de l hétérogénéité et de la variabilité de l ensemble entités nommées point de vue pratique: critères de décision pour l annotation point de vue méthodologique: besoin impératif d expliciter le modèle Différentes visées applicatives extraction d'information tâche d'indexation peuplement d'ontologie et/ou modélisation d'un domaine

11 Plan Entités Nommées: quoi, comment, pourquoi Traitement de l information et médias sociaux: deux exemples d application

12 Extraction d événements et médias sociaux Application générique du traitement de l information EMM au JRC système de «media monitoring», articles de presse/jour, 3600 sources, de 20 à 50 langues suivant les applications (emm.newsbrief.eu/overview.html) Projet Sync3 Exploration des médias sociaux JRC: extraction d événements et Twitter mise à jour quasi immédiate de la situation à propos de tel ou tel événement, point de vue moins traditionnel et moins "formaté" que celui des organes de presse traditionnels, nouvelles sources d'information, via les liens présents dans les tweets. Sync3

13 Détection d évènements Joint Event Detection and Entity Resolution: a virtuous cycle (M. Galle, J.M. Renders, G. Jacquet, submitted) Interaction entre détection d évènements et annotation d entités nommées: un cycle vertueux ou La construction dynamique d évènements

14 Détection d évènements Evènements: définition fondée sur les besoins des utilisateurs, les journalistes Evènements est un «fait d actualité notable» Similarité fondée sur les propriétés linguistiques de chaque segment d article (unités lexicales et entités nommées)

15 Reconnaissance d entités nommées Utilisation de l outil développé à XRCE (approche symbolique) Tendance à générer trop de référents (ex.: Gaddafi, Al-Gathafi, Khaddafi, el-qaddafi)

16 Construction dynamique d évènements Entités nommées EN1 EN4 EN6 EN2 EN3 EN5 Evènements E1 E3 E5 E2 E4

17 Détails sur les mesures de similarité Chaque entité e est représentée par un vecteur de mots w(e) ou un mot m vaut 1 si l entité e contient ce mot m. La matrice Y contient l edit-distance pondérée entre deux mots. Les poids ont été appris a partir de la ressource «JRC-Names» contenant une table d équivalence entre mots. Chaque entité est représentée par sa distribution dans les évènements. Le vecteur c(e) (de taille k, le nombre d évènements) vaut 1 pour un évènement si e apparait au moins une fois dans l un des documents de cet évènement. Si sim(ei,ej) supérieure a un seuil (cf. slide suivant), alors ei et ej sont fusionnées en une seule entité.

18 F-mesure du clustering a chaque itération en utilisant les unités lexicales et les ENs

19 Conclusion Les expressions référentielles au cœur du processus de référence au monde par l intermédiaire du langage Les entités nommées au cœur des processus TAL de compréhension des textes et de traitement de l information Encore des choses à creuser Notion de modèle, rôle des entités nommées,

20 Un grand MERCI à Bernard(s) Il neige et elle tient. Merci à vous!

21 Back up &o=date

22 Détection d évènements Evènements: définition fondée sur les besoins des utilisateurs, les journalistes Evènements est un «fait d actualité notable» Arrivée continue de nouveaux articles (150 articles/heure) Clustering Incremental Evite de refaire le clustering sur l ensemble des segments d articles Chaque nouveau segment d article est soit rattaché à un cluster existant, soit mis dans un nouveau cluster. Similarité fondée sur les propriétés linguistiques de chaque segment d article (unités lexicales et entités nommées)

23 Construction dynamique d évènements Entités nommées t t+1 t+2 EN1 EN1 EN4 EN3 EN2 EN3 EN2 EN5 temps Evènements E1 E3 E1 E3 E2 E2 E4

24 Le TAL et le Traitement de l information Objectif Trois grandes étapes (schématiques) trouver les documents comprendre leur contenu (textuel) exploiter la connaissance Une analyse partielle reconnaissance d unités textuelles saillantes typage mise en relation