Approches pour l'extrac0on de connaissances à par0r de textes et de ressources structurées

Transcription

1 UM Approches pour l'extrac0on de connaissances à par0r de textes et de ressources structurées Cours DECOL - M2 - ECA E. Kergosien (IRSTEA - LIRMM ) eric.kergosien@lirmm.fr

2 Organisa0on du cours Introduction : Définitions Approches pour l'extraction d'informations Approches manuelles versus Approches automatiques Approches automatiques : statistique versus linguistique Apport des ressources structurées Le Traitement Automatique du Langage Naturel Emergence d'une chaine standardisée ExtracCon d'enctés nommées ENs Les boîtes à oucls pour le TALN Un exemple d'application : le projet Senterritoire Approche théorique Mise en œuvre sous Linguatream pour l'extraction des ENs Exercices à venir UM

3 UM Références Cours de Xavier Tannier, Maître de Conférence à l'université Paris Sud 11 Cours de T. Poibeau, CNRS et Université Paris 13 Cours de A.Rozenknop, Université Paris 13

4 UM I. Introduc0on 1. Défini0ons a. Extrac0on d'informa0ons b. Textes non structurés semi- structurés et structurés

5 Introduc0on : Extrac0on d'informa0ons UM Besoin d'informa0on Disposer des bonnes informacons par rapport à une quescon ou à un problème donné Importance accrue de la veille sciencfique, technologique, commerciale, culturelle, etc. Un besoin très grand public Au départ, un besoin d'accès aux informacons internes, mais l'accès aux informacons externes est maintenant tout aussi important

6 Introduc0on : Extrac0on d'informa0ons UM Diversité des besoins d'informa0on (1/2) 1. La recherche d'un élément connu L'uClisateur sait exactement quels éléments il recherche Ex : recherche d'une citacon bibliographique précise à UClisaCon d'oucls orientés Bases de données: SQL, Xquery, etc.

7 Introduc0on : Extrac0on d'informa0ons UM Diversité des besoins d'informa0on (1/2) 1. La recherche d'un élément connu L'uClisateur sait exactement quels éléments il recherche. Ex : recherche d'une citacon bibliographique précise à UClisaCon d'oucls orientés Bases de données: SQL, Xquery, etc. 2. La recherche d'une informacon spécifique L'uClisateur recherche une informacon spécifique mais ignore sous quelle forme elle se présente Réponse parcelle possible Ex : A quelle date la nouvelle mairie de Montpellier a- t- elle été inaugurée? à ExtracCon d'informacons et systèmes de quescons- réponses (h\p:// perso.limsi.fr/individu/anne/dea/qr_cours_m2.pdf)

8 Introduc0on : Extrac0on d'informa0ons UM Diversité des besoins d'informa0on (2/2) 3. La recherche d'un informacon générale L'uClisateur recherche une informacon sur un sujet en général. Il existe de nombreuses façons de décrire le sujet L'informaCon peut ne pas être percnente ou ne pas être reconnue à Recherche d'informacon

9 Introduc0on : Extrac0on d'informa0ons UM Diversité des besoins d'informa0on (2/2) 3. La recherche d'un informacon générale L'uClisateur recherche une informacon sur un sujet en général. Il existe de nombreuses façons de décrire le sujet L'informaCon peut ne pas être percnente ou ne pas être reconnue à Recherche d'informacon 4. L'exploraCon Le but n'est pas de répondre à une quescon en parcculier, mais de parcourir l'ensemble des données pour découvrir quels types d'informacons concernant un domaine ou un sujet sont présents. à NavigaCon

10 Introduc0on : Extrac0on d'informa0ons UM Posi0onnement Recherche d'informa0on (IR): idencfie un ensemble de documents à parcr d'un ensemble plus large (document assimilé à un «sac de mots»). Ex: Trouver les documents qui traitent de rachats d'entreprises Extrac0on d'informa0on (IE): extrait et structure de l'informacon précise contenue dans un document. Ex: Etablir une base de données où l'on peut retrouver les noms des entreprises informacques cédées en 2003 Compréhension de texte: représente de façon explicite toute l'informacon d'un document (rhétorique, intenconnalité, etc.) Ex: Déterminer les différentes visées stratégiques sous- jacents à travers ces ventes et acquisicons

11 Introduc0on : Extrac0on d'informa0ons Qu'est ce que l'extrac0on? Une tâche qui consiste à extraire de l'informacon structurée à parcr d'un document textuel L'université Montpellier II est séparée sur deux sites dans le nord de Montpellier. RelaCon d'acquisicon: - EnCté idencfiée : université Montpellier II - LocalisaCon : dans le nord de Montpellier UM

12 Introduc0on : Extrac0on d'informa0ons Qu'est ce que l'extrac0on? Une tâche qui consiste à extraire de l'informacon structurée à parcr d'un document textuel L'université Montpellier II est séparée sur deux sites dans le nord de Montpellier. RelaCon d'acquisicon: - EnCté idencfiée : université Montpellier II - LocalisaCon : dans le nord de Montpellier à L'extracCon d'informacon: Ne cherche plus à comprendre les textes dans leur ensemble Vise à extraire d'un texte donné des éléments percnents à Le type d'informacon percnente pour une applicacon est définie à l'avance par un modèle UM

13 Introduc0on : Extrac0on d'informa0ons UM Défini0ons "L'acCvité qui consiste à remplir automacquement une banque de données à parcr de textes écrits en langue naturelle" (T. Poibeau) Une approche guidée par le but : IdenCfier les occurrences d'événements parcculiers En extraire les arguments impliqués En donner une représentacon structurée L'analyse s'effectue au niveau local Seule une parce du texte est considérée (10 à 20 % de texte ucle pour un tâche spécifique)

14 UM Introduc0on : Extrac0on d'informa0ons Exemple d'extrac0on d'informa0on non structurée (2/2) Entrée : La France a battu l'australie 33 à 6 lors d'un match de préparation de rugby le 11 novembre 2012 au stade de France. Cadre : Evènement sportif Sport: rugby Équipe 1: France équipe 2: Australie Score : 33 à 6 Date: le 11 novembre 2012 Lieu : au stade de France

15 UM Introduc0on : Extrac0on d'informa0ons Exemple d'extrac0on d'informa0on non structurée (2/2)

16 UM Introduc0on : Extrac0on d'informa0ons Exemple d'extrac0on d'informa0on semi- structurée

17 UM Introduc0on : Extrac0on d'informa0ons Du texte à un patron (template)

18 UM Introduc0on : Extrac0on d'informa0ons Des patrons partout!

19 UM Introduc0on : Extrac0on d'informa0ons Largeur de la couverture désirée

20 UM Introduc0on : Extrac0on d'informa0ons Prise en compte des variantes lors de l'extrac0on Morphologiques - capitale de l'europe / capitale européenne Lexicales - la reine de Hollande / des Pays-Bas Syntaxiques - Moscou compte 9 millions d'habitants / Les neufs millions d'habitants de Moscou Sémantiques - Adolf Hitler est mort / s'est suicidé

21 UM Introduc0on : Extrac0on d'informa0ons Niveaux d'analyse u0lisés (1/2)

22 UM Introduc0on : Extrac0on d'informa0ons Niveaux d'analyse u0lisés (2/2)

23 UM I. Introduc0on 1. DéfiniCons 2. Approches manuelles versus Approches automa0ques 3. Approches auto.: stacscque versus linguiscque 4. Apport des ressources structurées

24 Introduc0on : Extrac0on d'informa0ons UM Extrac0on manuelle (1/2) Notices descriptives liées aux documents

25 Introduc0on : Extrac0on d'informa0ons UM Extrac0on manuelle (1/2) Permet une description précise et complète du documents [Chartron et al., 1989], [Anderson et al., 2001], [Savoy, 2005]; Notices descriptives liées aux documents Régulièrement : Utilisation d'un vocabulaire contrôlé (taxinomie ou thésaurus) Travail fastidieux et coûteux en temps

26 Introduc0on : Extrac0on d'informa0ons UM Extrac0on manuelle (2/2) Lithographie <NOTICE> d'annotation <BNSA_GEOREF>Pau</BNSA_GEOREF> <DATM> </DATM> <DOC_AUTEUR>anonyme</DOC_AUTEUR> <DOC_AUTMORAL>Labouche Frères (Toulouse)</ DOC_AUTMORAL> <DOC_COTE> </DOC_COTE> <DOC_DAT_CREAT> </DOC_DAT_CREAT> <DOC_DEE>Henri IV (roi de France ; ) -- Statues -- Pau (Pyrénées-Atlantiques) -- Cartes postales -- 20e siècle </DOC_DEE> <DOC_DEE> Kiosques à musique -- Pau (Pyrénées- Atlantiques) -- Cartes postales siècle </DOC_DEE> <DOC_LANGUE>Français</DOC_LANGUE> <DOC_REF>PHO </DOC_REF> <DOC_TITRE> Pau: Place Royale - Statue Henri IV </DOC_TITRE> <DOC_TYPE>Carte postale</doc_type> </NOTICE> Travail Travail d'indexation

27 Introduc0on : Extrac0on d'informa0ons UM Extrac0on automa0que Exemple dans un processus complet de traitement du document

28 Introduc0on : Extrac0on d'informa0ons Extrac0on automa0que Exemple dans un processus complet de traitement du document Capter les termes qui représentent le mieux le sens des documents traités pour les exploiter dans un domaine applicacf Le plus automacsé possible pour traiter un volume important de données dans des temps raisonnables GénéraCon de bruit et de silence UM

29 UM I. Introduc0on 1. DéfiniCons 2. Approches manuelles versus Approches automacques 3. Approches auto.: sta0s0que versus linguis0que 4. Apport des ressources structurées

30 Introduc0on : Extrac0on d'informa0ons UM Approches sta0s0ques (dites quan0ta0ves) Ce type d'approches repère les régularités stacscques d'une langue Les données sont classées, comptées, résumées avec des stacscques La fréquence des données a une grande importance Les données à basse fréquence sont souvent considérées comme moins importantes Les données sont considérées comme des échancllons, on en Cre des généralisacons censées être valables pour l'ensemble de la populacon

31 Introduc0on : Extrac0on d'informa0ons UM Approches linguis0ques (dites qualita0ves) L'objecCf est d'étudier le plus précisément possible un phénomène linguiscque (comme le ra\achement préposiconnel): on veut comprendre les processus linguiscques profonds sous- jacents on donne la même importance à toutes les unités on peut s'intéresser à des phénomènes très subcls, peu fréquents on travaille généralement sur un nombre limité d'exemples Les conclusions Crées d'un échancllon qualitacf ne s'appliquent pas à toute la populacon avec cerctude, car on ne recherche pas des exemples représentacfs de la populacon

32 Introduc0on : Extrac0on d'informa0ons UM Sta0s0ques versus linguis0ques avec patrons Les arguments habituels : développement de patrons par des experts long et coûteux traitement stacscque a besoin de nombreux exemples annotés à la main par des experts... ce qui est long et coûteux Le problème est d'autant plus important que les systèmes sont dédiés à une applicacon donnée

33 Introduc0on : Extrac0on d'informa0ons UM Sta0s0ques versus linguis0ques avec patrons Les arguments habituels : développement de patrons par des experts long et coûteux traitement stacscque a besoin de nombreux exemples annotés à la main par des experts... ce qui est long et coûteux Le problème est d'autant plus important que les systèmes sont dédiés à une applicacon donnée Les voies hybrides ont vite été explorées - - angles de vues complémentaires sur les objets linguiscques. De nombreux travaux effectuent des allers- retours permanents entre théorie et expérimentacon. Les modèles théoriques perme\ent de guider l'expérimentacon. Les résultats obtenus perme\ent de valider, invalider ou corriger les modèles théoriques

34 UM I. Introduc0on 1. DéfiniCons 2. Approches manuelles versus Approches automacques 3. Approches auto.: stacscques versus linguiscques 4. Apport des ressources structurées

35 Introduc0on : Extrac0on d'informa0ons Apport des ressources structurées (1/3) Les vocabulaire ouverts : «indexacon personnelle» un exemple : folksonomie (Vander Wal, 2007) à Problèmes : difficiles a organiser et a maintenir UM

36 Introduc0on : Extrac0on d'informa0ons Apport des ressources structurées (1/3) Les vocabulaire ouverts : «indexacon personnelle» un exemple : folksonomie (Vander Wal, 2007) à Problèmes : difficiles a organiser et a maintenir Les vocabulaires contrôlés : ensemble limite de termes défini par une communauté de pracques afin de pouvoir annoter des contenus Définis de façon précise dans les centres documentaires (normes NF Z et ISO 2788): Règles terminologiques (langue, singulier/pluriel) et syntaxiques (pour décrire des sujets complexes) Règles sémancques : Un terme n'a qu'un seul sens précis dans le vocabulaire d'indexacon donné et cet terme est le seul a avoir ce sens (contrôle de la synonymie et de la polysémie) Contrôle de l'homonymie (uclisacon de qualificacfs, adjeccfs complémentaires, notes d'applicacon, etc.) Possibilité de structurer les termes par des relacons sémancques hiérarchiques et associacves UM

37 Introduc0on : Extrac0on d'informa0ons Apport des ressources structurées (2/3) Vocabulaire contrôlé Taxonomie Thesaurus Ontologie UM

38 Apport des ressources structurées (3/3) à La connaissance experte du domaine aide à l'idencficacon des termes et des relacons Thésaurus Introduc0on : Extrac0on d'informa0ons Concepts Concepts Terme associé Terme associé Terme associé Terme associé Intégration pour extraction Toponyme Terme Fréquence Spatial Valider Extraire Interpréter Artouste lac 2 Artouste gave 2 Artouste montagne 1 Limite: Fonds Documentaire MIDR Chaîne de Traitement Sémantique Vocabulaire contrôlé construit en amont Artouste pic 3 Liste termes indexés UM

39 II. Le Traitement Automa0que du Langage Naturel 1. Emergence d'une chaine standardisée a. Point de départ b. Chaine standard 2. ExtracCon d'enctés nommées notées (Ens) 3. Les boîtes à oucls pour le TALN UM

40 Le TALN : émergence d'une chaine standardisée Point de départ ce qu'on a dans les documents, ce sont des mots - approche «sac de mots» (bag of words) : on prend les mots en vrac - - tokenisacon; - espace, apostrophes, Crets, points... - approches à base de dicconnaires - etc. on oublie la séquencalité : on considère que les mots sont indépendants nocon de déséquencalisacon: les informacons contenues dans la séquence des mots ou dans les mots oucls sont reportées sur les unités d'informacon conservées : Ex : L'homme ferme la porte de la tour homme: nom masculin singulier déterminé porte: nom féminin singulier déterminé tour: nom féminin singulier déterminé fermer: verbe présent de l'indicatif 3e pers. du singulier SUJET(homme,fermer) OBJET(fermer,tour) COMPLEMENT_DE_NOM(tour,porte) UM

41 Le TALN : émergence d'une chaine standardisée UM Chaine standard de TALN : un exemple Une chaîne de traitements ressort d'un ensemble de travaux s'appliquant sur l'analyse linguiscque [Abolhassani et al., 2003 ; Bilhaut, 2006 ; Lesbegueries, 2007], se décomposant selon les sous- processus d'analyse et d'extraccon d'informacon suivants :

42 Le TALN : émergence d'une chaine standardisée Chaine standard de TALN : un exemple Une chaîne de traitements ressort d'un ensemble de travaux s'appliquant sur l'analyse linguiscque [Abolhassani et al., 2003 ; Bilhaut, 2006 ; Lesbegueries, 2007], se décomposant selon les sous- processus d'analyse et d'extraccon d'informacon suivants : 1. la lemmacsacon : segmentacon des mots et idencficacon de leur lemme ; 2. l'analyse lexicale et morphologique : la reconnaissance des mots ; 3. l'analyse syntaxique : uclisacon de grammaires pour trouver les relacons entre les mots à permet d'idencfier le rôle des termes ou des syntagmes dans la phrase ; 4. l'analyse sémancque : interprétacon plus spécifique sur les syntagmes retenus : l'objeccf est ici d'idencfier le sens potencel véhiculé par un mot ou un groupe de mots. UM

43 Le TALN : émergence d'une chaine standardisée UM Chaine standard de TALN : un exemple la ville de Montpellier /la/ville/de/montpellier/ /la/ville/de/montpellier/ ville/de/montpellier/ type: geo stype: S nature: noun lemma: Montpellier /ville/de/montpellier/ étiquette: commune source: IGN score: 0.3 Montpellier tokenisacon IdenCficaCon tokens spacaux candidats Analyse morpho- syntaxique Analyse sémancque: traitement des tokens ValidaCon ESA & géolocalisacon Règles typographiques Règles lexicales Règles syntaxiques Liste Nom toponymique: - Montpellier - Toulouse - Nancy - etc. Patrons (DCG) Thésaurus, ontologies gazetteers

44 Le TALN : émergence d'une chaine standardisée UM Chaine standard de TALN : un exemple la ville de Montpellier /la/ville/de/montpellier/ /la/ville/de/montpellier/ type: geo stype: S /la/ville/de/montpellier/ nature: nom commun lemma: ville /la/ville de Montpellier/ nature: nom propre lemma: Montpellier EN candidate: ESA /ville/de/montpellier/ étiquette: commune source: IGN score: 0.3 Montpellier tokenisacon IdenCficaCon tokens spacaux candidats Analyse morpho- syntaxique Analyse sémancque: ESA & ESR ValidaCon ESA & géolocalisacon Règles typographiques Règles lexicales Règles syntaxiques Patrons (DCG) gazetteers

45 II. Le Traitement Automa0que du Langage Naturel 1. Emergence d'une chaine standardisée 2. Extrac0on d'en0tés nommées (Ens) a. Défini0ons b. Applica0ons C. Classes des Ens d. Iden0fica0on des Ens 3. Les boîtes à oucls pour le TALN UM

46 EnCtés nommées : - Le TALN : extrac0on d'en0tés nommées Défini0ons (1/3) Unités lexicales parcculières Ex : noms de personnes, noms d'organisacon, noms de lieux... date, unités monétaires, pourcentages... Reconnaissance des enctés nommées : - IdenCfier ces unités dans un texte - Les catégoriser - Éventuellement, les normaliser UM

47 Le TALN : extrac0on d'en0tés nommées Défini0ons (2/3) L'ancien premier ministre socialiste Lionel Jospin a confirmé, jeudi 2 8 septembre, sur RTL, qu'il ne sera pas candidat à l'invescture socialiste pour la présidencelle de IdenCficaCon : Lionel Jospin, jeudi 28 septembre, RTL, CatégorisaCon : L'ancien premier ministre socialiste <PERS>Lionel Jospin </PERS> a confirmé, <DATE>jeudi 28 septembre</date>, sur <ORG>RTL</ORG>, qu'il ne sera pas candidat à l'invescture socialiste pour la présidencelle de <DATE>2007 </ DATE>. NormalisaCon : L. Jospin à Lionel Jospin UM

48 Plus de finesse? Le TALN : extrac0on d'en0tés nommées Défini0ons (3/3) <PERS><FONCTION>L'ancien premier ministre socialiste</fonction>lionel Jospin</PERS> a confirmé, <DATE val=" ">jeudi 28 septembre</date>, sur <ORG type="radio"> RTL</ORG>, qu'il ne sera pas candidat à l'invescture socialiste pour la présidencelle de <DATE val="2007">2007</date>. Le niveau dépend des capacités du systèmes mais aussi de l'applicacon La reconnaissance d'enctés nommées est issue de la tâche plus générale de l'extraccon d'informacon UM

49 Analyse syntaxique - Aide à la segmentacon et à la morphosyntaxe HyOx, Inc. Le TALN : extrac0on d'en0tés nommées Applica0ons «internes» (1/2) Seat and Porsche had fewer registracon in July Aide à l'analyse syntaxique He will be replaced by Eliahu Ben- Alissar, a former israeli envoy to policcian. <LOC>Egypt</LOC> and <LOC>Jordan</LOC>. He will be replaced by Eliahu Ben- Alissar, a former israeli envoy to policcian. <LOC>Egypt</LOC> and <ORG>Likud party</org> policcian. - AcquisiCon de dépendances "sémancques" They met in <LOC>Baghdad</LOC> UM

50 Le TALN : extrac0on d'en0tés nommées Applica0ons «internes» (2/2) Coréférence - <PERS>John</PERS> bought a new computer. It was able to process XML. TraducCon - <PERS>Jack London</PERS> was an American writer Jack London était un auteur américain. - <LOC>London</LOC> is where I lived my best years. C'est à Londres que j'ai vécu mes meilleures années. DésambiguïsaCon lexicale UM

51 Le TALN : extrac0on d'en0tés nommées UM Applica0ons «directes» L'extracCon d'informacon et la veille - Remplir des bases de données sur une encté ou un type d'enctés donnés - Signaler de nouveaux documents concernant ce\e encté ou ce type d'enctés La tâche de quescons- réponses - Permet d'idencfier le type de réponse a\endu - cf. cours quescons- réponses L'anonymisaCon

52 Le TALN : extrac0on d'en0tés nommées Le choix des classes Gouvernées au départ par les conférences MUC... Les valeurs sûres ("ENAMEX") : - ORGANISATION - - LIEU PERSONNE Celles qui reviennent souvent : - - TIMEX (date, expressions temporelles) NUMEX (valeur monétaire, pourcentage...) On peut ajouter des classes et les subdiviser à l'infini Certaines applicacons nécessitent une granularité hétérogène UM

53 Le TALN : extrac0on d'en0tés nommées UM Un exemple de hiérarchie (QALC, LIMSI)

54 Majuscule (à manipuler avec précaucon) Prénoms ou marqueurs généraconnels (personnes) : Lionel Jospin L. Jospin Benoît XVI Mots ou affixes de type classifiant (lieux et organisacons) : - la Banque Populaire Microso Inc. Le TALN : extrac0on d'en0tés nommées Iden0fica0on des Ens : preuves internes L'avenue des Champs- Elysées le Mont Valérien Sigles ou esperlue\es (organisacons) : - Crédit Agricole SA UM

55 Le TALN : extrac0on d'en0tés nommées Iden0fica0on des Ens : preuves externes Contexte d'apparicon des enctés nommées InformaCons supplémentaires ou propriétés spécifiques (Ctre, grade, etc.) Monsieur Jospin Mme Denise Général Leclerc le groupe Sanofi- AvenCs the Coca- Cola company Souvent précisées lors de la première occurrence de l'en dans le texte, d'où l'importance d'une propagacon de ces informacons UM

56 En général, de simples listes de mots : - liste de prénoms liste de villes, pays, fleuves... liste de mécers liste de marques... Le TALN : extrac0on d'en0tés nommées Iden0fica0on des Ens : u0lisa0on des lexiques Construits manuellement ou automacquement Très ucles pour les noms de lieux, d'intérêt discuté pour les autres Confrontés au problème classique des ressources : pas assez de mots, c'est inucle ; trop de mots, c'est ambigu UM

57 Le TALN : extrac0on d'en0tés nommées Annota0on des Ens (1/2) Méthodes symboliques : - À base de règles contextuelles - Patrons d'extraccon écrits à la main - ExploitaCon des informacons : Morphosyntaxiques Lexicales (issues des lexiques) - Exemples : Prénom + Mot avec une majuscule = Personne Mot inconnu + "Inc." = OrganisaCon Nom Propre + '&' + Nom Propre = OrganisaCon Lieu + verbe d'accon = OrganisaCon UM

58 Le TALN : extrac0on d'en0tés nommées UM Méthodes à base d'apprencssage : - Résultat : des règles logiques, un arbre de décision, un modèle numérique Annota0on des Ens (2/2) Nécessitent de larges corpus annotés Il n'est pas toujours possible d'intervenir sur les résultats après coup Approches mixtes - ApprenCssage de règles puis révision par un expert - ÉlaboraCon de règles par un expert puis extension automacque de la couverture Performances comparables mais avantages et inconvénients de chacun à prendre en compte

59 II. Le Traitement Automa0que du Langage Naturel 1. Emergence d'une chaine standardisée 2. ExtracCon d'enctés nommées (Ens) 3. Les boîtes à ou0ls pour le TALN a. compara0fs b. premières conclusions UM

60 Le TALN : Les boîtes à ou0ls pour le TALN UM Compara0fs des ou0ls complets

61 Le TALN : Les boîtes à ou0ls pour le TALN UM Compara0fs des solu0ons légères

62 SENTERRITOIRE : Iden0fica0on automa0que de sen0ments liés aux territoires Journées JiGOT 11/2012 E. Kergosien (IRSTEA - LIRMM ) eric.kergosien@lirmm.fr Maguelonne Teisseire (IRSTEA LIRMM) Sandra Bringay (LIRMM) Mathieu Roche (LIRMM) UM /11/

63 Introduc0on UM Objec0f général Documents d'actualités

64 Introduc0on UM Objec0f général Documents d'actualités La percep0on de l'aménagement d'un territoire

65 Introduc0on UM Objec0f général Géographes - Informaticiens Informaticiens à proposer un environnement décisionnel basé sur une analyse automatique des textes liés à l'aménagement du territoire

66 I. Introduc0on 1. Probléma0ques a. Iden0fier les informa0ons propres à un territoire : restric0on à l'en0té spa0ale; b. Comment extraire les en0tés spa0ales (ES) d'un texte? 2. Démarche générale UM

67 Introduc0on UM Restric0on de la no0on de territoire Définition complexe sujette à discussion (Di Meo, 1998) Appropriation à la fois économique, idéologique et politique (sociale donc) de l'espace par des groupes qui se donnent une représentation particulière d'euxmêmes, de leur histoire, de leur singularité

68 Introduc0on Restric0on de la no0on de territoire Définition complexe sujette à discussion (Di Meo, 1998) Appropriation à la fois économique, idéologique et politique (sociale donc) de l'espace par des groupes qui se donnent une représentation particulière d'euxmêmes, de leur histoire, de leur singularité En0té En0té En0té En0té Spa0ale Temporelle Théma0que Géographique Les instruments de musique dans les environs de Montpellier au XIXe siècle UM

69 Introduc0on Restric0on de la no0on de territoire Définition complexe sujette à discussion (Di Meo, 1998) Appropriation à la fois économique, idéologique et politique (sociale donc) de l'espace par des groupes qui se donnent une représentation particulière d'euxmêmes, de leur histoire, de leur singularité En0té Spa0ale Les instruments de musique dans les environs de Montpellier au XIXe siècle UM

70 Introduc0on Restric0on de la no0on de territoire Définition complexe sujette à discussion (Di Meo, 1998) Appropriation à la fois économique, idéologique et politique (sociale donc) de l'espace par des groupes qui se donnent une représentation particulière d'euxmêmes, de leur histoire, de leur singularité En0té Spa0ale Les instruments de musique dans les environs de Montpellier au XIXe siècle Quelle est la forme de l'entité spatiale dans les textes et comment l'extraire? UM

71 Introduc0on UM No0ons d'opinion & sen0ment Opinion : négatif; neutre ; positif

72 Introduc0on UM No0ons d'opinion & sen0ment Opinion : négatif ; neutre ; positif Sentiment: lexiques de sentiments

73 Introduc0on No0ons d'opinion & sen0ment Opinion : négatif; neutre ; positif Sentiment: lexiques de sentiments Comment identifier et extraire l'opinion (puis le sentiment) dans les textes? UM

74 Introduc0on UM Démarche générale Documents d'actualités 1 ère Phase Extraction des entités spatiales

75 Introduc0on UM Démarche générale Documents d'actualités 2 ème Phase 1 ère Phase Identification des opinions associées Extraction des entités spatiales

76 Introduc0on UM Démarche générale Documents d'actualités 2 ème Phase 1 ère Phase Identification des opinions associées Extraction des entités spatiales La percep0on de l'aménagement d'un territoire

77 UM II. Notre approche 1. Extrac0on d'es : choix du modèle Pivot (Lesbegueries, 2007) 2. Le TAL pour l' extrac0on d'es : la chaine PIV 3. Défini0ons de patrons pour l'extrac0ons d'es et d'organisa0ons 4. Expérimenta0ons

78 Notre approche UM Extrac0on d'es Extraction automatique des descripteurs géospatiaux et de leur lien sémantique dans les données textuelles Proposition d'une chaine de traitements linguistiques (Stage Recherche Sabiha Tahrat, Janvier-juin 2012)) - chaine TAL standard (Abolhassani et al., 2003 ; Bilhaut, 2006) - Patrons pour l'extraction d'es définis sur la base des travaux de (Lesbegueries, 2007) dans le cadre d'un projet nommé PIV

79 Notre approche UM Extrac0on d'es : choix du modèle Pivot Modéliser les descripteurs géospatiaux et leurs liens sémantique dans les données textuelles Choix du modèle Pivot (Lesbegueries 2007): définit deux types d'encté spacales EnCté spacale absolue(esa): <(Indicateur spacale)*, EnCté Nommée> EnCté spacale relacve(esr): <(RelaCon)+, ESA>; <(RelaCon)+, ESR>;

80 Notre approche Extrac0on d'es : choix du modèle Pivot Modéliser les descripteurs géospatiaux et leurs liens sémantique dans les données textuelles Choix du modèle Pivot (Lesbegueries 2007): définit deux types d'encté spacales EnCté spacale absolue(esa): <(Indicateur spacale)*, EnCté Nommée> EnCté spacale relacve(esr): <(RelaCon)+, ESA>; <(RelaCon)+, ESR>; Instances southern city of Montpellier «le sud de la ville de Montpellier» Relation: orientation around Montpellier «environs de Montpellier» Relation: adjacence north near Montpellier «au nord des environs de Montpellier» Relation: orientation ASF ASF RSF UM site

81 Notre approche UM Extrac0on d'es : la chaine PIV dans la ville de Montpellier /dans/la/ville/de/montpellier/ /dans/la/ville/de/montpellier/ ville/de/montpellier/ type: geo stype: S nature: noun lemma: Montpellier /ville/de/montpellier/ étiquette: commune source: IGN score: 0.3 Montpellier tokenisacon IdenCficaCon tokens spacaux candidats Analyse morpho- syntaxique Analyse sémancque: traitement des tokens ValidaCon ESA & géolocalisacon Règles typographiques Règles lexicales Règles syntaxiques Liste Nom toponymique: - Montpellier - Toulouse - Nancy - etc. Patrons (DCG) Thésaurus, ontologies gazetteers

82 Notre approche UM Extrac0on d'es : la chaine PIV dans la ville de Montpellier /dans/la/ville/de/montpellier/ /dans/la/ville/de/montpellier/ type: geo stype: S /dans/la/ville/de/montpellier/ nature: nom commun lemma: ville nature: nom propre lemma: Montpellier /dans la/ville de Montpellier/ EN candidate: ESR EN candidate: ESA tokenisacon IdenCficaCon tokens spacaux candidats Analyse morpho- syntaxique Analyse sémancque: ESA & ESR ValidaCon ESA & géolocalisacon Règles typographiques Règles lexicales Règles syntaxiques Patrons (DCG)

83 Notre approche UM Extrac0on d'es : la chaine PIV dans la ville de Montpellier /dans/la/ville/de/montpellier/ /dans/la/ville/de/montpellier/ type: geo stype: S /dans/la/ville/de/montpellier/ nature: nom commun lemma: ville nature: nom propre lemma: Montpellier /dans la/ville de Montpellier/ EN candidate: ESR EN candidate: ESA /dans la ville de Montpellier/ étiquette: commune source: IGN Coord.: X, Y Montpellier tokenisacon IdenCficaCon tokens spacaux candidats Analyse morpho- syntaxique Analyse sémancque: ESA & ESR ValidaCon ESA & géolocalisacon Règles typographiques Règles lexicales Règles syntaxiques Patrons (DCG) gazetteers

84 Notre approche Expérimenta0ons sur la chaine PIV qualité Rappel = Nombre de réponses correctes extraites Nombre de réponses correctes existantes exhauscvité Précision = Nombre de réponses correctes extraites 4 Nombre de toutes les réponses existantes F-mesure = 2 x Précision x Rappel Précision + Rappel Corpus 20 articles journalistiques 8141 mots Annotation Automatique & Manuelle Mesure ESA ESR ORG Précision 53% 84% 92% Rappel 94% 66% 35% F- Mesure 67% 74% 50% Le sens dépend du contexte UM

85 Notre approche UM Extrac0on d'es : implémenta0on Cette chaine d'extraction a été implémentée et validée sous la plateforme LINGUASTREAM [ Collaborations avec M. Loglisci ( Perspectives Améliorations à apporter dans la définition des patrons linguistiques pour la prise en compte des composantes phénomènes et temporelles

86 II. Orienta0ons actuelles & Perspec0ves 1. Défini0on et formalisa0on de la no0on de Territoire 2. Enrichissement de la chaine TAL pour l'extrac0on d'informa0ons temporelles et théma0ques 3. Extrac0on des sen0ments liés à un territoire 4. Viewer Senterritoire pour les décideurs UM

87 UM Travail en cours Défini0on et formalisa0on de la no0on de Territoire S'appuyer sur travaux des géographes (Piolle, 1992 ; Di Méo et al., 2005 ; Guichard, 2007, etc. ) à Con?nuer un travail ini?é avec les géographes pour proposer une défini?on que l'on puisse formaliser dans le cadre de Senterritoire: Territoire = un ensemble de lieux, de relacons spacales et temporelles mis en évidence par un ensemble de faits

88 UM Perspec0ves Extraire les informa0ons associées à un territoire Possibilité d'automacser l'extraccon d'informacons relatant un territoire dans les documents texte : prise en compte des enctés thémacques et temporelles Mise en relacon des enctés géographiques

89 Perspec0ves Extraire les opinions/sen0ments associées à un territoire DéfiniCon du concept de sencment lié aux données textuelles territoriales - Collabora?ons avec l'équipe TAMALE (The Text Analysis and Machine Learning Group) de l'université d'otawa (Canada) qui travaillent sur ce sujet : projet 'Mining Public Opinion in Tweets and Other Social Media' Compréhension des percepcons d'un même territoire par les acteurs est difficile - Méthode de fouille de textes pour extraire les opinions dans les textes (par apprencssage à parcr des corpus DEFT 2007 et Bassin de Thau) - Méthode de fouille de textes pour extraire les sencments dans les textes : déterminer les opinions posicves et/ou négacves présentes dans les données textuelles [Roche and Poncelet 2009] UM

90 Perspec0ves UM Viewer Senterritoire pour les décideurs Documents d'actualités

91 Conclusion UM Merci pour votre a\encon Eric KERGOSIEN