Identifier la cible des sentiments dans les forums de santé S. BRINGAY, E. KERGOSIEN, P. POMPIDOR, P. PONCELET

Transcription

1 Identifier la cible des sentiments dans les forums de santé S. BRINGAY, E. KERGOSIEN, P. POMPIDOR, P. PONCELET

2 Projet Patients Mind Financement par le Réseau National des MSH (Maisons des Sciences de l Homme) Lille 3 MSH Toulouse Montpellier 2

3 Un projet pluri-disciplinaire Informatique Statistiques Analyse des forums Chercheurs SHS Linguistique Acteurs de Santé 3

4 Objet d étude Forums de santé en ligne Espaces d échanges asynchrones de messages textuels Intermédiaires entre discours oral et écrit 4

5 Analyser les forums de santé Forums : une base de connaissances volumineuse, riche, variée, unique, atypique des perceptions qu'ont les patients de leur maladie et des soins qui leur sont éventuellement prodigués 5

6 Analyser les forums de santé Forums : une base de connaissances volumineuse, riche, variée, unique, atypique des perceptions qu'ont les patients de leur maladie et des soins qui leur sont éventuellement prodigués Analyser les forums, un enjeu important pour Patients : J ai perdu mes cheveux suite à ma chimio. Que font les autres dans mon cas? Professionnels de santé : Quelles sont les réactions des patientes qui ont peur de la pilule 3 ème génération? Laboratoires : Que pensent les patients du médicament X? 6

7 Démarche générale du projet Forums de santé 1. Extraction de marqueurs 1. de sentiment 2. d incertitude 3. de risque 2. Analyse de la perception de la santé 7

8 Démarche générale du projet Forums de santé 1. Extraction de marqueurs 1. de sentiment 2. d incertitude 3. de risque 2. Analyse de la perception de la santé 8

9 Modèle de sentiment 9

10 Modèle de sentiment 15/05/14 Cible des émotions 10

11 Tâche visée : identification de la cible I'm afraid of my doctors reaction Source Target My doctor is afraid of my reaction to the drug Source Target 11

12 Application Application : Agréger les informations pour plusieurs messages Peur d arrêter Peur de continuer 12

13 Contraintes de l étude Ne traiter que l anglais Se focaliser sur la cible Traiter les sentiments (polarité et émotion) Ne considérer que des relations sentiment / cible au sein des phrases 14/05/14 Cible des émotions 13

14 Contraintes de l étude Appliquer peu de pré-traitements Taille des messages variables (100 à caractères) Style (structures grammaticales non standards, orthographe ) gé peur, ma choimio Argot LOL, FIV Expressions riches en sentiment : expression (I love), présentation (TIRED, enooooooogh,!!!!) émoticons (:-)) 14

15 Plan de la présentation 1. Approche proposée 2. Expérimentations menées 3. Conclusions et travaux en cours 15

16 Plan de la présentation 1. Approche proposée 2. Expérimentations menées 3. Conclusions et travaux en cours 16

17 Etat de l art Etape 1 : Identifier des sentiments Etape 2 : Identifier des cibles Etape 3 : Relier sentiment et cible 17

18 Etat de l art Etape 1 : Identifier des sentiments Etape 2 : Identifier des cibles Etape 3 : Relier sentiment et cible 14/05/14 Cible des émotions 18

19 Etat de l art Etape 1 : Identifier des sentiments Etape 2 : Identifier des cibles Etape 3 : Relier sentiment et cible 14/05/14 Cible des émotions 19

20 Etat de l art Etape 1 : Identifier des sentiments. de nombreuses ressources en anglais pour la polarité General Inquirer, LIWC (Linguistic Inquiry and Word Count) quelques ressources pour les émotions Dictionnaire DAL, lexique de Mohammad des extensions de ces vocabulaires pour des domaines spécifiques (co-occurrences de mots, apprentissage) 15/05/14 Cible des émotions 20

21 Etat de l art Etape 1 : Identifier des sentiments. de nombreuses ressources en anglais pour la polarité General Inquirer, LIWC (Linguistic Inquiry and Word Count) quelques ressources pour les émotions Dictionnaire DAL, lexique de Mohammad des extensions de ces vocabulaires pour des domaines spécifiques (co-occurrences de mots, apprentissage) 21

22 Etat de l art Etape 2 : Identifier des cibles Entité ou facettes d entités prédéfinies Ou fréquentes 14/05/14 Cible des émotions 22

23 Etat de l art Etape 3 : relier sentiment et cible Règles souvent manuelles prenant en compte les modifieurs de sens ne pas, à peine, très, les conjonctions Calcul de distance basé sur un nombre de mots l arbre syntaxique (nombre d arcs ou profondeur) 14/05/14 Cible des émotions 23

24 Framenet (Baker et al., 1998) Analyse sémantique de surface (Shallow semantic parsing) : associer des rôles sémantiques aux différents constituants d un énoncé une fonction par rapport à une situation schématique de type Agent, Patient, Sujet 24

25 Framenet (Baker et al., 1998) Frame experiencer focus FEs Definition: The words in this frame describe the Experiencer's EMOTIONS with respect to some target. Although the target may refer to an actual state of affairs, quite often it refers to a general situation which causes the emotion. Annotations Examples: Smithers takes great PLEASURE in collecting matchboxes. I HATE it when you do that. LUs Examples: abhor.v, abhorrence.n, abominate.v, adoration.n, adore.v, etc. 25

26 Comparaison de deux approches Framenet - semafor I HATE my physician when he told me the bad prognosis Experiencer Emotion Target Circonstance Chemin - standford I Root HATE my when physician he told me the bad prognosis 26

27 Plan de la présentation 1. Approche proposée 2. Expérimentations menées 3. Conclusions et travaux en cours 27

28 ETAPE 1 MESH 6% Lexique d émotions 22% messages Spine-health Phrases contenant des mots d émotion et des objets médicaux 28

29 ETAPE 1 MESH 6% ETAPE 2 Lexique d émotions 22% Phrases annotées par des rôles messages Spine-health Etiquetage automatique des rôles sémantiques (SEMAFOR) Sélection des frames pertinentes Typage des FEs et ULs pouvant représenter la cible Phrases contenant des mots d émotion et des objets médicaux Typologie des Fes et ULs 29

30 Typologie des Frames 30

31 ETAPE 1 MESH 6% ETAPE 2 Lexique d émotions 22% Phrases annotées par des rôles ETAPE messages Spine-health Etiquetage automatique des rôles sémantiques (SEMAFOR) Sélection des frames pertinentes Typage des FEs et ULs pouvant représenter la cible Phrases contenant des mots d émotion et des objets médicaux Typologie des Fes et ULs Interface de validation Phrases annotées par la typologie définie 31

32 Validation 345 phrases 10 experts 3 experts par phrases 32

33 Résultats Approche Framenet Approche chemin Correct Part. correct Incorrect Fleiss Kappa REC* 53% 34% 13% 0.58 (m) % 43% 49% 0.48 (m) /05/14 Cible des émotions 33

34 Résultats Correct Part. correct Incorrect Fleiss Kappa REC* Approche Framenet Approche chemin 53% 34% 13% 0.58 (m) % 43% 49% 0.48 (m) 0.52 Approche chemin Pas de liste prédéfinie de cibles : I fear the long term tendency Sensibilité du parseur à la langue des forums 15/05/14 Cible des émotions 34

35 Résultats Correct Part. correct Incorrect Fleiss Kappa REC* Approche Framenet Approche chemin 53% 34% 13% 0.58 (m) % 43% 49% 0.48 (m) 0.52 Approche rôle + Détection des phrases sans sentiment + Efficace quand un verbe est porteur de sentiments : I fear the surgeon will be reluctant to continue helping control my pain + Cibles liées à la santé faciles à identifier (infos contextuelles) - Limite Framenet (n existe qu en français, pas de marqueurs comme l incertitude ou le risque) 15/05/14 Cible des émotions 35

36 Plan de la présentation 1. Approche proposée 2. Expérimentations menées 3. Travaux en cours et perspectives 36

37 Perspectives sur la recherche de la cible Identification de la source My doctor is concerned that my blood glycerol increases La source n est pas toujours l énonciateur (contrairement aux avis sur les produits) Transposition au Français Traduction de la ressource de (Mohamad, 2010) Relation entre phrases au niveau du paragraphe et du message Sentiment implicite (pas de mot de sentiment) 37

38 Perspectives dans le projet Généralisation à plusieurs messages analyse de la qualité de vie pour le cancer du sein 38

39 Des questions? 39