Identifier la cible des sentiments dans les forums de santé S. BRINGAY, E. KERGOSIEN, P. POMPIDOR, P. PONCELET
Projet Patients Mind Financement par le Réseau National des MSH (Maisons des Sciences de l Homme) 2014-2015 Lille 3 MSH Toulouse Montpellier 2
Un projet pluri-disciplinaire Informatique Statistiques Analyse des forums Chercheurs SHS Linguistique Acteurs de Santé 3
Objet d étude Forums de santé en ligne Espaces d échanges asynchrones de messages textuels Intermédiaires entre discours oral et écrit 4
Analyser les forums de santé Forums : une base de connaissances volumineuse, riche, variée, unique, atypique des perceptions qu'ont les patients de leur maladie et des soins qui leur sont éventuellement prodigués 5
Analyser les forums de santé Forums : une base de connaissances volumineuse, riche, variée, unique, atypique des perceptions qu'ont les patients de leur maladie et des soins qui leur sont éventuellement prodigués Analyser les forums, un enjeu important pour Patients : J ai perdu mes cheveux suite à ma chimio. Que font les autres dans mon cas? Professionnels de santé : Quelles sont les réactions des patientes qui ont peur de la pilule 3 ème génération? Laboratoires : Que pensent les patients du médicament X? 6
Démarche générale du projet Forums de santé 1. Extraction de marqueurs 1. de sentiment 2. d incertitude 3. de risque 2. Analyse de la perception de la santé 7
Démarche générale du projet Forums de santé 1. Extraction de marqueurs 1. de sentiment 2. d incertitude 3. de risque 2. Analyse de la perception de la santé 8
Modèle de sentiment 9
Modèle de sentiment 15/05/14 Cible des émotions 10
Tâche visée : identification de la cible I'm afraid of my doctors reaction Source Target My doctor is afraid of my reaction to the drug Source Target 11
Application Application : Agréger les informations pour plusieurs messages Peur d arrêter Peur de continuer 12
Contraintes de l étude Ne traiter que l anglais Se focaliser sur la cible Traiter les sentiments (polarité et émotion) Ne considérer que des relations sentiment / cible au sein des phrases 14/05/14 Cible des émotions 13
Contraintes de l étude Appliquer peu de pré-traitements Taille des messages variables (100 à 1 000 caractères) Style (structures grammaticales non standards, orthographe ) gé peur, ma choimio Argot LOL, FIV Expressions riches en sentiment : expression (I love), présentation (TIRED, enooooooogh,!!!!) émoticons (:-)) 14
Plan de la présentation 1. Approche proposée 2. Expérimentations menées 3. Conclusions et travaux en cours 15
Plan de la présentation 1. Approche proposée 2. Expérimentations menées 3. Conclusions et travaux en cours 16
Etat de l art Etape 1 : Identifier des sentiments Etape 2 : Identifier des cibles Etape 3 : Relier sentiment et cible 17
Etat de l art Etape 1 : Identifier des sentiments Etape 2 : Identifier des cibles Etape 3 : Relier sentiment et cible 14/05/14 Cible des émotions 18
Etat de l art Etape 1 : Identifier des sentiments Etape 2 : Identifier des cibles Etape 3 : Relier sentiment et cible 14/05/14 Cible des émotions 19
Etat de l art Etape 1 : Identifier des sentiments. de nombreuses ressources en anglais pour la polarité General Inquirer, LIWC (Linguistic Inquiry and Word Count) quelques ressources pour les émotions Dictionnaire DAL, lexique de Mohammad des extensions de ces vocabulaires pour des domaines spécifiques (co-occurrences de mots, apprentissage) 15/05/14 Cible des émotions 20
Etat de l art Etape 1 : Identifier des sentiments. de nombreuses ressources en anglais pour la polarité General Inquirer, LIWC (Linguistic Inquiry and Word Count) quelques ressources pour les émotions Dictionnaire DAL, lexique de Mohammad des extensions de ces vocabulaires pour des domaines spécifiques (co-occurrences de mots, apprentissage) 21
Etat de l art Etape 2 : Identifier des cibles Entité ou facettes d entités prédéfinies Ou fréquentes 14/05/14 Cible des émotions 22
Etat de l art Etape 3 : relier sentiment et cible Règles souvent manuelles prenant en compte les modifieurs de sens ne pas, à peine, très, les conjonctions Calcul de distance basé sur un nombre de mots l arbre syntaxique (nombre d arcs ou profondeur) 14/05/14 Cible des émotions 23
Framenet (Baker et al., 1998) Analyse sémantique de surface (Shallow semantic parsing) : associer des rôles sémantiques aux différents constituants d un énoncé une fonction par rapport à une situation schématique de type Agent, Patient, Sujet https://framenet.icsi.berkeley.edu/ 24
Framenet (Baker et al., 1998) Frame experiencer focus FEs Definition: The words in this frame describe the Experiencer's EMOTIONS with respect to some target. Although the target may refer to an actual state of affairs, quite often it refers to a general situation which causes the emotion. Annotations Examples: Smithers takes great PLEASURE in collecting matchboxes. I HATE it when you do that. LUs Examples: abhor.v, abhorrence.n, abominate.v, adoration.n, adore.v, etc. 25
Comparaison de deux approches Framenet - semafor I HATE my physician when he told me the bad prognosis Experiencer Emotion Target Circonstance Chemin - standford I Root HATE my when physician he told me the bad prognosis 26
Plan de la présentation 1. Approche proposée 2. Expérimentations menées 3. Conclusions et travaux en cours 27
ETAPE 1 MESH 6% Lexique d émotions 22% 17 000 messages Spine-health Phrases contenant des mots d émotion et des objets médicaux 28
ETAPE 1 MESH 6% ETAPE 2 Lexique d émotions 22% Phrases annotées par des rôles 17 000 messages Spine-health Etiquetage automatique des rôles sémantiques (SEMAFOR) Sélection des frames pertinentes Typage des FEs et ULs pouvant représenter la cible Phrases contenant des mots d émotion et des objets médicaux Typologie des Fes et ULs 29
Typologie des Frames 30
ETAPE 1 MESH 6% ETAPE 2 Lexique d émotions 22% Phrases annotées par des rôles ETAPE 3 17 000 messages Spine-health Etiquetage automatique des rôles sémantiques (SEMAFOR) Sélection des frames pertinentes Typage des FEs et ULs pouvant représenter la cible Phrases contenant des mots d émotion et des objets médicaux Typologie des Fes et ULs Interface de validation Phrases annotées par la typologie définie 31
Validation 345 phrases 10 experts 3 experts par phrases 32
Résultats Approche Framenet Approche chemin Correct Part. correct Incorrect Fleiss Kappa REC* 53% 34% 13% 0.58 (m) 0.63 8% 43% 49% 0.48 (m) 0.52 15/05/14 Cible des émotions 33
Résultats Correct Part. correct Incorrect Fleiss Kappa REC* Approche Framenet Approche chemin 53% 34% 13% 0.58 (m) 0.63 8% 43% 49% 0.48 (m) 0.52 Approche chemin Pas de liste prédéfinie de cibles : I fear the long term tendency Sensibilité du parseur à la langue des forums 15/05/14 Cible des émotions 34
Résultats Correct Part. correct Incorrect Fleiss Kappa REC* Approche Framenet Approche chemin 53% 34% 13% 0.58 (m) 0.63 8% 43% 49% 0.48 (m) 0.52 Approche rôle + Détection des phrases sans sentiment + Efficace quand un verbe est porteur de sentiments : I fear the surgeon will be reluctant to continue helping control my pain + Cibles liées à la santé faciles à identifier (infos contextuelles) - Limite Framenet (n existe qu en français, pas de marqueurs comme l incertitude ou le risque) 15/05/14 Cible des émotions 35
Plan de la présentation 1. Approche proposée 2. Expérimentations menées 3. Travaux en cours et perspectives 36
Perspectives sur la recherche de la cible Identification de la source My doctor is concerned that my blood glycerol increases La source n est pas toujours l énonciateur (contrairement aux avis sur les produits) Transposition au Français Traduction de la ressource de (Mohamad, 2010) http://www.jeuxdemots.org/ Relation entre phrases au niveau du paragraphe et du message Sentiment implicite (pas de mot de sentiment) 37
Perspectives dans le projet Généralisation à plusieurs messages analyse de la qualité de vie pour le cancer du sein 38
Des questions? 39