PRÉSENTATION DU PROJET IMAGIWEB COMMENT ANALYSER LES DYNAMIQUES D OPINION SUR LE WEB 2.0? Julien VELCIN et Julien BOYADJIAN Journées d étude «Etudier le Web politique : Regards croisés» Lyon, le 12 mai 2015 1
SOMMAIRE PRESENTATION GENERALE DU PROJET IMAGIWEB Présentation des partenaires Objectifs généraux du projet ELABORATION D ALGORITHMES AUTOMATIQUES D ANNOTATION Mise en place d une grille d annotation des tweets Algorithmes d annotation automatique Agrégats d opinion et dynamique temporelle QUESTION DE LA REPRESENTATIVITE SOCIOLOGIQUE DES OPINIONS NUMERIQUES Twitter, un instrument prédictif de l opinion? Questions de recherche Constitution du panel Présentation du panel 2
PRÉSENTATION GÉNÉRALE DU PROJET IMAGIWEB 3
PRÉSENTATION DES PARTENAIRES ImagiWeb est un projet scientifique pluridisciplinaire (informaticiens, sociologues et sémiologues) financé par l Agence Nationale de la Recherche (ANR) pour une durée de 42 mois (avril 2012 septembre 2015). ImagiWeb réunit six partenaires, trois laboratoires universitaires et trois partenaires privés : ERIC Équipe de Recherche en Ingénierie des Connaissances (informaticiens spécialistes en data mining) CEPEL Centre d Études Politiques de l Europe Latine (politistes) LIA Laboratoire Informatique d'avignon (informaticiens spécialistes en fouille d opinion) AMI Software (éditeurs de logiciel en veille sur Internet) XEROX Research Centre Europe (informaticiens spécialises en traitement automatique des langues) EDF R&D France (informaticiens, sémiologues) 4
OBJECTIFS GÉNÉRAUX DU PROJET ImagiWeb a donc pour originalité de réunir des chercheurs en SHS et des informaticiens autour d un projet de recherche commun. Le projet consiste à étudier l'image d'entités de diverses natures (entreprises, hommes politiques, etc.) telle qu'elle est émise et perçue sur Internet sur deux cas d étude : hommes politique (tweets) et l entreprise EDF (blogs). Deux défis majeurs : Détecter de manière automatique l image des entités (tonalité et cible) et leur évolution dans le temps Mesurer la représentativité sociologique des opinions émises sur Internet à propos des entités étudiées 5
ALGORITHMES AUTOMATIQUES D ANNOTATION DE LA TONALITE ET DE LA CIBLE DE L OPINION DANS LES MESSAGES 6
MISE EN PLACE D UNE GRILLE D ANNOTATION DES TWEETS Chaque tweet de la base de données online est codé à partir de trois variables : 1. Entité visée : François Hollande ou Nicolas Sarkozy dans notre cas d étude 2. Tonalité du message : selon 6 modalités (très positif positif neutre négatif très négatif ambigu) ou 3 modalités (positif neutre négatif) 3. Cible du message : ce sur quoi porte le message : attribut, bilan, compétence, injonction, performance communicationnelle, personne, positionnement, projet et entité. 7
ALGORITHMES D ANNOTATION AUTOMATIQUE Algorithmes hybrides de classification automatique : - extraction de caractéristiques (features) - mots, n-grams - polarités à priori (seed lists) - négation - entités nommées - hashtags (avec décomposition) - classification automatique avec plusieurs méthodes : - régression logistique (avec régularisation L2) - k plus proches voisins (mesure TFxIDF modifée) - etc. - combinaison linéaire des classifieurs 8
AGRÉGATS D OPINION ET DYNAMIQUE TEMPORELLE Un agrégat = un ensemble d internautes aux opinions similaires François Hollande Entité Attribut Injonction Positionnement Performance Personne Compétence Ethique Bilan Projet 20 50 90 1 agrégat de 254 util. (avant l élection) polarité ++ + o - - - 9
PROBLÉMATIQUE DE LA REPRÉSENTATIVITÉ SOCIOLOGIQUE DES OPINIONS NUMÉRIQUES 10
TWITTER, UN INSTRUMENT PRÉDICTIF DE L OPINION? Dans le champ académique, des études établissent des corrélations entre analyse de tweets et phénomènes sociaux offline : résultats du box-office (ASUR et HUBERMAN, 2010), cours de la bourse (BOLLEN, MAO, ZENG, 2010) ou encore résultats électoraux (TUMASJAN et al., 2010 ; O CONNOR et al., 2010 ; JUNGHERR, 2011). Selon TUMASJAN et al., Twitter serait prédictif des résultats électoraux => corrélation entre nombre de tweets pour un parti politique (ou un candidat) et son score final dans les urnes. Dans la plupart des recherche, le volume de messages est d avantage prédictif que la tonalité des messages (JUNGHERR, 2014). 11
QUESTIONS DE RECHERCHE 1. Dans le cas français, existe-t-il une corrélation statistique entre le volume de tweets concernant François Hollande et Nicolas Sarkozy et leurs courbes de popularité dans les sondages d opinion? 2. Si une telle corrélation est avérée, comment l expliquer, étant donné l absence de représentativité sociologique de Twitter? 3. La popularité d un homme politique (exemple : F. Hollande) au sein d un électorat précis (exemple : électorat socialiste) est-elle la même sur Twitter et dans les sondages? 12
PROTOCOLE DE RECHERCHE : PANÉLISER UN ÉCHANTILLON REPRÉSENTATIF DE TWITTOS Dans les travaux académiques, codage (automatique et/ou manuel) des tweets sur des bases de données exhaustives (plusieurs millions de tweets). Problèmes méthodologiques : 1. Ne tient pas compte des très importantes inégalités de publication par individu 2. Ne tient pas compte des caractéristiques sociologiques et politiques des auteurs des messages 13
CONSTITUTION DU PANEL REPRÉSENTATIF Le principe : 1. Sélectionner un échantillon aléatoire (et donc statistiquement représentatif) de twittos politiques 2. Administrer à ces twittos un court questionnaire comprenant une vingtaine de questions socio-démographiques et de préférence politique (seule interaction des enquêtés avec le chercheur) 3. Archiver la totalité des tweets publiés par ces twittos à l aide du logiciel AMI Opinion Tracker du partenaire AMI Software Un double intérêt : 1. Permet de conserver le principal attrait heuristique des tweets : production de verbatims non suscitée par une interaction de recherche 2. Tout en étant en mesure de qualifier socialement et politiquement les messages collectés 14
CONSTITUTION DU PANEL REPRÉSENTATIF Recension exhaustive des tweets citant au moins l un des dix candidats à la présidentielle du 1 er au 31 mars 2012 (période de forte politisation des débats) : plus de 2 800 000 tweets archivés, 248 628 comptes uniques À partir de cette base de donnée initiale, sélection d un échantillon aléatoire de 10 300 comptes auxquels nous nous sommes abonnés et avons proposés de répondre à un questionnaire 608 individus (6,3% des comptes) ont accepté de répondre au questionnaire et de participer au panel Un échantillon de 628 «non-répondants» a été sélectionné et analysé «manuellement» (à partir des diverses informations figurant sur les descriptions de profil : sexe, âge, activité, etc.) 15
SOCIOLOGIE DU PANEL REPRÉSENTATIF Une population masculine (58,1%) et jeune (âge médian : 26 ans). Une forte surreprésentation des étudiants et des cadres. 16
SOCIOLOGIE DU PANEL REPRÉSENTATIF Une population très fortement politisée : 56% des répondants s intéressent «beaucoup à la politique» (contre 21% des Français source CEVIPOF) Des twittos significativement plus à gauche que la moyenne des Français. 17
CONSTITUTION DE LA BASE DE DONNÉES ONLINE Le principe : comparer terme à terme les côtes de popularité des hommes politiques mesurées par les sondages (baromètres mensuels) avec la tonalité des tweets issus de nos trois panels. Période d analyse : janvier 2012 décembre 2013 (2 ans, 24 mois). Unité de mesure : % de tweets positifs et négatifs pour chaque homme politique (François Hollande et Nicolas Sarkozy), chaque mois. 18
MERCI! 19