Comment faire parler les chiffres

Transcription

1 Sondages d opinions Comment faire parler les chiffres Sept règles d or à l usage des journalistes et des communicants pour utiliser les données d un sondage d opinions sans se tromper ni tromper son audience Hugues Cazenave Sondages d opinions

2 Ce qui suit se donne pour objectif de faciliter la lecture des sondages d opinion et d en extraire une information à la fois plus riche et plus pertinente. De vaines polémiques pourraient être évitées si l on s efforçait de respecter quelques règles simples dans cette lecture. 1 ère règle : lire attentivement la formulation des questions Dans les conversations de café du commerce, on entend parfois qu on peut faire dire n importe quoi aux sondages car il suffirait de poser les bonnes questions pour obtenir les réponses désirées. Cette réflexion n a pas beaucoup de sens car la plupart du temps les medias commanditaires de sondages n ont pas d idée précise sur les réponses attendues et les instituts chargés de leur réalisation ont pour principal objectif de privilégier une formulation neutre et incontestable. Pour autant, il reste évident que les réponses des personnes interrogées sont étroitement liées aux questions posées qui dans le processus d interrogation jouent le rôle de stimuli. Pour bien analyser les résultats d une question, il importe donc de regarder attentivement la rédaction de celle-ci. Ainsi, poser deux questions différentes sur le même sujet n est pas nécessairement illégitime, car elles peuvent très bien permettre d éclairer les deux facettes d une même réalité sociale. Sur le problème du travail le dimanche, deux questions sont généralement posées et donnent des résultats en apparence contradictoires. A la question «êtes-vous favorable à l ouverture des magasins le dimanche?», une majorité de français se montre encline à répondre positivement. A l inverse, seule une minorité de personnes interrogées exprime une intention favorable en réponse à la question «si vous en aviez la possibilité, souhaiteriez-vous travailler le dimanche?». La contradiction n est qu apparente et ces deux questions sont tout aussi intéressantes l une que l autre. Seuls des esprits partisans, défenseurs acharnés ou au contraire opposants farouches au travail le dimanche, peuvent feindre d y voir la preuve d une faiblesse intrinsèque des enquêtes d opinion. Règle n 2 : observer les tendances et les évolutions plus que les instantanés Prenons la peine de regarder le film plutôt que la photo de l opinion. Considérons l exemple des intentions de vote avant une élection : comparer les résultats d une enquête réalisée plusieurs semaines avant le scrutin et les résultats officiels de l élection n a pas grand-sens, pas plus de sens que de prendre une photo au premier virage d une compétition de Formule 1 et de chercher à prédire l ordre de passage des pilotes sur la ligne d arrivée. En revanche, si l on met bout à bout les résultats pour un même candidat, de plusieurs enquêtes consécutives, on repère des tendances à la hausse ou la baisse pour ce candidat et on en tire des enseignements sur les dynamiques qui définiront son score final. En d autres termes, il peut apparaître légitime de relever le manque de précision d une mesure d opinion isolée, car la photo est toujours plus ou moins nette. En revanche, les évolutions d un baromètre sont toujours parfaitement justes, car si un biais existe à la marge, ce biais reste constant. On a beaucoup ironisé sur l incapacité des sondages en 2002 à prédire la montée du phénomène Le Pen et sa présence au second tour de l élection présidentielle. Pour autant, la reconstitution du film des intentions de vote mesurées avant le scrutin laissait clairement apparaître une progression régulière des scores du leader du Front National et une régression concomitante de celles en faveur de Lionel Jospin. A quel moment précis ces deux courbes pouvaient-elles se croiser? Il n était pas facile de répondre à cette question, surtout quand au final moins d un demi-point séparait ces deux candidats Sondages d opinions

3 Règle n 3 : tenir compte des dates de réalisation des interviews Dans le même ordre d idées, la date du «terrain» de l enquête est souvent éclairante et permet parfois d expliquer un écart de résultats entre différentes enquêtes ou des évolutions brutales dans un baromètre. Pour bien lire les résultats de cette enquête, il faut alors rapprocher ces dates de celles des évènements qui ont pu marquer la période et influencer les perceptions de l échantillon. Les variations de résultats peuvent aussi s expliquer par des effets de saisonnalité, des périodes de congés ou encore des rendez-vous médiatiques impactant l opinion. Des résultats d enquête sur les départs en vacances n auront pas le même sens en juin ou en décembre, des mesures d intentions d achat de cadeaux pourront différer si les échantillons sont interrogés avant les fêtes de Noël, la fête des mères, la Saint-Valentin, etc. Règle n 4 : considérer les résultats d une enquête comme un outil d analyse plus que de prédiction Il faut le dire et le répéter, la finalité principale d un sondage n est pas de prédire l avenir, mais de contribuer à améliorer la connaissance des opinions sur un sujet donné. Ce ne sont pas les sondages qui se trompent (encore), mais bien ceux qui leur prêtent cette fonction divinatoire des temps modernes. La responsabilité de cette erreur trop fréquente incombe probablement aux medias, prompts à faire la une avec un chiffre choc présenté comme une prévision infaillible, mais aussi à certains sondeurs acceptant de se prêter à ce jeu de dupes pour en tirer profit. Comment imaginer qu une simple enquête effectuée deux ans ou même deux semaines avant le scrutin puisse s apparenter à une prédiction des résultats de celui-ci, quand une proportion non négligeable des électeurs non seulement n ont pas choisi leur candidat mais n ont pas encore décidé s ils allaient ou non participer à cette élection? Le principal obstacle à la vertu prédictive des sondages réside dans le fait que le principe «toutes choses égales par ailleurs» ne s applique presque jamais. Entre les dates de l enquête et celles de l évènement étudié, une multitude de faits, plus ou moins anodins ou importants, peuvent se produire et modifier l opinion. Fin 2006, les mesures d intentions de vote laissaient apparaître une avance de la candidate du Parti Socialiste sur celui de l U.M.P. Pour autant, ces enquêtes de l époque n ont pas permis, et pour cause, de prédire le résultat du scrutin, puisque la suite de la campagne a permis à Nicolas Sarkozy de devancer sa rivale. A l inverse, des enquêtes effectuées au même moment manifestaient l importance accordée par les Français à l insécurité et l immigration. D autres montraient la perte de légitimité du Front National et de son leader. En analysant et en croisant ces deux types d enquêtes, on pouvait en déduire que Nicolas Sarkozy, champion de la lutte contre l insécurité et l immigration pour l opinion, tirerait le plus grand profit de cette configuration favorable. Sondages d opinions

4 Règle n 5 : évaluer la taille des échantillons (et des souséchantillons) La plupart des enquêtes d opinion publiées par les medias sont réalisées auprès d échantillons représentatifs d une taille de personnes, ce qui reste suffisant pour bénéficier de marges d erreurs réduites à plus ou moins deux à trois points. Mais dans certains cas, cette taille s avère insuffisante. Par exemple, quand deux candidats ou deux listes réalisent des scores d intentions de vote relativement proches, inférieurs à trois points, il devient difficile de savoir lequel devancerait l autre avec seulement personnes. Ce cas de figure est fréquent lorsque l on cherche à mesurer le rapport de forces entre deux candidats s affrontant pour le second tour d une élection présidentielle et que ces deux candidats sont relativement proches. Idéalement, il conviendrait dans ce cas de doubler la taille d échantillon. De même, si l on s intéresse à certaines catégories de populations, comme les jeunes, les chômeurs ou les sympathisants de telle ou telle formation politique, il n est possible de se contenter de cette taille pour analyser les opinions de celles-ci qu à condition d accepter des marges d erreur beaucoup plus importantes, allant jusqu à plus ou moins 10 points dans certains cas. Pour mesurer les intentions de vote, les instituts ne retiennent généralement que les personnes interrogées se déclarant certaines d aller voter. Or, dans certains types de scrutin comme les élections européennes, cette proportion est limitée compte tenu de la faible participation, et peut passer sous la barre des 50%. Cela signifie que les intentions de vote sont calculées à partir d échantillons de moins de 500 personnes. C est la raison pour laquelle certains instituts réalisent ce type d enquêtes à partir d échantillons de taille beaucoup plus importante (4 à personnes). Règle n 6 : identifier les populations interrogées De nombreuses enquêtes sont menées auprès d échantillons représentatifs de la population française. Cela se comprend aisément : pour les enquêtes pré-électorales, c est l ensemble du corps électoral qui est appelé aux urnes, c est donc cette même population qui doit être sollicitée dans les enquêtes. Pour autant, sur d autres sujets qui ne concernent pas nécessairement toute la population, il peut s avérer plus judicieux d observer les résultats spécifiques d une population donnée. Ainsi, il apparaît préférable de prendre en compte les résultats sur les seuls sympathisants socialistes dès lors que la question porte sur le meilleur candidat du PS pour les prochaines élections. Ces résultats détaillés par catégorie de population ne sont malheureusement pas toujours publiés par les medias. En revanche, ils sont souvent disponibles en ligne sur les sites des instituts. Deux instituts différents sont sollicités par deux quotidiens pour évaluer l impact de l intervention télévisée du Président de la république. 48 heures après cette intervention, l un des deux quotidiens titre «53 % des Français pas convaincus par Sarkozy», tandis que l autre fait sa une sur «52 % des téléspectateurs convaincus par Nicolas Sarkozy». La concomitance de ces deux titres déclenche comme il se doit une petite polémique, certains observateurs se gaussant de la contradiction (apparente) entre ces deux mesures. En réalité, les deux enquêtes donnent les mêmes résultats, mais les deux medias optent pour des lignes rédactionnelles opposées : l un, plutôt favorable à la majorité, choisit de prendre en compte les personnes ayant réellement regardé l émission de télévision pour apprécier l impact de la rhétorique présidentielle, l autre privilégiant la mesure de l impact global auprès de l ensemble des français, y compris ceux qui n ont pas regardé la télévision, mais auraient pu en entendre parler de façon indirecte. Sondages d opinions

5 Les deux choix rédactionnels sont légitimes dans un pays où la liberté de la presse est respectée, mais pour apprécier la valeur des résultats, il importe de bien identifier la population interrogée. Règle n 7 : tenir compte du mode d interrogation Le téléphone constitue l outil utilisé pour la majorité des études d opinion publiées depuis les années 90, alors que c était le face à face durant les précédentes décennies. Aujourd hui, internet est de plus en plus utilisé par les instituts en raison de son coût et de sa rapidité d exécution, qui sont des atouts majeurs pour les medias. Leur fiabilité est-elle moindre que les enquêtes en face à face ou par téléphone? Rien n est moins certain. La plupart des comparaisons effectuées entre ces modes d interrogation ne laissent pas entrevoir de différences significatives. Les critiques à l encontre des enquêtes en ligne se font de plus en plus rares et semblent appelées à disparaître aussi rapidement que celles qui avaient marqué, dans les années 80, l émergence des enquêtes téléphoniques. Rappelons brièvement les avantages du téléphone et d internet : le téléphone convient mieux pour des questionnaires nécessitant l intervention d un enquêteur ou pour interroger des populations âgées. Internet permet de réaliser des enquêtes à moindre coût, plus rapidement, et plus confortablement pour les personnes interrogées (choix du moment et de la durée d interrogation, lecture des questions à l écran sans risque d oubli, etc.), ce qui optimise la fiabilité des réponses. Il est aussi plus adapté pour les moins de 30 ans et pour les cadres actifs. Enfin, il supprime le biais enquêteur, c est-à-dire l influence que l enquêteur peut produire sur l enquêté. Attention toutefois à bien distinguer les véritables enquêtes en ligne, réalisées par des instituts spécialisés auprès d échantillons représentatifs, et les simples consultations en ligne sur les sites de certains medias, qui ne sont représentatives que des visiteurs de ces sites voulant bien répondre à la question (souvent unique) posée. Pas moins de 27 listes différentes se sont présentées lors des élections européennes dans la circonscription d Ile-de-France. Par téléphone, la personne interrogée doit écouter l enquêteur fournir ces 27 listes avant d exprimer sa préférence. Le risque est non négligeable d oublier ou de prêter moins d attention à certaines de ces listes, alors qu en ligne on peut plus facilement prendre connaissance des différentes listes et exprimer ainsi son choix de façon plus fiable. Sondages d opinions

6 A propos de l auteur Hugues Cazenave Cofondateur et président d'opinionway Diplômé de l Ecole Normale Supérieure, major de l agrégation de sciences sociales, Ex Directeur général adjoint d Ipsos Opinion, Professeur à l Institut d études politiques de Paris, HEC et à l université de Paris 2. Opinionway Créée en mars 2000 pour «rendre plus innovant le marché des études», OpinionWay intervient dans de nombreux domaines comme la compréhension des marchés, les problématiques de marques, le développement de produits et de services auprès de cibles BtoB ou BtoC pour des clients à forte notoriété. OpinionWay est membre de l Adetem et d Esomar et a mis en place une politique RSE (Responsabilité Sociale d Entreprise) depuis Sondages d opinions