CHRONIQUE du 6 mai 2002 Xavier Jardin LES SONDAGES SE TROMPENT-ILS?

Transcription

1 CHRONIQUE du 6 mai 2002 Xavier Jardin LES SONDAGES SE TROMPENT-ILS? Depuis quelques années, il est tenu pour évident que les sondages, autrefois infaillibles, se trompent, ne sont plus capables de fournir, même approximativement, les résultats d une élection. Même si genre de questionnement n est pas vraiment récent 1, les dernières élections ont souligné les limites des sondages pré-électoraux. On s en est d abord rendu compte, lors des législatives de 1997, quand les instituts de sondages eurent les plus grandes difficultés à «prédire» la victoire de la "Gauche plurielle", puis aux Européennes de 1999 où aucun n avaient «vu» que la liste du RPF de Charles Pasqua devancerait celle du RPR, et aujourd hui avec éclat et retentissement quand aucun n avait sérieusement envisagé la présence de Jean-Marie Le Pen au second tour de l élection présidentielle. Il est bien évident que le sondage comme tout autre technique n investigation possède des avantages et des inconvénients. Les inconvénients tiennent au fait que de nombreux biais peuvent apparaître aux différentes étapes de la fabrication d un sondage : biais dans la constitution de l échantillon (on peut facilement sous-estimer ou sur-estimer une catégorie de la population-mère, par exemple les personnes les plus éduquées qui ont tendance à accepter plus facilement de répondre aux sondages), biais dans la formulation des questions (est-on absolument sûr que tout le monde comprend bien la question posée? les mots utilisés?), biais dans le recueil des réponses (en particulier se pose ici la question des refus de répondre), etc. Si la plupart de ces défauts sont connus, et plus ou moins bien corrigés par les instituts de sondages, il n en reste pas moins que des biais majeurs demeurent difficilement corrigeables. Ainsi la sous-estimation du vote pour un parti extrémiste comme le FN (hier le PCF), du fait de l opprobre jetée sur ce parti, est régulière, les répondants n osant pas clamer haut et fort leur vote en sa faveur. Pour atténuer ce biais les statisticiens disposent de la technique du redressement. Celle-ci consiste à corriger l effectif de personnes interrogées pour s approcher de l échantillon idéal. Par exemple, si l on constate que le nombre de sympathisants du FN est sous-estimé, il est statistiquement acceptable d affecter la moyenne des réponses déjà obtenues dans cette catégorie à un supplément fictif d individus. Mais le redressement suppose de posséder une base de référence sur laquelle on s'appuiera pour «corriger» les réponses. Le plus souvent il s agit de la structure des votes passés énoncés par les sondés euxmêmes. Plusieurs problèmes se posent ici : d abord la mémoire électorale des enquêtés n est pas absolument fiable (des reconstructions sont possibles, des oublis conscients ou non sont fréquents), ensuite c est supposer que le vote tend à se répéter dans le temps, les électeurs conservant la même orientation électorale, c est bien entendu largement faux, les parcours électoraux des citoyens étant de plus en plus chaotiques. Par ailleurs en matière électorale, les sondages recueillent une opinion particulière de la part des sondés : les intentions de vote. Une intention de vote, comme son nom l indique, est la déclaration par un sondé, à un moment t, de son vote futur. Elle ne doit pas être confondu avec le jugement porté sur un homme politique (ce qui sert par exemple à mesure la popularité). C est, plus qu un simple jugement, la verbalisation d un comportement à venir (la question type étant souvent : «si les élections avaient lieu dimanche prochain pour quel candidat y aurait-il le plus de chances que vous voteriez?»). Pour répondre à cette question les enquêtés doivent se mettre en situation, «faire comme si» ils votaient, à partir des informations dont ils disposent, de leur préférence partisane et idéologique, de l état de l offre 1 Voir en particulier : Bon, F. Les sondages peuvent-ils se tromper? Paris : Calmann-Lévy, 1974.

2 politique L avantage de la mesure des intentions de votes est de fournir, à un moment t, un éclairage, on dit souvent une «photographie», de la compétition électorale. Evidemment, une mesure d intentions de vote ne préjuge en rien du dénouement réel de la consultation. Les sondages n ont ici aucune valeur prédictive! Et ce pour au moins deux raisons fondamentales. La première est que la relation d un comportement n est pas le comportement lui-même : les personnes interrogées peuvent toujours mentir sur leur choix, le plus souvent elles le font par omission, elles peuvent se comporter autrement qu elles l ont dit. La seconde est qu il reste toujours du temps entre la mesure de l intention et le vote luimême, temps pendant lequel il peut se passer bien des choses qui viendront modifier la structure des intentions (l entrée en lice d un nouveau candidat, un événement exceptionnel, etc.). C est pourquoi les instituts de sondages procèdent à de multiples mesures des intentions de vote, chaque mesure reflétant un moment donné de la compétition électorale. Plus on s approche du jour du scrutin plus, théoriquement, la mesure est proche du résultat final, car les électeurs disposent de toutes les informations possibles (sur les candidats, les programmes, la campagne ) et il y a peu de chance que des éléments nouveaux viennent troubler la structure de la compétition. Si l on regarde attentivement les intentions de vote pour le premier tour de l élection présidentielle de 2002 (moyenne mensuelle de tous les sondages publiés : tableau 1), on s aperçoit que la structure de la compétition électorale possède certaines caractéristiques évidentes. Elle est dominée par Jacques Chirac et Lionel Jospin qui arrivent systématiquement aux deux premières places et donc, dans la logique de l élection présidentielle, doivent être qualifiés pour le second tour. De plus, nul autre candidat ne semble en mesure de ravir la seconde place à l un des deux premiers. Le «troisième homme» semble être d abord Chevènement (en janvier et février), puis Le Pen (en mars et avril). Certes les sondages soulignent aussi l érosion du soutien à Lionel Jospin (-4.1 point entre janvier et avril) et indiquent la montée en puissance de Jean-Marie Le Pen (+2.9 point sur la même période) mais les chiffres ne permettent pas d affirmer que Jean-Marie Le Pen peut se qualifier pour le second tour. Tableau 1 source : CEVIPOF, Daniel Boy et Jean Chiche.

3 Pourquoi les intentions de vote mesurées quelques jours avant le scrutin n ont pas correctement refléter la structure des résultats finaux? En réalité l erreur n est pas si importante que cela, mais compte tenu du résultat surprise du 21 avril elle prend une importance inouïe. Si on regarde les derniers sondages de l institut CSA comparés aux résultats définitifs de l élection (tableau 2) on s aperçoit que la différence entre les intentions de vote et le vote réel est minime pour la plupart des candidats (moins de 1 point en plus ou en moins). L erreur pour certains candidats se situe entre 1 et 2 points (Laguiller, Besancenot, Chevènement, Jospin, Hue). Mais elle dépasse largement les 2 points pour Le Pen (2,86). Tableau 2 CSA 10-11/ /4 21/4 dif. Laguiller 8 7 5,72-1,28 Gluckstein 0,5 0,5 0,47-0,03 Besancenot 1,5 3 4,25 1,25 Hue 5,5 5 3,37-1,63 Chevènement 7 6,5 5,33-1,17 Taubira 1 2,5 2,32-0,18 Jospin ,18-1,82 Mamère 6,5 5 5,25 0,25 Bayrou 5,5 6 6,84 0,84 Chirac 21 19,5 19,88 0,38 Madelin 3,5 3,5 3,91 0,41 Boutin 1 1,5 1,19-0,31 Lepage 1,5 1,5 1,88 0,38 Saint-Josse 3,5 4 4,23 0,23 Le Pen ,86 2,86 Mégret 3 2,5 2,34-0,16 pas d intention ,82-0,18 effectifs Source : CSA, Roland Cayrol. Il faut d abord remarquer que les résultats fournis par ces sondages ne sont pas aberrant en fonction de la marge d erreur inhérente à tout tirage statistique. La marge d erreur est l intervalle dans lequel il y a la plus grande probabilité que se situe la réponse réelle à une question. Un sondage, qui n est rien d autre qu un tirage, peut s approcher de la réponse réelle ou s en écarter, tant que l erreur reste contenue dans cette marge le sondage est statistiquement valable. La marge d erreur est fonction de deux choses : la taille de l échantillon et la fréquence des réponses. Ainsi plus l échantillon est petit et plus est grande la marge d erreur (l inverse n est pas tout à fait vrai car il faut augmenter très considérablement l échantillon pour diminuer la marge). C est pourquoi, pour des raisons de coûts, les instituts de sondages utilisent des échantillons de mille personnes (au delà le gain sur la marge d erreur n est pas assez conséquent). En outre, plus les réponses données approcheront la répartition 50/50 plus grande est la marge d erreur ; au contraire plus la répartition est proche de 0/100 plus petite est la marge. Il est possible de calculer facilement la marge d erreur à partir d un tableau de distribution de l erreur aléatoire (tableau 3). Il est surtout intéressant de confronter les résultats du sondage précédent à ce tableau. Si on prend les résultats de Jospin et de Le Pen lors du dernier sondage de CSA les avril 2002, soit respectivement 18% et 14%, la marge d erreur du résultat de Jospin est de 2.4/+2.4 points et celle de Le Pen 2.2/+2.2. Autrement dit, le résultat réel de Jospin devrait naviguer entre 20,4% et 15,6% (et en effet il

4 réalise 16,18% le jour du scrutin). Par contre, dans le cas de Le Pen son résultat se situe hors de la marge d erreur (16,2/11,8 alors qu il réalise 16,86%) ce qui signale un défaut important dans le sondage. Tableau 3 : Tableau de distribution de l'erreur aléatoire Proportion obtenue par enquête (%) N ,8 3,4 4,4 4,7 5,4 6,0 6,9 7,1 7,7 8,0 8,3 8,7 8,8 9,0 9,2 9,4 9,5 9,8 9, ,0 2,4 3,1 3,4 3,8 4,2 4,9 5,0 5,4 5,7 5,9 6,1 6,2 6,3 6,5 6,6 6,7 6,9 7,0 7, ,8 2,2 2,8 3,0 3,4 3,8 4,4 4,5 4,9 5,1 5,2 5,5 5,5 5,7 5,8 5,9 6,0 6,2 6,3 6, ,6 2,0 2,5 2,7 3,1 3,5 4,0 4,1 4,4 4,6 4,8 5,0 5,1 5,2 5,3 5,4 5,5 5,7 5,7 5, ,5 1,8 2,3 2,5 2,9 3,2 3,7 3,8 4,1 4,3 4,4 4,6 4,7 4,8 4,9 5,0 5,1 5,2 5,3 5, ,4 1,7 2,2 2,4 2,7 3,0 3,5 3,6 3,8 4,0 4,1 4,3 4,4 4,5 4,6 4,7 4,8 4,9 5,0 5, ,3 1,5 1,9 2,1 2,4 2,7 3,1 3,2 3,4 3,6 3,7 3,9 3,9 4,0 4,1 4,2 4,3 4,4 4,4 4, ,1 1,4 1,8 1,9 2,2 2,4 2,8 2,9 3,1 3,3 3,4 3,5 3,6 3,7 3,7 3,8 3,9 4,0 4,1 4, ,0 1,2 1,5 1,7 1,9 2,1 2,5 2,5 2,7 2,8 2,9 3,1 3,1 3,2 3,2 3,3 3,4 3,5 3,5 3, ,9 1,1 1,4 1,5 1,7 1,9 2,2 2,3 2,4 2,5 2,6 2,7 2,8 2,8 2,9 3,0 3,0 3,1 3,1 3, ,8 1,0 1,3 1,4 1,6 1,7 2,0 2,1 2,2 2,3 2,4 2,5 2,5 2,6 2,6 2,7 2,8 2,8 2,9 2, ,7 0,9 1,1 1,2 1,4 1,5 1,8 1,8 2,0 2,1 2,1 2,2 2,3 2,3 2,4 2,4 2,5 2,5 2,6 2, ,7 0,8 1,0 1,1 1,3 1,4 1,6 1,7 1,8 1,9 2,0 2,0 2,1 2,1 2,2 2,2 2,2 2,3 2,3 2, ,6 0,8 1,0 1,1 1,2 1,3 1,6 1,6 1,7 1,8 1,9 1,9 2,0 2,0 2,0 2,1 2,1 2,2 2,2 2, ,5 0,6 0,8 0,9 1,0 1,1 1,3 1,3 1,4 1,5 1,5 1,6 1,6 1,6 1,7 1,7 1,7 1,8 1,8 1, ,4 0,5 0,7 0,8 0,9 0,9 1,1 1,1 1,2 1,3 1,3 1,4 1,4 1,4 1,4 1,5 1,5 1,5 1,6 1, ,4 0,4 0,6 0,6 0,7 0,8 0,9 0,9 1,0 1,0 1,1 1,1 1,1 1,2 1,2 1,2 1,2 1,3 1,3 1, ,3 0,3 0,4 0,5 0,5 0,6 0,7 0,7 0,8 0,8 0,8 0,9 0,9 0,9 0,9 0,9 1,0 1,0 1,0 1,0 Lecture de ce tableau : Soit un échantillon de taille n=1000. Pour un pourcentage obtenu par enquête de 30%, la marge d'erreur, lue à l'intersection de la ligne n=1000 et de la colonne 30% (ou 70%), est égale à 2,9%. Le résultat théorique est donc compris dans un intervalle dont les valeurs extrêmes seront : 30%+2,9%=32,9% et 30%-2,9%=27,1%. Autrement dit, les mesures d intentions de vote ne se sont pas totalement trompées mais elles ont largement sous-estimé le vote en faveur de Jean-Marie Le Pen. Les raisons de cette sous-estimation sont nombreuses. Il y a d abord la réticence des personnes interrogées à avouer un tel vote. Il y a par ailleurs les difficultés à redresser correctement la population des électeurs du FN car il s agit d une population socialement hétérogène, dont le comportement électoral n est pas linéaire dans le temps (les électeurs de Le Pen n ont pas forcément voté FN en 1997 ou Le Pen en 1995 mais à gauche, à droite ou se sont abstenus ). Il y a ensuite le problème majeur des indécis, de ceux qui jusqu au moment de voter ne savent pas encore quel est leur choix, et dont on peut penser qu un certain nombre s est décidé finalement pour Le Pen. Ainsi les sondages réalisés par la SOFRES depuis janvier 2002 montrent qu entre un cinquième et un tiers des personnes interrogées ne sont pas capables d exprimer un choix et ce jusqu à l avant-veille du scrutin. Enfin, il y a le problème du degré de certitude des intentions énoncées. Cette certitude est difficilement mesurable puisqu il faut nécessairement faire confiance aux sondés en la matière. Mais combien d entre eux énoncent une intention qui n est en fait pas suffisamment sûre pour se changer en vote réel pour le candidat annoncé? Il semblerait que des candidats comme Laguiller, Besancenot, Chevènement, Jospin ou Hue aient subi ce problème et ont donc été sur-estimés dans les sondages. Ainsi la mesure des intentions n est pas une mauvaise technique en soi, bien qu il convienne de réfléchir aux moyens d éviter les biais majeurs qu on a pu constater lors de ces

5 élections. Surtout les mesures d intentions de vote fournissent des informations essentielles, en particulier sur l évolution de la compétition, sur les tendances électorales. Par exemple, la comparaison des courbes d intentions de vote Chirac-Jospin-Le Pen (agrémenter de courbes de tendance) montre clairement la nette érosion des deux principaux candidats et la montée de Jean-Marie Le Pen (graphique 1). Compte tenu de la marge d erreur et de la sous-estimation du vote lepéniste la probabilité de l accession au second tour de Le Pen est en fait particulièrement forte. Graphique 1 : Evolution et tendance des intentions de vote Chirac/Jospin/Le Pen Jospin Chirac Le Pen Polynomial (Le Pen) Polynomial (Jospin) Polynomial (Chirac) 5 0 1/3/01 1/5/01 1/6/01 1/9/01 1/10/01 1/11/01 1/12/01 5/1/02 1-2/2/ /2/02 8-9/3/ /3/ /3/ /3/02 3-4/4/ /4/ /4/ /4/02 Source : SOFRES Baromètre présidentiel pour LCI-Politique Opinion. En guise de conclusion, il est nécessaire de faire quelques remarques concernant, moins les sondages eux-mêmes dont la technique ne peut que s améliorer, que l usage social qui en est fait. Il y a en France une nette tendance à croire à la validité absolue des sondages. Cette croyance est partagée par les hommes politiques, les journalistes, les commentateurs politiques. Chacun en a certes besoin pour exister : l homme politique pour mesurer sa popularité, sa place dans une compétition électorale, l impact d une mesure ou d'un programme Le journaliste pour vendre son journal ou faire de l audience. Le commentateur pour avoir quelque chose à commenter. Mais les effets de cette croyance sont puissants : malgré toutes les mises en gardes des techniciens des sondages ceux-ci sont toujours appréhendés comme des prédictions du résultat final de l élection (ce qui a amené certains citoyens à attaquer en justice les instituts de sondages pour fausse information!, ce qui a aussi amener d autres citoyens à affirmer que si les sondages leur avaient dit que Le Pen serait au second tour ils auraient voté différemment ou ne se seraient pas abstenus!). Il y aurait beaucoup à dire de la présentation par la presse du duel Chirac/Jospin tout au long de la campagne ou de la recherche désespéré du «troisième homme», les sondages étant utilisés régulièrement comme des informations totalement sûres et absolues. Il faut bien finir par reconnaître qu elles sont au contraire très incertaines et relatives, ce qui en tout état de cause n enlève rien à leur utilité, mais doit nous amener à réfléchir sur la manière de les utiliser.

6 POUR ALLER PLUS LOIN : - Loïc BLONDIAUX. La fabrique de l opinion. Une histoire sociale des sondages. Paris : Seuil, Patrick CHAMPAGNE. Faire l opinion. Le nouveau jeu politique. Paris : Les éditions de Minuit, Hélène MEYNAUD, Denis DUCLOS. Les sondages d opinion. Paris : La découverte, 1996.