Introduction aux sondages Fiche technique Introduction Les sondages d'opinion publique sont très répandus. La plupart du temps, les rapports publiés par les enquêteurs ne fournissent pas suffisamment d'informations pour permettre une évaluation approfondie de la validité des résultats. Bien que certains sondages indiquent la taille globale de l'échantillon et un degree hypothétique d'exactitude, les aspects fondamentaux du sondage demeurent généralement abstraits. Taille de l'échantillon et exactitude En général, un sondage déclare la taille de l'échantillon globale et indique, par exemple, qu'il prévoit une marge d'erreur de moins de 4 p. 100, 19 fois sur 20. C'est tout un «calcul scientifique» mais qu'est-ce que cela signifie? Pour mieux comprendre l'exactitude de cette hypothèse, examinez l'exemple suivant : «Si une élection était tenue aujourd'hui, pour quel parti politique voteriez-vous?» TABLEAU 1 Parti Pourcentage Bleu 35% Rouge 30% Jaune 10% Indécis 20% Refus 5% Beaucoup de sondages reflètent les résultats d'un sous-ensemble de l'échantillon. Par exemple, dans le cas d'un sondage à l'échelle nationale, les résultats d'une seule province peuvent être publiés. Ainsi, avec 4 p. 100 de la population canadienne, un échantillon national de 1 000 bien exécuté (p. ex., effectué de façon complètement aléatoire dans tous les ménages), 40 pour le Manitoba. La marge d'erreur de 4 p. 100, 19 fois sur 20 ne s'applique pas dans ce cas. Pour un si petit échantillon, le taux d'erreur théorique est de plus de 15 p. 100, 19 fois sur 20. Ainsi, si le parti Bleu l'emporte sur le parti Rouge par 8 p. 100, ce qui représente une bonne marge dans un grand échantillon (1 000), dans un petit échantillon (40), le résultat est non-significatif puisqu'il s'agit d'une difference de 3 personnes (8 p. 100 multiplié par 40.) On peut augmenter l'échantillon au sein de plus petites régions, mais même le fait de doubler la taille de l'échantillon (de 40 à 80) ne réduirait la marge d'erreur qu'à 11 p. 100, une augmentation assez faible en terme de précision. Le fait de ne pas indiquer les erreurs théoriques ou la taille des échantillons des sousensembles des données peut être trompeur. En règle générale, tout sous-ensemble de moins de 400 répondants devrait être examiné prudemment. La déclaration «+ 4 p. 100, 19 fois sur 20» signifie simplement que si 20 sondages identiques sont effectués, on s'attendrait à ce que 19 d'entre eux fournissent des réponses dans les + 4 p. 100 de la «vraie» moyenne non-observée. Certains sondages indiquent que «toute valeur pour le parti Bleu entre 31 et 39 est statistiquement valable.» Il s'agit d'une première approximation, mais qui à proprement parler, est inexacte. En supposant que 35 p. 100 est la valeur exacte (tel que démontré dans un recensement complet, soit un échantillonnage de 100 p. 100), 19 sondages sur 20 devraient indiquer une valeur de 31 à 39. PRA Inc. www.pra.ca admin@pra.ca 1
Refus Le taux de refus, qui représente le pourcentage de toutes les tentatives de sondage repoussées, doit toujours être indiqué. Souvent, jusqu'à 70 p. 100 ou plus des personnes contactées refuseront de participer à une entrevue. Certaines n'ont pas le temps et d'autres ne sont pas d'accord avec le sujet ou le fait d'être dérangées. Il n'est pas prudent de supposer que l'opinion des personnes qui ont refusé est la même que celles de ceux qui ont participé. Comparer les renseignements de base des personnes qui ont refusé de participer et des participants est une étape importante du contrôle de la qualité de l'échantillon. Dans la plupart des sondages, le sexe du répondant peut normalement être déterminé d'après sa voix. Également, l'indicatif téléphonique offre une approximation de l'endroit ou habite le répondant. Voyez un modèle typique ci-dessous : TABLEAU 2 Pourcentage des refus Winnipeg 76.4% Hors de Winnipeg 23.6% Femmes 34.5% Hommes 65.5% Il est important de noter que la courbe de refus n'est pas représentative de la population. D'après les données de recensement, on croit savoir que 55 à 58 p. 100 de la population du Manitoba demeure en zone urbaine. Pour la plupart des sondages téléphoniques effectués en zone urbaine, on enregistre généralement un pourcentage de refus de 76,4 p. 100. Il existe des pratiques bien établies pour «équilibrer» l'échantillon afin qu'il soit représentatif de la population. Normalement, un échantillonnage aléatoire fournira la représentativité, mais les refus représentent une erreur non aléatoire. Il faut faire en sorte que l'échantillon final se rapproche le plus possible de la population en ce qui a trait aux principales caractéristiques. Plan d'analyse L'échantillon doit être aléatoire. Tous les éléments (ménages, individus, etc.) doivent avoir la même probabilité de faire partie de l'échantillon. La meilleure façon est de choisir au hasard des numéros de téléphone, des noms à partir de listes électorales ou de l'annuaire téléphonique, etc. Ainsi, toutes les personnes de la liste ont une chance égale d'être sélectionnées. Bien d'autres plans d'échantillonnages aléatoires peuvent aussi être utilisés. Il n'y a pas de liste idéale (base de sondage); par exemple : l'annuaire téléphonique n'indique pas les numéros confidentiels et ne couvre que 95 p.100 de la population. Au lieu de consulter les numéros de l'annuaire, on utilise souvent des programmes informatiques afin de générer des numéros de téléphone. Le système de la composition aléatoire a fait ses preuves en matière d'efficacité et de précision. La méthode la plus simple est de choisir un numéro de téléphone dans l'annuaire et d'additionner un. Donc, si le numéro sélectionné est le 555-1234, le numéro à composer sera le 555-1235. Certaines méthodes courantes de nos jours sont plus complexes et utilisent à la fois des listes d'annuaires et la composition aléatoire. Malgré les résultats peu fiables, de nombreux sondages se servent encore d'échantillons de commodité, tels que des lecteurs de journaux, des gens qui répondent à un sondage en ligne ou des appels à des lignes sans frais. On note quatre inconvénients majeurs à de telles méthodes : Les lecteurs d'un certain journal ne sont pas nécessairement représentatifs de toute la population. Les lecteurs qui répondent aux sondages ne sont, en général, pas représentatifs de tous les lecteurs. Certaines personnes n'ont pas accès à Internet. Les gens qui appellent à plusieurs reprises pour répondre au sondage peuvent faire en sorte que plus de poids soit accordé à un aspect de la question examinée. Par conséquent, aucune opinion ne peut être émise sur les questions abordées, il n'est pas possible de calculer le taux d'erreur, et on ne peut évaluer la qualité de l'échantillon. La moindre déviation d'un échantillon probabiliste fragilise les bases du calcul du taux d'erreur. Par exemple, un chercheur peut penser améliorer la validité des résultats en doublant la taille de l'échantillon de 40 à 80, mais si ces répondants supplémentaires sont seulement ajoutés à l'échantillon à partir d'une liste biaisée, le taux d'erreur ne peut pas être comptabilisé. Il existe des façons de procéder à l'ajustement de la taille de l'échantillon, mais la majorité des sondages d'opinion publique ne les utilisent pas parce qu'elles rendent l'analyse plus compliquée et ralentissent tout le processus du sondage d'opinion. PRA Inc. www.pra.ca admin@pra.ca 2
Choisir les bons mots Les tournures de phrases et l'agencement des questions ont une incidence sur les réponses. Des recherches élaborées ont été effectuées à ce sujet au cours de la dernière décennie et bien que certains principes aient été établis, il subsiste quelques éléments à éclaircir. Tous les rapports publiés doivent reproduire les questions de façon exacte. Souvent c'est le cas, mais parfois on ne retrouve qu'une version abrégée de la question. Ci-dessous, voyez des exemples de réponses selon la manière dont est posée la question : Test A et Test B. Remarquez les différentes réponses que l'on obtient lorsqu'on utilise les memes éléments d'une question, mais qu'on en modifie un. Vous constaterez que l'ajout des mots «habituellement» et «probablement» donne un sens différent à la question. Le choix des mots représente un facteur clé en matière de recherché effectuée par voie de sondage. TEST A Lorsque vous confiez un problème à un avocat, vous avez moins de contrôle sur la façon dont il sera résolu. (n=637) 59,7% 2,7% 37,6% Lorsque vous confiez un problème à un avocat, vous avez habituellement moins de contrôle sur la façon dont il sera résolu. (n=657) 63,3% 3,4% 33,3% TEST B Si les lois sur les armes à feu étaient plus strictes, il y aurait une diminution du nombre de meurtres. (n=863) 62,5% 2,0% 35,5% Si les lois sur les armes à feu étaient plus strictes, il y aurait probablement une diminution du nombre de meurtres. (n=829) 58,5% 3,6% 37,9% * Ne comprend pas Ne sais pas + et Aucune réponse. Considérez une question bien connue : «D'après vous, quel est le problème le plus important auquel le Canada est confronté?» Certains sondages indiqueront que 15 à 20 p. 100 des répondants pensent que le problème le plus important est le déficit, alors que d'autres obtiendront cette réponse dans moins de 5 p. 100 des cas. Pourquoi une telle différence? En plus de la façon dont la question est formulée, le format a aussi son importance dans le schéma de réponses. Quelques chercheurs manipulent délibérément les répondants en incluant des concepts complexes, mais il est plus commun de constater l'introduction d'un biais involontairement. En ce qui concerne la question cidessus, si une liste incluant le mot «déficit,» comme réponse possible, est fournie, 15 à 20 p. 100 des répondants l'identifieront comme étant le problème le plus important. Si on ne donne pas de liste de choix de réponses aux répondants (c'est-à-dire, la question est ouverte), seulement 5 p. 100 offriront «déficit» comme réponse. Il est important d'être conscient que pour ce genre de question, l'actualité a une influence sur les répondants. Quelles réponses recueillons-nous? Celles du public ou celles des médias? Des questions «ouvertes» sans liste de choix de réponses donneront des réponses générales dont la plupart seront de concepts composés (p. ex. «croissance économique et justice»). Ces réponses sont difficiles à déchiffrer. La présentation d'une liste offer une «solution» à cette problématique, mais probablement au détriment de l'exactitude et de «l'ignorance» qui auraient émergées si le répondant avait pu s'exprimer librement. La lecture de listes incite aussi les répondants à se concentrer sur le premier ou le dernier élément et limite les réponses à celles suggérées par le chercheur. C'est pourquoi les listes devraient être lues selon une séquence aléatoire à chaque personne. Méthode de sondage Le sondage téléphonique est courant parce qu'il est efficace; l'annuaire téléphonique couvre une bonne partie de la population (sauf les personnes sans domicile fixe à bas salaire et les groupes spéciaux), et le perfectionnement des interviews téléphoniques assistées par ordinateur (ITAO) fait en sorte que les questionnaires complexes sont devenus faciles à gérer. De plus, l'itao permet aux intervieweurs de fixer des dates de rappel pour pouvoir communiquer avec les répondants qui n'étaient pas disponibles au premier appel. PRA Inc. www.pra.ca admin@pra.ca 3
Toutefois, les sondages téléphoniques sont dérangeants et beaucoup de gens ne distinguent pas un sondage téléphonique du démarchage (ou «marketing») téléphonique. Ce qui n'est pas surprenant car de nombreuses firmes de marketing se présentent comme faisant soi-disant un sondage sur les ventes. Également, un sondage téléphonique de plusieurs minutes est onéreux et l'intervieweur risque de perdre le répondant ou du moins son attention, lorsque les questions sont longues. Les sondages en personne sont privilégiés dans le sens qu'il est difficile de refuser une entrevue lorsqu'on se présente à votre porte. Le nombre d'entrevues effectuées en personne sur une échelle nationale est impressionnant. Les regions éloignées sont sous échantillonnées vu la faible densité de population, ce qui produit un biais important. Les sondages sur Internet deviennent de plus en plus courants car nombreuses sont les personnes qui pensent, à tort, qu'ils sont moins coûteux. (Voir notre document technique sur les sondages par la poste et en ligne.) Liste de contrôle pour présenter les résultats d'un sondage Les points qui suivent représentent les critères essentiels pour présenter les résultats d'un sondage : Le rapport doit fournir les questions telles qu'elles sont formulées pour le sondage. La taille de l'échantillon et le niveau hypothétique d'exactitude doivent être indiqués. La taille de l'échantillon et le niveau hypothétique d'exactitude de tous les sous-ensembles analysés doivent être indiqués. L'évaluation de la représentativité de l'échantillon est importante. S'il y a un écart dans la comparaison de l'échantillon avec les données de recensement et d'imposition (c'est généralement le cas, même en ayant un plan et une execution soignée), les résultats doivent être pondérés et ajustés. Le taux général de refus (pourcentage des personnes contactées et qui ont refusé de participer) doit être indiqué. Les dates des entrevues et la méthode de sondage doivent être présentées clairement. Les sondages de longue durée ou qui n'utilisent pas d'échantillonnage aléatoire devraient être considérés comme étant «non scientifiques.» L'auteur et le commanditaire du rapport doivent être clairement indiqués. Calcul du taux approximatif d'erreur pour un échantillon d'enquête La formule suivante est utilisée de façon générale pour calculer le taux d'erreur au niveau de 5 p. 100 (19 fois sur 20) : B = +1.96(1-n/N) [p(1-p)/n] 1/2 La formule présuppose une distribution normale où «n» représente la taille de l'échantillon, «N» représente la population, «p» est la réponse fractionnée (oui/non, ou homme/femme) pour une question double, et «B» représente le taux d'erreur. Pour une question ayant seulement deux possibilités de réponses et que le modèle «typique» de réponse est prévue, cette formule peut être utilisée pour calculer le taux d'erreur théorique. On présume généralement que p =.5 (50 %) ce qui implique que la proportion de «oui» sera de 50 %. Il faut noter que pour un grand N (Canada ou Manitoba), la valeur de n/n est très proche de zéro, et par conséquent le chiffre 1 - n/n sera très près de 1. Si P est censé être proche de.50, alors le terme [p(1-p)] 1/2 égal.5 qui, multiplié par 1.96 est près de 1. Une simple approximation du taux d'erreur théorique provient donc de : B = [1/n] 1/2 Un échantillon de 400 a un taux d'erreur d'environ 5 p. 100 19 fois sur 20, un échantillon de 1 000 donne un taux d'erreur de 3,2 p. 100 et un échantillon de 5 000 un taux d'erreur de moins de 1,5 p. 100. Le gain minime en exactitude, obtenu en augmentant la taille de l'échantillon, diminue lorsque l'échantillon augmente avec la population. Le taux d'erreur théorique diminue lorsque p s'éloigne de 50 p. 100. Par exemple, si p a une valeur typique de.1 (1-p =.9), le taux d'erreur pour un échantillon de 800 devient 2,02 p. 100. PRA Inc. www.pra.ca admin@pra.ca 4
Notez qu'il s'agit de taux d'erreurs théoriques fondés sur une connaissance préalable du modèle de réponse (p). Les chercheurs se servent en général de la fraction 50/50, car cela est associé à un taux d'erreur plus élevé, et en cas d'incertitude, fournit l'estimation la plus prudente possible. Chaque cellule du tableau 3 indique le taux d'erreur (en pourcentage, 19 fois sur 20) pour différentes combinaisons de taille d'échantill on et de population. Remarquez comme la taille de la population (N) influence peu le taux d'erreur. Il ne faut pas oublier que ceci est lié à des questions simples oui/non, où la réponse attendue est 50/50 (p. ex., incertitude totale). Une ventilation (p. ex., selon le sexe et la région) exige des échantillons plus importants. Pour une analyse selon le sexe ou une analyse régionale ou culturelle, à l'échelle nationale au Canada, il faut un échantillon de 5 000. TABLEAU 3 Taux d'erreur (19 fois sur 20) Population Taille de l'échantillon (n) (N) 100 500 1,000 5,000 10 000 9,70% 4,16% 2,79% 0,69% 50 000 9,78% 4,34% 3,04% 1,25% 100 000 9,79% 4,36% 3,07% 1,32% 500 000 9,80% 4,38% 3,09% 1,37% 1 000 000 9,80% 4,38% 3,10% 1,38% 25 000 000 9,80% 4,38% 3,10% 1,39% Lectures complémentaires (en anglais) Blankenship, A.B., & Breen, George Edward. (1993). State of the art marketing research. Chicago: American Marketing Association. Cochran, William G. (1977). Sampling techniques. Toronto: John Wiley & Sons. Dillman, Don A. (1978). Mail and telephone surveys: The total design method. Toronto: John Wiley & Sons. Peterson, Robert A. (2000). Constructing effective questionnaires. Thousand Oaks: Sage. Pour obtenir plus de renseignements, adressez-vous à admin@pra.ca PRA Inc. www.pra.ca admin@pra.ca 5