LES ASSOCIÉS DE RECHERCHE EKOS INC.

Transcription

1 Recherche secondaire sur les pratiques exemplaires liées aux sondages de recherche en opinion publique à mode mixte et à la transition de mode pour le gouvernement du Canada Rapport final Présenté à : M. Nat Stone PARM/CMRP Gestionnaire, Connaissance et pratiques en recherche sur l'opinion publique Direction de la recherche en opinion publique Travaux publics et Services gouvernementaux Canada LES ASSOCIÉS DE RECHERCHE EKOS INC. Octobre 2013

2 LES ASSOCIÉS DE RECHERCHE EKOS Bureau d'ottawa 359, rue Kent, pièce 300 Ottawa (Ontario) K2P 0R6 Téléphone : Télécopieur : Courriel : pobox@ekos.com Bureau de Toronto 51, rue Wolseley Toronto (Ontario) M5T 1A4 Téléphone : Télécopieur : Courriel : toronto@ekos.com Bureau de Winnipeg 7, Prominence Point Winnipeg (Manitoba) R3Y 0A9 Téléphone : Courriel : winnipeg@ekos.com ii EKOS RESEARCH ASSOCIATES, 2013

3

4 TABLE DES MATIÈRES Sommaire... v 1. Introduction Sondages réalisés pour le gouvernement du Canada Ouvrages de tiers Recherche expérimentale interne d'ekos Pratiques exemplaires et leçons apprises Le contenu exprimé dans ce document représente les conclusions de l auteur et non pas nécessairement ceux de Travaux publics et Services gouvernementaux Canada. EKOS RESEARCH ASSOCIATES, 2013 iii

5 iv LES ASSOCIÉS DE RECHERCHE EKOS INC., 2013

6 SOMMAIRE Introduction Récemment, de nombreux débats ont eu lieu sur les avantages potentiels associés aux méthodes à mode mixte pour la réalisation d'une recherche en sciences sociales. Compte tenu de cette situation, Travaux publics et Services gouvernementaux Canada a confié aux Associés de recherche EKOS le mandat d'effectuer une recherche secondaire sur les pratiques exemplaires liées aux sondages de recherche en opinion publique à mode mixte pour le gouvernement du Canada. Pour les besoins de cette étude, un sondage à mode mixte signifie un sondage qui est fondé sur une combinaison d'un minimum de deux méthodes (dans le présent cas, par téléphone et en ligne) pour la collecte de données. L'approche adoptée dans le cadre de cette recherche comprend un examen approfondi de documents pertinents, notamment les rapports de recherche en opinion publique du gouvernement du Canada publiés depuis 2010 sur le site Rapports de recherches sur l'opinion publique ( de Bibliothèque et Archives Canada, ainsi que d'autres sources autorisées sur le Web, et de publications universitaires et d'associations de l'industrie. Les principales constatations de cet examen sont précisées ci-dessous et les conclusions de l'étude sont décrites plus en détail ultérieurement dans le présent rapport. Sondages réalisés pour le gouvernement du Canada Quatre cent cinquante-et-un rapports de recherche sur l opinion publique sur le site de Bibliothèque et Archives Canada ont été examinés par EKOS. Nous décrivons ci-dessous certains des résultats et conclusions les plus frappants découlant de notre examen de ces rapports. Limites des sondages réalisés pour le gouvernement du Canada Selon notre examen, il semble très difficile de déterminer tous les coûts associés à la réalisation des sondages à mode mixte par rapport aux sondages à mode de collecte unique, et ce, pour un certain nombre de raisons : Bien que le mode de sondage soit un facteur principal du coût, d'autres facteurs importants comprennent la longueur du sondage, la taille de l'échantillon et les types de questions posés (p. ex., questions ouvertes par rapport à questions fermées) qui varient grandement d'un sondage à l'autre. Bon nombre des études examinées comprenaient un élément qualitatif (p. ex., groupes de discussion, entrevues auprès de répondants clés); cependant, seulement un budget total global est fourni. EKOS RESEARCH ASSOCIATES, 2013 v

7 Plusieurs des études examinées ne comportent aucun budget. Notre examen révèle également qu'il est difficile de comparer des taux de réponse entre les sondages à mode unique et les sondages à mode mixte, puisque les sondages téléphoniques à mode unique sont généralement fondés sur la composition aléatoire (CA) tandis que les sondages à mode mixte font normalement appel aux panels de recherche. Notre examen des travaux du gouvernement du Canada permet de suggérer qu'il ne semble pas y avoir une différence importante entre ces deux méthodes de sondage pour ce qui est du temps passé sur le terrain. Cependant, il y a lieu de noter que les rapports ne comprenaient aucune information sur le temps consacré à la conception et la programmation; il est donc difficile d'évaluer avec précision l'actualité des sondages à mode mixte par rapport aux sondages à mode unique. Enfin, très peu de sondages justifient le recours à une méthode en particulier. Les rapports qui fournissent une explication à cet égard citent souvent le coût ou le besoin de cohérence avec des versions précédentes du sondage. Dans la plupart des cas, les objectifs de la recherche ont permis de déduire les motifs de l'utilisation d'un sondage à mode mixte. Malgré ces limites et mises en garde, notre examen des sondages du gouvernement du Canada effectués au cours des dernières années permet de fournir un aperçu des raisons qui motivent l'utilisation des sondages à mode mixte. Voici les principales raisons du recours aux sondages à mode mixte (elles sont décrites en détail plus loin dans le présent rapport) : 1. Coût et champ d'application 2. Atteinte des segments de la population difficiles à joindre 3. Sondages de type recensement pour lesquels l'objectif consiste à obtenir le plus de réponses possible 4. Cohérence avec les vagues antérieures d'une étude téléphonique tout en examinant les effets de la transition à un sondage en ligne 5. Représentations visuelles En outre, notre examen semble indiquer que dans certaines circonstances, il est avantageux d'utiliser une méthode à mode mixte et que dans d'autres circonstances, cette méthode est inappropriée. Une des principales raisons du recours à une méthode à mode mixte est de surmonter les problèmes de champ d application liés aux sondages en ligne. En 2010, selon l'enquête canadienne sur l'utilisation d'internet, environ deux ménages canadiens sur dix n'avaient pas accès à Internet. Afin d'assurer une représentativité complète dans les sondages en ligne, il faudrait offrir aux répondants potentiels n'ayant pas accès à Internet un autre moyen de répondre (p. ex., par courrier, par téléphone), en faisant ainsi des sondages à mode double. Une autre raison clé motivant le recours à une méthode à mode mixte est de stimuler les taux de réponse et de réduire le biais de non-réponse, tout en veillant à ce que le coût du sondage soit raisonnable. En outre, la recherche indique qu'en offrant plus d'un mode de collecte de données, le sondage est plus attrayant pour le répondant. 1 Cela est particulièrement utile lorsqu'il faut atteindre le plus grand nombre possible de personnes dans le cadre du sondage (p. ex., un sondage sur la satisfaction de la clientèle, un sondage de spécialistes dans un domaine particulier). vi LES ASSOCIÉS DE RECHERCHE EKOS INC., 2013

8 Toutefois, dans certains cas, il semble que la présence d'intervieweurs peut créer un biais de désirabilité sociale. Les répondants sont plus susceptibles d'exagérer ou de faire une déclaration trompeuse concernant leurs choix de style de vie ou leurs points de vue sur des enjeux controversés lorsqu'ils parlent à des intervieweurs par rapport à remplir un questionnaire anonyme (p. ex., en ligne). 2 Ces constatations suggèrent qu'un sondage à mode unique (en ligne) pourrait mieux convenir (p. ex., un sondage un sur la santé) lorsqu'il faut poser de telles questions (cet enjeu est discuté plus en détail ci-dessous et dans le reste de ce rapport). Ouvrages de tiers Nous avons aussi procédé à l'examen d'ouvrages de tiers sur les sondages à mode mixte. Nous avons constaté que les sondages téléphoniques en ligne ont fait l'objet de seulement une petite partie des recherches publiées. Les conclusions et incidences de cet examen sont résumées ci-après, en fonction des principaux enjeux soulevés dans les ouvrages. Coûts Bien que peu de documents font état des coûts spécifiques, selon la grande majorité des études, le coût lié à la réalisation d'un sondage à mode mixte est constamment inférieur à celui d'un sondage mené exclusivement par téléphone. Effets du mode de collecte de données en ligne et par téléphone De Leeuw (2005) 3 a examiné la documentation existante sur les effets des sondages à mode mixte. Selon l'auteure, il y a des différences marquées entre les modes de sondage lorsque les questions sont de nature délicate. Tout particulièrement, elle a constaté que les réponses étaient plus socialement souhaitables (et moins cohérentes) pour les modes avec intervieweur. Toutefois, elle a aussi constaté que ces modes donnaient lieu à des réponses plus détaillées lorsque des questions ouvertes étaient posées. L'auteure insiste sur la nécessité de fournir un «stimulus» équivalent entre les modes et souligne que cette équivalence n'est pas toujours respectée. Par exemple, dans le cadre d'un sondage téléphonique, les intervieweurs peuvent ne mentionner que les pôles dans une échelle de sept points (c est-à-dire 1 et 7), tandis que l'échelle complète peut être utilisée dans une version en ligne. Fricker et coll. (2005) 4 ont réalisé une expérience dans le cadre de laquelle on attribuait de manière aléatoire un sondage en ligne ou téléphonique à des répondants ayant accès à Internet. Cette étude a permis de conclure que pour ces deux types de sondage, il n'y avait aucune différence entre les réponses concernant des questions ayant trait aux attitudes et qui n'étaient pas de nature délicate. En outre, il n'y avait pas de différences entre les modes pour ce qui est des tendances à l'acquiescement. 5 Les répondants en ligne ont toutefois obtenu un meilleur pointage en ce qui a trait aux questions sur les EKOS RESEARCH ASSOCIATES, 2013 vii

9 connaissances. Les auteurs suggèrent que cela pourrait reposer sur le fait que ces répondants pouvaient relire les questions et répondre à leur propre rythme. Schonlau et coll. (2004) 6 ont examiné les effets du mode de collecte de données entre les sondages en ligne et les sondages téléphoniques. Cette étude a révélé qu'il existe un biais de désirabilité sociale parmi les répondants au sondage téléphonique concernant les questions de nature délicate. Tout particulièrement, selon cette étude, les répondants au sondage téléphonique sont beaucoup plus susceptibles d'évaluer leur santé comme étant «excellente» plutôt que simplement «très bonne». Fait intéressant, cet écart disparaît lorsque les catégories «excellente» et «très bonne» sont regroupées. Cependant, il faut noter que l'échantillon en ligne a été établi au moyen d'un panel non probabiliste à participation volontaire; par conséquent, ces résultats devraient être utilisés avec circonspection. Greene et coll. (2008) 7 ont effectué une méta-analyse de quatre études liées à la santé qui mettaient en contraste les études en ligne et téléphoniques. Toutes ces études ont révélé un biais de désirabilité sociale parmi les répondants au sondage téléphonique. Réduction du biais de non-réponse Selon notre examen, un des principaux avantages d'un sondage à mode mixte est un accroissement du taux de réponse et une diminution des erreurs liées à la non-réponse. Il faut toutefois faire une distinction importante à ce sujet. Le fait de donner aux répondants un choix de modes de sondage ne garantit pas nécessairement une augmentation des taux de réponse. Une expérience faite par Dillman, Clark et West (1994) 8 a permis de révéler que le taux global de réponses n'a pas augmenté même si les répondants avaient le choix entre un sondage téléphonique et un sondage postal. Dans le même ordre d'idées, une méta-analyse de neuf sondages en ligne-postaux effectuée par Fricker et Schonlau (2002) n'a pas permis de conclure que le fait de laisser aux personnes le choix entre un mode «conventionnel» et un mode en ligne donnait lieu à des taux de réponse plus élevés. 9 Par contre, il peut être utile d'attribuer à l'avance un mode de sondage aux répondants en fonction de leur préférence (si celle-ci est connue) : Dillman et coll. (2009) 10 affirment qu'offrir aux répondants leur mode de sondage privilégié augmente les taux de réponse. De plus, dans le cadre des études qui consistent à encourager à répondre à un mode et ensuite à faire la transition à un autre mode (c'est-à-dire un modèle séquentiel à mode mixte), s'il y a lieu, il y avait une augmentation des taux de réponse et une diminution du biais de non-réponse. Par exemple, Dillman et coll. (2001) 11 ont fait l'expérience de faire la transition d'un sondage téléphonique à un sondage postal, et d'un sondage postal, en ligne ou à l'aide de la technologie de réponse vocale interactive (RVI) à un sondage téléphonique. Ils ont constaté que ce type de transition de mode peut améliorer les taux de réponse et réduire les biais de non-réponse de manière considérable (dans le présent cas, les suivis téléphoniques ont permis d'augmenter les taux de réponse de 13 pour 100 à 45 pour ). Traitement des données manquantes Greene et coll. (2008) ont également examiné les différences qui existent entre les données manquantes des divers modes. Dans le cadre de cette étude, on a précisément offert aux répondants en ligne l'option de laisser tomber une question, contrairement aux répondants au sondage téléphonique (ces viii LES ASSOCIÉS DE RECHERCHE EKOS INC., 2013

10 derniers pouvaient laisser tomber la question, mais ils n'ont pas été informés que c'était une option). Pour la plupart des questions, le niveau de données manquantes était très bas, peu importe le mode de sondage. Cependant, dans deux circonstances, les répondants téléphoniques étaient beaucoup moins susceptibles d'offrir une réponse valide : 1) répondre à des questions de connaissance relativement difficiles, et 2) répondre à des questions sur un problème de santé hypothétique. Les auteurs ont indiqué que ces répondants ont certainement choisi de laisser tomber ces questions en raison d'un sentiment d'incertitude ou de malaise à l'égard des questions. Tâches de réponse Dans la documentation, on précise que lorsqu'on demande aux répondants d'effectuer une tâche (p. ex., «choisir tous les énoncés pertinents»), cette tâche doit être uniforme dans tous les modes de sondage. La tâche de réponse ne doit pas être modifiée même si la question est adaptée pour différents modes. Par exemple, une version auto-administrée d'un sondage peut comprendre une question à laquelle il faut «indiquer toutes les réponses pertinentes» tandis qu'une version administrée par un intervieweur peut comprendre une série de questions avec réponses par «oui» ou par «non». En modifiant la tâche du répondant, les deux tâches ne produisent pas de résultats comparables. Fournir des exemples Martin et coll. (2007) 13 soutiennent qu en ce qui concerne les sondages à mode mixte dans le cadre desquels des exemples sont lus ou montrés aux répondants, il est important de ne pas mettre les exemples derrière des hyperliens puisqu'ils ne sont accessibles que dans la partie en ligne du sondage. Lorsqu'il s'agit d'exemples où les intervieweurs doivent «lire au besoin» (p. ex., les intervieweurs doivent lire les exemples seulement lorsque les répondants sont incertains ou perplexes), les auteurs affirment toutefois que les hyperliens peuvent favoriser une exposition équivalente au matériel de la partie en ligne du sondage. Un autre facteur à considérer pour les sondages à mode mixte est le traitement des questions qui comprennent de longues listes d'exemples. Selon Hunter et Landreth (2006) 14, lorsque les intervieweurs doivent lire une longue liste d'exemples, les répondants les interrompent souvent quand ils reconnaissent le type de réponse souhaité ou entendent une réponse particulière qui s'applique à eux. Puisque ce problème ne se pose pas avec les sondages auto-administrés; ces types de questions ne sont pas susceptibles d'être posés de manière uniforme dans les sondages auto-administrés et les sondages administrés par un intervieweur. Uniformité des éléments visuels Aucune étude officielle n'a été réalisée au sujet des effets des caractères typographiques spéciaux (gras, soulignement, majuscules, italique, etc.), même si certains auteurs ont affirmé que l'utilisation ces caractères devrait être uniforme pour tous les modes. Dillman et coll. (2005) 15 soutiennent qu'il faudrait recourir aux caractères typographiques (gras, soulignement, majuscules, italique, etc.) de manière uniforme au sein des questionnaires. En outre, Martin et coll. (2007) 16 soulignent que ces EKOS RESEARCH ASSOCIATES, 2013 ix

11 caractères doivent être utilisés de manière cohérente non seulement au sein des modes, mais également entre les différents modes, lorsque cela est possible. Les auteurs précisent aussi que dans certains cas, l'uniformité n'est pas toujours possible. Mis à part le fait évident que les caractères typographiques ne s'appliquent pas aux sondages téléphoniques, les auteurs font remarquer que la convention liée aux hyperliens décourage l'utilisation du soulignement pour des besoins autres que les hyperliens dans les formulaires Internet. Randomisation des catégories de réponses Krosnick et Alwin (1987) 17 ont constaté que pour ce qui est des modes de sondages autoadministrés, les répondants ont tendance à traiter de manière plus approfondie les éléments figurant au début d'une liste de catégories de réponses et à examiner plus rapidement le reste des éléments dans la liste. Par conséquent, les répondants des sondages auto-administrés sont plus susceptibles de choisir les premières options (ce phénomène s'appelle l'effet de primauté). En revanche, dans les sondages administrés par un intervieweur, les répondants n'ont généralement pas suffisamment de temps pour traiter toutes les catégories de réponses lues par l'intervieweur; par conséquent, les dernières catégories entendues sont plus susceptibles d'être retenues. Donc, dans le cadre de ces sondages, les répondants ont tendance à choisir la plupart du temps la dernière option de réponse (ce phénomène s'appelle l'effet de récence). Cette constatation suggère que la randomisation des catégories de réponses est particulièrement importante pour les sondages à mode mixte qui utilisent une combinaison de modes auto-administrés et administrés par un intervieweur (p. ex., téléphone et en ligne). Recherche expérimentale interne d'ekos EKOS a également réalisé des tests expérimentaux sur l'incidence des méthodes de sondage à mode mixte (ainsi que d'autres questions de méthodologie) au cours des dernières années. En décembre 2012, EKOS a mené deux sondages identiques au moyen de modes différents et a comparé les résultats. Un sondage a été effectué exclusivement au moyen de la réponse vocale interactive (RVI). Le second était un sondage à mode mixte qui comprenait un volet en ligne et un volet RVI. Les résultats de cette analyse révèlent que les répondants au sondage mené à l'aide de la technologie RVI avaient systématiquement plus tendance à exprimer de la satisfaction à l'égard de l'avenir de la société; ils étaient plus susceptibles d'avoir confiance dans les établissements démocratiques du Canada et moins susceptibles de percevoir la classe moyenne du Canada comme étant en déclin. Fait intéressant, ces répondants étaient également plus susceptibles de se voir comme étant pauvres ou faisant partie de la classe ouvrière et, peut-être pour cette raison, étaient plus pessimistes au sujet de leur perspective financière personnelle. En outre, les répondants au sondage ayant recours à la RVI seulement étaient beaucoup plus susceptibles de laisser tomber des questions. Dans le cadre d'une étude pour la conférence Net Gain 4.0 de l'association de la Recherche et de l'intelligence Marketing (ARIM), EKOS a réalisé simultanément deux sondages en ligne un au moyen d'un panel probabiliste où les répondants sont recrutés de manière aléatoire par téléphone (à fil et cellulaire), et l'autre au moyen d'un panel à participation volontaire où les répondants peuvent consulter le site Web de l'entreprise et s'inscrire comme membre du panel. Les résultats révèlent deux constatations importantes. Tout d'abord, les membres du panel en ligne à participation volontaire affichent une incidence x LES ASSOCIÉS DE RECHERCHE EKOS INC., 2013

12 substantiellement plus élevée de répondants professionnels qui sont membres de multiples panels et qui répondent à un grand nombre de sondages en ligne à la recherche des diverses mesures incitatives financières. Ensuite, les membres de ce panel avaient un revenu faible non représentatif et avaient tendance à être de très grands utilisateurs d'internet. Lorsque les résultats des sondages ont été comparés à des points de référence externes (comme les taux de tabagisme, les titulaires d'un passeport, etc.), les membres du panel probabiliste avaient constamment de meilleurs résultats que leurs homologues volontaires. De plus, les répondants au sondage à participation volontaire avaient systématiquement plus tendance à échouer les contrôles de qualité (comme la rapidité, la capacité à suivre des instructions, etc.). 18 Ces résultats appuient la proposition selon laquelle la validité externe des échantillons fondés sur la probabilité est plus élevée que celle des échantillons à participation volontaire. Pratiques exemplaires et leçons apprises Selon notre examen des études du gouvernement du Canada, des ouvrages de tiers et de notre propre recherche interne, nous présentons les pratiques exemplaires et les leçons apprises ci-après en ce qui concerne les méthodes à mode mixte (cette liste est décrite plus en détail dans le dernier chapitre du présent rapport). Les principales raisons du recours aux sondages à mode mixte sont les suivantes : Coût et champ d'application Atteinte des segments de la population difficiles à joindre Sondages de type recensement pour lesquels l'objectif consiste à obtenir le plus de réponses possible Cohérence avec les vagues antérieures d'une étude téléphonique tout en examinant les effets de la transition à un sondage en ligne Représentations visuelles La conception de sondages qui peuvent être menés de manière identique dans les deux modes afin de pouvoir déterminer avec plus d'exactitude les problèmes liés au coût et à la l'échéancier. Éviter les questions sur le style de vie ou suscitant la controverse si les sondages téléphoniques constituent un des modes de sondage (voir le chapitre 3 pour en savoir plus à ce sujet). Il faut éviter les questions ayant la possibilité de créer un biais de désirabilité sociale dans le cadre des sondages à mode mixte qui dépendent à la fois d'intervieweurs en direct et de questionnaires auto-administrés (p. ex., sur l'état de santé et les choix de modes de vie). Lorsqu'il est nécessaire de poser des questions sur l'état de santé et les choix de modes de vie, celles-ci devraient porter sur des événements objectifs (par exemple, poser des questions EKOS RESEARCH ASSOCIATES, 2013 xi

13 sur des diagnostics faits récemment par un médecin plutôt que de demander aux répondants d'évaluer leur santé). Il faut éviter les questions de type «vrai ou faux» (connaissance) dans les sondages à mode mixte. Dans le cadre d'une étude à plusieurs modes, il est important d'élaborer des sondages qui sont identiques pour chaque mode. Dans les sondages à mode mixte avec un élément en ligne, il faut afficher des exemples à l'écran plutôt que d'avoir à cliquer sur des hyperliens. En ce qui concerne les sondages à mode mixte avec un élément administré par un intervieweur et un élément auto-administré, les listes d'exemples devraient être courtes et présentées dans le même ordre. Les caractères typographiques spéciaux devraient être uniformes pour tous les modes. La randomisation des catégories de réponses, bien qu'elle soit importante pour presque tous les types de sondage, revêt une importance particulière dans les sondages à mode mixte (téléphoniques et en ligne). Lorsque les options de laisser tomber une question sont explicitement offertes aux répondants dans un mode, elles doivent l'être de façon uniforme dans tous les modes. Des panels probabilistes en ligne plutôt que des panels en ligne à participation volontaire devraient être utilisés pour les sondages à mode mixte ayant un élément en ligne. Dans le cadre de la transition de sondages téléphoniques assistés par ordinateur à des sondages auto-administrés, le fait d'offrir l'option de laisser tomber des questions peut avoir une incidence sur le suivi. Selon notre examen, il semble que les méthodes à mode mixte (sondages en ligne et téléphoniques) permettront de réduire au minimum les coûts liés à la collecte des données, d'optimiser le champ d'application et d'accroître les taux de réponse. Il est moins clair si une méthode mixte permet de réduire le temps requis pour effectuer un sondage à mode mixte. Il faut également noter qu'une méthode à mode mixte n'est pas recommandée dans certaines circonstances (p. ex., lorsque des questions portent sur des enjeux de désirabilité sociale, lorsque des questions identiques ne peuvent pas être posées, etc.). xii LES ASSOCIÉS DE RECHERCHE EKOS INC., 2013

14 1. INTRODUCTION Récemment, de nombreux débats ont eu lieu sur les avantages potentiels associés aux méthodes à mode mixte pour la réalisation d'une recherche en sciences sociales. Par exemple, Dillman, Smyth et Christian ont écrit ce qui suit : «Les évaluateurs sont de plus en plus à la recherche de moyens de compenser les biais dans les estimations fournies par les sondages et qui peuvent découler du champ d'application, de l'échantillonnage ou des erreurs de non-réponse dans les sondages à mode unique. En outre, les évaluateurs, devant composer avec des budgets de plus en plus serrés et la demande de résultats de sondages rapides, font désormais appel à des modes nouveaux et peu coûteux, comme le Web et la réponse vocale interactive (RVI), pour la collecte de données. La croissance rapide de documents sur les possibilités et les lacunes liées à l'introduction d'un deuxième ou troisième mode dans la conception des sondages démontre l'intérêt grandissant envers les sondages à mode mixte.» [Traduction] Compte tenu de l'attention accordée aux méthodes à mode mixte pour la réalisation de recherches en sciences sociales, Travaux publics et Services gouvernementaux Canada a confié aux Associés de recherche EKOS le mandat d'effectuer une recherche secondaire sur les pratiques exemplaires liées aux sondages de recherche en opinion publique à mode mixte pour le gouvernement du Canada. Pour les besoins de cette étude, un sondage à mode mixte signifie un sondage qui est fondé sur une combinaison d'un minimum de deux méthodes (dans le présent cas, par téléphone et en ligne) pour la collecte de données, et ce, grâce à un des quatre moyens suivants : Utiliser un mode pour communiquer avec les répondants et les encourager à répondre au moyen d'un mode différent. Utiliser un deuxième mode pour la collecte des réponses auprès de ces mêmes répondants ou à des questions précises d'un questionnaire. Utiliser d'autres modes pour des répondants différents au cours de la même période du sondage. Utiliser un mode différent pour sonder les mêmes répondants à une période ultérieure de collecte de données. De plus, pour les besoins du présent projet : Le téléphone est défini comme étant un téléphone à fil, la réponse vocale interactive et le téléphone mobile (communication audio seulement). Le terme «en ligne» signifie le Web, incluant le courrier électronique, le téléphone mobile (à l'exception de l'audio), la messagerie texte et les médias sociaux. LES ASSOCIÉS DE RECHERCHE EKOS INC.,

15 Approche et méthodologie L'approche adoptée dans le cadre de cette recherche comprend un examen approfondi de documents pertinents, notamment les rapports de recherche sur l opinion publique du gouvernement du Canada publiés après 2010 sur le site de Bibliothèque et Archives Canada ( ainsi que d'autres sources autorisées sur le Web, et des publications universitaires et d'associations de l'industrie. L'examen de la documentation est fondé sur des études et des références axées sur le grand public et des populations spécialisées. Dans le cadre de l'examen, on a comparé les sondages téléphoniques-en ligne à mode mixte aux sondages téléphoniques-en ligne à mode unique en fonction des enjeux suivants : le coût; le caractère opportun; le champ d'application; les taux de réponse; le biais de non-réponse; les types d'erreurs de mesure qui ont une incidence sur la qualité des données des sondages à mode mixte ainsi que leurs répercussions relatives; les problèmes liés à la transition d'un sondage de suivi (d'un sondage téléphonique à un sondage en ligne). EKOS a analysé l'information des ouvrages et tenté de tirer des conclusions relativement à ce qui suit : Quels sont les types de sondages à mode mixte réalisés par le gouvernement du Canada depuis 2010? Quels sont les avantages les plus importants liés à l'utilisation des sondages à mode mixte? Dans quelles circonstances les sondages à mode mixte sont-ils appropriés? Dans quelles circonstances les sondages à mode mixte sont-ils requis? Quels sont les problèmes les plus importants liés à la réalisation d'un sondage à mode mixte? Quels sont les problèmes les plus importants liés à la transition de mode de collecte de données dans le cadre d'un sondage de suivi (sondage téléphonique à sondage en ligne)? Le présent rapport vise à aborder tous les enjeux précisés ci-dessus. Le reste du rapport est divisé en quatre chapitres. Le chapitre 2 comprend un aperçu des sondages menés par le gouvernement du Canada depuis 2010 et met l'accent sur les leçons apprises concernant les sondages à mode mixte. Le chapitre 3 donne un aperçu des ouvrages de tiers sur les sondages à mode mixte, et le chapitre 4 donne un 2 LES ASSOCIÉS DE RECHERCHE EKOS INC., 2013

16 résumé de certains travaux d'ekos dans ce domaine. Enfin, le chapitre 5 résume les leçons apprises et les pratiques exemplaires découlant de cette recherche. EKOS RESEARCH ASSOCIATES,

17 2. SONDAGES RÉALISÉS POUR LE GOUVERNEMENT DU CANADA Quatre cent cinquante-et-un rapports de recherche sur l opinion publique de l'exercice , sur le site de Bibliothèque et Archives Canada, ont été examinés par EKOS. Nous décrivons ci-dessous certains des résultats et conclusions les plus frappants découlant de notre examen de ces rapports. Limites des sondages réalisés pour le gouvernement du Canada Selon notre examen, il semble très difficile de déterminer tous les coûts associés à la réalisation des sondages à mode mixte par rapport aux sondages à mode de collecte unique, et ce, pour un certain nombre de raisons : Bien que le mode de sondage soit un facteur principal du coût, d'autres facteurs importants comprennent la longueur du sondage, la taille de l'échantillon et les types de questions posés (p. ex., questions ouvertes par rapport à questions fermées ) qui varient grandement d'un sondage à l'autre. Bon nombre des études examinées comprenaient un élément qualitatif (p. ex., groupes de discussion, entrevues auprès de répondants clés); cependant, seulement un budget total global est fourni. Plusieurs des études examinées ne comportent aucun budget. Notre examen révèle également qu'il est difficile de comparer des taux de réponse entre les sondages à mode unique et les sondages à mode mixte, puisque les sondages téléphoniques à mode unique sont généralement fondés sur la composition aléatoire (CA) tandis que les sondages à mode mixte font normalement appel aux panels de recherche. Notre examen des travaux du gouvernement du Canada permet de suggérer qu'il ne semble pas y avoir une différence importante entre ces deux méthodes de sondage pour ce qui est du temps passé sur le terrain. Cependant, il y a lieu de noter que les rapports ne comprenaient aucune information sur le temps consacré à la conception et la programmation; il est donc difficile d'évaluer avec précision l'actualité des sondages à mode mixte par rapport aux sondages à mode unique. Enfin, très peu de sondages justifient le recours à une méthode en particulier. Les rapports qui fournissent une explication à cet égard citent souvent le coût ou le besoin de cohérence avec des versions précédentes du sondage. Dans la plupart des cas, les objectifs de la recherche ont permis de déduire les motifs de l'utilisation d'un sondage à mode mixte. 4 LES ASSOCIÉS DE RECHERCHE EKOS INC., 2013

18 Motifs du recours aux sondages à mode mixte Malgré ces limites et mises en garde, notre examen des sondages du gouvernement du Canada effectués au cours des dernières années permet de fournir un aperçu des raisons qui motivent l'utilisation des sondages à mode mixte. Les principales raisons du recours aux sondages à mode mixte sont les suivantes : 1. Coût et champ d'application 2. Atteinte des segments de la population difficiles à joindre 3. Sondages de type recensement pour lesquels l'objectif consiste à obtenir le plus de réponses possible 4. Cohérence avec les vagues antérieures d'une étude téléphonique tout en examinant les effets de la transition à un sondage en ligne 5. Représentations visuelles Ces motifs sont décrits en détail ci-après (veuillez noter que les études ayant fait l'objet d'un examen sont désignées selon le Numéro d'enregistrement de la ROP (POR XXX-XX) au cas où le client souhaiterait les examiner de manière plus approfondie). 1. Coût et champ d'application (POR ) Selon cette étude, un sondage hybride en ligne et téléphonique a été utilisé afin de maintenir les coûts à un niveau raisonnable tout en assurant un champ d'application approprié de la population cible pour un sondage probabiliste (c'est-à-dire un champ d'application d'au moins 90 pour 100). Sachant qu'environ un cinquième des Canadiennes et Canadiens n'utilise par Internet, environ 19 pour 100 des répondants ont été contactés par téléphone. 2. Communication avec des segments de la population qui seraient autrement difficiles à joindre (POR ) Cette étude comprenait un sondage téléphonique auprès du grand public, tandis qu'un panel en ligne a été utilisé pour les segments de la population qui sont plus difficiles à joindre (p. ex., les Canadiennes et Canadiens âgés de 16 et 17 ans ainsi que les immigrants récents). (POR ) Cette étude comprenait un sondage téléphonique auprès du grand public, tandis qu un sondage en ligne a été réalisé par les personnes qui ont consulté le site Web du ministère (le sondage était affiché sur le site Web pour que les visiteurs puissent le compléter). (POR ) Cette étude comprenait trois sondages semblables afin d'examiner les opinions de trois populations cibles différentes - le grand public, les producteurs et les associations EKOS RESEARCH ASSOCIATES,

19 agricoles. Les deux premiers groupes ont été interviewés par téléphone pour assurer l uniformité avec les vagues précédentes de l'étude. Le groupe final (les associations agricoles) a répondu à un sondage en ligne, puisqu'il s'agissait du moyen le plus efficace de communiquer avec celui-ci. (POR ) Comme pour la POR , cette étude comprenait un sondage téléphonique auprès du grand public et un sondage en ligne pour les segments de la population qui sont plus difficiles à joindre (p. ex., les Canadiennes et Canadiens âgés de 16 et 17 ans ainsi que les immigrants récents). 3. Sondages de type recensement pour lesquels l'objectif consiste à obtenir le plus de réponses possible (POR ) Cette étude portait sur un sondage des clients qui ont utilisé les services de Bibliothèque et Archives Canada. Afin de joindre le plus grand nombre possible de clients, les répondants pouvaient avoir accès à l'étude en ligne ou par l'entremise d'interceptions au moyen de tablettes électroniques. Les participants pouvaient aussi utiliser des copies imprimées qui étaient ensuite intégrées à l'étude en ligne. (POR ) Cette étude comprenait un sondage auprès des partenaires contractuels de la Gendarmerie royale du Canada (GRC). Une combinaison de sondages en ligne, téléphoniques et par télécopieur a été utilisée pour communiquer avec toutes les personnesressources de la population cible. (POR ) Cette étude comportait un sondage auprès de 189 personnes qui ont eu une interaction récente avec l'office des transports du Canada. Les sondages ont été réalisés principalement en ligne; cependant, certains étaient sur support papier et ont été transmis au fournisseur pour qu'il saisisse manuellement les données. 4. Cohérence avec les vagues antérieures d'une étude téléphonique tout en examinant les effets de la transition à un sondage en ligne (POR ) Dans le cadre de cette étude, on utilisait une méthode à mode mixte pour faire la transition d'un sondage téléphonique à un sondage en ligne. Pour ce qui est des études de suivi de référence, les sondages ont été effectués par téléphone. Cependant, on croyait qu'il serait possible d'obtenir des données plus rigoureuses et de manière plus économique au moyen d une approche en ligne. Une approche mixte a été adoptée pour concilier cette approche avec la nécessité d'assurer l'uniformité du suivi au fil du temps. Deux modes ont été utilisés : 1) un sondage ITAO en direct pour aborder les questions qui ont été posées dans des versions antérieures du sondage et qui devaient faire l'objet d'un suivi, et 2) un sondage en ligne. Les deux sondages comprenaient certains éléments de suivi clés, et l'auteur a indiqué que les résultats obtenus étaient comparables pour les deux modes. Il y a toutefois lieu de noter un certain nombre de caractéristiques au sujet de cette étude. 6 LES ASSOCIÉS DE RECHERCHE EKOS INC., 2013

20 Tout d'abord, les deux questionnaires n'étaient pas identiques (chaque sondage comportait un nombre différent de questions). Les questions additionnelles dans le sondage en ligne auraient pu avoir une incidence sur les réponses. Ensuite, l'auteur reconnaît que, dans chaque questionnaire, une échelle différente était utilisée pour certaines questions. Tout particulièrement, dans un questionnaire, une échelle à quatre points était utilisée pour certaines questions (c'est-à-dire qu'il n'y avait aucun point médian neutre), tandis que dans l'autre, une échelle à cinq points était utilisée (c'est-à-dire qu'il y avait un point médian neutre). Le fait de présenter un point médian neutre aux répondants peut avoir une incidence considérable sur les réponses. Enfin, l'auteur a nommé le panel qui a servi à concevoir l'échantillon en ligne, mais il ne donne aucune information sur la façon dont les membres de ce panel ont été choisis. Il n'est pas clair s'il s'agit d'un panel probabiliste ou d'un panel à participation volontaire. (POR ) Dans le cadre de cette étude, une version téléphonique et une version en ligne d'un sondage ont été utilisées pour que les résultats puissent être comparés à ceux des vagues précédentes de l'étude et que des comparaisons puissent être faites entre les résultats du sondage téléphonique à composition aléatoire et du sondage par panel en ligne. (POR ) Cette recherche comprenait une étude sur les attitudes des consommateurs canadiens envers le système d'agriculture et Agroalimentaire Canada. Un sondage téléphonique a principalement été utilisé pour la collecte de données afin d'assurer l'uniformité avec les vagues précédentes de l'étude. Toutefois, l'étude comprenait aussi un sondage en ligne afin d'être «proactif», dans le but de pouvoir faire la transition à une méthode en ligne à l'avenir. Les différences ci-après ont été soulevées entre les sondages téléphoniques et en ligne : Les répondants en ligne avaient une plus grande confiance dans la réglementation. Les répondants au sondage téléphonique avaient un degré de familiarité plus élevé concernant les bioproduits et les animaux génétiquement modifiés (cette constatation est conforme à la documentation sur les différences entre les sondages administrés par un intervieweur et les sondages auto-administrés concernant les questions sur le degré de familiarité voir le chapitre 3). Le soutien pour les biocarburants et les bioproduits provenant des résidus était plus élevé parmi les répondants en ligne, même si les répondants au sondage téléphonique étaient plus enclins à payer davantage pour ces produits. Les répondants au sondage téléphonique étaient plus susceptibles de percevoir le Canada comme un chef de file mondial dans le domaine de la biotechnologie et étaient plus susceptibles d'insister pour que ces technologies soient développées au Canada. EKOS RESEARCH ASSOCIATES,

21 Il faut toutefois noter que le sondage en ligne a été réalisé au moyen d'un panel non probabiliste (fait admis par l'auteur). En outre, il faut souligner que la taille de l'échantillon de la partie en ligne du sondage était petite (200 cas). Enfin, l'auteur recommande de réaliser d'autres recherches et analyses plus approfondies avant de procéder à la transition complète de ce sondage téléphonique à un sondage en ligne. (POR ) Cette étude comprenait une approche à mode mixte qui servait à déterminer si la transition à un mode de collecte de données en ligne serait une approche viable dans l'avenir, compte tenu de la diminution des taux de réponse aux sondages téléphoniques. Cependant, le rapport ne fournissait aucun détail sur les différences entre les résultats des sondages téléphoniques et en ligne. (POR ) Cette étude comprenait un sondage à mode mixte pour déterminer si la transition à un sondage en ligne aurait une incidence sur les résultats du sondage. Pour la plupart des questions, les résultats du sondage en ligne étaient similaires à ceux du sondage téléphonique, particulièrement en ce qui concerne les questions sur des «opinions précises». Il y avait toutefois plusieurs différences intéressantes Les répondants au sondage en ligne ont constamment obtenu des résultats plus élevés que les répondants au sondage téléphonique concernant les questions sur les connaissances (cette constatation correspond à celle des ouvrages de tiers à cet égard voir le chapitre 3). Les répondants au sondage en ligne ont constamment obtenu de meilleurs résultats concernant les questions de mémoire (l'auteur affirme que cela repose sur la capacité du répondant à se renseigner en ligne sur le sujet en question). Les répondants au sondage en ligne donnaient des réponses plus détaillées aux questions ouvertes et étaient plus susceptibles de fournir «d'autres» réponses. Les répondants au sondage téléphonique choisissaient de façon systématique plus d'options lorsqu'on leur posait des questions à mentions multiples. Il faut également souligner que l'échantillon en ligne a été choisi à partir d'un panel non probabiliste à participation volontaire. 5. Représentations visuelles (POR ) Dans le cadre de cette étude, une méthode à mode mixte a été utilisée pour mesurer le degré de sensibilisation à une campagne publicitaire et les réponses à l'égard de celle-ci. La plupart des données ont été obtenues au moyen d'un sondage téléphonique pour assurer l'uniformité avec des vagues antérieures de l'étude. Un questionnaire en ligne a 8 LES ASSOCIÉS DE RECHERCHE EKOS INC., 2013

22 toutefois été utilisé pour jauger le degré de sensibilisation aux représentations visuelles d'une campagne, afin de compléter le sondage téléphonique qui se limitait à des indices verbaux pour sonder la sensibilisation. Conclusions Notre examen indique que dans certaines circonstances, il est avantageux d'utiliser une méthode à mode mixte et que dans d'autres circonstances, cette méthode est inappropriée. Circonstances où il est avantageux d'utiliser une méthode à mode mixte Il existe la possibilité d'un biais lié à des problèmes de champ d'application pour un sondage en ligne auprès de la population en général réalisé au moyen d'une méthode en ligne uniquement. En 2010, selon l'enquête canadienne sur l'utilisation d'internet menée par Statistique Canada, environ deux ménages canadiens sur dix n'ont pas accès à Internet. Afin d'assurer une représentativité complète dans les sondages en ligne, il faudrait offrir aux répondants potentiels n'ayant pas accès à Internet un autre moyen de répondre (p. ex., par la poste, par téléphone), en faisant ainsi des sondages à mode double. De plus, les sondages à mode mixte peuvent être utilisés pour accroître les taux de réponse et réduire le biais de non-réponse, tout en veillant à ce que le coût du sondage soit raisonnable. Par exemple, il est possible de faire un suivi auprès des répondants à un sondage en ligne au moyen d'un volet téléphonique. En outre, la recherche indique qu'en offrant plus d'un mode de collecte de données, le sondage est plus attrayant pour le répondant. 19 Cela est particulièrement utile lorsqu'il faut atteindre le plus grand nombre possible de personnes dans le cadre du sondage (p. ex., un sondage sur la satisfaction de la clientèle, un sondage de spécialistes dans un domaine particulier). Circonstances où il est inapproprié d'utiliser une méthode à mode mixte Toutefois, dans certaines circonstances, il semble que la présence d'intervieweurs peut créer un biais de désirabilité sociale. Les répondants sont plus susceptibles d'exagérer ou de faire une déclaration trompeuse concernant leurs choix de style de vie ou leurs points de vue sur des enjeux controversés lorsqu'ils parlent à des intervieweurs par rapport à remplir un questionnaire anonyme (p. ex., en ligne). 20 Un sondage à mode unique (en ligne) serait mieux adapté à une recherche dans le cadre de laquelle il faut poser de telles questions (p. ex., un sondage un sur la santé). Cette question est abordée de manière plus approfondie dans le chapitre suivant. EKOS RESEARCH ASSOCIATES,

23 Selon notre examen des études du gouvernement du Canada effectuées au cours des trois dernières années, nous présentons les pratiques exemplaires et les leçons apprises ci-après en ce qui concerne les méthodes à mode mixte. Pratiques exemplaires et leçons apprises Les principales raisons du recours aux sondages à mode mixte sont les suivantes : Coût et champ d'application Atteinte des segments de la population difficiles à joindre Sondages de type recensement pour lesquels l'objectif consiste à obtenir le plus de réponses possible Cohérence avec les vagues antérieures d'une étude téléphonique tout en examinant les effets de la transition à un sondage en ligne Représentations visuelles La conception de sondages qui peuvent être menés de manière identique dans les deux modes afin de pouvoir déterminer avec plus d'exactitude les problèmes liés au coût et à la l'échéancier. Lors de la transition d'un sondage téléphonique à un sondage en ligne, il faut utiliser des questions identiques dans les deux modes pour faire une comparaison exacte. Lorsque le gouvernement du Canada entreprend des études de conception expérimentales à mode mixte, un panel probabiliste devrait être utilisé pour le sondage en ligne. Éviter les questions sur le style de vie ou suscitant la controverse si les sondages téléphoniques constituent un des modes de sondage (voir le chapitre 3 pour en savoir plus sur ce sujet). 10 LES ASSOCIÉS DE RECHERCHE EKOS INC., 2013

24 3. OUVRAGES DE TIERS chapitre. Les ouvrages de tiers liés aux sondages à mode mixte sont examinés dans le présent Il faut souligner que la plupart des ouvrages sur les sondages à mode mixte portent sur les sondages en ligne et postaux, plutôt que sur les sondages en ligne et téléphoniques. Cette conclusion n'est sans doute pas surprenante en raison des similitudes qui existent entre les sondages en ligne et postaux : aucun intervieweur n'est requis dans les deux cas, la réponse dépend d'une communication visuelle, et les répondants peuvent répondre aux sondages à leur propre rythme, contrairement aux sondages administrés par un intervieweur. Notre examen révèle que seulement une petite partie des recherches publiées portait sur les sondages en ligne et téléphoniques (la majorité de cette recherche est décrite ci-après). a) Types de sondages à mode mixte Veuillez noter qu'il y a deux types fondamentaux de sondages à mode mixte : 1. Un mode de collecte de données principal avec une ou plusieurs méthodes secondaires (par exemple, un sondage postal avec un sondage téléphonique de suivi pour joindre les personnes qui n'ont pas répondu par la poste); 2. De multiples modes de collecte de données où tous les modes sont aussi importants les uns que les autres (par exemple, un sondage effectué en ligne et par téléphone dans le cadre duquel les répondants peuvent choisir le mode qu'ils souhaitent utiliser pour répondre). Cette section portera sur le second type. b) Coûts Bien que peu de documents faisaient état des coûts spécifiques, selon la grande majorité des études le coût lié à la réalisation d'un sondage à mode mixte est constamment inférieur à celui d'un sondage mené exclusivement par téléphone. EKOS RESEARCH ASSOCIATES,

25 c) Effets du mode de collecte de données en ligne et par téléphone De Leeuw (2005) 21 a examiné la documentation existante sur les sondages à mode mixte. Selon l'auteure, il y a des différences marquées entre les modes de sondage lorsque les questions sont de nature délicate. Tout particulièrement, elle a constaté que les modes avec intervieweur produisaient des réponses plus socialement souhaitables (et moins cohérentes). Toutefois, elle a aussi constaté que ces modes donnaient lieu à des réponses plus détaillées lorsque des questions ouvertes étaient posées. L'auteure insiste sur la nécessité de fournir un «stimulus» équivalent entre les modes et souligne que cette équivalence n'est pas toujours respectée. Par exemple, dans le cadre d'un sondage téléphonique, les intervieweurs peuvent ne mentionner que les pôles dans une échelle de sept points (c.-à-d. 1 et 7), tandis que l'échelle complète peut être utilisée dans une version en ligne. Fricker et coll. (2005) 22 ont réalisé une expérience dans le cadre de laquelle on attribuait de manière aléatoire un sondage en ligne ou téléphonique à des répondants ayant accès à Internet. Cette étude a permis de conclure que pour ces deux types de sondage, il n'y avait aucune différence entre les réponses concernant des questions ayant trait aux attitudes et qui n'étaient pas de nature délicate. En outre, il n'y avait pas de différences entre les modes pour ce qui est des tendances à l'acquiescement. 23 Les répondants en ligne ont toutefois obtenu un meilleur pointage en ce qui a trait aux questions sur les connaissances. Les auteurs suggèrent que cela pourrait reposer sur le fait que ces répondants pouvaient relire les questions et répondre à leur propre rythme. Schonlau et coll. (2004) 24 ont examiné les effets du mode de collecte de données entre les sondages en ligne et les sondages téléphoniques. Cette étude a révélé qu'il existe un biais de désirabilité sociale parmi les répondants au sondage téléphonique concernant les questions de nature délicate. Tout particulièrement, selon cette étude, les répondants au sondage téléphonique sont beaucoup plus susceptibles d'évaluer leur santé comme étant «excellente» plutôt que simplement «très bonne». Fait intéressant, cet écart disparaît lorsque les catégories «excellente» et «très bonne» sont regroupées. Cependant, il faut noter que l'échantillon en ligne a été établi au moyen d'un panel non probabiliste à participation volontaire; par conséquent, ces résultats devraient être utilisés avec circonspection. Greene et coll. (2008) 25 ont effectué une méta-analyse de quatre études liées à la santé qui mettait en contraste les résultats des études en ligne et téléphoniques. Toutes ces études ont révélé un biais de désirabilité sociale parmi les répondants aux sondages téléphoniques. Par exemple, selon une étude, les répondants aux sondages en ligne étaient plus susceptibles de déclarer une consommation occasionnelle excessive d'alcool (beuverie express) que les répondants aux sondages téléphoniques. Les auteurs reconnaissent toutefois que les différences peuvent découler de différences sociodémographiques entre les groupes de répondants aux sondages en ligne et téléphoniques, plutôt de différences entre les modes de collecte. Les auteurs concluent que l'influence du Web par rapport au téléphone sur les données de sondage n'est pas claire. Dans la seconde partie de leur étude, Greene et coll. (2008) ont effectué un sondage hybride en ligne et téléphonique. Les répondants provenaient d'un bassin d'adultes qui avaient répondu à un sondage téléphonique antérieur et à qui on avait attribué de manière aléatoire une version en ligne ou 12 LES ASSOCIÉS DE RECHERCHE EKOS INC., 2013