FOTO - L OMNIBUS MENSUEL DE CROP LE NOUVEAU CROP-EXPRESS 550, RUE SHERBROOKE OUEST MONTRÉAL (QUÉBEC) H3A 1B9 BUREAU 900 TOUR EST T 514 849-8086, POSTE 3064
Réflexions méthodologiques Depuis des années, CROP offre à sa clientèle un sondage omnibus à frais partagés réalisé mensuellement. Depuis ses débuts, cet omnibus, s appuyant sur des enquêtes téléphoniques auprès d échantillons de 1 000 entrevues complétées et représentant la population âgée de 18 ans et plus, répondait parfaitement bien aux règles statistiques de l inférence et de la représentativité probabiliste (marges d erreur maximales d environ 3 %, etc.). Au cours de l année 2010, nous avons transformé la méthode de collecte des données de cet omnibus pour privilégier des entrevues en ligne utilisant des échantillons par panel. Ces derniers nous sont fournis par des entreprises avec lesquelles nous travaillons régulièrement et auxquelles nous faisons entièrement confiance. Cette décision a été prise après mûre réflexion et surtout après avoir testé une rigoureuse méthodologie nous permettant d optimiser la qualité des résultats. La difficulté croissante de réaliser des entrevues téléphoniques dans les limites des calendriers requis pour ce type d enquêtes ainsi que les coûts croissants qu elles génèrent nous ont amenés à prendre cette décision de transformer notre omnibus mensuel en une étude sur Internet utilisant des panels web. Cette solution nous procure plus de flexibilité, tout en nous permettant de faire visualiser certains éléments à l écran et de maximiser l authenticité des réponses (lorsque les entrevues sont autoadministrées sur Internet on évite les réponses socialement acceptables qu on obtient assez souvent au téléphone). La controverse autour des panels en ligne Même si le Canada est à l heure actuelle un des marchés où l usage des panels en ligne pour la recherche marketing et les sondages d opinion est le plus élevé au monde (proportionnellement à l ensemble des activités de recherche au pays), l usage de ces panels a encore très mauvaise presse dans notre marché domestique. Nous avons donc voulu mettre au point une procédure visant à amoindrir les problèmes inhérents à l usage de ces panels. La mauvaise presse reliée aux échantillonnages par panel web vient du fait que sur le plan de l inférence statistique, ils ne peuvent être formellement considérés comme représentatifs des populations étudiées, puisque le mode de sélection et de recrutement des participants ne répond pas à des règles probabilistes. On ne peut affirmer que les échantillons ainsi obtenus «représentent» les populations étudiées (avec marges d erreur, etc.) 1. 1 D un point de vue technique et statistique, un échantillon est dit «représentatif» lorsque lors de sa conception initiale, tous les individus appartenant à la population étudiée ont eu la même «probabilité» d être sélectionnés pour répondre à l étude (on dit aussi «probabiliste» pour cette même raison). À partir de listes recensant toute la population, on donne à chacun la même chance de participer à l échantillon final. Aussi, plus le taux de collaboration est élevé, plus le sondage est fiable car plus grande sera la chance de chacun d y participer (et pour optimiser cette participation, on peut «insister un peu» auprès des gens). Le panel, quant à lui, compte sur la participation volontaire des répondants. On lance des invitations auprès de gens disponibles afin qu ils participent aux études proposées. Cette «bonne volonté» et le manque de liste exhaustive de départ viennent réduire la portée «représentative» des échantillons ainsi constitués.
Cependant, si on regarde les pratiques de la recherche marketing et des sondages d opinion dans le monde, l usage des panels web est en croissance fulgurante et est certainement là pour rester. La mauvaise réputation du panel au Canada, malgré sa croissance importante, tient au fait que le Canada, et plus particulièrement le Québec, permettent encore aujourd hui de produire des taux de réponse aux sondages téléphoniques que l on peut considérer, selon le point de vue, comme étant potentiellement acceptables 2. La sélection aléatoire des listes de contacts des échantillons de départ favorise ce point de vue, même si les taux de collaboration sont devenus passablement faibles comparativement à ce que nous obtenions auparavant. Cependant, nous sommes certainement une des exceptions qui demeurent par rapport à l ensemble des pays du monde. Et malgré tout, la difficulté croissante à rejoindre les gens au téléphone stimulera de plus en plus l usage des panels web. La question ne sera pas de savoir si on doit les utiliser ou non, mais bien de comment les utiliser de façon à leur conférer une quelconque vertu «représentative» (même si ce terme ne peut être formellement utilisé lorsqu on a recours à un panel). Il est bien connu que la première correction visant à optimiser la qualité d un panel est de pondérer le poids relatif de chacune des modalités des principales caractéristiques sociodémographiques et socioéconomiques, et ce, en fonction des données du recensement ou encore d autres données disponibles décrivant les caractéristiques réelles de la population étudiée (l âge, le sexe, la langue d usage, le revenu, etc.). Par contre, l on sait que cette calibration sociodémographique est loin d être suffisante et qu il s avère impératif d ajouter d autres variables de pondération afin d assurer la qualité des panels. Dans cette optique et à titre d exemple, ESOMAR, l association internationale de l industrie de la recherche marketing, a notamment publié en 2008 un guide énonçant «26 règles» devant être examinées afin de garantir la qualité des panels 3. C est en s inspirant des différentes réflexions de l industrie que CROP propose son programme FOTO. 2 Compte tenu de la multiplication des afficheurs, de l abandon des lignes fixes, etc. 3 ESOMAR, 26 Questions - To Help Research Buyers of Online Samples Version révisée en mars 2008.
Une solution CROP à l usage des panels On sait que du point de vue du répondant, la participation à des panels est souvent reliée à des valeurs et des motivations spécifiques. On accepte de participer à des panels parce qu on veut «appartenir» à cette communauté d individus pouvant être consultés régulièrement sur des sujets importants reliés au marché et à la société. Une expérience de statut et de fierté vient parfois se greffer à ce sentiment d appartenance. D autres vont y participer pour des raisons financières puisqu on les rétribue à chaque fois qu ils répondent à un questionnaire. Souvent, les biais inhérents à ces échantillons par panel surviennent du fait qu on a affaire à des individus qui ont ce type de motivations bien particulières et qui, par conséquent, ne peuvent être considérés comme représentatifs de l ensemble de la population. Notre solution au redressement des panels web passe donc en partie par une calibration des différentes motivations socioculturelles que l on retrouve normalement dans la société canadienne comme québécoise en les appliquant aux échantillons des panels web que nous utilisons. Cette méthode correspond en partie à ce qu ESOMAR appelle l usage de «variables molles» ou «soft variables», à savoir des données «socioculturelles» introduisant une information complémentaire qui «force» les panels à prendre en considération la diversité de motivations que l on retrouve dans la population étudiée (un redressement qui ne peut être réalisé uniquement par des variables sociodémographiques et socioéconomiques). Pour ce faire, nous utilisons une pondération multidimensionnelle utilisant trois types d informations permettant d assurer que nos échantillons s approcheront le plus possible de la population réelle : 1. les données du recensement (la version courte!) sur les principales variables sociodémographiques et socioéconomiques; 2. quatre sondages téléphoniques probabilistes, réalisés annuellement pour mesurer certaines «variables molles» visant à calibrer nos panels; 3. des variables socioculturelles provenant de notre programme Panorama (3SC). Quatre sondages téléphoniques par année Réalisés sur la base de méthodes de sélection des répondants à partir de bottins téléphoniques numérisés et de banques de numéros de téléphone valides, nous procédons annuellement, dans le cadre de ce programme omnibus, à quatre sondages téléphoniques parfaitement représentatifs, de façon à recueillir un certain nombre d informations pouvant nous permettre de calibrer nos panels. Le type d informations recueillies varie d une collecte de données à l autre en fonction des besoins de nos clients et du type d informations mesurées par nos panels web. De plus, ces sondages téléphoniques peuvent aussi être utilisés occasionnellement pour recueillir les informations qui sont très sensibles aux propriétés échantillonnales (des enjeux particuliers de nos clients, les intentions de vote, etc.).
La pondération socioculturelle De plus, de façon à redresser les biais potentiels reliés aux valeurs et motivations des panélistes, nous utilisons un certain nombre d indicateurs socioculturels ainsi qu une segmentation visant à reproduire dans nos échantillons de panélistes la diversité des valeurs et des motivations que l on retrouve normalement dans la société et ses marchés et telle que nous la mesurons annuellement avec notre programme Panorama (3SC). Ainsi, les besoins d appartenance, de fierté et les considérations financières sont corrigés de façon à reproduire les proportions auxquelles on doit s attendre normalement dans la population. Ce protocole particulier a fait l objet de plusieurs tests et de recherches. Les résultats de ces travaux nous permettent de proposer une solution dans laquelle nous avons tout à fait confiance aujourd hui. Une solution optimale Tout comme aucune entreprise de l industrie ne peut le faire, qu elle soit d ici ou d ailleurs dans le monde, nous ne pouvons prétendre qu un échantillon utilisant de tels panels web peut être considéré comme parfaitement représentatif de la population étudiée selon les règles formelles de l inférence statistique. Mais l usage de ces différentes sources de pondération et de calibration nous permet quand même d optimiser la qualité potentiellement représentative de nos échantillons obtenus par panel web. Cette solution ne permet peut-être pas d atteindre la perfection représentative des échantillons d antan, mais elle permet très certainement d optimiser la qualité d un procédé avec lequel notre industrie devra sans conteste vivre dans les années qui viennent.