MODÈLE CROP DE CALIBRATION DES PANELS WEB

Transcription

1 MODÈLE CROP DE CALIBRATION DES PANELS WEB 550, RUE SHERBROOKE OUEST MONTRÉAL (QUÉBEC) H3A 1B9 BUREAU 900 TOUR EST T , POSTE

2 Le Protocole CROP de calibration des panels en ligne Cet article présente notre solution de calibration des panels web. Nous utilisons cette méthode pour notre omnibus FOTO ainsi que pour tout sondage web que nous effectuons sur une population d étude pour laquelle nous pouvons obtenir des données comparables. Autant que possible, tous les sondages utilisant des panels web sont contre-vérifiés, pondérés et calibrés par cette méthode lorsque les données nécessaires sont disponibles. La controverse autour des panels en ligne Même si le Canada est à l heure actuelle un des marchés où l usage des panels en ligne pour la recherche marketing et les sondages d opinion est le plus élevé au monde (proportionnellement à l ensemble des activités de recherche au pays), l usage de ces panels a encore très mauvaise presse dans notre marché domestique. Nous avons donc voulu mettre au point une procédure visant à amoindrir les problèmes inhérents à l usage de ces panels. La mauvaise presse reliée aux échantillonnages par panel web vient du fait que sur le plan de l inférence statistique, ils ne peuvent être formellement considérés comme représentatifs des populations étudiées, puisque le mode de sélection et de recrutement des participants ne répond pas à des règles probabilistes. On ne peut affirmer que les échantillons ainsi obtenus «représentent» les populations étudiées (avec marges d erreur, etc.) 1. Cependant, si on regarde les pratiques de la recherche marketing et des sondages d opinion dans le monde, l usage des panels web est en croissance fulgurante et est certainement là pour rester. La mauvaise réputation du panel au Canada, malgré sa croissance importante, tient au fait que le Canada, et plus particulièrement le Québec, permettent encore aujourd hui de produire des taux de réponse aux sondages téléphoniques que l on peut considérer, selon le point de vue, comme étant potentiellement acceptables 2. La sélection aléatoire des listes de contacts des échantillons de départ favorise ce point de vue, même si les taux de collaboration sont devenus passablement faibles comparativement à ce que nous obtenions auparavant. Cependant, nous sommes certainement une des exceptions qui demeurent par rapport à l ensemble des pays du monde. Et malgré tout, la difficulté croissante à rejoindre les gens au téléphone stimulera de plus en plus l usage des panels web. La question ne sera pas de savoir si 1 D un point de vue technique et statistique, un échantillon est dit «représentatif» lorsque lors de sa conception initiale, tous les individus appartenant à la population étudiée ont eu la même «probabilité» d être sélectionnés pour répondre à l étude (on dit aussi «probabiliste» pour cette même raison). À partir de listes recensant toute la population, on donne à chacun la même chance de participer à l échantillon final. Aussi, plus le taux de collaboration est élevé, plus le sondage est fiable car plus grande sera la chance de chacun d y participer (et pour optimiser cette participation, on peut «insister un peu» auprès des gens). Le panel, quant à lui, compte sur la participation volontaire des répondants. On lance des invitations auprès de gens disponibles afin qu ils participent aux études proposées. Cette «bonne volonté» et le manque de liste exhaustive de départ viennent réduire la portée «représentative» des échantillons ainsi constitués. 2 Compte tenu de la multiplication des afficheurs, de l abandon des lignes fixes, etc. CROP CALIBRATION DE PANELS WEB 1

3 on doit les utiliser ou non, mais bien de comment les utiliser de façon à leur conférer une quelconque vertu «représentative» (même si ce terme ne peut être formellement utilisé lorsqu on a recours à un panel). Il est bien connu que la première correction visant à optimiser la qualité d un panel est de pondérer le poids relatif de chacune des modalités des principales caractéristiques sociodémographiques et socioéconomiques, et ce, en fonction des données du recensement ou encore d autres données disponibles décrivant les caractéristiques réelles de la population étudiée (l âge, le sexe, la langue d usage, le revenu, etc.). Par contre, l on sait que cette calibration sociodémographique est loin d être suffisante et qu il s avère impératif d ajouter d autres variables de pondération afin d assurer la qualité des panels. Dans cette optique et à titre d exemple, ESOMAR, l association internationale de l industrie de la recherche marketing, a notamment publié en 2008 un guide énonçant «26 règles» devant être examinées afin de garantir la qualité des panels 3. C est en s inspirant des différentes réflexions de l industrie que CROP propose son programme FOTO. Une solution CROP à l usage des panels On sait que du point de vue du répondant, la participation à des panels est souvent reliée à des valeurs et des motivations spécifiques. On accepte de participer à des panels parce qu on veut «appartenir» à cette communauté d individus pouvant être consultés régulièrement sur des sujets importants reliés au marché et à la société. Une expérience de statut et de fierté vient parfois se greffer à ce sentiment d appartenance. D autres vont y participer pour des raisons financières puisqu on les rétribue à chaque fois qu ils répondent à un questionnaire. Souvent, les biais inhérents à ces échantillons par panel surviennent du fait qu on a affaire à des individus qui ont ce type de motivations bien particulières et qui, par conséquent, ne peuvent être considérés comme représentatifs de l ensemble de la population. Notre solution au redressement des panels web passe donc en partie par une calibration des différentes motivations socioculturelles que l on retrouve normalement dans la société canadienne comme québécoise en les appliquant aux échantillons des panels web que nous utilisons. Cette méthode correspond en partie à ce qu ESOMAR appelle l usage de «variables molles» ou «soft variables», à savoir des données «socioculturelles» introduisant une information complémentaire qui «force» les panels à prendre en considération la diversité de motivations que l on retrouve dans la population étudiée (un redressement qui ne peut être réalisé uniquement par des variables sociodémographiques et socioéconomiques). Pour ce faire, nous utilisons une pondération multidimensionnelle utilisant trois types d informations permettant d assurer que nos échantillons s approcheront le plus possible de la population réelle : 3 ESOMAR, 26 Questions - To Help Research Buyers of Online Samples Version révisée en mars CROP CALIBRATION DE PANELS WEB 2

4 1. les données du recensement (la version courte!) sur les principales variables sociodémographiques et socioéconomiques; 2. plusieurs sondages téléphoniques probabilistes, réalisés annuellement pour mesurer certaines «variables molles» visant à calibrer nos panels; 3. des variables socioculturelles provenant de notre programme Panorama (3SC). Des sondages téléphoniques utilisés à des fins de pondération Réalisés sur la base de méthodes de sélection des répondants à partir de bottins téléphoniques numérisés et de banques de numéros de téléphone valides, nous procédons régulièrement à des sondages téléphoniques parfaitement représentatifs, de façon à recueillir un certain nombre d informations pouvant nous permettre de calibrer nos panels. Le type d informations recueillies varie d une collecte de données à l autre en fonction des besoins de nos clients et du type d informations mesurées par nos panels web. De plus, ces sondages téléphoniques peuvent aussi être utilisés occasionnellement pour recueillir les informations qui sont très sensibles aux propriétés échantillonnales (des enjeux particuliers de nos clients, les intentions de vote, etc.). La pondération socioculturelle De plus, de façon à redresser les biais potentiels reliés aux valeurs et motivations des panélistes, nous utilisons un certain nombre d indicateurs socioculturels ainsi qu une segmentation visant à reproduire dans nos échantillons de panélistes la diversité des valeurs et des motivations que l on retrouve normalement dans la société et ses marchés et telle que nous la mesurons annuellement avec notre programme Panorama (3SC). Ainsi, les besoins d appartenance, de fierté et les considérations financières sont corrigés de façon à reproduire les proportions auxquelles on doit s attendre normalement dans la population. Ce protocole particulier a fait l objet de plusieurs tests et de recherches. Les résultats de ces travaux nous permettent de proposer une solution dans laquelle nous avons tout à fait confiance aujourd hui. Une solution optimale Tout comme aucune entreprise de l industrie ne peut le faire, qu elle soit d ici ou d ailleurs dans le monde, nous ne pouvons prétendre qu un échantillon utilisant de tels panels web peut être considéré comme parfaitement représentatif de la population étudiée selon les règles formelles de l inférence statistique. Mais l usage de ces différentes sources de pondération et de calibration nous permet quand même d optimiser la qualité potentiellement représentative de nos échantillons obtenus par panel web. Cette solution ne permet peut-être pas d atteindre la perfection représentative des échantillons d antan, mais elle permet très certainement d optimiser CROP CALIBRATION DE PANELS WEB 3

5 la qualité d un procédé avec lequel notre industrie devra sans conteste vivre dans les années qui viennent. CROP CALIBRATION DE PANELS WEB 4