Transcription

1 1 sur 10 02/06/ :42

2 2 sur 10 02/06/ :42 L'enquête par questionnaire Pour obtenir des réponses, rien n est plus naturel que de poser des questions. L enquête par questionnaires est, à ce titre, un moyen pratique pour collecter rapidement des informations et un outil efficace d aide à la décision. Même s il n y a pas de recette miracle pour réaliser une bonne enquête et obtenir à tous les coups des résultats pertinents, il existe des règles incontournables à respecter à chaque étape. Notre objectif est de les présenter ci-dessous.? Une enquête par questionnaires est un vrai projet : elle implique des objectifs clairs, une méthodologie et une organisation rigoureuses, une planification précise et, bien sûr, des investissements parfois importants en temps et en argent. Si l'enquête peut apporter des éclaircissements utiles et servir de base à des choix, elle se traduit également par une interaction avec les répondants (clients, collaborateurs...). La démarche peut donc avoir certaines conséquences en termes de communication et entraîner des réactions de la part des personnes concernées par l'objet de l'enquête. Ainsi, une enquête de satisfaction des clients peut être perçue en interne comme une critique, une remise en question, un signe de défiance vis à vis du personnel. A l'inverse, cette même enquête peut être perçue de manière très positive par les clients, contents de voir que l'on s'intéresse à leurs opinions. Une bonne conscience des enjeux et des conséquences possibles est donc indispensable avant même d'aborder les phases techniques du processus d'enquête. LA PREPARATION DE L'ENQUETE La définition des objectifs Gardez à l'esprit, lorsque vous vous lancez dans un projet d'enquête, que votre objectif est de répondre à une interrogation. Si vous ne savez pas précisément de quelle interrogation il s'agit, laissez-tomber l'enquête. Votre objectif doit être clair pour tout le monde, bien ciblé et opérationnel. La clarté pour tous Même lorsque vous avez identifié un objectif clair, pensez à le formaliser et à le faire approuver par toutes les personnes concernées par l'enquête. En effet, il est très fréquent que différents services ou intervenants aient des lectures différentes de la finalité d'une même opération. Certains vont chercher un complément d'informations, d'autres une explication d'un comportement ou une hiérarchisation de différents choix. D'autres encore vont surtout attendre que l'enquête leur fournisse de la matière ou des alibis pour leur communication interne ou externe. Ces différents niveaux d'objectifs impliquent des approches différentes. Il est donc important que la finalité première et le type de résultats attendus soient écrits et validés, avant d'aller plus loin. Le bon ciblage Comme dans tout projet, il est tentant, lorsqu'on planifie une enquête, de penser à différents objectifs complémentaires qu'on pourrait atteindre pendant qu'on y est et parce que c'est dommage qu'on n'en profite pas pour également... C'est comme cela qu'on arrive ensuite à des questionnaires complexes, qui dispersent l'attention de l'interlocuteur sur différents sujets. Nous vous conseillons de vous concentrer sur le sujet principal, sans digressions et rattachements artificiels. Si un sujet complémentaire ne vous semble pas mériter une autre enquête à lui tout seul, c'est probablement qu'il n'est pas tellement important. Le caractère opérationnel L'objectif doit également être opérationnel et susceptible de déboucher sur des actions concrètes. Trop souvent, des enquêtes sont réalisées et de nombreuses questions posées parce que c'est intéressant. Il convient à chaque fois de se demander si cet intérêt a un prolongement concret et peut se traduire ensuite par des décisions et des améliorations effectives. Si tel n est pas le cas, le seul fait de soulever la question peut engendrer lui-même des promesses et des insatisfactions supplémentaires. Le choix de l'échantillon C'est là une source d'interrogations fréquente pour les personnes chargées d élaborer l enquête : combien de personnes dois-je interroger pour que mes résultats soient fiables? comment dois-je les choisir pour qu'ils soient représentatifs? Méthode de sélection Le pré-requis consiste déjà à bien identifier la population-mère sur laquelle porte l'enquête : s'agit-il d'une enquête sur vos clients actuels ou sur tous ceux qui seraient susceptibles de vous acheter un produit un jour? La question posée se limite-t-elle à une zone géographique, à un groupe particulier de personnes? etc.

3 3 sur 10 02/06/ :42 En théorie, vous devez sélectionner l'échantillon par tirage aléatoire dans cette population-mère que vous aurez identifié. Chaque individu statistique doit avoir exactement la même chance que les autres de participer à l'enquête. En réalité, il est le plus souvent impossible de constituer une base de données exhaustive et de tous les individus de la population-mère. Vous aurez donc plus vraisemblablement recours à la méthode plus empirique des quotas. Le principe est d identifier dans la population-mère, quelques critères de répartition significatifs puis d'essayer de respecter cette répartition dans l'échantillon d individus interrogés. Les individus qui n entrent pas dans les quotas sont écartés, soit au moment de l interview (par l enquêteur ou le système de gestion d appels pour les enquêtes téléphoniques) soit à posteriori (lors de la consolidation et du traitement de données). Vous pourrez également avoir recours par la suite, au moment de l analyse des réponses, au redressement d échantillons. Cette opération est effectuée automatiquement par les logiciels d enquêtes. Elle consiste à affecter des pondérations aux différents individus pour respecter les répartitions connues dans la population-mère (voir un précédent dossier dans Survey- Magazine). Taille de l'échantillon L'enquête, menée sur un échantillon, doit vous permettre de généraliser les résultats à l'ensemble de la population ciblée. La taille de l échantillon est bien sûr déterminante : Plus votre échantillon est important, plus la généralisation sera fiable. Toutefois, les gains de fiabilité ne sont pas proportionnels à l augmentation de la taille de l échantillon. Ainsi, en interrogeant personnes vous n aurez pas des résultats deux fois plus fiables qu en n en interrogeant que En revanche, il est probable que vous multiplierez par 2 les frais d administration du questionnaire. La notion de fiabilité d échantillon est matérialisée par un seuil de confiance et une marge d'erreur. Ainsi, un échantillon défini à un seuil de confiance de 95% et avec une marge d erreur de 3% vous permettra d extrapoler chaque résultat issu de votre enquête, avec 5% de risques de vous tromper de + ou - 3%. Ainsi, si vous obtenez un taux de satisfaction de 67% sur un produit ou service, vous pourrez affirmer que le taux de satisfaction réel sur l ensemble de vos clients a 95% de chances de se situer entre 64 et 70%. Si la taille de l échantillon est déterminante, la taille de la population-mère a en revanche très peu d importance. En effet, il faut savoir qu à l'exception des populations très petites où le lien est plus direct (voir encadré ci-contre), la marge d erreur d'un échantillon n est que très faiblement liée à la taille de la population-mère. Et ce lien est quasiinexistant lorsque vous avez affaire à de grandes populations. C est pour cela par exemple, que les sondages politiques réalisés aux Etats-Unis sur un échantillon de personnes ont quasiment les mêmes marges d erreur que celles réalisées en France ou en Belgique sur des échantillons de même taille. Il faut également savoir que la répartition des réponses à une question donnée conditionne la marge d erreur de l extrapolation, dans un même échantillon. Ainsi, lorsque vous obtenez des réponses réparties à 50-50, le niveau de précision de votre extrapolation est inférieur à celui que vous auriez avec une répartition En pratique, pour calculer la marge d'erreur précise des résultats d'une question, c'est à dire l'intervalle de confiance dans lequel se situe réellement la réponse au seuil de confiance de 95%, vous pouvez appliquer la formule suivante : Erreur = 1,96 * Racine (p*(1-p)/n), où p est le pourcentage de réponse et n la taille de l'échantillon.

4 4 sur 10 02/06/ :42 Ainsi, au seuil de 95%, pour un échantillon de 1000 personnes et un niveau de réponse de 50%, l'erreur est de +/- 3,1% et la réponse sera en fait comprise entre 46,9% et 53.1%. Ce qui peut changer bien des choses (notamment lors des pronostics électoraux) et qui doit encourager à une certaine vigilance dans la construction des échantillons et dans la communication des résultats. Le tableau récapitulatif ci-dessous indique les marges d'erreurs pour quelques proportions de réponses, au seuil de confiance de 95%, pour quelques tailles d'échantillon : En théorie, cette méthode de calcul scientifique de la marge d'erreur ne s'applique que sur les échantillons obtenus par tirage aléatoire. En pratique, vous pouvez également l utiliser pour les enquêtes par quotas. Choix des quotas Les critères généralement utilisés comme quotas sont le plus souvent des variables socio-démographiques (sexe, CSP, âge). Mais vous pouvez également intégrer des critères comportementaux ou d opinion, dont vous connaissez la proportion dans la population mère. Ainsi, vous pourrez chercher à reconstituer dans l échantillon la part de marché de vos produits et des produits concurrents. Au delà de l objectif de représentativité statistique de l échantillon, les quotas peuvent également être utilisés comme critères de sélection des personnes à interroger en liaison avec l objet de l étude. Ainsi, vous pouvez chercher à interroger 50% de clients et 50% de non clients, non pas parce que c est le reflet de la réalité mais simplement parce que vous souhaitez comparer les opinions de vos clients avec ceux des non-clients. Dans ce cas, vous êtes en présence de deux échantillons distincts dont la représentativité est à mesurer séparément. Dans tous les cas, ne retenez qu un nombre restreint de quotas. Au delà de 2 ou 3 quotas, vous compliquerez la tâche de vos enquêteurs, surtout pour la gestion des queues de quotas. De même optez pour des quotas simples où l enquêteur cherchera à remplir séparément les différents critères plutôt que pour les quotas croisés, même si ces derniers traduisent plus fidèlement la structure de la population globale. LA CONCEPTION DU QUESTIONNAIRE Un mauvais questionnaire posé à 1000 personnes est certainement moins instructif qu un bon questionnaire posé à 200 personnes seulement. La phase de rédaction est donc essentielle dans la réussite du projet d enquête. L idée principale qui doit guider la conception du support d enquête est la suivante : un bon questionnaire doit permettre un bon traitement. En effet, vous ne pourrez retirer de votre questionnaire que ce que vous y aurez mis. Les objectifs d analyse doivent donc être pris en compte dès cette étape. C est d autant plus important que de simples précautions permettent d obtenir un potentiel d analyse décuplé. Ainsi, certaines méthodes statistiques comme l'analyse automatique de satisfaction qui calcule l importance des critères à partir des seuls niveaux de satisfaction, repose sur la présence dans le questionnaire d'une question de satisfaction générale et de différents items pour les critères avec la même structure (d'au moins 3 réponses). Oubliez cette question de satisfaction générale et vous ne pourrez pas calculer automatiquement l importance de chacun de vos critères dans l amélioration de la satisfaction de vos clients. Rappelons aussi ce qui a été déjà évoqué plus haut concernant le contenu du questionnaire qui doit se concentrer sur les seuls objectifs assignés à l'enquête. Ce sont ces objectifs qui doivent guider la rédaction et vous faire éviter autant que possible de poser toutes les questions que vous auriez envie de poser parce qu'elles sont intéressantes. Un questionnaire ciblé sur un thème précis sera plus lisible pour les répondants, plus facile à administrer et, au final, plus efficace pour vous qu un questionnaire fourre-tout qui vous donnerait des informations diverses mais pas forcément approfondies et exploitables. La structuration du questionnaire Un bon questionnaire doit contenir tous les éléments nécessaires à un traitement pertinent des données, dans une organisation visant à optimiser le recueil de réponses sincères de la part des personnes interrogées. Les parties indispensables

5 5 sur 10 02/06/ :42 Votre questionnaire doit comporter obligatoirement, en plus des questions d opinions et de comportements relatives à l objet de l étude, une partie signalétique permettant de caractériser chaque répondant. L interprétation des résultats se basera notamment sur le croisement de ces deux catégories de variables, appelées respectivement variables à expliquer et variables explicatives. En effet, vous pourrez comprendre les jugements et les comportements des personnes interrogées en fonction de leurs caractéristiques signalétiques. Lorsqu il s agit de consommateurs, les questions signalétiques sont généralement le sexe, l âge, la profession (CSP = Catégorie Socio-Professionnelle), la région, etc. Lorsqu il s agit d entreprises, vous pouvez demander le secteur d activité, l effectif, la région, etc. Lorsque l enquête est nominative, ces informations signalétiques sont parfois déjà disponibles dans les fichiers de la base de sondage. A moins d avoir besoin de confirmation ou d actualisation, il vaut mieux dans ce cas éviter de les redemander, tout en veillant à disposer sur le questionnaire des éléments qui vous permettront par la suite de récupérer et d intégrer les données existantes dans les fichiers de données (code client par exemple). Une organisation en entonnoir Pour rassurer la personne interrogée et obtenir des réponses fiables, il convient de procéder en "entonnoir en partant des questions les moins engageantes aux questions les plus personnelles et du général au particulier. A moins d avoir besoin de vérifier des quotas sur les variables signalétiques, celles-ci seront donc mieux situées en fin de questionnaire qu en début. Les questions d introduction doivent être simples et claires. L idéal est de commencer par des questions dichotomiques (qui admettent une réponse par oui ou par non) ayant une réponse évidente pour l interlocuteur, en vue de mettre ce dernier en confiance. Ces questions prise de contact ne sont pas forcément utiles à l objet de l étude mais servent d entrée en matière. On peut ensuite aborder plus sereinement les questions factuelles (habitudes, comportements) puis les questions d opinions (évaluations, satisfaction). En ce qui concerne ces dernières, il est conseillé de regrouper les différents critères à évaluer en tableaux, ce qui raccourcit le questionnaire à la fois sur papier et dans l énoncé (on ne répète pas plusieurs fois le libellé de la question). Cela permet également à la personne interrogée de caler inconsciemment une échelle qui sera utilisée de la même manière pour tous les critères. Nous vous conseillons de placer systématiquement, en amont de chaque tableau d évaluation, une question globale, permettant de recueillir l opinion générale de la personne interrogée sur le thème qui sera évalué critère par critère. Comme nous l avons évoqué plus haut, cette question permettra, lors du traitement, de calculer l importance de chacun des critères de détail. Attention : il est indispensable d utiliser exactement la même échelle pour la question globale et pour les questions de détail. A ce titre, plusieurs types d échelles sont possibles (voir encadré). Nous vous conseillons d utiliser généralement une échelle à 4 positions, en ayant recours au même adjectif dans les 4 propositions, précédé respectivement par tout à fait, plutôt, plutôt pas et pas du tout. Il est d ailleurs préférable de présenter les propositions dans cet ordre (du positif au négatif). Quel que soit le type d échelles pour lequel vous opterez, il est fortement conseillé de le conserver tout au long du questionnaire (en faisant éventuellement varier l adjectif), pour éviter toute ambiguïté au répondant. La rédaction des questions Maintenant que vous connaissez les thèmes à aborder et l organisation générale de votre questionnaire, il est temps de vous atteler à la rédaction des questions et à la mise en forme de votre questionnaire. La formulation des questions Le questionnaire s adresse avant tout aux personnes qui vont y répondre. Les questions qui leur sont posées doivent donc être claires et directement compréhensibles. Pour cela, prenez bien soin de n utiliser que des termes appartenant au langage courant et ayant une signification identique pour tous. Tout jargon technique doit être exclu. Si vous avez absolument besoin d utiliser des termes techniques ou des mots complexes, il convient d en donner une explication claire en accompagnement de la question. La formulation des questions doit également être simple et claire. Il convient à ce titre d éviter les formes négatives ou interro-négative, encore plus difficiles à appréhender. De même, toute ambiguïté ou imprécision seraient de nature à recueillir des réponses fausses. Ainsi, il est préférable de ne pas utiliser des termes comme souvent qui peuvent être interprétés différemment par les personnes interrogées. Utilisez plutôt des notions claires comme Plus de 2 fois par semaine. De même, veillez à n aborder dans chaque question qu une seule notion à la fois. Une question qui demande l opinion du répondant sur deux éléments sera automatiquement biaisée. La bonne démarche est de scinder cette question en deux pour avoir une appréciation claire et distincte sur chacun des éléments. Les questions doivent être concises et complètes. La question doit être exprimée en une phrase courte, qui facilitera sa compréhension, notamment au téléphone. Elle devra proposer toutes les possibilités logiques de réponses pour éviter de mettre le répondant dans une impasse et lui faire sentir que le questionnaire ne concerne pas vraiment son cas (ce qui peut le pousser à bacler la fin du questionnaire, puisque ses réponses n ont, dans ce cas, pas beaucoup d importance). Enfin, il est conseillé d éviter les questions très engageantes personnellement : religion, argent, santé, sexe, alcool,

6 6 sur 10 02/06/ :42 conflits familiaux. Si de telles questions sont vraiment indispensables, il vaut mieux les aborder le plus tard possible dans le questionnaire. Les différents types de questions Selon l information à recueillir, vous pouvez opter pour l un ou l autre des types de questions ci-après : Le type qualitatif Les questions qualitatives sont les plus courantes dans les enquêtes. On propose une liste de réponses et la personne interrogée doit en choisir une ou plusieurs. Cette notion de réponse unique ou multiple doit d ailleurs être précisée dans le questionnaire, pour éviter toute ambiguïté. Ces questions qualitatives sont faciles à traiter. L utilisateur obtient en résultat des tableaux de répartition simples ou croisés des répondants sur les différentes réponses proposées. De nombreux traitements statistiques sont également applicables facilement. Toutefois, ce type de questions exige d avoir prévu à l avance toutes les réponses possibles à la questions, ou de recodifier a posteriori les réponses autres recueillies. Pour dépasser cette limitation, certains logiciels d enquêtes comme Ethnos permettent de définir des questions qualitatives enrichissables. La personne interrogée peut choisir sa réponses parmi celles proposées ou donner une réponse nouvelle. A la saisie, ces réponses nouvelles seront ajoutées à la liste initiale et enrichiront ainsi la question. Le type numérique Les questions numériques attendent une réponse chiffrée. Il peut s agir d une quantité, d un âge, d un prix, d une note... Il est indispensable, pour obtenir une réponse valable, de bien indiquer l unité attendue et, lorsqu il s agit d une note, le sens retenu (1 pouvant être la meilleure note ou la moins bonne). Attention : avant de retenir le type numérique pour une question, il faut se demander si la personne interrogée pourrait ou voudrait bien donner une valeur précise à cette question. S il s agit d une note, ce sera sans doute le cas. En revanche, pour des questions comme l âge, le revenu ou la fréquence d un comportement, il est préférable de proposer des tranches. Il s agira dans ce cas d une question qualitative et non plus numérique. Les questions numériques autorisent encore plus de traitements statistiques que les variables qualitatives (puisqu on peut les traiter en numériques et les recodifier en qualitatives). Le type texte Les questions de type texte correspondent aux questions complètement ouvertes, qui proposent au répondant de répondre librement à la question, par une ou plusieurs phrases. Ces questions sont très souvent employées par les utilisateurs occasionnels d enquêtes, qui pensent ainsi capter plus d éléments en laissant la liberté complète de réponse aux personnes interrogées. Or on s aperçoit vite, à l usage, que des questions fermées bien posées apportent beaucoup plus d éléments exploitables que ces questions ouvertes. Nous vous conseillons donc d en faire un usage modéré, en les réservant notamment à un commentaire libre en fin de questionnaire. Les autres types Il s agit notamment des questions de type date, heure et calcul qu il arrive d utiliser dans les questionnaires. Si les deux premiers sont d un usage évident, le type calculé, lui, correspond à une utilisation plus avancée, utile notamment dans le cas des questionnaires administrés et saisis en direct (au téléphone, en CAPI...). Il s agit de questions qui prennent automatiquement des valeurs en fonctions des réponses données aux questions précédentes et qui peuvent permettre ainsi d orienter la suite du questionnaire. Ainsi, on peut demander à une personne qui a donné des évaluations très mauvaises à une série d items, plus de détail sur ce qui motive son appréciation très négative. Ce cheminement sera proposé automatiquement par le logiciel d enquêtes. Une présentation soignée Si l organisation et le contenu du questionnaire sont essentiels, sa présentation est également très importante, qu il s agisse de questionnaires auto-administrés ou de questionnaires administrés par des enquêteurs. Les premiers doivent absolument être clairs et attractifs pour les répondants, afin de les inciter à répondre. Les seconds doivent faciliter au maximum le travail de l enquêteur en comportant toutes les indications utiles sur ce qui doit être dit et sur les différents cheminements conditionnels dans le questionnaire. Dans les deux cas, les différentes parties doivent être clairement identifiées. Le questionnaire doit avoir un encombrement réduit, grâce à une mise en page optimisée qui devra s attacher, dans le même temps, à garder la place nécessaire pour l indication des réponses. Le test du questionnaire Malgré toute l'attention portée à sa conception, le questionnaire doit être testé en réel. Il faut le faire sur un petit échantillon, différent de celui constitué pour l'enquête pour ne pas "gâcher" des contacts bien identifiés, avant de passer à la phase d'administration. C'est une phase clé car rien ne peut remplacer la réalité du terrain. La qualité du traitement des données et des résultats en dépendent. LA COLLECTE DES REPONSES L'administration du questionnaire Le choix d un mode de collecte Plusieurs techniques de recueil existent et sont utilisées en fonction du contexte et des contraintes liées à l'enquête. Ces contraintes peuvent être d'ordre méthodologique (la cible n'est pas équipée d'internet, le questionnaire est

7 7 sur 10 02/06/ :42 assez long et détaillé), budgétaire (la cible est très large et trop coûteuse par téléphone), ou de temps (le recueil doit se faire dans la journée suivant l'action à évaluer). D'autres encore, sont liées au format de la base d'enquête, aux informations sur la cible (de quelles coordonnées dispose-t-on?), au contrôle dynamique à faire sur les quotas en cours d'enquête, aux consignes parfois complexes de remplissage et de passation (un enquêteur est nécessaire pour expliquer ou commenter les questions, éventuellement montrer un échantillon, ou un visuel). Le mode de collecte n'est donc pas toujours un choix évident et il doit faire partie intégrante de la réflexion méthodologique de l'enquête dès le départ. Le solution finalement choisie est souvent celle représentant le meilleur compromis entre les avantages et les contraintes. La décision finale doit tout de même privilégier avant tout la fiabilité des données recueillies. Dans les meilleurs des cas on pourra essayer de combiner plusieurs modes : un envoi postal ou Internet suivi d'une relance téléphonique, ou inversement un appel devançant l'envoi postal. Deux modes différents peuvent être également retenus, en fonction des cibles, en conservant la même trame de questionnaire. Notons ici, l'avantage de certains logiciels permettant de concevoir une seule fois le questionnaire, de le déployer sous plusieurs modes de recueil et de récupérer une base au même format pour une exploitation immédiate et multiple. Les supports disponibles Le support papier Il demeure un mode largement utilisé, avec des supports très variés, du plus simple au plus abouti, en couleur, avec insertion de visuels ou de photos. Le papier est en effet parfois inévitable et irremplaçable malgré l'avènement de techniques électroniques. Pour des raisons culturelles, légales, pratiques ou pour des impératifs de confidentialité et d'anonymat il reste la norme. C est aussi la solution la plus économique pour des volumes importants, pour des enquêtes se voulant les plus exhaustives possibles, non soumises à des contraintes étroites de temps ou de représentativité d'échantillon. De plus il peut être utilisé en face à face comme en auto-administré, avec des zones explicatives plus ou moins détaillées. Lorsqu on choisit ce support, il convient de savoir qu il est possible de l'optimiser par une saisie automatisée. En effet, tout questionnaire, si cela est prévu au moment de sa conception peut être saisi en mode automatique (pour les questions fermées codifiées), soit par lecture optique soit par scannérisation. Il existe sur le marché des logiciels spécialisés (OMR Manager...) qui permettent de mettre en forme des questionnaires puis de piloter la phase de saisie automatique sur différents types de matériels. Ces outils peuvent prendre en compte les questions qualitatives, numériques mais pas les questions de type texte, qui devront être saisies séparément (certains logiciels scannent l image de la réponse textuelle manuscrite et permettent ensuite de la saisir à l écran). Le téléphone On peut, bien sûr, faire une enquête par téléphone sur un support papier. Mais on perd alors bon nombre d'avantages des systèmes CATI (Computer Assisted Telephone Interviews). Ces systèmes permettent une saisie directe des données, des contrôles automatiques de cohérence, la gestion des filtres et de renvois entre questions, le contrôle dynamique des quotas, le suivi des résultats enquêteurs,.. Le téléphone permet un recueil rapide, souple pour un coût économique très attractif et il est très largement utilisé, principalement par les instituts d'études. Les utilisateurs occasionnels sans CATI peuvent avoir recours à la saisie directe des questionnaires au téléphone, directement sur le module de saisie de leur logiciel d enquêtes. Certains outils comme Ethnos permettent de générer des saisies décentralisées permettant de faire cette saisie en ligne depuis plusieurs ordinateurs en même temps. L inconvénient majeur du support téléphonique est la durée du questionnaire. Généralement on ne va pas au delà d'une durée de 15 minutes, mais il est parfois possible d'aller au delà, si le répondant est prévenu (prise de rendez vous) et si sa motivation est grande vis à vis du sujet traité. L'enquête informatisée en face à face L entretien informatisé en face à face offre une interactivité et une souplesse appréciable dans le recueil direct des réponses à la sortie d un magasin, dans une zone commerciale, etc. Les systèmes CAPI (Computer Assisted Personal Interviews) fonctionnent aujourd hui sur tablette PC ou sur Pocket PC. L'offre en matériel a fortement évolué récemment et les améliorations sont révolutionnaires en terme d'affichage et d écran, de mémoire, de connexion sans fil, et surtout de prix. Les meilleurs logiciels d'enquête possèdent un module permettant un transfert automatique des données recueillies vers le module de traitement. La rapidité est assurée. L Internet Dernière née des technologies d'enquête, le questionnement sur Internet que l on appelle CAWI (Computer Assisted Web Interviews) a ouvert de nouveaux horizons aux intervenants du domaine : on efface les distances en même temps que les décalages horaires, on donne un accès libre, convivial aux répondants avec un recueil mieux suivi et plus rapide pour celui qui l'organise. C'est aujourd'hui un moyen privilégié pour des enquêtes internes menées sur plusieurs sites, tant au niveau national que pour des structures internationales. C'est aussi un moyen plus ciblé et plus attractif pour les professionnels de la plupart des secteurs d'activité, qui peuvent répondre selon leur rythme et leur contraintes. Il est en cela directement concurrent du mode postal, mais pour l'instant sur des cibles professionnelles ou pour certaines parties de la population seulement en raison de l'équipement et de l'utilisation d'internet chez les particuliers. La réunion interactive C'est un mode moins courant mais en développement. Appelé CAGI (ou Computer Assisted Group Interviews) il

8 8 sur 10 02/06/ :42 peut être très intéressant pour recueillir les opinions d une salle et éventuellement pour poser des questions complémentaires en direct (sur une série de projets, ou sur différents packaging par exemple). Les questions sont projetées sur un écran et les participants peuvent répondre à l aide de boîtiers de vote interactifs sans fil (réception radio). Les réponses sont transmises instantanément et peuvent être traitées et retranscrites immédiatement aux participants, puis complétées si besoin ultérieurement. Il faut cependant savoir que peu de logiciels d enquêtes sont en mesure de proposer d ores et déjà un module CAGI. Les solutions de vote déconnectées d un système d enquête sont, elles à éviter. L'optimisation du recueil Tous les modes existants doivent permettre le contrôle du processus et des données collectées. Si l enquête est administrée par des enquêteurs professionnels ou occasionnels (commerciaux, assistantes, stagiaires...), il est important d insister auprès d eux sur l exigence de qualité dans le recueil des réponses. La première règle sera de ne pas influencer les répondants et de respecter les consignes indiquées sur le questionnaire. Il faudra d ailleurs s assurer que ces consignes ainsi que le contenu du questionnaire ont été bien compris par tous. Cette étape d administration est souvent une source de biais parfois importants. Il ne sert à rien de passer un temps de préparation important puis de s acharner sur les données si la matière première de l enquête, à savoir les réponses des interviewés n est pas extraite avec soin. La phase de briefing avant le démarrage du terrain d'enquête est primordiale et ne doit pas être menée à la légère. Toutes les questions doivent être posées afin de lever toute ambiguïté sur les modalités de réponse ou la compréhension d'une question. La phase de test doit être évoquée afin de se baser sur des exemples réels. Dans la conception même du questionnaire, pour des modes d'administration informatique, toutes les possibilités techniques doivent être utilisées en terme de verrouillage du nombre de réponses autorisées, des formats de saisie des données numériques, et bien sûr les renvois entre questions. Ces mêmes contrôles doivent également être présents à la saisie pour des exemplaires papier, tant en manuel qu'en saisie automatique. La phase d'acquisition des données Alors qu il y a quelques années, la saisie des questionnaires était une phase naturelle du processus d enquête, les modes de collecte automatisés que nous avons abordés ci-dessus permettent de s en passer. Et, même lorsqu aucun mode automatisé n'a pu être mis en place, la saisie est aujourd hui simplifiée grâce à la nouvelle génération de logiciels d enquêtes qui permettent d effectuer l entrée des données facilement et avec tous les contrôles nécessaires (filtres, calculs automatiques...) sur un ou plusieurs ordinateurs. Toutefois, ces logiciels ne remplacent pas une bonne organisation lors de la réception et de la prise en compte des questionnaires, qu il est impératif de vérifier rapidement (relecture), de classer et de numéroter (indispensable pour s y retrouver par la suite). Là aussi, les personnes chargées de la saisie doivent être sensibilisées à la nécessaire qualité. Un questionnaire mal rempli doit être écarté plutôt que de saisir des informations incertaines. Si le questionnaire contient des questions ouvertes, il peut s avérer nécessaire de les recodifier avant la saisie. Il faudra alors relire tous les questionnaires et définir les réponses à coder. Cette étape peut être évitée avec les logiciels qui gèrent l enrichissement en direct. Que le fichier provienne directement d un processus d enquête automatisé ou d une saisie manuelle, il est nécessaire, avant de passer à l étape de traitement, de procéder à une revue des données et à un nettoyage éventuel des valeurs aberrantes. Ce processus a été abordé très longuement dans un précédent numéro de Survey- Magazine (décembre 2003) auquel nous vous renvoyons. LE TRAITEMENT DES DONNEES L objectif ici n est pas de détailler tous les types de traitements et analyses possibles sur les enquêtes, ni d expliquer les modes d exploitation des résultats et de présentation du rapport d étude. La plupart de ces thèmes ont en effet déjà fait l objet de dossiers complets dans Survey-Magazine et les autres méritent qu on s y attarde tout particulièrement, ce que nous ferons dans les prochains numéros (Dossier à venir sur l optimisation de vos rapports d études). Nous nous contenterons donc de présenter rapidement ci-dessous les principaux traitements effectués généralement sur les données d enquêtes. Le redressement d échantillon Avant de parler des tris, il convient d évoquer cette étape nécessaire notamment dans le cas où la répartition des quotas n'a pas pu être respectée, ou encore, si l'on a délibérément choisi de sur-évaluer un groupe peu représenté pour avoir un minimum de réponses. Le redressement d échantillons a pour objectif de rétablir les bonnes proportions en affectant un poids (coefficient de redressement) à chaque individu en fonction de ses caractéristiques. Le calcul des coefficients s entend généralement sur plusieurs critères en même temps. Il ne peut se faire qu à l aide d un logiciel adapté. Les fonctions de redressement d échantillons sont d ailleurs disponibles en standard dans les outils d analyse de données

9 9 sur 10 02/06/ :42 (Stat Mania...). Pour plus de détails sur les méthodes et principes de redressement d échantillons, nous vous renvoyons au dossier publié à ce sujet dans le numéro de septembre 2003 de Survey-Magazine (disponible également sur Les types de tris Les logiciels actuels permettent d'effectuer un très grand nombre de tris et de les présenter sous forme de tableaux et de graphiques. Tabulations Il s agit des traitements les plus fréquents et les plus compréhensibles par tout le monde. Les tabulations consistent à indiquer la répartition des réponses obtenues. Le tri-à-plat dans sa forme habituelle, donne la répartition des réponses pour une seule question (ex : hommes : 43%, femmes : 57%). Le tri croisé est un traitement qui porte généralement sur deux questions et qui indique la répartition des réponses aux différentes combinaisons de réponses (homme > 25 ans : 17%, etc...). Les tris croisés présentent généralement un effectif et trois pourcentages : le % ligne, le % colonne et le % total. Certains logiciels peuvent indiquer pour chaque tri croisé la valeur du khi2, test statistique qui mesure la liaison entre les deux variables du tri, pour indiquer la probabilité pour que la répartition observée soit ou non dûe au hasard. Il est également parfois possible de demander l affichage de la contribution de chaque case au khi2 global, ce qui renseigne sur les combinaisons de modalités qui influent le plus sur la liaison entre variables. Au delà de leur forme simple, les tris croisés peuvent être étendus à plusieurs variables. On parle alors de tris croisés NxN ou combinés NxN. Les premiers présentent au même niveau les modalités des variables en lignes ou en colonnes alors que les seconds les combinent. Les tris multiples sont généralement des analyses applicables sur un tableau de questions identiques (échelles, notes...). Ils présentent de manière synthétique les résultats de l ensemble des critères du tableau. Tris pondérés Alors que les tris à plat, croisé ou multiples comptabilisent les individus correspondants à chaque modalité ou combinaison de modalités, les tris pondérés remplacent ce comptage d individus par une opération de moyenne ou de somme sur une autre question appelée variable de pondération. Ces tris sont extrêmement utiles pour obtenir des tableaux synthétiques avec des notes moyennes de critères, selon les combinaisons de réponses à différentes questions. Les tris pondérés peuvent être à plat, croisés ou multiples. Certains logiciels comme Ethnos permettent également de réaliser des tris pondérés étendus, qui permettent par exemple, d obtenir, en une seule opération, la note moyenne de satisfaction sur un grand nombre de critères, par magasin, jour ou toute autre variable de croisement. Des scores peuvent être attribués dynamiquement au traitement, à chaque modalité de l échelle d évaluation (ex : 100 pour Très satisfait, 75 pour Satisfait, etc.). Analyses statistiques avancées Alors que les tabulations sont directement utilisables et compréhensibles par tous, les analyses statistiques avancées font appel à des connaissances en la matière et nécessitent, lors de la présentation des résultats, davantage d explications. Certains logiciels comme Stat Mania offrent à ce niveau une approche simplifiée permettant d élargir l accès à ces méthodes, notamment en facilitant la définition des analyses et en rendant plus explicites et plus communicants les tableaux et graphiques de résultats. On peut citer parmi les analyses avancées qui apportent une valeur ajoutée importante dans le traitement des enquêtes : - la matrice importance-satisfaction, qui calcule automatiquement l'importance de différents critères de détail, par rapport à un critère de satisfaction globale, et qui indique les critères sur lesquels il faut agir en priorité pour améliorer la satisfaction globale, - la recherche des croisements les plus significatifs, qui permet de détecter automatiquement les couples de variables ayant la plus forte dépendance, - la régression multiple, qui permet de modéliser la relation entre une variable principale et un ensemble d autres variables dans le but de pouvoir prédire la valeur de la variable principale en fonction des valeurs des autres variables, - les analyses factorielles, qui permettent de résumer plusieurs variables sur un plan en deux dimensions, - les typologies, qui permettent de ranger les personnes interrogées en groupes homogènes, - la segmentation, qui cherche à expliquer une variable qualitative par plusieurs autres. La présentation et l'exploitation des résultats C est là l objectif final de l étude. Savoir est une chose importante mais savoir communiquer et transformer les enseignements de l étude en actions passe par un rapport final clair et opérationnel. Il est donc important de chercher à présenter de manière attractive et compréhensible les éléments clés de l'étude. Cet aspect et ses prolongements (rapports et tableaux de bords dynamiques sur le web) feront prochainement l objet d un dossier complet dans Survey-Magazine.

10 10 sur 10 02/06/ :42 Les 10 commandements pour une enquête de qualité : - Etablir par écrit des objectifs clairs, précis et opérationnels à l enquête puis les faire valider par les personnes concernées, - Identifier précisément la cible de l enquête (population-mère) et choisir un échantillon représentatif, - Choisir un nombre restreint de quotas et avoir recours à des quotas simples plutôt qu à des quotas croisés, - Concentrer les questions posées sur le seul objectif de l enquête et ne pas ajouter des questions inutiles, même si elles sont intéressantes par ailleurs, - Organiser le questionnaire en parties claires en partant du général au particulier et des questions neutres aux questions engageantes, - Ne pas multiplier les questions ouvertes qui apportent beaucoup moins d informations que des questions fermées bien posées, - Utiliser un langage clair, simple et compréhensible par tous, - Soigner la présentation du questionnaire et indiquer clairement les consignes et les informations nécessaires aux enquêteurs et/ou répondants - Insister auprès de tous les intervenants en général et des enquêteurs et du personnel de saisie en particulier sur la nécessité d une grande rigueur, - Etre prudent dans l interprétation et la restitution des résultats en étant bien conscient des marges d erreur..