Séance d initiation méthodologique (1) 12 janvier 2012 Mener une enquête quantitative (1) Julien Le Breton
Objectifs pédagogiques Penser le schéma global de l enquête Concevoir un questionnaire : les grands principes Anticiper les écueils Recueil d informations biaisées, peu fiables ou inexploitables Assurer la «représentativité» Comment choisir la population? Prendre en compte les particularités des données de santé et du recueil auprès des médecins et des patients
La méthodologie d enquête «Science molle» Difficulté pour produire et disséminer de la connaissance absolue en Méthodologie d enquête Peu de choix invalides dans l absolu et a priori Choix méthodologiques très contextuels à l objet d étude à la population enquêtée au budget/temps disponible Importance de la littérature et des études antérieures pour valider un protocole d enquête
Concevoir son enquête en amont Qu est ce qu une enquête? Quelles sont ses spécificités, ses enjeux et ses modalités? Comment une enquête s intègre-t-elle dans un processus de recherche ou d étude? Quels sont les différents temps d une enquête? Quel est le protocole global d une enquête?
Une enquête c est Un recueil d'informations ayant des finalités de recueil et d'analyse précises articulé autour d'un questionnement structuré (questionnaires...) auprès d'une population bien définie et en nombre suffisant Étude qualitative Enquête quantitative Approche Extensive Intensive Structuration Minimum Maximum Questionnement Entretien ouvert ou semi-dirigé Questionnaire standardisé Répondant Libre expression Questions imposées Nombre de sujets Réduit Important
Une enquête un questionnaire Protocole global d enquête 1. Définir l'objet de recherche/étude 2. Cibler les hypothèses à tester / identifier les mesures à effectuer 3. Définir une population de référence à représenter 4. Choisir un mode d administration du questionnaire 5. Construire le questionnaire 6. Constituer un échantillon 7. Effectuer la collecte des données 8. Produire une base de données (codage/recodage des données) 9. Réaliser l analyse statistique 10. Communiquer (écriture de rapport, article ou thèse)
Une enquête un questionnaire Protocole global d enquête 1. Définir l'objet de recherche/étude 2. Cibler les hypothèses à tester / identifier les mesures à effectuer 3. Définir une population de référence à représenter 4. Choisir un mode d administration du questionnaire 5. Construire le questionnaire 6. Constituer un échantillon 7. Effectuer la collecte des données 8. Produire une base de données (codage/recodage des données) 9. Réaliser l analyse statistique 10. Communiquer (écriture de rapport, article ou thèse)
L enjeu méthodologique principal Objectif final d une enquête Ce que je mesure représente le plus fidèlement possible la «réalité» Pour cela, on cherche à maximiser chez les enquêtés La participation (à l enquête) La compréhension (des questions mais aussi des enjeux généraux de l enquête) L exhaustivité et la fiabilité des réponses : réponses à toutes les questions de manière cohérente, honnête et interprétable
Assurer la fiabilité de l enquête Tout dans le protocole doit être guidé par la volonté d assurer la fiabilité de l enquête et de maximiser cette adhésion La conception du questionnaire : le fond et la forme Le choix du mode d administration du questionnaire La sélection des répondants (mais attention au pur volontariat des enquêtés ) Les à-côtés du questionnaire et du recueil Les autres mécanismes cherchant à augmenter l adhésion au projet : incitations et contreparties éventuelles
L adhésion au protocole d'enquête Dimension cognitive et intellectuelle Compréhension des questions Autres difficultés pour répondre : nécessité de faire appel à des connaissances précises, à des souvenirs, etc. Dimension comportementale et sociale Volonté de participer à l enquête Honnêteté des réponses questions sensibles, questionnements sur lequel l'enquêté peut se sentir surveillé ou jugé risque de réponse par «désirabilité sociale»
Travail personnel 1. Définir l'objet de recherche / étude 2. Définir les hypothèses à tester / les mesures principales à effectuer 3. Définir une population de référence Tour de table
Choisir un mode d administration Tour de table
Mode d administration Différentes modalités d administration Face-à-face Téléphone Questionnaire «auto-administré» (par courrier ou mail) + Spécificités du recueil Internet Avantages et inconvénients respectifs? Comment choisir le mode d administration le plus adapté?
Administration en face-à-face Avantages Information plus détaillées : autorise les questions longues et complexes, interaction visuelle (dessins, images ) Moins d erreurs d interprétation des questions Globalement améliore la participation, l adhésion globale Inconvénients Coût élevé + difficultés pour joindre les enquêtés Favorise les effets d influence de l enquêteur et les réponses par «désirabilité sociale» / ne facilite pas le recueil de données sensibles
Administration par téléphone Avantages Peu coûteux Effet de neutralité par rapport à l'enquêté (questions sensibles) Autorise questionnaires moyennement longs : effet de lassitude mais ne connaît pas à l avance la longueur du questionnaire! Inconvénients De plus en plus de refus + difficulté de joindre l enquêté à un moment propice Ne convient qu aux questions simples (formulation), bien structurées et avec peu de propositions de réponses
Questionnaire auto-administré (courrier ou mail) Avantages Faible coût (pas d'enquêteur) Renforce le sentiment d'anonymat de l'information transmise Liberté de répondre au moment le plus adéquat Permet le recueil d informations plus spécifiques ou un suivi prospectif Inconvénients Les questionnaires doivent être courts et extrêmement clairs Risques d incompréhension d'une question Augmente les risques de non réponse totale (questionnaire non renvoyé) ou partielle (l'enquêté «saute» des questions)
Administration par Internet Essor des éditeurs de questionnaires sur Internet Avantages Avantages du recueil auto-administré Faible coût, ergonomie/rapidité, possibles relances systématiques Facile de toucher un grand nombre de personnes Utilisation via des forums / sites spécifiques pour des professionnels (voire logiciels médicaux pour les médecins) Inconvénients Peu adapté aux questionnaires trop longs Beaucoup de non-réponses Biais de sélection des répondants notamment en population générale (professionnalisation des répondants aux enquêtes)
Mode d administration en santé Patients / malades Face-à-face préférable : captation / améliore la compréhension / mise en empathie Utilisation des visites au cabinet, à l hôpital, etc. Risque de stigmatisation : identité et cadre de l enquête Médecins Préférentiellement auto-administré : envoie par courrier, mail ou via Internet Population peu disponible et peu adhérente : développer l accroche
Construire le questionnaire Travail personnel Réalisez une ébauche du questionnaire structure globale : contenu et organisation informations mesurées taille : nombre de questions Rédiger la première question et les questions sur mesures principales
Construction du questionnaire Le questionnaire = Objet central de l enquête Contenu Organisation Ergonomie Les informations mesurables Bien différencier ce que l on veut mesurer dans une question Opinions / Croyances / Satisfaction Descriptions Connaissances Comportements / Pratiques Projections / Intentions
Conception du questionnaire Quelques règles 1. Une question = Une idée 2. La formulation de la question : précise et concise 3. La sémantique et le vocabulaire : langage simple et adapté 4. Ne pas influencer : rester neutre dans la formulation 5. Éviter les exemples et les généralisations 6. Utiliser des questions filtres si possible 7. Et surtout limiter l effort nécessaire pour répondre
Structuration globale du questionnaire Structure logique et progressive Par blocs / thèmes Ne pas passer du coq à l âne Taille et ergonomie fatigue et décrédibilise Attention à la taille (effet «bottin») et à la durée Arbitrage : niveau de précision / risque de non réponse Cas des médecins : privilégier des formes courtes Penser à numéroter les questions (voire les items) Soigner la première question Question «brise-glace» qui installe le climat En cas de questionnaire auto-administré (courrier, internet) Utiliser des annotations «explicatives» si nécessaire
S inspirer de l existant Ne pas réinventer la roue Se référer à la littérature : études et enquêtes antérieures Existence de nomenclatures faisant autorité En santé, existence de questionnaires ou modules «validés» ou «répandus» dans la littérature Dans les mesures de comportements, d opinions Dans les descriptions et profils socio-démographiques (professions, CSP, zones géographiques, etc.) INSEE Dans les pratiques médicales, contenu et organisation Dans les mesures de état de santé, santé perçue, maladie DREES chronique, incapacité/invalidité, addiction, risque psychosocial...
Les différents types de questions Questions fermées ou ouvertes Propositions de réponse / pas de proposition, libre expression Questions catégorielles Items proposés exhaustifs et mutuellement exclusifs Questions à réponse unique ou multiple Questions ordinales (échelles) Échelles de fréquence, notations (de 1 à X) Recueil de valeurs continues par tranches : âge, revenu Échelle de satisfaction ou de jugement (échelle de Lickert) Questions quantitatives («Combien de?»)
Les différents écueils (1) Privilégiez les questions fermées Perte de précision éventuelle MAIS Réponses plus faciles/rapides Directement comparables entre enquêtés faciles à traiter Les questions ouvertes doivent être marginales En complément d une question fermée Parfois utiles indépendamment de leur utilisation réelle Expression enquêté répondre davantage, plus honnêtement Les réponses multiples peuvent diluer l information Possibilité aussi de hiérarchiser les réponses effectuées
Les différents écueils (2) Attention aux réponses «attractives» Les premières modalités dans une question avec trop d items La modalité médiane dans une mesure d échelle Les chiffres ronds pour les mesures quantitatives Choisir le «bon nombre» d items Trop : lassitude, complexité, attraction premières modalités Trop peu : on ne mesure pas avec précision le phénomène Les items ne doivent être trop déséquilibrés Si 90% de réponse dans un item et 1 ou 2% dans les autres on ne capte pas la variance entre les répondants Intérêt de la modalité «Autres» Regrouper les cas rares, complétée par question ouverte
Les différents écueils (3) L «effet de liste» Pas de comparabilité entre question fermée et ouverte sur un même thème Exemple des «maladies» Agrégation (liste) vs. atomisation des réponses (pas de liste) Pas d induction des réponses si question ouverte MAIS nécessité de recodage/reclassement a posteriori Problèmes terminologiques cliniques : le «mal de dos» Échelle : nombre pair ou impair de modalités? ça dépend de ce qu on cherche à mesurer : Pair pour «forcer» à se positionner (opinions, satisfaction) Modalité médiane plutôt pour comportements ou descriptions
La formulation des questions Claire et concise Éviter les concepts et les termes trop techniques Pas de sigles, d abréviations Éviter les mots à double sens, éviter les négations Rester neutre, ne pas influencer, ne pas juger, ne pas «induire» Attention à la tendance à l acquiescement Êtes vous en faveur de? Êtes vous d accord pour dire que? Ne pas laisser apparaître ses propres convictions Éviter les tournures naïves et consensuelles Considérez-vous que la prévention du VIH est importante?
Utiliser des questions filtres Une question filtre = une question préliminaire qui conditionne les questions suivantes Utile si l on veut analyser un phénomène rare ou spécifique dans une population «plus générale» Aère le questionnaire Évite à l enquêté de lire des questions qui ne le concernent pas Certaines questions sont inutilisables sans filtre!
Biais classiques Ne pas solliciter et ne pas surestimer Risque de non réponse ou d approximations Recueils de données spécifiques et lourds Les recueils prospectifs (Carnet de consommations) Précis mais génère une lassitude Questions complexes Nécessitent des connaissances pointues ou de consulter des informations par ailleurs Termes complexes, conceptuels, potentiellement mal maîtrisés Limiter l effort de mémoire Le recueil rétrospectif sur des périodes longues Combien de fois avez-vous consulté durant l année passée?
Risque de «désirabilité sociale» Recueil sur des données sensibles Argent, santé, comportements illicites, croyances, etc. Utiliser des formulations empathiques, déculpabilisantes Accepter de perdre de la précision pour des réponses honnêtes (tranches de revenu par ex.) Utiliser des questions ouvertes Attention aux formulations stigmatisantes «Le malade malgré lui» Mesure des connaissances ou des compétences Connaissez-vous l amendent Bourrier de la Sécurité sociale?
Constituer un échantillon Travail personnel Comment allez-vous constituer votre échantillon? Sélection de la population : critères d'inclusion et d'exclusion Méthode d échantillonnage Taille de l'échantillon
Sélection de la population d enquête Définir sa «population de référence» Qui cible-t-on? Qui notre enquête veut-elle représenter? Les médecins? Oui, mais lesquels? Installés ou remplaçants? Secteur 1 et 2? Plein-temps seulement? «Purs» MG ou médecins à exercice particulier? Les patients? Oui, mais lesquels? File active? Patients «médecin traitant»? Malades chroniques seulement? Patients venus consulter un jour donné? Détermine profondément le schéma et la finalité de l enquête Conditionne les critères d inclusion/exclusion dans l échantillon Conditionne les critères de représentativité à mettre en œuvre
La représentativité Fait que l échantillon représente un «modèle réduit» de la population de référence Selon certains critères (âge, sexe, zone géographique ) La représentativité peut être visée a priori ou a posteriori A priori : mode de sélection de l échantillon Elle peut être jugée, voire corrigée a posteriori
Échantillonnage (1) Pour assurer la participation il faut bien des volontaires MAIS le volontariat exclusif a ses limites Sélectionner uniquement et tous les participants volontaires danger sur la fiabilité et la représentativité de l échantillon Population trop spécifique et potentiellement trop homogène on n observe plus la variance du phénomène Phénomène d usure des «répondants volontaires systématiques» Moins d attention portée aux réponses Lassitude et déperdition de cette source d enquêtés potentielle Ex. des maîtres de stage en médecine générale
Échantillonnage (2) Méthodes alternatives au volontariat exclusif Échantillonnage aléatoire (simple ou stratifié) : nécessite base de sondage (fichier exhaustif, fiable et actualisé de la population de référence : ordre des médecins, ADELI, CPAM via Ameli ) Méthode des quotas : sélection de manière déterministe selon certains critères (âge, sexe, zone géographique ) Méthode du pas systématique : On sélectionne un enquêté selon un intervalle régulier (une consultation toutes les X fois ) Alternative simple applicable dans les petites enquêtes
Échantillonnage (3) Sondage aléatoire Méthode des quotas Nécessite d avoir la liste Plus simple, moins coûteuse! complète des individus de la Évite les risques de non-réponse population de référence (on réitère jusqu à avoir le bon Risque de non-réponse nombre d indiv dans les quotas) Permet une plus grande Nécessite de connaître les souplesse de la sélection critères de représentativité (méthodes très diverses) sur la population de référence Fiabilité des estimations Risque de biaiser l échantillon si supérieure les critères sont mal choisis Plus adapté pour les gros Plus adapté pour les petits échantillons (> 100 indiv) échantillons (< 100 indiv)
Échantillonnage (4) Quelle est la taille minimale/optimale d un échantillon? Réponse : «Ca dépend!» Minimum absolu de 30 personnes (significativité statistique) La taille optimale d un échantillon dépend : de la méthode de sélection de l échantillon (aléatoire ou quotas) de la fréquence du phénomène observé dans la population de la précision souhaitée (puissance de l échantillon) de la taille de la population de référence Peut être calculée à l aide d une formule (relativement) simple
Échantillonnage (5) Corriger son échantillon a posteriori Souhaitable de «situer» la représentativité de son échantillon Comparer l échantillon à la population de référence Critères usuels : âge, sexe, zone géographique, CSP Critères usuels médecins : spécialité, secteur (1, 2), temps plein/partiel, volume d activité, mode d exercice (seul, groupe) Des méthodes de redressement pas compliquées à découvrir Consiste à pondérer les individus de l'échantillon selon qu ils sont sur ou sous-représentés par rapport à la population de référence Nécessite des données de référence (Pas impossibles à trouver)
Effectuer la collecte des données
La collecte des données Quand? Quelle période? Période, durée (prévoir suffisamment de temps si possible) Gommer les effets / biais de période : enquêter plusieurs jours ou plusieurs saisons différent(e)s Comment? Quelles modalités? Choix du mode d administration des questionnaires Prévoir une ou des relances systématiques Qui? Choix de l échantillon?
Mise en œuvre de l enquête (1) Anticiper l analyse statistique Que ferai-je de mes données? Comment vais-je les analyser? Les à-côtés du questionnaire Courrier d accompagnement : A ne pas négliger! Présenter l objet d étude et le cadre de réalisation de l enquête Sensibiliser à l intérêt de la collecte : intérêts de recherche, enjeux de politique publique, de société, etc. Rassurer l enquêté sur les aspects ergonomiques et légaux : réponses anonymes, ce questionnaire ne prend que X minutes Un peu de formalisme ne nuit pas Augmente significativement la participation
Mise en œuvre de l enquête (2) Connaître son domaine Avoir ou acquérir une expertise sur la domaine et la population enquêtée : asseoir sa légitimité / crédibilité Être identifié dans ses objectifs : se présenter comme neutre et ne pas être assimilé à un organisme, un pouvoir, etc. Pré-test du questionnaire en amont (voire enquête pilote) Détecter les questions mal conçues, mal rédigées Repérer les oublis et les incohérences : modalités de réponses inadaptées ou oubliées, besoin de questions filtres Évaluer la durée de remplissage ou d administration Tester plusieurs formes de questions pour une même mesure
Référence L'enquête et ses méthodes : le questionnaire François de Singly, Auteur. - Nathan, 2000. - 125 p. ; 18 cm. - Collection 128 ISBN : 978-2-09-190567-9 : 8,1