Le mercredi 25 mars Présentation du comité Atelier sur les méthodes de recherche

Transcription

1 Utilisation des sondages pour les recherches sur les populations étudiantes Le mercredi 25 mars 2009 Présentation du comité Atelier sur les méthodes de recherche

2 Sondages «La meilleure méthode à la disposition du spécialiste en sciences sociales qui s intéresse à la collecte de données originales pour décrire une population qui est trop nombreuse pour être observée directement» (Babbie, 1995) «[ ] méthode servant à mesurer les perceptions des comportements, attitudes ou orientations au sein d une population nombreuse» (Salant et Dillman, 1994) «La technique la plus courante servant à recueillir des données dans le cadre d une recherche descriptive» (Merriam et Simpson, 1995)

3 Pourquoi mener des sondages? Les sondages peuvent être des questionnaires non expérimentaux ou faire partie d entrevues structurées. Les sondages sont des méthodes simples et rapides de collecte de données objectives ou subjectives. Pour comparer des données avant et après un traitement ou événement. Pour quantifier et recueillir des données rapidement et efficacement. Rapidement créés mais impossible à perfectionner

4 Pourquoi mener des sondages? Pourquoi utiliser des sondages? Ils permettent aux gens de fournir aux chercheurs des renseignements à leur sujet. Il s agit d une méthode servant à étudier les rapports entre les variables ibl ainsi ique les façons dont les attitudes et comportements changent au fil du temps. Ils fournissent des renseignements utiles pour prendre des décisions en matière de politique publique / à des fins de marketing. Il s agit dun d un complément important aux conclusions expérimentales. Ils peuvent permettre de recueillir des renseignements qualitatifs tif et quantitatifs. tif

5 Cinq questions (Sherblom, 1993) 1. Que voulons-nous savoir? 2. Au sujet de qui voulons-nous nous le savoir? 3. Comment formulons-nous les questions? 4. Comment obtenons-nous des réponses appropriées et adéquates? 5. Comment interprétons-nous les résultats?

6 Mener un sondage ou non Question de conception clé Savez-vous ce que le groupe cible pense/croit ou comment il pense/croit/se comporter? NON Besoin d une comprehension plus approfondie OUI Besoin des donnés quantitatives Quel(le)s sont les perceptions/facteurs sousjacent(e)s? Quelle est la gamme de perceptions/réponses? Combien pensent/croient cela ou se comportent comme cela? Quelles sont les différences des segments? Méthodes de recherche qualitatives Méthodes de recherche quantitatives

7 Terminologie relative à l échantillonnage Recensement ou échantillon : Coût / Temps / Efficacité réduite Population observée : N la population à partir de laquelle les résultats du sondage doivent être généralisés Base d échantillonnage la «liste» à partir de laquelle un échantillon doit être tiré afin de représenter la population observée Échantillon : n toutes les unités de la population qui sont tirées en vue de leur inclusion dans le sondage Échantillon complet tous les répondants qui ont répondu au sondage

8 Échantillonnage Définir la population p Échantillons «de commodité» non probabilistes : Bons pour les «populations spéciales» dont les membres ne peuvent être «affichés» au préalable Échantillonnage probabiliste Chaque élément peut être choisi Tests d inférence et généralisabilité é é Calculer les intervalles de confiance pour les estimations ponctuelles

9 Échantillonnage Échantillons aléatoires simples/systématiques Créer une base d échantillonnage Utiliser une table de nombres aléatoires (comme un tirage au sort) Par ex., 100 élèves d une école de élèves; le taux d échantillonnage est alors de 0,1 Presque toujourspossibledeprendre pende chaque énième cas, après une origine choisie au hasard, par exemple, prendre les 3 e, 13 e, 23 e, 33 e, etc., cas Dans de rares cas, il peut y avoir un biais si la base d échantillonnage est ordonnée. Randomiser ou alphabétiser

10 Échantillonnage Échantillon stratifié La population peut être divisée par type de groupe particulier, et un échantillon aléatoire simple est tiré de chaque groupe. Cela peut faciliter l échantillonnage et, dans certains cas, produire des estimations plus précises.

11 Sélection ou réponse Taux de réponse Les L taux de réponse type varieront selon les universités, i les groupes d étudiants et les types de sondage. Évaluer les erreurs d échantillonnage et de réponse (si possible) Évaluer les erreurs d échantillonnage et de réponse en comparant la composition de l échantillon aux caractéristiques connues de la population (sexe, âge, années au sein du programme selon les renseignements disponibles) provenant de la base Les dossiers provenant des systèmes d inscription des étudiants p y p peuvent contenir des renseignements vous indiquant si votre échantillon est systématiquement différent de la population.

12 Taux de réponse Principaux facteurs ayant une incidence sur les taux de réponse L objet de l étude, ensemble avec les motifs des répondants Le «coût» - en temps - de la participation au sondage Autres facteurs ayant une incidence sur les taux de réponse Qualité de la conception (questionnaires auto-administrés administrés et sondages sur le Web) Légitimité / cote d estime de l organisme de collecte de données Compétence de l intervieweur eweu (sondages) Selon le sondage, les taux de réponse peuvent dépendre de ce qui suit : Nouveauté Récompense / confiance Facilité du sondage

13 Échantillonnage La population p doit être définie en premier, ensuite l échantillon peut être choisi. Échantillonnage aléatoire Stratification de l échantillon Taille de l échantillon Questions relatives au biais d auto-sélection dans le cas des populations étudiantes

14 Quatre sources d erreur (Dillman, 2000) Erreur de mesure Les réponses aux questions sont inexactes, imprécises et ambiguës et ne peuvent servir à des fins utiles. Erreur relative au champ d observation L échantillon n est nest pas tiré d une population permettant de fournir des interprétations utiles. Erreur d échantillonnage Seul un sous-ensemble inadéquat de la population est étudié. Erreur due à la non-réponse D b f i i d l é h ill d d De nombreuses personnes faisant partie de l échantillon du sondage ne répondent pas au questionnaire et affichent des différences qui sont importantes pour l interprétation de l étude.

15 Questions à examiner au moment d utiliser les sondages Conception du sondage (Réduire les erreurs de mesure) Créer des questions qui répondent à la question Choisir les échelles d évaluation / l échelle de Likert Dires de l intéressé é Administration du sondage (Prendre en considération les questions relatives aux champs d observation, à l échantillonnage et aux non-réponses) Choisir un moyen de sondage Améliorer les taux de réponse Analyse, interprétation et rapports (aussi réduire les erreurs de mesure)

16 Conception du sondage Préciser les objectifs de recherche Collecte de renseignements démographiques Questions relatives à l anonymat Taux de réponse ou collecte de données Différences au niveau des réponses

17 Conception du sondage Formulation de la question Problèmes potentiels résultant de la difficulté à comprendre la question 1. Termes techniques peu familiers 2. Termes vagues ou imprécis 3. Structures de phrase qui ne respectent pas les règles de grammaire 4. Formulation qui surcharge la mémoire de travail 5. Insertion de renseignements trompeurs dans la question

18 Conception du sondage Facteurs importants à prendre en considération i au moment de rédiger les questions Simplicité Doubles questions Questions tendancieuses Formulation négative Disposition ii àdi dire oui ou àdi dire non

19 Conception du sondage N utilisez que rarement les questions ouvertes, seulement lorsqu elles ll sont nécessaires. Les répondants sont libres de répondre comme ils l entendent. Le codage des réponses exige du temps et de l argent. Certaines réponses ne peuvent être classées par catégories. Il est utile de découvrir les pensées des répondants et leur vision naturelle du monde.

20 Conception du sondage Utilisez les questions fermées au besoin. Nombre limité de choix de réponse Approche plus structurée Plus faciles à coder Les choix de réponse sont les mêmes pour tout le monde Utiles lorsque les dimensions de la variable sont bien définies Exemple échelles de Likert et autres échelles d évaluation

21 Échelles d évaluation Fortement en accord Fortement en désaccord Strongly agree Strongly disagree Not Déplaisante very enjoyable Très Very plaisante enjoyable Cochez le visage qui correspond à votre expérience avec le jouet.

22 Échelles d évaluation Des échelles semblables aux échelles de Likert sont souvent utilisées pour quantifier des rapports. 1 Fortement en accord 2 En accord 3 Neutre 4 En désaccord 5 Fortement en désaccord Impaires ou paires? Combien de points? S assurer qu elles affichent des scores positifs Les échelles de Likert sont-elles des échelles à variables nominales, ordinales, ou d intervalles? Comment devrions-nous les analyser? Test du chi carré ou test t? Test de Wilcoxon?

23 Conception du sondage Sachez que les questions que vous posez peuvent transmettre de puissants messages. Faites attention au syndrome «Puisque vous êtes déjà ici». Si vous n allez pas analyser les réponses, ne posez pas la question!

24 Administration du sondage Méthode de collecte des données poste, téléphone, entrevue, livraison, courriel, Web Distribution Procédures Taux de réponse Considérations morales Considérations budgétaires / ressources disponiblesibl Aperçu du processus de planification

25 Administration du sondage Méthodes de collecte des données - En personne - Poste - Livraison - Téléphone - Courriel - Web (en ligne) Quelles coordonnées avez-vous? Nom Téléphone Adresse postale Courriel (personnel / de l établissement)

26 Administration du sondage Méthode de conception personnalisée de Dillman (2000) Distribution en ligne du sondage Préavis (facultatif) Page couverture et questionnaire (lien) Avis de rappel 1 (lien de remplacement) Avis de rappel 2 (remplacement et contact final)

27 Taux de réponse Les taux de réponse varieront selon les établissements d EPS, les groupes d étudiants et les types de sondage. Facteurs critiques pour la participation (taux de réponse) -Objet de l étude -Efficacité de la demande (lettre de présentation) -Durée D é du sondage -Récompense (mesures incitatives) -Confiance et affinité avec le commanditaire -Choix du moment -Considérations liées au groupe cible (par ex., lassitude des sondages)

28 Administration du sondage Observations et conseils sur le choix du moment : Plus de la moitié des réponses au sondage arrivent dans un délai d un ou de deux jours. Sept réponses sur huit arrivent dans un délai d une semaine. Il est recommandé d administrer le sondage sur une période de deux ou trois semaines (20 jours en moyenne). Cela est d autant plus vrai pour les sondages menés auprès des employés à l échelle d une institution ou d une société, où les étudiants t ou employés peuvent être en vacances pendant deux semaines consécutives. De sept à dix jours peuvent suffire lorsque la rapidité est plus importante que les taux de participation.

29 Administration du sondage Le taux de réponse et le délai de réponse présentent une forte corrélation avec l heure de la journée. Trouvez les taux de réponse les plus élevés pour les invitations aux sondages envoyées entre 6 h et 9 h (Fig. 4) Online Survey Response Rates and Times Background and Guidance for Industry Michael Braun Hamilton, Online Survey Analyst mhamilton@supersurvey.com Tercent, Inc. / SuperSurvey; Fig. 4 Taux de réponse selon l heure de la journée à laquelle les invitations ont été envoyées Taux de réponse Taux Heure de la journée (HE)

30 Participation Au sujet des taux de réponse Comment les calculer? Qu est-ce qui est raisonnable?

31 Calcul des taux de réponse Taux de réponse Le nombre d entrevues complètes divisé par le nombre d unités déclarantes admissibles dans l échantillon. Taux de coopération La proportion des unités admissibles contactées qui ont été interviewées. Taux de refus La proportion des cas potentiellement admissibles dans lesquels un répondant refuse de passer une entrevue ou abandonne une entrevue.

32 Taux de réponse Qu est-ce qui est raisonnable? Les normes varient considérablement. Il est difficile d en arriver à un consensus : % Minimum pas inhabituel et peut être acceptable % Raisonnable typique % Supérieur % et + Rare

33 Aperçu de la planification Considérations morales : Nature des questions Identification/suivi des répondants Rpp Rapport tdes conclusions nl in de façon anonyme Consentement éclairé Utilisation des conclusions Accès aux conclusions Explications aux répondants Utilisation de mesures incitatives

34 Aperçu de la planification Considérations budgétaires Durée de la consultation Durée de la conception du questionnaire Impression/programmation Distribution envoi par la poste/appels Entrée/nettoyage de données Analyse de données Élaboration nde rapports rt

35 Aperçu de la planification Aperçu de la planification Considérations liées aux ressources Types d expertise requis Conception Distribution Coordination i et surveillance Analyse statistique Rédaction de rapports Types et sources d expertise disponibles

36 Rappel 1. Quatre erreurs (relatives au champ pd d observation, d échantillonnage, de mesure, dues à la non-réponse) 2. Précisez l objet de vos recherches et dites comment votre instrument vous aide à réaliser vos buts. 3. Pendant que vous menez votre sondage, prenez en considération vos participants ainsi que les motifs qui les portent à participer à votre sondage. Comment interpréteront-ils votre sondage?

37 Une étude de cas réelle Avantages Inconvénients Mauvaises surprises

38 Pourquoi avons-nous mené le sondage? Avantages Nous avions recueilli certains renseignements non scientifiques sur ce que les étudiants croyaient savoir/percevaient au sujet du cours, mais nous devions faire correspondre ces connaissances à l analyse quantitative. Certains résultats LASSI ainsi que certains commentaires d étudiants et de membres du corps professoral lors des réunions indiquaient qu il existait certaines perceptions parmi les différents intervenants, mais nous devions découvrir si nos hypothèses étaient exactes. Le sondage a aidé à déterminer, d une façon ou d une autre, si le cours avait un impact mesurable, tant sur le plan qualitatif que sur le plan quantitatif. Le sondage a permis à un grand groupe d étudiants d en savoir plus sur l existence du cours. Inconvénients Nous voulions savoir si l existence même du cours était portée à l attention des étudiants.

39 Échantillonnage Avantages Utilisez vos connaissances et votre intuition comme point de départ. Il faut être impartial et juste, mais vous pouvez comprendre vos étudiants, et ces connaissances vous permettront de vous assurer que l échantillon est valide. Inconvénients Les étudiants sont «las des sondages». La taille de l échantillon doit tenir compte de ceux qui ne répondront pas au sondage et qui n hésiteront pas à s exprimer à ce sujet. Mauvaises surprises Parfois, il est presque impossible de déceler ou de contrôler un biais. Nous avons administré un sondage papier sur une courte période les options étaient limitées et le sondage couvrait tout l échantillon, mais seules les classes où les membres du corps professoral s entendaient bien avec notre département ou avec ceux qui administraient i i le sondage ont été é recensées.

40 Conception du sondage Avantages Soyez clair, net et concis. Notre sondage a été administré en 10 minutes, ce qu ont apprécié les membres du corps professoral dans les classes où le sondage a été mené, ainsi que les étudiants, qui étaient là de toute façon. Inconvénients Il faut s assurer que le groupe-échantillon comprend tous les termes employés. Il se peut qu une grande partie de l échantillon ne comprenne pas des termes techniques très élémentaires de «votre domaine». Mauvaises surprises Quoi que vous fassiez, certains membres du groupe-échantillon ne pourront trouver réponse à certaines questions.

41 Questions à examiner Conception Avantages du sondage Chronométrage Selon le sondage, il arrive parfois que les sondages d étudiants soient «plus faciles» à administrer. N oubliez pas d en tenir compte. Inconvénients Faites tout d abord un essai pour chronométrer le sondage. Vous pourriez être surpris de découvrir des questions qui contre toute attente ralentissent le processus si elles ne sont pas parfaitement claires ou logiques pour le groupe-échantillon. Mauvaises surprises Évitez les questions ouvertes.certains étudiants adorent rédiger de longues opinions.

42 Questions à examiner Conception du sondage Processus d approbation internes Avantages Les comités d éthique examinent les questions en profondeur et connaissent les règles. Faites preuve d une grande circonspection au moment de traiter avec eux. Inconvénients Pour les «recrues» assurez-vous de tripler le temps dont vous pensez avoir besoin pour traiter avec les comités d éthique.

43 Échelles d évaluation Avantages Ici encore, la simplicité l emporte sur l abondance de détails. Inconvénients Sachez à quel «système» vous avez accès. Nous avons un système qui ne nous donne que cinq options mais cela pourrait ne s appliquer qu à certaines des plus petites écoles. Mauvaises surprises Si vous ne le savez pas, vous devrez effectuer une «mise en commun» anormale de certaines réponses (par ex., mettre en commun les programmes de SCIENCES INFIRMIÈRES et les programmes de baccalauréat ès sciences des programmes très différents qui mènent à des réponses très différentes). es).

44 Administration du sondage Quel type ou moyen utiliser? Nous avons utilisé le papier. Avantages 800 sondages papier pourraient être administrés i en direct en dix minutes dans les classes particulières faisant partie de notre échantillon identifié. Si une question était mal interprétée et que vous le saviez, elle pourrait être clarifiée oralement. Rapide 550 sondages terminés en une semaine L échantillon pourrait être modifié au besoin pour répondre aux critères originaux par classe,,p par ex., 50 % première année, 50 % année supérieure. Inconvénients Gruge-temps pour celui qui administre le sondage pendant la semaine En ligne pas toujours nécessaire Mauvaises surprises Trop de papier!

45 Nous sommes : Al Carfagnini, Université Nipissing Carol lmiles, Université i écarleton Rod Skinkle, Academica Group Glenn Stalker, Université York