L'ABC de l'élaboration d'un questionnaire

Transcription

1 1/43 L'ABC de l'élaboration d'un questionnaire Christine Dufour Professeure adjointe Université de Montréal 9 novembre /43 Introduction L'évaluation au coeur de notre profession pour prendre la mesure De nos activités De nos services De notre environnement De nos clientèles Qui dit mesure, dit instrument de mesure, par ex. Questionnaire Entrevue (individuelle ou en personne) Observation Le questionnaire un art et une science! Montréal 1

2 3/43 Plan de la présentation Introduction Collecte de données par questionnaire Avantages et désavantages Étapes de l'élaboration d'un questionnaire De la définition des besoins à la diffusion des résultats Conclusion 4/43 Collecte de données par questionnaire Avantages et désavantages [1/2] Pourquoi le questionnaire au lieu de l'entrevue? Moins coûteux Permet de rejoindre une clientèle dispersée Anonymat sécurise les répondants Élimine le biais introduit verbalement par un intervieweur Montréal 2

3 5/43 Collecte de données par questionnaire Avantages et désavantages [2/2] Oui, mais Taux de réponse généralement faible Ne permet pas d'aller aussi en profondeur Aucun contrôle sur les conditions dans lesquelles il est rempli Plus difficile pour les personnes moins scolarisées Pas de possibilité de donner des explications supplémentaires 6/43 Étapes «classiques» 1. Délimitation de l'information à recueillir 2. Formulation des questions 3. Ordre des questions 4. Mise en forme du questionnaire 5. Rédaction de l'introduction et des directives 6. Prétest du questionnaire 7. Lancement du questionnaire 8. Analyse des réponses 9. Diffusion des résultats Montréal 3

4 7/43 1. Délimitation de l'information à recueillir Étape importante mais souvent négligée Permet de s'assurer d'aller chercher toute l'information pertinente à nos besoins et seulement celle-ci Se poser la question «Qu'est-ce que l'on veut vraiment savoir?» Doit devenir le leitmotiv de l'élaboration du questionnaire 8/43 2. Formulation des questions [1/14] Principes généraux Ne retenir que les questions nécessaires et s'assurer de tout couvrir S'assurer que les répondants ont l'information nécessaire pour répondre N'adresser qu'un sujet par question Montréal 4

5 9/43 2. Formulation des questions [2/14] Choisir le bon type de questions Questions ouvertes réponses libres sans choix prédéterminés Particulièrement utiles pour explorer des sujets pour lesquels vous n'avez pas d'idée précise des réponses attendues Questions fermées choix de réponses prédéfinis Utiles lorsque vous connaissez déjà l'étendue des réponses potentielles 10/43 2. Formulation des questions [3/14] Questions ouvertes Questions fermées Avantages Stimulent la pensée libre Favorisent l'exploration en profondeur Permettent de découvrir des résultats non anticipés Tendent à être plus fiables car uniformisées Plus faciles et rapides à répondre Plus faciles à analyser Permettent d'explorer des domaines délicats Désavantages Plus difficiles à analyser Prennent plus d'espace Désavantagent les personnes moins articulées Difficiles à construire Peuvent permettre aux répondants de cacher leur ignorance Choix «forcé» pouvant irriter Peuvent introduire un biais si les choix sont incomplets Montréal 5

6 11/43 2. Formulation des questions [4/14] QUESTION DICHOTOMIQUE Avez-vous utilisé le service de référence au cours des deux dernières semaines? Oui Non QUESTION À RÉPONSES MULTIPLES Quel(s) service(s) de la bibliothèque avez-vous utilisé(s) aujourd'hui? (Cochez toutes les réponses qui s'appliquent) Référence Prêt entre bibliothèques Autre Types de questions fermées (1/3) QUESTION À CHOIX MULTIPLES Quelle est votre langue maternelle? (1 seul choix) Français Anglais Autre QUESTION À RÉPONSES MULTIPLES HIÉRARCHISÉES Classez par ordre d'importance les critères suivants pour juger de la qualité d'un site Web (1 étant le plus important et 3 le moins important) Expertise des auteurs Organisation de l'information Design (interface) 12/43 2. Formulation des questions [5/14] Types de questions fermées (2/3) ÉCHELLE GRAPHIQUE Quelle importance représentent les heures d'ouverture dans votre décision de fréquenter la bibliothèque? (Faites un X au niveau qui correspond le mieux à votre opinion) Très important Pas important ÉCHELLE DE LIKERT L'accès Internet devrait être surveillé pour bloquer l'accès aux sites Web à contenu sensible (violence, pornographie, etc.) (Cochez le niveau qui correspond le mieux à votre opinion) Tout à fait Plutôt Neutre Plutôt en Tout à fait d'accord d'accord désaccord en désaccord Montréal 6

7 13/43 2. Formulation des questions [6/14] Types de questions fermées (3/3) Types ÉCHELLE de questions DE THURSTONE fermées (2/3) Quel énoncé correspond le mieux à votre opinion par rapport à la recherche d'information dans Internet (1 seul choix) : Dans l'ensemble, je trouve rapidement ce que je cherche dans Internet Je n'utilise presque jamais Internet pour chercher de l'information Plus souvent qu'autrement je perds mon temps sans rien trouver ÉCHELLE D'OSGOOD Pour chacune des deux échelles, faites un X au niveau qui correspond le mieux à votre opinion par rapport à l'énoncé suivant «Naviguer sur Internet c'est :» Ennuyeux Dangereux Passionnant Sécuritaire 14/43 2. Formulation des questions [7/14] Caractéristiques des questions Questions courtes, claires et faciles à comprendre Àéviter Formulations ambiguës, confuses et vagues, mots portant à interprétation Double négation Argot, jargon, termes techniques, abréviations non développées Combien de documents Langage neutre, impersonnel empruntez-vous? Àéviter Fausses prémisses Questions biaisées, tendancieuses, suggérant des réponses Montréal 7

8 15/43 2. Formulation des questions [7/14] Caractéristiques des questions Questions courtes, claires et faciles à comprendre Àéviter Formulations ambiguës, confuses et vagues, mots portant à interprétation Double négation Argot, jargon, termes techniques, abréviations non Êtes-vous développées en désaccord Langage neutre, impersonnel avec les gens qui Àéviter ne Fausses prémisses veulent pas? Questions biaisées, tendancieuses, suggérant des réponses 16/43 2. Formulation des questions [7/14] Caractéristiques des questions Questions courtes, claires et faciles à comprendre Àéviter Formulations ambiguës, confuses et vagues, mots portant à interprétation Double négation Argot, jargon, termes techniques, abréviations non développées Langage neutre, impersonnel Utilisez-vous Àéviter le service Fausses prémisses de DSI? Questions biaisées, tendancieuses, suggérant des réponses Montréal 8

9 17/43 2. Formulation des questions [7/14] Caractéristiques des questions Questions courtes, claires et faciles à comprendre Àéviter Depuis quand avez-vous Formulations ambiguës, confuses diminué et vagues, votre mots portant à interprétation fréquentation de Double négation Argot, jargon, termes techniques, la bibliothèque? abréviations non développées Langage neutre, impersonnel Àéviter Fausses prémisses Questions biaisées, tendancieuses, suggérant des réponses 18/43 2. Formulation des questions [7/14] Caractéristiques des questions Questions courtes, claires et faciles Que à pensez-vous comprendre Àéviter des améliorations Formulations ambiguës, confuses et vagues, mots portant à interprétation apportées au Double négation catalogue en Argot, jargon, termes techniques, abréviations ligne? non développées Langage neutre, impersonnel Àéviter Fausses prémisses Questions biaisées, tendancieuses, suggérant des réponses Montréal 9

10 19/43 2. Formulation des questions [8/14] Caractéristiques des choix de réponses Exhaustivité c'est-à-dire couvrir toutes les possibilités (ne pas hésiter à mettre un choix «autre»!) Exclusivité mutuelle c'est-à-dire sans Quelle recoupement est votre langue maternelle? Habla Ordre logique español! français anglais 20/43 2. Formulation des questions [8/14] Caractéristiques des choix de réponses Exhaustivité c'est-à-dire couvrir toutes les possibilités (ne pas hésiter à mettre un choix «autre»!) Exclusivité mutuelle c'est-à-dire sans recoupement À quel groupe d'âge Ordre logique appartenez-vous? J'ai 20 ans ans ans ans 40 ans et plus Montréal 10

11 21/43 2. Formulation des questions [8/14] Caractéristiques des choix de réponses Exhaustivité c'est-à-dire couvrir toutes les Il me semble possibilités avoir (ne pas hésiter à mettre un choix vu le crochet, non? «autre»!) Ski Exclusivité mutuelle c'est-à-dire Tricot sans Karaté recoupement Ordre logique Quelles activités pratiquez-vous (cochez tout ce qui s'applique)? Natation Tricot Mosaïque Lecture Marche Ping-pong Bénévolat Jeux vidéos Rénovation Bricolage 22/43 2. Formulation des questions [9/14] Un peu de pratique Trouvez l'erreur! Quel est votre niveau de satisfaction du service de DSI et du service de PEB? Très satisfait Moyennement satisfait Moyennement insatisfait Très insatisfait Montréal 11

12 23/43 Une solution 2. Formulation des questions [10/14] Un peu de pratique Trouvez l'erreur! Quel est votre niveau de satisfaction pour le service de diffusion sélective de l'information? Très insatisfait Moyennement insatisfait Neutre Moyennement satisfait Très satisfait Ne l'utilise pas Quel est votre niveau de satisfaction pour le service de prêt entre bibliothèques? Très insatisfait Moyennement insatisfait Neutre Moyennement satisfait Très satisfait Ne l'utilise pas 24/43 Une solution 2. Formulation des questions [11/14] Un peu de pratique Trouvez l'erreur! Quel est votre niveau de satisfaction pour les services suivant : Très insatisfait Moyennement insatisfait Neutre Moyennement satisfait Très satisfait Ne l'utilise pas Service 1 Service 2 Service 3 Service 4 Service 5 Montréal 12

13 25/43 Une solution 2. Formulation des questions [12/14] Un peu de pratique Trouvez l'erreur! Quel est votre niveau de satisfaction pour les services suivant : Très insatisfait Moyennement insatisfait Neutre Moyennement satisfait Très satisfait Ne l'utilise pas Service 1 Service 2 Service 3 Service 4 Service 5 26/43 2. Formulation des questions [13/14] Un peu de pratique Trouvez l'erreur! Quelle est votre fréquence d'utilisation de votre bibliothèque? Jamais Rarement Occasionnellement Souvent Montréal 13

14 27/43 Une solution 2. Formulation des questions [14/14] Un peu de pratique Trouvez l'erreur! Quelle est votre fréquence d'utilisation de votre bibliothèque? Jamais 2-3 fois par année 2-3 fois par mois 2-3 fois par semaine 28/43 3. Ordre des questions Commencer par des questions suscitant l'intérêt La première question est particulièrement importante. En choisir une directement en lien avec le sujet du sondage, intéressante et surtout facile à répondre À l'opposé, garder les questions démographiques pour la fin ainsi que les questions ouvertes Regrouper les questions par thématique Essayer d'aller du général au spécifique L'ordre des questions peut influencer les réponses. Éviter de le changer en cours de collecte Montréal 14

15 29/43 4. Mise en forme du questionnaire [1/9] Principes généraux Clair et aéré Suffisamment d'espace pour répondre La longueur dépend des personnes ciblées. Règle générale, plus c'est court, mieux c'est! 3-4 pages fonctionne habituellement bien 10 pages commence à être long 30/43 4. Mise en forme du questionnaire [2/9] Papier ou électronique? Cela dépend des répondants Ont-ils un accès facile au Web? Sont-ils familiers avec les formulaires Web? Les contactez-vous plus souvent par courriel ou en personne? et des ressources disponibles Avez-vous accès à un environnement Web? Avez-vous les moyens pour un envoi postal? Quelles sont vos ressources pour le traitement des réponses? Montréal 15

16 Solutions clé-en-main Services en ligne Solutions clé-en-main Logiciels spécialisés Développement maison 31/43 4. Mise en forme du questionnaire [3/9] Questionnaires en ligne, quelques options Avantages Désavantages Exemples Hébergement sur un serveur externe Rien à installer et à mettre à jour Confidentialité des données assurée Flexibilité Confidentialité des données assurée Dépendance au serveur externe Confidentialité des données Flexibilité parfois limitée Logiciel à installer et mettre à jour Besoin d'un serveur pour l'hébergement Flexibilité parfois limitée Connaissances techniques nécessaires Besoin d'un serveur pour l'hébergement Zoomerang [ SurveyMonkey [ QuestionPro [ SurveyGold [ SelectSurvey [ Survey Crafter [ Programmation ASP avec base de données Access Programmation PHP avec MySQL 32/43 4. Mise en forme du questionnaire [4/9] Exemple d'un service en ligne Zoomerang [ Montréal 16

17 Forfaits 33/43 4. Mise en forme du questionnaire [5/9] 34/43 4. Mise en forme du questionnaire [6/9] Gestion des questionnaires Montréal 17

18 35/43 4. Mise en forme du questionnaire [7/9] Gestion des adresses 36/43 4. Mise en forme du questionnaire [8/9] Création d'un questionnaire Montréal 18

19 37/43 4. Mise en forme du questionnaire [9/9] Types de questions 38/43 5. Introduction et directives Être convaincant Vous avez besoin de leur avis Les résultats du sondage mèneront à des actions concrètes Le sondage ne leur prendra que peu de temps à remplir (donnez un ordre de grandeur) Les réponses resteront confidentielles et l'anonymat est garanti Truc : Parfois un incitatif (par exemple, faire tirer un coupon rabais chez un libraire, une clé USB, un livre, etc.) peut permettre d'augmenter le taux de réponse et précis! Préciser le «qui», le «quoi», le «pourquoi», le «comment» et le «quand» Montréal 19

20 39/43 6. Prétest du questionnaire Vérification du questionnaire par des collègues Valider la pertinence du questionnaire Éliminer certaines imprécisions Avoir un premier estimé du temps requis Prétest du questionnaire auprès de répondants cibles Étape à ne pas négliger! Faire remplir par quelques personnes correspondant au profil recherché Permet d'identifier les problèmes Permet d'estimer le potentiel du questionnaire à répondre à nos questions 40/43 7. Lancement du questionnaire Publicisation et distribution du questionnaire Préciser la date «de tombée» pour remplir le questionnaire Au besoin, faire un rappel si le taux de réponse semble insuffisant Montréal 20

21 41/43 8. Analyse des réponses Selon le type de réponses obtenues Questions fermées : données quantitatives Analyse statistique Dénombrements (en absolu et en relatif) Moyennes et écarts-type Questions ouvertes : données qualitatives Analyse qualitative (analyse de contenu) : catégorisation des réponses pour en faciliter la synthèse 42/43 9. Diffusion des résultats Auprès des collègues, des supérieurs, des usagers Ils veulent connaître les grandes lignes qui se dégagent du sondage les actions qui seront prises en fonction des résultats obtenus Par les canaux de communication habituels, par ex.: Bulletin mensuel, babillard, pamphlet Site Web, fil RSS, courrier électronique Montréal 21

22 43/43 Conclusion Le questionnaire est un outil efficace pour recueillir des informations sur nos activités et services et sur nos clientèles en autant que l'on prenne le temps de Bien définir nos besoins Formuler correctement nos questions et bien les agencer Choisir le bon support et le bon canal de communication en fonction de notre clientèle Valider notre questionnaire D'analyser nos résultats pour faire ressortir utilement les tendances qui se dégagent Montréal 22