Guide de conception d une épreuve écrite sous la forme d un questionnaire à choix multiples Aspects pratiques Aspects pédagogiques Conseils de conception 1
Introduction Terminologie spécifique à l IEP : QCM est le terme générique pour parler de questionnaires à choix multiples lors d un examen de fin de semestre. Ce questionnaire peut prendre deux formes selon le type de questions qu il contient : QRM = Questions à Réponses Multiples QRU = Questions à Réponse Unique De manière générale : La conception d un QCM est chronophage. Un QCM se doit d être bien construit pour : Éviter les fraudes et l effet de hasard, Évaluer l acquisition des objectifs pédagogiques visés par l enseignement. 2
LES ASPECTS PRATIQUES 3
Où, quand, comment rendre son QCM? (1/2) Il doit être donné au moins un mois à l avance au service de scolarité concerné : Il est possible de rendre le QCM au format numérique ou papier. Deux versions du document sont à fournir : Le sujet : qui sera copié et distribué aux étudiants, Le corrigé : qui servira lors de la correction automatique des copies. Au niveau du contenu : Choisir l un des deux types de questions : Questions à Réponse Unique (QRU) ou Questions à Réponses Multiples (QRM). Dans le cas d un QRM, des contraintes techniques nous obligent à suivre trois règles lors de la rédaction des questions : le nombre de propositions de réponses par question doit être constant (3, 4 ou 5 propositions), chaque question doit offrir au moins une bonne réponse, chaque question doit offrir au moins une mauvaise réponse. Ne pas dépasser 60 questions : valable pour les QRU et QRM. 4
Où, quand, comment rendre son QCM? (2/2) Nom du cours Nom de l enseignant La consigne type (QRM ou QRU) (voir diapositives suivantes) Le nombre de questions Le sujet Pas plus de 60 questions Nom du cours Nom de l enseignant La consigne type (QRM ou QRU) (voir diapositives suivantes) Le nombre de questions Le corrigé Pas plus de 60 questions Les bonnes réponses sont identifiables sur le corrigé (couleur, gras, ou autre). 5
Consigne pour des Questions à Réponse Unique Consigne à insérer sur le sujet si QRU Barème avec points négatifs Consignes à lire très attentivement avant de commencer l épreuve Barème sans points négatifs Consignes à lire très attentivement avant de commencer l épreuve Ceci est un Questionnaire à Réponse Unique. Pour chacune des questions, vous devez noircir la case correspondant à votre réponse sur la copie d examen fournie avec le questionnaire. Le barème est le suivant : +1 point pour une réponse exacte -0,5 de point pour une réponse fausse ou multiple (plusieurs cases noircies) 0 point pour absence de réponse Corriger sa réponse : Si vous utilisez la deuxième ligne de cases pour corriger votre réponse, seule cette deuxième ligne sera prise en compte au moment de la correction, quel que soit le marquage de la première ligne. Annuler sa réponse : En cas d annulation de votre réponse, veuillez cocher la case se trouvant sous le numéro de la question : ceci équivaut à une absence complète de réponse. Ceci est un Questionnaire à Réponse Unique. Pour chacune des questions, vous devez noircir la case correspondant à votre réponse sur la copie d examen fournie avec le questionnaire. Le barème est le suivant : +1 point pour une réponse exacte 0 point pour une réponse fausse, une réponse multiple ou une absence de réponse. Corriger sa réponse : Si vous utilisez la deuxième ligne de cases pour corriger votre réponse, seule cette deuxième ligne sera prise en compte au moment de la correction, quel que soit le marquage de la première ligne. Annuler sa réponse : En cas d annulation de votre réponse, veuillez cocher la case se trouvant sous le numéro de la question : ceci équivaut à une absence complète de réponse. 6
Consigne pour des Questions à Réponses Multiples Rappel à l enseignant : pour un QRM, le nombre de propositions de réponses par question doit être constant. Toute question doit avoir au moins une bonne réponse et une mauvaise réponse. Consigne à insérer sur le sujet si QRM de 5 propositions Consignes à lire très attentivement avant de commencer l épreuve Ceci est un Questionnaire à Réponses Multiples. Chacune des questions numérotées de 1 à n peut admettre de façon variable, entre une et 4 réponses exactes. Exprimez les réponses exactes en noircissant la ou les cases correspondantes. Le calcul s opère en fonction de la correspondance entre vos réponses et les réponses attendues. Chaque réponse attendant à minima une bonne réponse à cocher, une absence complète de réponse est comptée 0 point. Par question, le barème est le suivant : Pour chaque correspondance vous obtenez 1/5 du point (dans la limite de deux erreurs), Vous obtenez donc 1 point pour une réponse entièrement exacte, Au-delà de deux erreurs, vous n obtenez aucun point à la question. Corriger sa réponse : Si vous utilisez la deuxième ligne de cases pour corriger votre réponse, seule cette deuxième ligne sera prise en compte au moment de la correction, quel que soit le marquage de la première ligne. Annuler sa réponse : En cas d annulation de votre réponse, veuillez cocher la case se trouvant sous le numéro de la question : ceci équivaut à une absence complète de réponse. 7
Consigne pour des Questions à Réponses Multiples Rappel à l enseignant : pour un QRM, le nombre de propositions de réponses par question doit être constant. Toute question doit avoir au moins une bonne réponse et une mauvaise réponse. Consigne à insérer sur le sujet si QRM de 4 propositions Consignes à lire très attentivement avant de commencer l épreuve Ceci est un Questionnaire à Réponses Multiples. Chacune des questions numérotées de 1 à n peut admettre de façon variable, entre une et 3 réponses exactes. Exprimez les réponses exactes en noircissant la ou les cases correspondantes. Le calcul s opère en fonction de la correspondance entre vos réponses et les réponses attendues. Chaque réponse attendant à minima une bonne réponse à cocher, une absence complète de réponse est comptée 0 point. Par question, le barème est le suivant : Pour chaque correspondance vous obtenez 1/4 du point (dans la limite d une erreur), Vous obtenez donc 1 point pour une réponse entièrement exacte, Au-delà d une erreur, vous n obtenez aucun point à la question. Corriger sa réponse : Si vous utilisez la deuxième ligne de cases pour corriger votre réponse, seule cette deuxième ligne sera prise en compte au moment de la correction, quel que soit le marquage de la première ligne. Annuler sa réponse : En cas d annulation de votre réponse, veuillez cocher la case se trouvant sous le numéro de la question : ceci équivaut à une absence complète de réponse. 8
Consigne pour des Questions à Réponses Multiples Rappel à l enseignant : pour un QRM, le nombre de propositions de réponses par question doit être constant. Toute question doit avoir au moins une bonne réponse et une mauvaise réponse. Consigne à insérer sur le sujet si QRM de 3 propositions Consignes à lire très attentivement avant de commencer l épreuve Ceci est un Questionnaire à Réponses Multiples. Chacune des questions numérotées de 1 à n peut admettre de façon variable, entre une et 2 réponses exactes. Exprimez les réponses exactes en noircissant la ou les cases correspondantes. Le calcul s opère en fonction de la correspondance entre vos réponses et les réponses attendues. Chaque réponse attendant à minima une bonne réponse à cocher, une absence complète de réponse est comptée 0 point. Par question, le barème est le suivant : Pour chaque correspondance vous obtenez 1/3 du point (dans la limite d une erreur), Vous obtenez donc 1 point pour une réponse entièrement exacte, Au-delà d une erreur, vous n obtenez aucun point à la question. Corriger sa réponse : Si vous utilisez la deuxième ligne de cases pour corriger votre réponse, seule cette deuxième ligne sera prise en compte au moment de la correction, quel que soit le marquage de la première ligne. Annuler sa réponse : En cas d annulation de votre réponse, veuillez cocher la case se trouvant sous le numéro de la question : ceci équivaut à une absence complète de réponse. 9
Possibilité de demander un retour sur les résultats. Si la demande est exprimée auprès de la scolarité : une fois l examen passé et les copies scannées, deux types de statistiques peuvent être envoyées à l enseignant : les statistiques sommaires (analyse générale des résultats), les statistiques spécifiques (analyse par question). Statistiques sommaires : Écart type Moyenne Variance Statistiques spécifiques : Analyse pour chaque question. 10
SAVOIR CE QUE L ON VEUT ÉVALUER 11
Évaluer l acquisition des objectifs pédagogiques Un QCM a l avantage de permettre de balayer une grande partie d un enseignement. Selon la complexité des questions, il est possible d évaluer différentes compétences : La mémorisation La compréhension L application L analyse Conserver les objectifs pédagogiques en tête lors de la conception d un QCM est primordial. Il est possible de poser des questions : concernant directement la rétention du contenu, ou mettant l étudiant face à des situations qui demandent une analyse de la part de l étudiant. Alignement pédagogique : Objectifs pédagogiques > Activités d apprentissage > Évaluation 12
Préparer ses étudiants à ce mode d évaluation Communiquer sur les modalités d évaluation amène l étudiant à comprendre ce que l on attend de lui. Il est possible de proposer des exemples de questions pour les préparer : Montrer des exemples de questions peut permettre aux étudiants de ne pas être surpris le jour de l examen. Nous souhaitons évaluer leurs acquis et non leur capacité d adaptation face à un QCM. 13
ÉVITER LES FRAUDES OU L EFFET DE HASARD 14
Un barème juste mais strict Dans le barème QRU (réponse unique) de l IEP : Une absence de réponse n enlève pas de point. Une erreur enlève un quart de point. Dans le barème QRM (réponses multiples) de l IEP : Le fait de devoir trouver une solution multiple complique la tâche de l étudiant, il est plus difficile d obtenir la totalité du point de la question. Le barème est donc moins contraignant que pour le QRU. L étudiant obtient un pourcentage du total du point de la question pour chaque item similaire à la réponse attendue (coché / coché ; non-coché / non-coché). Réponses attendues Réponses de l étudiant 3/5 correspondances Score à la question = 0,6/1 Il ne perd pas de point lorsqu il se trompe, mais n en gagne pas non plus. Au-delà de deux erreurs pour un QCM avec 5 propositions de réponses par question, et d une erreur pour un QCM avec 3 ou 4 propositions de réponses par question, l étudiant n obtient aucun point à la question. 15
Bien rédiger les questions (1/2) La syntaxe L énoncé d une question doit être clair et compréhensible. Si possible, faire une phrase en privilégiant la forme affirmative ou interrogative. Il est préférable de regrouper dans l énoncé les éléments communs aux solutions proposées. L information (la situation exposée) et la question doivent être bien distincts. La question est mieux identifiée lorsqu elle est placée au plus proche des solutions proposées. Exemple : exposer la situation puis poser la question. Exemple : Pour une phrase à compléter, il est préférable que le blanc se situe à la fin de la phrase. 16
Bien rédiger les questions (2/2) Le contenu L énoncé doit être compatible avec la consigne de départ (consigne générale du questionnaire). Une unique notion est soumise à la réflexion de l apprenant : un item particulier du cours, une situation précise à analyser. Ne pas demander de jugement de valeur. Éviter les expressions ambigües : Exemple : en demandant un chiffre sur la «France», préciser s il s agit de la «France métropolitaine». Pour permettre la correction automatique d un QRM (réponses multiples) avec le logiciel IRIS : il est nécessaire d avoir au moins une bonne réponse par question, il est nécessaire d avoir au moins une mauvaise réponse par question, et l ensemble des questions doit avoir le même nombre de propositions de réponses (exemple : un questionnaire de 40 questions qui offre chacune 4 propositions de réponses). 17
Bien rédiger les solutions proposées (1/2) Harmonisation entre les solutions proposées : Les bonnes réponses varient de place au fur et à mesure des questions. Les solutions proposées sont homogènes dans leur forme, leur longueur, leur structure grammaticale. Elles sont présentées dans un ordre logique : alphabétique, numérique, chronologique, Elles ont le même degré de technicité. Elles sont indépendantes les unes des autres : Si deux solutions se contredisent mutuellement, cela diminue le nombre de leurre, Il est préférable d éviter que deux solutions soient synonymes ou imbriquées (par exemple en ce qui concerne des périodes historiques). 18
Bien rédiger les solutions proposées (2/2) Rédaction de chaque solution proposée : La (les) bonne(s) réponse(s) sont incontestablement exactes. Les leurres sont plausibles mais faux. Mieux vaut éviter de reprendre des termes de l énoncé dans la bonne réponse. Attention aux adverbes pouvant fournir des indices sur la réponse correcte : Un adverbe trop extrême (toujours, jamais, ) a moins de chance d indiquer la bonne réponse. Un adverbe plus mesuré (souvent, généralement, la plupart, ) sera probablement plus vrai. 19
Éviter la triche Renouveler chaque année vos questions : Les étudiants sortent de l amphi avec le sujet dans les mains, d une année sur l autre les étudiants peuvent se diffuser les sujets. 20
Pour aller plus loin Bouvy T., Warnier L. «Document de synthèse sur les QCM». In Université Catholique de Louvain. Institut Pédagogie Multimédia. Site du service IPM de l Université Catholique de Louvain, [En ligne] http://www.uclouvain.be/cps/ucl/doc/ipm/documents/vademecumq CM-V2.pdf (Page consultée le 26 mai 2014) Bravard S. Usages pédagogique des QCM (Mémoire Université de Poitiers), 2005 [En ligne]. http://fle.ustrasbg.fr/evaluation_fle/bravard_qcm.pdf (Page consultée le 26 mai 2014) 21