Les Questions à Choix Multiples (QCM): outils d'investigation des connaissances et du raisonnement

Transcription

1 Les Questions à Choix Multiples (QCM): outils d'investigation des connaissances et du raisonnement André Quinton Lorsque plusieurs centaines ou milliers de candidats se présentent à un examen ou un concours les épreuves par QCM sont incontournables. L'automatisation de leurs corrections et de leurs notations, d'une part rend ces épreuves objectives et fiables, d'autre part génère une considérable économie de temps, de moyens humains et matériels par rapport à des corrections d'épreuves rédactionnelles. Le caractère artificiel des QCM a été dénoncé par leur concepteur même. 0n estime volontiers que le raisonnement est inexplorable par les QCM du fait que la plupart portent sur les connaissances en mémoire et leur compréhension ; il est cependant possible de rédiger des QCM qui évaluent, non seulement le résultat d'un raisonnement, mais aussi son processus. Le plan de ce texte est le suivant 1 - Définition et historique 2 Les différentes structures de base de Questions à Choix Multiples 3 - Variations dans les structures des QCM 4 - QCM outils d'investigation du raisonnement 5 - Probabilités de répondre juste au hasard 6 - Notation des QCM et notation d'une épreuve par Q.C.M. 7 - Correction des Q.C.M. 8 - Rédiger des Q.C.M. 9 - Evaluation de la qualité de Q.C.M Quand et dans quelles conditions utiliser des QCM? 1 Définition et historique Une QCM est une question dont on choisit la réponse dans une liste de propositions. Q_1 - Qui est le créateur des Q.C.M.? A - Watson B - Skinner C - Kelly D - Thorndike E - Binet Dans leur usage actuel la plupart des QCM ont la structure imaginée par leur concepteur F.J. KELLY: - un énoncé (ou libellé), le plus souvent sous forme de question, accompagné d'une consigne de réponse - et une liste de cinq propositions de réponses, dites compléments, dont une au moins est juste alors que les autres sont fausses (alors souvent désignées comme leurres ou distracteurs). Depuis un siècle de nombreuses variantes de QCM ont été conçues

2 Quelques mots sur l'histoire des QCM. FJ. Kelly, professeur puis doyen de l'ecole Normale du Kansas, inventa en 1915 le Kansas Silent Reading Test, utilisé comme test de connaissances "élémentaires" pour recruter massivement parmi les immigrants la main d'œuvre nécessaire au développement industriel indispensable à l'effort de guerre des USA lors de la Première Guerre Mondiale (1). Ultérieurement ce test est devenu le Multiple Choices Questions. Très tôt KELLY avait perçu le faible niveau cognitif des QCM écrivant This is a test of lower order thinking for the lower orders., et avait été jusqu'à les renier! Deux difficultés dans la correction des épreuves ont ouvert la voie aux QCM dans le domaine des examens scolaires et universitaires. La première fut l'augmentation du nombre d'élèves et d'étudiants rendant très lourdes les charges de correction des épreuves, alors rédactionnelles. La seconde est le manque d'objectivité des correcteurs dans la notation des ces épreuves ; on avait en effet constaté les notables différences de notation, non seulement entre correcteurs, mais aussi chez un même correcteur à quelques semaines d'intervalles. Les QCM pallient d'autant mieux ces deux difficultés si leur correction est automatisée. Les QCM représentent depuis 1926 le mode de questionnement quantitativement le plus important dans le SAT américain, acronyme qui a successivement signifié Scholastic Aptitude Test puis Scholastic Admission Test ; il est utilisé pour l'admission dans les collèges américains ; de nombreux avatars en ont été produits pour les admissions dans les universités (2). Un siècle après leur création les QCM sont très utilisées comme modalités d'épreuve d'examen, de questionnaires d'enquêtes, dans des jeux télévisés. Dans le domaine de l'enseignement les problèmes restent les mêmes qu'il y a plusieurs décennies: dans de nombreuses formations les grands nombres d'étudiants rendent impossible la réalisation d'épreuves qu'on puisse soumettre à la "correction humaine" de professeurs et dans nombre de concours l'objectivité la plus stricte ne peut être obtenue que par les QCM. Alors? Face aux difficultés liées au nombre des étudiants et contraints à une rigoureuse objectivité les enseignants doivent maîtriser la rédaction de QCM en s'efforçant de recourir à des techniques permettant d'atteindre chez les étudiants le niveau cognitif de l'exploration du raisonnement et de pallier des écueils encore récemment décrits avec humour (3). 2 - Les différentes structures de base de Questions à Choix Multiples. Par opposition aux questions ouvertes auxquelles on répond en exprimant librement sa pensée, les QCM sont des questions fermées dont les réponses doivent être choisies dans des listes imposées. L'avantage est qu'on ne peut "rester sec" et qu'une réponse choisie au hasard peut s'avérer juste. Mais il arrive qu'on enrage de cette contrainte. C'est le cas pour cette QCM ci-contre: N'aimerait-on pas mieux répondre librement en se justifiant au lieu de devoir deviner quelles sont les deux "bonnes réponses" attendues du correcteur Q_2 - Quels sont les deux caractères principaux d'une bonne question d'examen A - la simplicité de rédaction B - elle explore bien la mémoire C - elle explore bien le raisonnement D - la correction est objective E - elle est facile à corriger - 2 -

3 Les QCM sont de trois types: - à compléments - à association - de relation 2.1 QCM à complément(s) ou proposition(s) On distingue les QCM à complément simple, les QCM à compléments multiples, enfin les QCM aux compléments multiples groupés. QCM à complément simple Dans une QCM à complément simple il est annoncé que parmi les cinq propositions il faut en choisir une seule, celle qui juste dans une QCM à complément simple juste, celle qui est fausse dans une QCM à complément simple faux, QCM à complément simple juste Parmi 5 propositions il faut choisir celle qui est juste Q_3 - Laquelle de ces villes est la capitale du Bénin? A - Lomé B - Saint-Louis C - Cotonou D - Bamako E Puerto Novo Réponse : E QCM à complément simple faux Parmi les 5 propositions il faut choisir celle qui est fausse. En voici deux exemples. Q_4 - Parmi ces poissons lequel n'est pas un poisson de mer.? A - sardine B - maquereau C - merlan D - lamproie E - hareng Réponse : D. Q_5 - Dans cette liste des ingrédients pour faire une mayonnaise, quel est l'intrus? A - jaune d'œuf B - sel C - moutarde D - farine E - huile Réponse : D. Un candidat connaissant la bonne réponse risque de faire une erreur d'inattention sur la forme de la question, surtout si l'épreuve présente une répartition aléatoire de QCM à complément simple vrai et de QCM à complément simple faux. En pratique ce type de QCM est déconseillé et doit être remplacé par une QCM à compléments multiples avec ou sans patron de réponse (voir plus loin). Toutefois une variante attire mieux l'attention de l'étudiant en recourant à l'expression "quel est l'intrus?" (QCM_5 ci-dessus)

4 QCM où la seule proposition juste est la dernière, ainsi formulée: "Aucune des réponses précédentes n'est juste" ou "Toutes les propositions précédentes sont fausses". Cette modalité de QCM, qui dissimule mal la difficulté de rédiger 5 propositions, est à éviter Q_6 - Parmi les caractères suivants, indiquer CELUI qui s'applique à tous les nids: A - ils sont fabriqués par des oiseaux B - ils sont construits dans les arbres C - ils protègent des prédateurs D - ils protègent des intempéries E - aucune des réponses précédentes n'est exacte". Réponse : E. QCM à compléments (ou propositions) multiples Plusieurs choix de réponses doivent être retenus, de 1 à 5. On distingue les QCM avec patron de réponse (le nombre de propositions attendues est indiqué) des QCM sans patron de réponses (le nombre de réponses attendues n'est pas indiqué). QCM à compléments multiples justes avec patron de réponses Q_7 - Parmi les films suivants quels sont les 3 qui ont été tournés par Hitchcock A - Le train sifflera trois fois B - La loi du silence C - L'Inconnu du Nord-Express D - Fenêtre sur cour E - L'homme qui tua Liberty Valance Réponse : B C D. QCM à compléments multiples justes sans patron de réponses Le nombre de propositions attendues n'est pas indiqué, Q_8 - Dans l'épreuve d'un examen important (car le rang de classement est important) et préparé avec sérieux par les candidats, une question corrigée pour tous les candidats par le même correcteur n'a été réussie que par 8 % des étudiants. Quelles sont les explications possibles à ce faible taux de réussite? A - question difficile très sélective B - question mal rédigée C - question sur un sujet hors programme D - question sur un sujet sur lequel les étudiants ont convenu de faire l'impasse E - correcteur sadique Réponse : A et B Nous avons présenté des exemples de QCM à compléments multiples justes car bien entendu il faut exclure le recours aux QCM à compléments multiples faux au même titre que ceux à complément simple faux

5 QCM à compléments groupés Q_9 - Les caractères suivants s'appliquent aux romans policiers écrits par Michael Connely: 1 - ils se déroulent à Los Angeles I 2 - le monde du cinéma est particulièrement visé 3 - un des héros récurrent est l'inspecteur Harry Bosch 4 - ils témoignent d'un grand respect de la justice américaine Répondre A - si seulement les compléments 1, 2 et 3 sont corrects B - si seulement 1 et 3 sont corrects C - si seulement 2 et 4 sont corrects D - si seulement 4 est correct E - Si tous les compléments sont justes Réponse : B Il y a une question et des propositions de réponses comme dans les précédentes QCM, mais ici s'ajoute la contrainte d'un choix de réponses dans un cadre défini, généralement le même pour une suite de QCM. A - si seulement les compléments 1, 2 et 3 sont corrects B - si seulement 1 et 3 sont corrects C - si seulement 2 et 4 sont corrects D - si seulement 4 est correct E - Si tous les compléments sont justes Ce type de QCM est déconseillé car l'attention à apporter à la forme de la réponse l'emporte sur la réflexion de fond. 2.2 QCM à associations QCM à "Association simple" Ici il faut établir des liens logiques entre les propositions de deux listes. Q_10 - Reconstituer les couples du bestiaire des fables de La fontaine. 1 lièvre A cigale 2 renard B loup 3 fourmi C corbeau 4 lion D tortue 5 agneau E - rat Cette QCM est équivalente à 5 QCM à complément simple juste utilisant la même liste de propositions (la première question serait dans le bestiaire des fables de La Fontaine quel animal de la liste suivante est associé au lièvre, la deuxième question dans le bestiaire des fables ( ) est associé au renard, etc) ; pour l'étudiant l'avantage des QCM à association simple est de pouvoir procéder par déduction s'il ne connait pas d'emblée toutes les bonnes réponses

6 Une variante moins intuitive apparait dans la présentation de la QCM suivante où les questions reviennent en fait à compléter chaque phrase par une des "propositions". Q_11 Attribuez à chacun des tableaux A B C D la proposition qui s'y rapporte: A le tableau La Joconde B le tableau Guernica... C le tableau Tres de Mayo. D le tableau Le Cri d'edward Munch (une des versions) Proposition 1 : a été peint par Picasso Proposition 2 : est exposé au Louvre Proposition 3 : fut volé il y a quelques années au musée d'oslo puis retrouvé Proposition 4 : est un tableau de Goya illustrant un épisode sanglant de la guerre d'espagne entre français et espagnol en 1808 QCM à "Association composée" On présente deux entités X et Y, ici "exposé oral" et "exposé écrit", et des caractéristiques. Le questionnement demande de rattacher chaque caractéristique à l'une ou l'autre des entités, aux deux ou à aucune de la façon suivante A - est associée seulement X B - est associée seulement avec Y C - est associée à la fois avec X et Y D - n'est associée ni à X ni à Y. Voici les deux grands modes d'exposé X exposé oral Y exposé écrit Et quelques préconisations Question 12: il vaut mieux un dessin qu'un texte Question 13 : un plan est nécessaire Question 14: bien choisir la police de caractères Question 15: changer de ton pour "réveiller" Question 16: tenir compte du fait que la communication extra-verbale l'emporte sur la verbale Pour chacune de ces préconisations répondre A - si elle est associée seulement avec X B - si elle est associée seulement avec Y C - si elle est associée à la fois avec X et Y D - si elle n'est associée ni à X ni à Y. Cette QCM pourrait être remplacée par les deux QCM suivantes sans patron de réponse et ayant des listes de propositions identiques: Pour un exposé oral quelles préconisations peuvent être faites? Pour un exposé écrit quelles préconisations peuvent être faites? L'intérêt des QCM à "association composée" est donc discutable

7 2.3 QCM de relations On présente deux assertions reliées par un lien logique ; la question porte sur la véracité de chacune des assertions et de celle du lien logique. Q_17 - Le coq chante ce qui provoque la levée du soleil Répondre A - si les deux assertions sont vraies et ont une relation de cause à effet B - si les deux assertions sont vraies, mais n'ont pas de relation de cause à effet C - si la première assertion est vraie, mais la deuxième est fausse D - si la première assertion est fausse, mais la deuxième vraie E - si les deux assertions sont fausses. Réponse B Q_18 - Darwin attendit 20 ans pour publier sa théorie sur l'evolution des Espèces parce qu'il redoutait les réactions qu'elle allait provoquer Répondre A - si les deux assertions sont vraies et ont une relation de cause à effet B - si les deux assertions sont vraies, mais n'ont pas de relation de cause à effet C - si la première assertion est vraie, mais la deuxième est fausse D - si la première assertion est fausse, mais la deuxième vraie E - si les deux assertions sont fausses. Réponse A Répondre à ce type de question portant sur la relation de cause à effet implique une compréhension des principes de base dans le problème et un raisonnement correct. Au terme de cette présentation des différentes structures de QCM on ne doit en retenir que deux pour l'usage - les QCM à compléments simples ou multiples, avec ou sans patron de réponses (en revanche il est déconseillé d'utiliser les QCM à compléments groupés), - les QCM de relation, Dans ces deux types de QCM les questions font appel à une modalité de réponse naturelle, ne passant pas par un formatage intermédiaire susceptible de dérouter l'étudiant et d'axer voire dévier sa réflexion plus sur la forme de la question que sur son fond (cas des QCM à compléments groupés et des QCM d'association)

8 3 Variations dans les structures des QCM Tant les énoncés que les compléments peuvent être présentés sous formes de schémas, de photos, d'images, de graphiques, ce qui élargit les possibilités de rédaction. Le libellé a comme support une image Q_19 - Ce chat des Schtroumpfs s'appelle A - LAROUSSE B - AZRAËL C - MUSTAFA D - CALIGULA E - SACAPUCE Les compléments sont des images Q_20 - Lequel de ces cinq personnages est le propriétaire du chat? A B C D E Une même image peut être le support d'une série de questions L'image ci-dessous, où la flèche pointe sur CETAUTOMATIX, le forgeron livreur occasionnel de menhirs, pourrait être utilisée dix fois comme libellé (autant qu'il y a de personnages représentés) mais en veillant à modifier les listes offertes au choix pour qu'il ne soit pas procédé par déduction entre les dix QCM (la QCM étudierait ici plus un raisonnement qu'une connaissance, pour une fois!). Q_21 - Cette image montre de fortes personnalités du village Gaulois Donnez le nom de personnage désigné par la flèche A ALLEGORIX B CETAUTOMATIX C ASSURANCETOURIX D ABRARACOURCIX E - KESKONRIX Dans ces QCM où libellés ou compléments sont des images ce sont une reconnaissance globale et une identification qui sont recherchées

9 Un cycle peut être le support de plusieurs questions Q._22 - Dans ce cycle actualisé de son rêve de croissance économique où est survenue la chute de Perette? D E Cotation en Bourse EAA national EAA multinational B Achat 1 cochon Production engraissement A et ventes et vente de 300 poulets Achat Vente 100 œufs Pot de lait Pot de C Entreprise agro-alimentaire (EAA) régional 1 er élevage régional Achat 1 vache+veau Constitution d'un troupeau Vente de lait et de veaux Q_23 - Cette chute a été le fait A - d'un krach boursier B - de la maladie de la vache folle C - d'une O.P.A. hostile D - d'une erreur de gestion dans la marche de l'entreprise E de la maladie de Newcastle (pseudo peste aviaire) Q_24 - Souvent dans un libellé une notion, implicite pour l'auteur, n'est pas explicite pour l'étudiant. Ainsi, pour le lait, "bien" de départ, s'agissait-il A - de lait de chèvre B - de lait de brebis C - de lait d'ânesse D - de lait de poule E de lait de vache - 9 -

10 QCM en cascade, portant sur un enchaînement logique. Une image (un graphique etc. peut être le support de plusieurs questions sans liens directs entre elles. Cette carte de l'amérique du sud permet de rédiger de multiples questions 1 Quel est le nom du pays désigné par la flèche n 1? A - Guatémala B - Colombie C - Pérou D - Equateur E - Paraguay 2 Quel est le nom du pays désigné par la flèche n 2? A - Guatémala B - Colombie C - Pérou D - Equateur E - Paraguay Quels pays sont frontaliers à celui désigné par la flèche n 2? A - Equateur B Bolivie C - Pérou D - Argentine E - Brésil Une image (un graphique etc. ) peut être le support de plusieurs questions ayant des liens directs entre elles. Ce navire est A - grec B - égyptien C - arabe D - viking E - chinois Son capitaine se nomme A - Xephoras B - Olaf C - Li Tang D - Omar E - Taïpeh Il vient de A - Aden B - Alexandrie C - Pylos D - Vikna E - Quing Dao Lors de la rédaction de QCM en cascade le piège est de fournir, par inattention, dans une question la réponse à une question qui la précède

11 4 Les QCM outils d'investigation du raisonnement. Les QCM explorent uniquement le domaine du savoir théorique (ou domaine cognitif). En effet le domaine psychomoteur ne peut être évalué que par l'observation de la réalisation d'actes techniques et celui des attitudes que par des mises en situations. Dans ce domaine des connaissances théoriques BLOOM a identifié divers niveaux cognitifs, de la mémoire au raisonnement sur les situations complexes (4). Pour simplifier on peut distinguer les niveaux "mémoire compréhension" et "raisonnement". La mémoire et la compréhension sont bien explorées par les QCM. Les vingt quatre QCM présentées jusqu'ici portent sur la mémoire, la "reconnaissance" (tout particulièrement lorsque les données sont des "images"). Le raisonnement peut être exploré par des QCM. On peut recourir aux QCM pour évaluer le raisonnement à condition: - de prendre le temps de les rédiger - et de donner aux étudiants le temps d'y répondre. Il faut distinguer: - les questions évaluant le résultat d'un raisonnement mais pas le raisonnement luimême : - les questions évaluant le raisonnement lui-même 4.1 QCM évaluant le résultat d'un raisonnement (mais pas le raisonnement lui-même) Il est aisé de poser des questions dont la réponse implique un raisonnement. Il suffit de rédiger un libellé exposant un problème, des faits ou une histoire complexe, d'offrir un choix de réponses, et de laisser du temps pour répondre. Imaginons que près de la fin d'un roman policier ou d'espionnage on pose une QCM sur l'identité de l'assassin ou du traitre: il aura fallu plusieurs heures pour lire le bouquin et du temps pour réfléchir à la réponse. Le jeu de Cluedo revient à une suite de QCM dont les réponses doivent être cohérentes entre elles (5). QCM sur l'évolution du tonus du professeur et de l'attention des étudiants Tonus de l'enseignant Attention des étudiants cours mn Q_21 - Sur ce graphique représentant sur une heure les taux du tonus de l'enseignant et de l'attention des étudiants, on observe un pic d'attention des étudiants. A quoi pourrait-on attribuer ce pic? A - à un à-coup d'intérêt du cours, B - à une plaisanterie volontaire du prof C - à un gag technique D - à une erreur du prof E à un gag d'étudiant Il faut quelques secondes pour répondre à cette QCM

12 QCM portant sur la famille Simpson (S) et plus précisément sur les liens de parenté de Happy Dinsdale avec d'autres membres de cette famille 1. Q_22 - Hugo S. a deux frères et deux sœurs dont Old Tut. Homer S. a trois enfants dont l'ainé est Bart. Old Tut, dernier fils de Gabby Crouse et Howland S. a épousé Happy Dinsdale et ils ont quatre enfants dont Orville, frère de Twitta, Elrita et Bonita qui sont restées célibataires. Abraham S., fils d'orville, n'a qu'un fils et est le grand père de Bart. Margie Bouvier, belle-fille d'abraham S. a deux filles Lisa et Maggie Parmi les liens de parenté suivants concernant Happy Dinsdale lesquels sont justes A elle est la grand-mère paternelle d'abraham B elle est la sœur d'old Tut C elle est arrière grand-mère maternelle de Homer S. D elle est belle-sœur d'hugo S. E elle est la cousine de Howland S. Ici il faut le temps d'ébaucher un arbre généalogique pour répondre à la question. Ces deux QCM explorent le résultat d'un raisonnement: on peut penser - que l'étudiant qui répond correctement à la première, a su relever sur le graphique que le pic d'attention des étudiants est survenu dans la phase descendante d'une oscillation du tonus du prof, - que celui qui répond bien à la seconde a construit partiellement un arbre généalogique. Mais ces QCM n'explorent pas le raisonnement lui-même QCM évaluant le raisonnement lui-même: QCM évaluatrices de données Ce type de QCM est connu de longue date. A titre d'exemple voici la QCM figurant à la page 136 de l'ouvrage de BLOOM (4) dont l'édition originale en anglais est de Un graphique est présenté Le mode de réponses est exposé: Sur votre feuille de réponses, inscrivez dans l'espace prévu à cet effet, la lettre : A - si les renseignements fournis par le graphique suffisent pour vérifier que l'énoncé est rigoureusement vrai; B - si les renseignements fournis par le graphique suffisent seulement à juger que l'énoncé est probablement vrai; C - si les renseignements fournis par le graphique ne suffisent pas à indiquer le degré d'exactitude ou d'erreur dans l'énoncé; D - si les renseignements fournis par le graphique suffisent pour juger que l'énoncé est probablement faux; E - si les renseignements fournis par le graphique suffisent pour juger que l'énoncé est rigoureusement faux. 1 Pour ceux passionnés par la généalogie des Simpson elle est donnée en annexe (sans garantie de véracité )

13 Les huit propositions suivantes sont les énoncés de huit QCM - On consacra moins d'argent pour le bien-être et l'enseignement en 1930 qu'en En 1931 et en 1932, il fut évident que dépenser de l'argent pour les autoroutes était un moyen de combattre la crise. - On aurait dépensé plus d'argent pour le bien-être en 1942 qu'en 1940 si notre pays n'était pas entré en guerre en La proportion des dépenses totales consacrées au bien-être fut plus importante en 1940 qu'en Les sommes de plus en plus importantes dépensées par l'etat à toutes sortes de fins entre 1929 et 1940 provenaient d'autres sources que de l'emprunt. - Si l'etat dépensa moins en 1930 qu'en 1929, ce fut presque entièrement dû à la diminution des dépenses relatives aux autoroutes. - On dépensa moins d'argent pour les autoroutes en 1931 qu'en Le chômage s'accrut dans l'etat en 1937 et en De façon récente ce type de QCM a été repris comme mode de réponses des Tests de Concordance de Scripts (TCS) pour explorer le raisonnement médical du clinicien (6-7). Dans un TCS une situation clinique est exposée et différentes hypothèses sont proposées ; à propos de chaque hypothèse sont présentées des données ; le questionnement porte sur la qualité informative de ces données, jugeant ainsi le raisonnement. L'originalité des TCS tient à ce que les réponses des étudiants sont comparées aux différentes modalités de réponses d'experts et non à une norme. Pour sa réponse l'étudiant reçoit une note entre 0 et 1 ; la note est 1 s'il répond comme la majorité des experts ; en revanche s'il répond comme d'autres experts non majoritaires la note est inférieure à 1 et proportionnelle au nombre d'experts qui ont donné la même réponse que lui. Sous la dénomination de QCM le même principe de questionnement peut être utilisé à un niveau d'études où l'étudiant doit acquérir des repères avant de manier l'incertitude ; dans ce cadre alors que les situations présentées dans l'énoncé de ces QCM sont problématiques pour les étudiants elles ne le sont pas pour des experts ; il est donc pertinent que les réponses des étudiants soient comparées à des normes et non à un improbable éventail de réponses d'experts. De façon générale dans ce type de QCM - un problème est exposé - une ou plusieurs hypothèses sont exposées portant sur sa cause, son mécanisme, les solutions possibles. - pour faire raisonner sur chaque hypothèse on présente une ou plusieurs données qualitatives dont le poids doit être estimé en répondant à une QCM ainsi rédigée: A la donnée est très fortement en faveur de l'hypothèse B la donnée est plutôt en faveur de l'hypothèse C la donnée est neutre (ni pour ni contre l'hypothèse) D la donnée est plutôt contre l'hypothèse E la donnée est fortement contre l'hypothèse, voire l'exclut Il n'y a pas de leurre. Une variante moins nuancée est: A la donnée est en faveur de l'hypothèse B la donnée est neutre (ni pour ni contre l'hypothèse) C la donnée est fortement contre l'hypothèse

14 Passons à quelques exemples. Voici une affaire policière ayant trait à une affaire de kidnapping dans le but d'obtenir une rançon. Elle donne lieu à six questions: M. R Mathious, âgé 58 ans, a été enlevé à son domicile le lundi 12 novembre. Quinze mille dollars ont été versés aux ravisseurs qui avaient contacté l épouse de la victime à partir du numéro de téléphone de celle-ci, figurant dans le répertoire de la victime. La police soupçonne un individu interpellé pour excès de vitesse à bord d une motocyclette le mercredi 14 novembre. Cet homme de 43 ans dit s'appeler Baptiste G. Les soupçons sont basés sur certaines données dont vous allez évaluer le poids dans l'hypothèse que Baptiste G ait participé à l'enlèvement de M. Mathious R. Q_1 - il est en possession d un revolver de calibre 9 mm sans détenir de permis: Q_2 - il a le portable de M. G qu'il dit avoir acheté 20 centimes d'euro, Q_3 Un de ses amis, indicateur de la police, affirme qu'ils étaient ensemble dans une boite de nuit le soir où M. R a été enlevé, Q_4 Baptiste G possède de nombreux CD de musique classique Q_5 comme gage de probité Baptiste G rappelle qu'il fut auxiliaire de police Q_6 Sportif accompli Baptiste G adore nager en eaux troubles Pour chacune de ces données dire si elle est A très fortement en faveur de l'hypothèse B compatible ou plutôt en faveur de l'hypothèse C neutre (ni pour ni contre l'hypothèse) D plutôt contre l'hypothèse E fortement contre l'hypothèse, voire l'exclut Les six données de cette histoire ont été rédigées encore dans l'esprit des TCS, c'est-à-dire que la valeur de chaque information peut se discuter et que toutes les personnes averties auxquelles on présenterait ce questionnement pourraient donner une valeur différente à chaque donnée, tout particulièrement sur l'information ayant des connotations Sportif accompli Baptiste G adore nager en eaux troubles. Mais dans l'esprit d'une correction objective on doit concevoir un questionnement où la valeur qui devra être donnée à chaque information est indiscutable

15 Voici comme autre exemple, un déplacement dans Pédagoville. Vous travaillez à Pédagoville où les avenues d'axe E-O portent des noms de pédagogues et les avenues d'axe N-S sont appelées Méridiennes, numérotées de 1 à 9 (on a la M1, la M2 etc). Le quartier présenté sur le plan est desservi par un tram (ligne rouge) qui suit l'avenue Montessori (ici sur 7 km) et un autobus (ligne verte - parcours sur le plan de 8 km), l'un et l'autre circulant à 50 km/h, passant en moyenne toutes les 5 minutes et ayant des arrêts à chaque croisement. Av. Freinet Av Montessori Av Kergomard Av Korczac Av Neill Les Méridiennes N 1 km 0 S E

16 Vous travaillez dans votre bureau situé au coin de l'avenue Kergomard et de la M2. Il est 14 h et vous recevez un appel urgent pour participer à une réunion à 15 h à la Jacasserie au coin de l'avenue Neill et de la M7. Vous pouvez vous y rendre à pied, utiliser votre voiture, prendre le tram ou l'autobus. Vous allez analyser les moyens de déplacements (voiture, tram, bus, marche). A propos de chacun vous allez tenir compte d'informations dont vous devez estimer le poids en répondant pour chacune si elle : A - est tout à fait favorable à l'utilisation de ce mode de transport B - est partiellement favorable à l'utilisation de ce mode de transport C - n'a aucune incidence sur l'utilisation de ce mode de transport D - va plutôt contre l'utilisation de ce mode de transport E - est totalement contre l'utilisation de ce mode de transport Le 1 er moyen étudié est la voiture. Voici les données à "peser": 1 - le triangle de la Culture, formé par la M7 et les avenues Neill et Korcsac, est piétonnier pour toute la semaine pour la Fête du Livre 2 - avant de se garer dans le quartier à moins d'un km on peut passer une demiheure. 3 - Vous êtes prês d'être à court d'essence et il faut que vous alliez faire le plein à la plus proche station située à l'intersection de la M2 et de l'avenue Freinet Le 2 ème moyen étudié est le tram. Voici les données à "peser": 4 - De 13 h 30 à 16 h seuls les piétons peuvent accéder à la Place Centrale où se tient à 14 h un meeting de soutien pour la liberté de presse en Barbarie qui sera suivi par un défilé vers l'hôtel de Ville. La circulation du tram sur cette portion de l'avenue Montessori sera donc bloquée entre la M4 et la M6 5 - A 17 h il y a une cérémonie du souvenir à la place du Naufrage des Réformes au croisement de l'avenue Kergomard et de la M2 Le 3 ème moyen étudié est l'autobus. Voici la donnée à "peser": 6 - Par précaution les forces de sécurité bloqueront la circulation des véhicules à partir de 14 h 30 sur l'avenue Freinet entre les M4 et M6. La circulation du bus sur cette portion de l'avenue Montessori sera donc bloquée entre la M4 et la M6 Le 4 ème moyen étudié est la marche. Voici la donnée à "peser": 7 - Vous êtes habituellement un bon marcheur mais vous vous êtes fait une entorse de cheville il y a un mois et après 200 m de marche vous souffrez et boitez. Et on peut terminer par une QCM à complément simple Pour finir, compte tenu de ces contraintes, quelle combinaison de moyens allez-vous choisir? A - marche à pied et voiture B - marche à pied et tram C - marche à pied et autobus D - marche à pied, voiture et tram, E - marche à pied, voiture, tram et bus

17 Exemple d'un cas clinique M. T Jérôme, 72 ans, vendeur de pizza sur la plage d'arcachon, consulte pour un ictère et un prurit. Le prurit a commencé il y a deux semaines ; c'est hier en se rasant qu'il a constaté que son teint est jaune. Le questionnement porte sur l'intérêt diagnostique de données cliniques dans chacune des hypothèses suivantes: cancer de la tête du pancréas, cancer du hile hépatique (ou de la convergence des canaux hépatiques), lithiase du cholédoque, hépatite chronique C. Le tableau présente les 4 hypothèses diagnostiques et les 9 données cliniques. Pour chaque hypothèse exprimez votre avis sur l'intérêt de chaque donnée en répondant : A si elle est fortement en faveur de l'hypothèse B si elle est compatible ou plutôt en faveur de l'hypothèse C si elle est neutre (ni pour ni contre l'hypothèse) D si elle est plutôt contre l'hypothèse E si elle est fortement contre l'hypothèse Le patient n'a pas présenté et ne présente pas de douleur abdominale Il dit être un peu fatigué depuis quelques jours et a moins d'appétit. Il ne pense pas avoir maigri. Dans ses antécédents on relève un sévère accident de moto quand il avait 22 ans, accident qui avait provoqué une rupture de rate ayant nécessité une splénectomie. C'est un patient athéromateux qui a fait des crises angineuses il y a 5 ans ce qui a nécessité la pose d'un stent. A l'examen clinique on constate un bon état général, un poids de 74 kg pour 1,68 m Le patient se souvient avoir eu des frissons avec tremblement il y a quatre jours Cancer de la tête du pancréas Cancer du hile Lithiase du cholédoque Hépatite chronique C Q 01 B Q 10 B Q 19 D Q 28 C Q 02 Q 11 Q 20 Q 29 Q 03 Q 12 Q 21 Q 30 Q 04 Q 13 Q 22 Q 31 Q 05 Q 14 Q 23 Q 32 Q 06 Q 15 Q 24 Q 33 Le patient n'a pas de fièvre Q 07 Q 16 Q 25 Q 34 Le foie est perceptible débordant de deux travers de doigt. Q 08 Q 17 Q 26 Q 35 La vésicule n'est pas perçue Q 09 Q 18 Q 27 Q 36 Le tableau comporte 36 QCM. L'étudiant conduira son raisonnement "en colonnes" ou "en lignes". Le tableau sert de brouillon à l'étudiant (à titre d'exemple la première ligne est remplie) mais les réponses seront reportées sur un bordereau de QCM classique (voir p 21). D'autres présentations sont envisageables, tel un bordereau qui serait directement lu par un lecteur optique, auquel cas sous chaque hypothèses figureraient les lettres A B C D E

18 Les QCM évaluatrices de données permettent d'appréhender le raisonnement tout au long de la résolution d'un problème. On peut évaluer: - l'importance relative de données dans la discussion d'hypothèses diagnostiques, - l'intérêt relatif de procédures diagnostiques recourant à diverses techniques, - l'intérêt relatif de différentes solutions, - l'intérêt relatif de différentes modalités d'évaluation de la solution retenue. A chaque étape il faut établir l'échelle la plus appropriée. Voici quelques échelles possibles: pour l'importance relative de données dans la discussion d'hypothèses diagnostiques, - la donnée est très fortement en faveur de l'hypothèse - la donnée est plutôt en faveur de l'hypothèse - la donnée est neutre - la donnée est plutôt contre l'hypothèse - la donnée est contre l'hypothèse pour l'intérêt relatif de procédures diagnostiques recourant à diverses techniques, - la procédure est nécessaire, indispensable - la procédure est utile mais pas nécessaire - la procédure est sans intérêt - la procédure a un ou des inconvénients rédhibitoires pour l'intérêt relatif de différentes solutions pour résoudre le problème, - la solution est tout à fait appropriée - c'est une solution possible mais ce n'est pas la plus appropriée - la solution n'est pas appropriée - la solution proposée aggravera le problème pour l'intérêt relatif de différentes modalités d'évaluation de la solution retenue. - la modalité d'évaluation est tout à fait appropriée - la modalité d'évaluation est incomplète - la modalité d'évaluation est sans intérêt - la modalité d'évaluation aggravera le problème 5 - Probabilités de répondre juste au hasard Un des points faibles des QCM est la probabilité de répondre juste au hasard ; elle est fonction de trois facteurs: - le nombre de propositions (justes et leurres) présentées dans la QCM - le nombre de réponses justes attendues, - l'existence d'un patron de réponse (le nombre de réponses justes attendues est indiqué), ou au contraire son absence. Les QCM à deux propositions ne sont quasiment jamais utilisées Qu'utilise-t-on dans un œuf pour faire une omelette A le blanc B le jaune Sans patron de réponse il y a trois réponses possibles (A B AB), donc 1 chance sur 3 de répondre juste au hasard. Si la formulation rend les propositions exclusives Quelle partie de l'œuf utilise-t-on la probabilité de répondre juste au hasard est de 1 sur 2. On peut en rapprocher les questions dites vrai/faux, particulièrement peu intéressantes où les deux propositions s'excluent

19 Le tableau ci-dessous présente les probabilités de donner "par chance" une réponse correcte, en fonction des trois facteurs, dans les QCM comportant ou 5 propositions. Probabilité de répondre juste au hasard Nombre de propositions de réponses Nombre de réponses attendues QCM avec patron de réponses QCM sans patron de réponses QCM à 2 propositions 1 1 sur 2 1 sur 3 QCM à 3 propositions 1 1 sur sur 3 1 sur 7 QCM à 4 propositions 1 1 sur sur sur 4 1 sur 15 (6,6 %) QCM à 5 propositions 1 1 sur sur sur 10 1 sur 31 (3,2 %) 4 1 sur 5 Les QCM avec plus de deux propositions Dans le tableau nous avons exclu les questionnements stupides où il serait indiqué aux étudiants qu'il faut cocher toutes les propositions. Lorsqu'il y a un patron de réponse il faut recourir à une QCM à 5 propositions dont 2 ou 3 sont justes pour que l'étudiant ait seulement une chance sur dix de répondre juste au hasard. Dans les QCM sans patron de réponse la probabilité de réponse au hasard est donnée par la formule 2 n -1 où n est le nombre de compléments offerts pour la réponse. Les QCM à quatre propositions n'offrent qu'une chance sur 15 (6,6 %) de réponse juste au hasard, et que les QCM à cinq propositions réduisent à 3 % la chance d'une réponse au hasard. Nous verrons la nécessité de tenir compte de la difficulté de ce type de QCM dans la notation

20 6 Notation d'une QCM. Notation d'une épreuve par Q.C.M Notation des Q.C.M. Pour une QCM à complément simple où une seule réponse est attendue, le mode de notation est binaire: réponse juste 1 point, réponse fausse 0 point. Pour une Q.CM. à compléments multiples sans patron de réponse le mode de notation binaire est rapidement mis en défaut dans les situation suivantes: - dans une QCM où on attend que plusieurs propositions soient retenues, la notation binaire conduit à donner 0 point aussi bien à l'étudiant qui aura retenu des propositions justes mais en aura omis une, qu'aux étudiants qui n'auront retenu que des leurres, voire n'auront pas répondu à la question. - dans une QCM où on attend qu'une seule proposition soit retenue, l'étudiant qui aura bien retenu cette proposition mais aussi une autre aura 0 point, comme les étudiants n'ayant pas répondu ou retenu que des leurres. Ceci conduit donc à faire une notation plus nuancée en fonction du nombre de propositions justes retenues par exemples, 0 point, 0,5 point, 1 point, voire 0 point, 0,25 point, 0,50 point, 0,75 point et 1 point Notation d'une épreuve par Q.C.M. Si la note d'une épreuve par QCM est simplement la somme des notes obtenues à chacune des QCM on en arrive à donner la moyenne aux étudiants qui n'ont répondu correctement qu'à une question sur deux, ce qui n'est pas satisfaisant. Pour éviter cela trois solutions sont possibles. Exiger un taux (arbitraire) de réponses justes pour l'obtention de la moyenne Imaginons qu'il soit exigé que 80 % des réponses soient justes pour obtenir la moyenne ; les notes sont données en fonction du nombre de réponses justes par simple lecture sur un abaque. Dans l'exemple ci-dessous une épreuve notée sur 20 comporte 50 questions. Il faut répondre juste à 40 questions pour avoir la moyenne ; au dessous de 40 réponses justes le gain de points est faible, au-dessus il monte fortement. Notes Questions Distinguer dans une épreuve trois groupes de questions : - le groupe des questions majeures (ou "tueuses") où il faut répondre à toutes sinon la note globale est zéro, - le groupe des questions d intérêt moyen, où il faut donner 75 % (ou 50 %) de réponses justes, - le groupe des questions de "culture" où il faut donner 20 % de réponses justes