Un atelier avec trois C

Transcription

1 Un atelier avec trois C Concepts de Base en docimologie. Concevoir une QCM type A. Comment évaluer nos pratiques docimologiques. 1

2 Concepts de base en docimologie Guedjati Mohamed Ridha 2

3 Que signifie pour vous les mots suivants? 1- Contrôle 2- Evaluation 3- Note 4- Jugement 5- Concours 6- Admis / Ajourné 3 3

4 1 er concept : Définition de l évaluation Recueillir des informations Interpréter des informations Prendre des décisions Évaluer Porter un Jugement de valeurs 4 4

5 Recueil d informations Jugement POURQUOI? QUI? QUOI? QUAND? COMMENT? Décision 5 5

6 Mesurer (comment) Noter = scorer (Résultat) Prendre une décision(admis /ajourné) Évaluer Recueillir les infos Juger Réduction de l évaluation en test, note et décision 6 6

7 2 ème concept Pourquoi évaluer? Évaluation Formative Certificative Interprétation normative Interprétation critériée Comparer le résultat / Groupe d étudiants Juger le résultat de l étudiant / Critères de performance (NAP) NAP = Niveau d Acceptabilité de Performance 7 7

8 Pouvez-vous donner? -Un exemple d une évaluation à intention formative avec interprétation critériée. -Un exemple d une évaluation à intention certificative avec interprétation normative. 8 8

9 Quels sont les domaines du savoir que vous connaissez? Considérer que vous êtes entrain d examiner un ensemble d étudiants, quels sont les domaines taxonomiques que vous visez le plus? Pouvez-vous justifier pourquoi? 9 9

10 3 ème concept Evaluer quoi? Fait (Does) Domaine du comportement Démontre (Shows How) Sait comment (Knows How) Sait (Knows) Domaine cognitif Source : Miller GE. The assessment of clinical skills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S

11 Nous évaluons si l étudiant est capable de mémoriser interpréter solutionner Connaissances Compréhension Applications 11 11

12 Qu est qu on veut évaluer? Connaissances Compétences Performances Ce que l étudiant sait Ce que l étudiant sait faire Ce que l étudiant fait 12 12

13 Citez les méthodes d examination que vous utilisez pour l évaluation de vos étudiants. Pouvez vous justifier pourquoi ce choix? 13 13

14 4 ème concept Comment évaluer? Fait Démontre Sait comment Performance in vivo : Dossiers des malades, Portfolio Performance in vitro : ECOS. Épreuves à contenus cliniques : QCM, Q. dév., Ex. oral Sait (Savoir Factuel) Épreuves factuelles : QCM, Ex. écrit, oral Source : Miller GE. The assessment of clinical skills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S

15 Fait Portfolio Démontre Stations d ECOS Sait comment QCM type R, QROC Sait (Savoir Factuel) QCM,Q rédactionnelles à dévelop Source : DAVIS, M.H. OSCE: the Dundee experience, Medical Teacher; 2003; 25(3):

16 Instruments d évaluation 5 ème concept Tâches académiques Tâches professionnelles Questions rédactionnelles QROC QCM Authentiques standardisées + grille d évaluation standardisée Analyse de cas cliniques Test de concordance de script Stations d ECOS Souvent Authentiques non standardisées + grille d évaluation standardisée CEX minicex Portfolio 16 16

17 Le choix des outils qui permettent de mesurer les taches académiques Objectivité QCM QROC Questions rédactionnelles de mémorisation Questions rédactionnelles de réflexion Pertinence 17

18 Pouvez donner un ou plusieurs critère(s) que vous jugez de qualité lors de l examination des Étudiants? 18 18

19 6 ème concept mesure réellement ce qu elle doit mesurer Les critères métrologiques de l évaluation mêmes Validité ++ Fiabilité + résultats sujets épreuves conditions Objectivité +++ mêmes résultats / deux corrections 19 19

20 Depuis quelques années les QCM sont utilisées pour les épreuves du concours de résidanat de médecine, que pensez-vous des trois critères (objectivité, validité et fiabilité) concernant cette méthode d évaluation? 20 20

21 Quel est le type de QCM que vous préfériez? Pouvez- vous justifier pourquoi? 21 21

22 7 ème concept La QCM B K A R Les types des QCM Source S. Case, D.Swanson Constructing written Test Questions for the Basic and Clinical Sciences ; 3rd edition 2001 NBME (National Board Medical of Examiners) 22 22

23 Questions aux choix multiples Type A: Une vignette + Quatre ou cinq Propositions dont une juste Type R Thème Compléments (A jusqu à Z ) Question Vignettes : (6 jusqu à 26) Type B Énoncés (chiffres) à faire relier à une ou plusieurs options Type K Choix groupés Une vignette avec cinq propositions Groupées par deux ou trois Source S. Case, D.Swanson Constructing written Test Questions for the Basic and Clinical Sciences ; 3rd edition 2001 NBME (National Board of Medical Examiners) 23 23

24 Pour mener à bien une évaluation il faut : Planifier l évaluation Varier les instruments de mesure Respecter les règles d évaluation Fixer les critères de performances des étudiants 24 24

25 Lectures conseillées Tim Wood et Gary Cole. Bureau de l'éducation Septembre L élaboration de questions à choix multiples pour les examens menant au certificat du Collège royal des médecins et chirurgiens du Canada. JJ Guilbert. Guide pédagogique pour les Personnels de santé. 6 ème édition [On Line] Miller GE. The assessment of clinical skills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7. DAVIS, M.H. OSCE: the Dundee experience. Medical Teacher; 2003; 25(3): S. Case, D.Swanson. Constructing written Test Questions for the Basic and Clinical Sciences ; 3rd edition 2001 NBME (National Board Medical of Examiners). J Jouquan. L évaluation des apprentissages des étudiants en formation médicale initiale. Pédagogie Médicale; 2002 ; 3 :

26 Essayez d écrire une dizaine de QCM que vous utilisez pour l évaluation des étudiants