CORRECTION PAR LECTURE OPTIQUE DE QCM : TESTS, EXAMENS, ETC. C. Jacqmot E. Billat I. Lecroart ADEF/EVA eva@uclouvain.be

Transcription

1 CORRECTION PAR LECTURE OPTIQUE DE QCM : TESTS, EXAMENS, ETC. C. Jacqmot E. Billat I. Lecroart ADEF/EVA eva@uclouvain.be

2 Plan Introduction - Contexte Concrètement, pour la prochaine session 1. Planification et préparation 2. Passation du test 3. Collecte des données 4. Reporting 5. Ajustements Vos questions

3 Introduction

4 Contexte général Correction par lecture optique Etape 1 : reconnaissance optique des cases cochées + interprétation des lignes de cases cochées/corrigées/ Etape 2 + calcul de points bruts + mise «à l échelle» (notes /20) + association à un NOMA+Nom+Prénom+An. Étud.

5 Contexte UCL Environ 400 tests corrigés par lecture optique par an (tests = QCM examens, interrogations, épreuves) 1 test 1 questionnaire par étudiant 1 questionnaire un formulaire de 1 ou 2 feuilles 1 test = entre 30 et 600 feuilles 1 test : entre 1h et 7h de travail pour EVA, tout compris; économie de temps pour l enseignant : entre 3h et 3 jours. Equipe : Etienne Billat, Isabelle Lecroart

6 Choix d un nouveau système Octobre 2009 : Panel de 12 utilisateurs 3 systèmes (solutions complètes, questionnaires papier, gestions des points et des cohortes, production de «feuilles de notes») Compatibilité avec les solutions déployées à LeW (Téléform) Consilium process automation solutions

7 Contest : un système en 5 étapes 1. Planification et préparation Créer un test un jeu de questions, les réponses, les versions (séries), les points, la notation (/20) Créer un test encoder les métadonnées dans Contest : les réponses, les versions (séries), les points (score), les règles de notation (/20) 2. Passation du test les formulaires Distribution et collecte de formulaires aux étudiants 3. Collecte des données Reconnaissance optique (limiter les interventions manuelles) 4. Reporting Calcul des résultats : détail des points par étudiants, note finale par étudiant, mais aussi éléments (détail des réponses, p.ex.) 5. Ajustements Questions invalidées, ajustements suite à l examen des copies, bonus

8

9 Concrètement, Etape, par étape : Qui, quoi, comment..

10 1. Planification et préparation Prévoir un délai de 1 semaine pour encodage et validation par EVA

11 1. Planification et préparation Créer un test le décrire Un questionnaire à choix multiples se compose d'un ensemble de questions : chaque question comporte un libellé (item) et plusieurs propositions de réponses. Une option d abstention explicite permet à l étudiant d indiquer qu il ne connaît pas la réponse Un barème définit comment pondérer les résultats d'un QCM. Il définit les règles d attribution des points par item. Exemple : Conformité stricte Réponse juste cochée = 1 point ; autre proposition cochée = 0 Conformité stricte avec pénalité Réponse juste cochée = 1 point ; autre proposition cochée = -1 Conformité stricte avec pénalité et abstention Réponse juste cochée = 1 point ; autre proposition cochée = -1/2; abstention = 0 Le score est le nombre total de points obtenus par un étudiant pour l ensemble des items (score) Une note finale (grade) est générée à partir du score lorsque l on connaît à quelle «échelle» mettre le score : note finale /10, /15, etc.

12 1a. Planification et préparation Créer un test le décrire

13 1a. Planification et préparation

14 1a. Planification et préparation

15 1a. Planification et préparation Si plus d une série : expliciter à partir de la description générale (qui correspond à la première série)

16 1b. Planification et préparation Créer un test l injecter dans Contest (métadonnées) l associer dans Constest à un questionnaire prédéfini (standard) le plus adapté à la situation

17 1b. Planification et préparation x

18 1c. Planification et préparation Faire reproduire le formulaire (vous)

19 2. Passation du test Elément indispensable : le NOMA! Une bonne indication à donner aux étudiants : cocher avec un crayon NOIR + gomme

20 2. Passation du test Consignes : la possibilité de traiter ou non par lecture optique les grilles de réponses des étudiants dépend du respect de ces consignes. Temps 1 : cartouche d identification NOMA (sur la carte annuelle) Série (précochée à vérifier) L identité et autres informations signalétiques (en cas de problème, permet de retrouver qui est le bénéficiaire des points! ) NOMA :

21 Passation du test Consignes!

22 2. Passation du test Temps 2 + Temps 3

23 3. Collecte des données NOMA, série Coches en NOIR (idéal : crayon NOIR mine grasse)

24 3. Collecte des données EPC : NOMA Nom, Prénom, An. Et. Certaines validations et rectifications manuelles

25 4. Reporting Important pour valider les éléments du rapport Par série, comparer les résultats produits automatiquement avec 3 copies corrigées et notées manuellement

26 4. Reporting : Exam analysis report + statistical details

27 4. Reporting : Version mapping report Items V1 «de base» Position des items dans les versions Si groupes utilisés (nous contacter) Options = nbr de cases à cocher Keys = «bonnes réponses»

28 4. Reporting : Grading report c NOMA Nom, prénom Sigle AnEt Nb Pts Grade q = pts ouverte mis à l échelle

29 4. Reporting Result check report Par étudiant, par formulaire scanné, par item V = version du participant (NOMA étudiant). = bonne réponse cochée X = lettre de la mauvaise réponse cochée - = question ouverte

30 5. Sur demande Item analysis report

31 5. Sur demande Item analysis report

32 5. Ajustements valider les éléments du rapport

33 5. Ajustements Scan des feuilles Trace dans le système Rapport final

34 Ajustements : décisions pédagogiques Supprimer une question Changer réponses, les barèmes, le grade Ajouter des bonus (ex : questions ouvertes, travaux durant l année) Adapter un NOMA

35 Ajustements : lorsque tout est OK Production du rapport final, de complet à très complets (sans doute trop complexe alors) Clôture du test (verrouillage) Avantage : Traçabilité

36 Semaine WE nbres examens 0-1 DONC

37 En résumé points d attention Planification (injection de métadata et liaison à un questionnaire) : formulaire de «description» : doit être en EVA 8 jours avant l obtention de la grille des coches eva@uclouvain.be; demander formulaire de description en indiquant le nombre approximatif d items Le sigle du cours et la date de l examen Formulaires standards : à reproduire par l enseignant Rigueur pour compléter le formulaire : consignes pour surveillants, transparent pour étudiants (rétroprojecteur ou data) prendre le temps en début d examen! NOMA Séries à vérifier (précochées, feuilles de couleur OK) coches et correction des réponses / absentions encre noire ou crayon/gomme (prévenir les étudiants!) Validation : très important! Comparer avec 3 ou 4 examens corrigés «manuellement» A posteriori : par l enseignant qui consulte le rapport et signale immédiatement toute anomalie Plus tard : rôles et accès web au système pour les enseignants (décentralisation des accès) autre formation

38 Vos questions.