Rapport de l atelier 3 Evalue-t-on bien ce que l on enseigne et qu évalue-t-on? Animateur : M. Schneider Rapporteur : J.-L. Gilles

Transcription

1 Rapport de l atelier 3 Evalue-t-on bien ce que l on enseigne et qu évalue-t-on? Animateur : M. Schneider Rapporteur : J.-L. Gilles

2 Interventions multidisciplinaires. S. Gelaes, M. Verlaet et.p. Bourguignon (avec la collaboration de J. Boniver et J. Belaiche) Les évaluations de compétences ECOS/EMS et expérimentales. D. Giet et V. Massart. N. Thirion. L. Leduc et M. Delhaxhe

3 Contexte Objectif Initiative Epreuves orales Améliorer l équité et Uniformisation de multidisciplinaires intégratives en mini la fidélité d évaluations l élaboration et de jury ( 4 ème année). où 3 exami- l utilisation de Situations cliniques nateurs sont impliqués vignettes cliniques. concrètes. ( jurys). Epreuves liées à la prise en charge de situations médicales complexes (dernière année). Améliorer l équité, la validité, l authenticité et la praticabilité des évaluations de compétences complexes. Examen Clinique Objectif Structuré (ECOS + EMS) & Test de Concordance de Script (TCS). Collaboration avec le Service Guidance Etude ( 1 er bac). Accompagner les enseignants dans la conception de dispositifs de simulations d examens. Parcours réflexif en deux phases : «informer» et «faire-vivre».

4 Contexte Objectif Initiative Epreuves orales Améliorer l équité et Uniformisation de multidisciplinaires intégratives en mini la fidélité d évaluations l élaboration et de jury ( 4 ème année). où 3 exami- l utilisation de Situations cliniques nateurs sont impliqués vignettes cliniques. concrètes. ( jurys). Epreuves liées à la prise en charge de situations médicales complexes (dernière année). Améliorer l équité, la validité, l authenticité et la praticabilité des évaluations de compétences complexes. Examen Clinique Objectif Structuré (ECOS + EMS) & Test de Concordance de Script (TCS). Collaboration avec le Service Guidance Etude ( 1 er bac). Accompagner les enseignants dans la conception de dispositifs de simulations d examens. Parcours réflexif en deux phases : «informer» et «faire-vivre».

5 Contexte Objectif Initiative Epreuves orales Améliorer l équité et Uniformisation de multidisciplinaires intégratives en mini la fidélité d évaluations l élaboration et de jury ( 4 ème année). où 3 exami- l utilisation de Situations cliniques nateurs sont impliqués vignettes cliniques. concrètes. ( jurys). Epreuves liées à la prise en charge de situations médicales complexes (dernière année). De moins en moins d oraux pour évaluer l argumentation dialectique. Améliorer l équité, la validité, l authenticité et la praticabilité des évaluations de compétences complexes. Adapter la formation et l évaluation aux circonstances. Examen Clinique Objectif Structuré (ECOS + EMS) & Test de Concordance de Script (TCS). Posture individuelle de questionnement sur les modalités et les critères d éval. Collaboration avec le Service Guidance Etude ( 1 er bac). Accompagner les enseignants dans la conception de dispositifs de simulations d examens. Parcours réflexif en deux phases : «informer» et «faire-vivre».

6 Contexte Objectif Initiative Epreuves orales Améliorer l équité et Uniformisation de multidisciplinaires intégratives en mini la fidélité d évaluations l élaboration et de jury ( 4 ème année). où 3 exami- l utilisation de Situations cliniques nateurs sont impliqués vignettes cliniques. concrètes. ( jurys). Epreuves liées à la prise en charge de situations médicales complexes (dernière année). De moins en moins d oraux pour évaluer l argumentation dialectique. Améliorer l équité, la validité, l authenticité et la praticabilité des évaluations de compétences complexes. Adapter la formation et l évaluation aux circonstances. Examen Clinique Objectif Structuré (ECOS + EMS) & Test de Concordance de Script (TCS). Posture individuelle de questionnement sur les modalités et les critères d éval. Collaboration avec le Service Guidance Etude ( 1 er bac). Accompagner les enseignants dans la conception de dispositifs de simulations d examens. Parcours réflexif en deux phases : «informer» et «faire-vivre».

7 En pratique multidisciplinaires Utilisation d un canevas commun par les enseignants pour l élaboration des vignettes cliniques (contexte professionnel authentique) et par les étudiants pour répondre aux questions posées. En 7 min. l ECOS explore la gestion d un fragment de consultation (ex. examen d une articulation). En 15 min. l EMS (Entrevue Médicale Simulée) préfigure davantage une véritable consultation. Le TCS amène l étudiant a exercer un micro-jugement à partir d une vignette clinique où plusieurs réponses sont admissibles. Les enseignants participent à une séance de chat ainsi qu à deux rencontres présentielles et effectuent trois courtes tâches en vue de concevoir «sur papier» leur dispositif de simulation d examen.

8 En pratique multidisciplinaires Utilisation d un canevas commun par les enseignants pour l élaboration des vignettes cliniques (contexte professionnel authentique) et par les étudiants pour répondre aux questions posées. En 7 min. l ECOS explore la gestion d un fragment de consultation (ex. examen d une articulation). En 15 min. l EMS (Entrevue Médicale Simulée) préfigure davantage une véritable consultation. Le TCS amène l étudiant a exercer un micro-jugement à partir d une vignette clinique où plusieurs réponses sont admissibles. Les enseignants participent à une séance de chat ainsi qu à deux rencontres présentielles et effectuent trois courtes tâches en vue de concevoir «sur papier» leur dispositif de simulation d examen.

9 En pratique multidisciplinaires Utilisation d un canevas commun par les enseignants pour l élaboration des vignettes cliniques (contexte professionnel authentique) et par les étudiants pour répondre aux questions posées. En 7 min. l ECOS explore la gestion d un fragment de consultation (ex. examen d une articulation). En 15 min. l EMS (Entrevue Médicale Simulée) préfigure davantage une véritable consultation. Le TCS amène l étudiant a exercer un micro-jugement à partir d une vignette clinique où plusieurs réponses sont admissibles. Questionnement sur les séminaires de techniques de communication : intéressant, mais Les enseignants participent à une séance de chat ainsi qu à deux rencontres présentielles et effectuent trois courtes tâches en vue de concevoir «sur papier» leur dispositif de simulation d examen.

10 En pratique multidisciplinaires Utilisation d un canevas commun par les enseignants pour l élaboration des vignettes cliniques (contexte professionnel authentique) et par les étudiants pour répondre aux questions posées. En 7 min. l ECOS explore la gestion d un fragment de consultation (ex. examen d une articulation). En 15 min. l EMS (Entrevue Médicale Simulée) préfigure davantage une véritable consultation. Le TCS amène l étudiant a exercer un micro-jugement à partir d une vignette clinique où plusieurs réponses sont admissibles. Questionnement sur les séminaires de techniques de communication : intéressant, mais Les enseignants participent à une séance de chat ainsi qu à deux rencontres présentielles et effectuent trois courtes tâches en vue de concevoir «sur papier» leur dispositif de simulation d examen.

11 Remarquable Améliorable Diminution des disparités de Les éléments sur lesquels les multidisciplinaires cotation intra-jury et augmentation étudiants sont évalués (cfr le de l homogénéité des raisonnement, l esprit critique, ) notes inter-jury depuis ne sont pas encore clairement l uniformisation de l oral. définis. ECOS/EMS : l étudiant est dans une situation proche de la réalité professionnelle. TCS : moins de ressources humaines à mobiliser. ECOS/EMS : ressources humaines à mobiliser. Coût. TCS : nécessité de sensibiliser les collègues, de former les étudiants, d examens «à blanc». Flexibilité du dispositif. Caractère opérationnel des outils et ressources mise à disposition. Réflexion sur la conception du dispositif. Mise en œuvre du dispositif de simulation pas encore proposée (conception «sur papier»). Pas plus de 3 ou 4 places par séminaire.

12 Remarquable Améliorable Diminution des disparités de Les éléments sur lesquels les multidisciplinaires cotation intra-jury et augmentation étudiants sont évalués (cfr le de l homogénéité des raisonnement, l esprit critique, ) notes inter-jury depuis ne sont pas encore clairement l uniformisation de l oral. définis. ECOS/EMS : l étudiant est dans une situation proche de la réalité professionnelle. TCS : moins de ressources humaines à mobiliser. ECOS/EMS : ressources humaines à mobiliser. Coût. TCS : nécessité de sensibiliser les collègues, de former les étudiants, d examens «à blanc». Flexibilité du dispositif. Caractère opérationnel des outils et ressources mise à disposition. Réflexion sur la conception du dispositif. Mise en œuvre du dispositif de simulation pas encore proposée (conception «sur papier»). Pas plus de 3 ou 4 places par séminaire.

13 Remarquable Améliorable Diminution des disparités de Les éléments sur lesquels les multidisciplinaires cotation intra-jury et augmentation étudiants sont évalués (cfr le de l homogénéité des raisonnement, l esprit critique, ) notes inter-jury depuis ne sont pas encore clairement l uniformisation de l oral. définis. ECOS/EMS : l étudiant est dans une situation proche de la réalité professionnelle. TCS : moins de ressources humaines à mobiliser. Mise en évidence des compétences langagières, d adaptation au changement et d imagination. ECOS/EMS : ressources humaines à mobiliser. Coût. TCS : nécessité de sensibiliser les collègues, de former les étudiants, d examens «à blanc». Questionnement explicite et concerté des enseignants. Techniques de communication avec le «fond». Flexibilité du dispositif. Caractère opérationnel des outils et ressources mise à disposition. Réflexion sur la conception du dispositif. Mise en œuvre du dispositif de simulation pas encore proposée (conception «sur papier»). Pas plus de 3 ou 4 places par séminaire.

14 Remarquable Améliorable Diminution des disparités de Les éléments sur lesquels les multidisciplinaires cotation intra-jury et augmentation étudiants sont évalués (cfr le de l homogénéité des raisonnement, l esprit critique, ) notes inter-jury depuis ne sont pas encore clairement l uniformisation de l oral. définis. ECOS/EMS : l étudiant est dans une situation proche de la réalité professionnelle. TCS : moins de ressources humaines à mobiliser. Mise en évidence des compétences langagières, d adaptation au changement et d imagination. ECOS/EMS : ressources humaines à mobiliser. Coût. TCS : nécessité de sensibiliser les collègues, de former les étudiants, d examens «à blanc». Questionnement explicite et concerté des enseignants. Techniques de communication avec le «fond». Flexibilité du dispositif. Caractère opérationnel des outils et ressources mis à disposition. Réflexion sur la conception du dispositif. Mise en œuvre du dispositif de simulation pas encore proposée (conception «sur papier»). Pas plus de 3 ou 4 places par séminaire.

15 Concordance inter et intra-jury? Est on sûr d évaluer des aspects tels que l esprit critique? Validité Diagnosticité L évalué ressort-il avec un diagnostic de ses forces et faiblesses? Authenticité Fidélité des mesures Critères de qualité docimologique et évaluation de performances complexes Les situations d examen sontelles suffisamment proches de la réalité professionnelle? Sensibilité des mesures Nos critères et nos échelles d évaluation sont-ils suffisamment subtils? Equité Communicabilité Les étudiants sontils tous traités de la même façon? Avons nous les ressources humaines et matérielles? Praticabilité Communiquons nous suffisamment d informations relatives aux examens?