Modalités d évaluation en Simulation

Dimension: px

Commencer à balayer dès la page:

Download "Modalités d évaluation en Simulation"

Marc-Antoine Richard
il y a 10 ans
Total affichages :

1 Modalités d évaluation en Simulation

2 Définition de l évaluation n Evaluation en pédagogie = «analyse systémique de la qualité de l enseignement et de l apprentissage» (Mac Dougall 2010)

3 Le cercle vertueux de la pédagogie Evaluation des besoins Objectifs pédagogiques Débriefing Simulation

5 Le cercle vertueux de l évaluation en simulation Soins aux patients Evaluation des besoins Objectifs pédagogiques Débriefing Simulation Optimiser la pédagogie pour améliorer les soins

6 Démarche d amélioration continue Expert Compétent Capable Novice

7 Comment optimiser la pédagogie? n Les apprenants n Les formateurs n Les programmes n Les structures

8 Comment évaluer les structures n Comment : Référentiel «guide de bonne pratique» n Qui : Incitation à l autoévaluation / référentiel Avis d étudiants Experts visiteurs : certification

9 Comment évaluer les programmes n Comment : Adéquation avec l ordre de formation : n Qui : n Programme national n Programme local (ex. EIG) n Programme déposé pour le DPC Avis des formateurs Avis des étudiants Performance des formateurs Performance des étudiants

10 Comment évaluer : les formateurs n Avis des étudiants mais biais+++ n Avis des formateurs : Autoévaluation Hétéroévaluation : n Avis post débriefing n Vidéo de la session de simulation

11 Comment évaluer les étudiants? n Sanctionnante n Formative Auto Pairs Formateurs

12 Evaluation Sanctionnante

13 Évaluation Sanctionnante Buts : n sanctionner une fin d apprentissage «note» n situer le niveau de connaissance de l élève à un moment de son apprentissage. Note/moyenne Classement entre les étudiants

14 Évaluation Formative Expert Compétent Capable Novice Buts : n Examiner les aptitudes et les compétences de l élève, afin de faire ressortir ses points forts. n diagnostiquer d éventuelles difficultés dans l apprentissage.

élève, afin de faire ressortir ses points forts.

15 Grilles d évaluation n Que peut-on évaluer? n Qui peut évaluer? Savoir/savoir- faire/savoir- être Auto/Pairs/Formateurs n Les critères d une bonne évaluation Reproduc8bilité, Simplicité/ Exhaus8vité

16 Exemples de re-certifications - USA, NEW-YORK, Anesthésistes ayant eu une période d interruption de soins avant d autoriser leur reprise de travail (1) (nombreuses demandes de postes) - Europe : Chirurgie vasculaire (2) - MG (3) (différences entre les professionnels) 1) Rosenblatt MA, Abrams KJ, for the New York State Society of Anesthesiologists, Inc; Committee on Continuing Medical Education and Remediation; Remediation Sub-Committee. The use of a human patient simulator in the evaluation of and devt velopment of a remedial prescription for an anesthesiologist with lapsed medical skills. Anesth Analg 2002;94: ) Bergqvist D, Liapis C, Wolfe JNH. The developing European Board Vascular Examination. Eur J Vasc Surg 2004;27: ) Hagen MD, Summer W, Roussel, Rovinelli R, Xu J. Computerbased testing in family practice certification and recertification. J Am Board Fam Pract 2003;16:

Education and Remediation; Remediation Sub-Committee.

18 Exemples d évaluation sanctionnante : Israel, Anesth réa Critères d évaluation Evaluation : items. 2 examinateurs différents en direct Validation si > 70% des items (checklist) Impression generale de 1 à 4 Autre score utilisé si proche de 70% 6 sessions en 6 ans, les 2 premières optionnelles et les 4 autres nécessaires avant examen oral final Résultats : Bonne acceptation par les étudiant, pas de corrélation entre résultats des OSCE et examen oral Amélioration des résultats au fur et à mesure des années

si proche de 70% 6 sessions en 6 ans, les 2 premières optionnelles et les 4 autres nécessaires avant examen oral final Résultats

19 Exemples de connaissances de base/gestes : - Évaluation préopératoire du patient, - Vérification du matériel - Demande et interprétation d examens de labo - Management des VAS et intubation - Traitement en accord avec Advanced Cardiac Life Support (ACLS) and Advanced Trauma Life Support (ATLS) - Conduite à tenir face à une modification tensionnelle ou de Pression pendant intervention, - Réglage et surveillance de ventilateur - Description blocs d ALR Seulement quelques critères CRM connaissances avancées et comportements : - Acquisition de toutes les informations disponibles - Anticipation et planification - Réévaluation de la situation - Priorisation - Communication - Travail d équipe (trauma et resuscitation team)

Pression pendant intervention, - Réglage et surveillance de ventilateur - Description blocs d ALR Seulement quelques critères CRM connaissances avancées et comportements : -

20 ACRM n ACRM principles that can be trained using simulation : Know the environment Anticipate and plan Call for help early Exercise leadership and followership Distribute the workload Mobilize all available resources Communicate effectively Use all available information Prevent and manage fixation errors Cross (double) check Use cognitive aids Re-evaluate repeatedly Use good teamwork Allocate attention wisely Set priorities dynamically n Rall M et Gaba DM, in: Miller, Anesthesia 6th Ed 2005 Formation de formateur en Simulation Médicale - François Lecomte - Guillaume Der Sahakian

fixation errors Cross (double) check Use cognitive aids Re-evaluate repeatedly Use good teamwork Allocate attention wisely Set priorities

21 Un référentiel pour l évaluation en France?

22 Evaluation (rapport de Mission HAS, PR Granry) Évaluation (mesure des résultats) - Observation de la performance des participants, mais biais. - Evaluation écrite des participants soit par l'intermédiaire de QCM, soit par celui d'un rapport écrit. Cette évaluation est souvent de meilleure qualité que la simple observation des pratiques. - Mesure objective des performances comme par exemple l'utilisation de capteurs au niveau de certaines régions anatomiques d'un mannequin Pugh CM, Domont ZB, Salud LH, Blossfield KM. A simulation-based assessment of clinical breast examination technique: do patient and clinician factors affect clinician approach? Am J Surg 2008;195(6):

23 «Indépendamment de l évaluation formative, notamment dans le cadre du DPC, la simulation pourrait être utilisée pour l évaluation des compétences et la certification ou la re-certification des structures et/ou des professionnels de santé sous réserve du développement des outils docimologiques.»

24 Synthèse de l évaluation sanctionnante n Difficulté de sélection des critères n Difficulté de mise en place d une évaluation sanctionnante

25 Evaluation Formative

26 Pendant l évaluation formative (1) n Apprenant actif ó Retour sur prestation Autoévaluation Évaluation par les pairs Formateurs

27 Pendant l évaluation formative (2) n Apprenants non actifs : Se mettre à la place de l étudiant n Formateurs : Comparaison / déroulé attendu du scénario Comparaison / référentiel(s) Comparaison / objectifs pédagogiques

28 Ex. d évaluation formative «Formateur» n Objectifs d apprentissage :.. Heure Evénement Objectifs CRM médicaux.. Autres

29 Ex. de grille d évaluation «étudiants non actifs» Heure Événement Action faite Action attendue

30 Fin d évaluation formative n Feuille de route : Quoi : n Point de vue de l étudiant : Ce que je veux (/dois) faire dans un proche (/moyen) avenir n Point de vue du formateurs : Ce que l étudiant(/doit) faire dans un proche (/moyen) avenir Comment : n Cours magistraux/e-learning/ task trainer / HF

31 Quand évaluer? n Proche de la formation = évaluation de la formation Résultats aux examens Evaluation de la formation n A distance de la formation = évaluation centrée sur le patient Marqueurs cliniques Satisfaction du patient

32 En conclusion n Nécessité pédagogique de l évaluation n Évaluation Formative majoritairement employée en simulation n Difficulté de mise en place d une évaluation sanctionnante mais nécessaire travail de mise en place

Documents pareils

Evaluation en Simulation. Dr François LECOMTE Urgences-SMUR-UMJ Cochin-Hôtel Dieu Université Paris Descartes

Evaluation en Simulation. Dr François LECOMTE Urgences-SMUR-UMJ Cochin-Hôtel Dieu Université Paris Descartes Evaluation en Simulation Dr François LECOMTE Urgences-SMUR-UMJ Cochin-Hôtel Dieu Université Paris Descartes Plan Evaluation en simulation en France Formateurs Structures Programmes Apprenants Evaluation