L évaluation en Simulation
Objectifs d apprentissage L évaluation Sanctionnante / Evaluation Formative Exemple d évaluation Sanctionnante en simulation Exemple d évaluation Formative en simulation
Évaluation Sanctionnante Buts : sanctionner une fin d apprentissage «note» situer le niveau de connaissance de l élève à un moment de son apprentissage. Note/moyenne Classement entre les étudiants
Évaluation Formative Expert Compétent Capable Novice Buts : Examiner les aptitudes et les compétences de l élève, afin de faire ressortir ses points forts. diagnostiquer d éventuelles difficultés dans l apprentissage.
Grilles d évaluation Que peut-on évaluer? Qui peut évaluer? Les critères d une bonne évaluation Être / Paraître / Faire «Maître» / élèves? Reproductibilité, Simplicité/Exhaustivité
EVALUATION DES PERFORMANCES PROFESSIONNELLES GRACE A L UTILISATION D UN SIMULATEUR MEDICAL Dr Mercé Jourdain Université de Lille 2 m-jourdain@chru-lille.fr Scénario unique 1) Simulation 1 : Evaluation 1 2) Formation 3) Simulation 2 : Evaluation 2
Grille d évaluation Faite par deux médecins réanimateurs confirmés. 1) Algorithme 2) Ordre logique des procédures 3) Gestuelle
Résultats Dix internes ont participé à notre étude. Le score (évaluation 1) était de 15/30. Le score (évaluation 2) était de 25.5/30 (p<0,01). Satisfaction = 80,2/100. En conclusion : l utilisation d un simulateur physiologique semble être un outil efficace et apprécié pour améliorer les performances des internes et parfaire leur formation.
Exemples de re-certifications - USA, NEW-YORK, Anesthésistes ayant eu une période d interruption de soins avant d autoriser leur reprise de travail (1) (nombreuses demandes de postes) - Europe : Chirurgie vasculaire (2) - MG (3) (différences entre les professionnels) 1) Rosenblatt MA, Abrams KJ, for the New York State Society of Anesthesiologists, Inc; Committee on Continuing Medical Education and Remediation; Remediation Sub-Committee. The use of a human patient simulator in the evaluation of and devt velopment of a remedial prescription for an anesthesiologist with lapsed medical skills. Anesth Analg 2002;94:149 53. 2) Bergqvist D, Liapis C, Wolfe JNH. The developing European Board Vascular Examination. Eur J Vasc Surg 2004;27:339 40. 3) Hagen MD, Summer W, Roussel, Rovinelli R, Xu J. Computerbased testing in family practice certification and recertification. J Am Board Fam Pract 2003;16:227 32.
Exemples d évaluation sanctionnante : Israel, Anesth réa Critères d évaluation Evaluation : 12 20 items. 2 examinateurs différents en direct Validation si > 70% des items (checklist) Impression generale de 1 à 4 Autre score utilisé si proche de 70% 6 sessions en 6 ans, les 2 premières optionnelles et les 4 autres nécessaires avant examen oral final Résultats : différences inter observateurs
Examples of basic knowledge/technical tasks include the following: - preoperative patient assessment, - equipment checks - laboratory data acquisition and interpretation - airway assessment and intubation - treatment according to algorithms of Advanced Cardiac Life Support (ACLS) and Advanced Trauma Life Support (ATLS) - algorithms of handling intraoperative changes in blood pressure or airway pressure, - ventilator setup and parameter changes - and regional block description. Only a few of the tasks were in the framework of Advanced knowledge and behavior, which included: - Acquisition of all available information - anticipation and plans - - reevaluation of the situation with a new complication - - prioritizing concise directed instructions - Communication - teamwork within the trauma/resuscitation team.
Evaluation (rapport de Mission HAS, PR Granry) Évaluation (mesure des résultats) - Observation de la performance des participants, mais biais. - Evaluation écrite des participants soit par l'intermédiaire de QCM, soit par celui d'un rapport écrit. Cette évaluation est souvent de meilleure qualité que la simple observation des pratiques. - Mesure objective des performances comme par exemple l'utilisation de capteurs au niveau de certaines régions anatomiques d'un mannequin lors d'un examen clinique simulé en cours d'évaluation Pugh CM, Domont ZB, Salud LH, Blossfield KM. A simulation-based assessment of clinical breast examination technique: do patient and clinician factors affect clinician approach? Am J Surg 2008;195(6):874-80.
«Indépendamment de l évaluation formative, notamment dans le cadre du DPC, la simulation pourrait être utilisée pour l évaluation des compétences et la certification ou la re-certification des structures et/ou des professionnels de santé sous réserve du développement des outils docimologiques.»
Synthèse de l évaluation sanctionnante Difficultés d homogénéiser les critères Nombreux critères pertinents
Evaluation Formative
Scénario 1 Scénario 1 Débriefing Scénario 2 Scénario 2 Scénario 3 Débriefing Apprentissage limité Scénario 3 Apprentissage Optimal
Ex. d évaluation formative «Formateur» Objectifs d apprentissage :.. Heure Evénement Objectifs CRM médicaux.. Autres
Ex. de grille d évaluation «étudiants non actifs» Heure Événement Action faite Action attendue
En conclusion Nécessité pédagogique de l évaluation Évaluation Formative majoritairement employée en simulation Difficulté de mise en place d une évaluation sanctionnante mais nécessité pour l Université de notes