Modalités d évaluation en Simulation

Modalités d évaluation en Simulation

Définition de l évaluation n Evaluation en pédagogie = «analyse systémique de la qualité de l enseignement et de l apprentissage» (Mac Dougall 2010)

Le cercle vertueux de la pédagogie Evaluation des besoins Objectifs pédagogiques Débriefing Simulation

Le cercle vertueux de l évaluation en simulation Soins aux patients Evaluation des besoins Objectifs pédagogiques Débriefing Simulation Optimiser la pédagogie pour améliorer les soins

Démarche d amélioration continue Expert Compétent Capable Novice

Comment optimiser la pédagogie? n Les apprenants n Les formateurs n Les programmes n Les structures

Comment évaluer les structures n Comment : Référentiel «guide de bonne pratique» n Qui : Incitation à l autoévaluation / référentiel Avis d étudiants Experts visiteurs : certification

Comment évaluer les programmes n Comment : Adéquation avec l ordre de formation : n Qui : n Programme national n Programme local (ex. EIG) n Programme déposé pour le DPC Avis des formateurs Avis des étudiants Performance des formateurs Performance des étudiants

Comment évaluer : les formateurs n Avis des étudiants mais biais+++ n Avis des formateurs : Autoévaluation Hétéroévaluation : n Avis post débriefing n Vidéo de la session de simulation

Comment évaluer les étudiants? n Sanctionnante n Formative Auto Pairs Formateurs

Evaluation Sanctionnante

Évaluation Sanctionnante Buts : n sanctionner une fin d apprentissage «note» n situer le niveau de connaissance de l élève à un moment de son apprentissage. Note/moyenne Classement entre les étudiants

Évaluation Formative Expert Compétent Capable Novice Buts : n Examiner les aptitudes et les compétences de l élève, afin de faire ressortir ses points forts. n diagnostiquer d éventuelles difficultés dans l apprentissage.

Grilles d évaluation n Que peut-on évaluer? n Qui peut évaluer? Savoir/savoir- faire/savoir- être Auto/Pairs/Formateurs n Les critères d une bonne évaluation Reproduc8bilité, Simplicité/ Exhaus8vité

Exemples de re-certifications - USA, NEW-YORK, Anesthésistes ayant eu une période d interruption de soins avant d autoriser leur reprise de travail (1) (nombreuses demandes de postes) - Europe : Chirurgie vasculaire (2) - MG (3) (différences entre les professionnels) 1) Rosenblatt MA, Abrams KJ, for the New York State Society of Anesthesiologists, Inc; Committee on Continuing Medical Education and Remediation; Remediation Sub-Committee. The use of a human patient simulator in the evaluation of and devt velopment of a remedial prescription for an anesthesiologist with lapsed medical skills. Anesth Analg 2002;94:149 53. 2) Bergqvist D, Liapis C, Wolfe JNH. The developing European Board Vascular Examination. Eur J Vasc Surg 2004;27:339 40. 3) Hagen MD, Summer W, Roussel, Rovinelli R, Xu J. Computerbased testing in family practice certification and recertification. J Am Board Fam Pract 2003;16:227 32.

Exemples d évaluation sanctionnante : Israel, Anesth réa Critères d évaluation Evaluation : 12 20 items. 2 examinateurs différents en direct Validation si > 70% des items (checklist) Impression generale de 1 à 4 Autre score utilisé si proche de 70% 6 sessions en 6 ans, les 2 premières optionnelles et les 4 autres nécessaires avant examen oral final Résultats : Bonne acceptation par les étudiant, pas de corrélation entre résultats des OSCE et examen oral Amélioration des résultats au fur et à mesure des années

Exemples de connaissances de base/gestes : - Évaluation préopératoire du patient, - Vérification du matériel - Demande et interprétation d examens de labo - Management des VAS et intubation - Traitement en accord avec Advanced Cardiac Life Support (ACLS) and Advanced Trauma Life Support (ATLS) - Conduite à tenir face à une modification tensionnelle ou de Pression pendant intervention, - Réglage et surveillance de ventilateur - Description blocs d ALR Seulement quelques critères CRM connaissances avancées et comportements : - Acquisition de toutes les informations disponibles - Anticipation et planification - Réévaluation de la situation - Priorisation - Communication - Travail d équipe (trauma et resuscitation team)

ACRM n ACRM principles that can be trained using simulation : Know the environment Anticipate and plan Call for help early Exercise leadership and followership Distribute the workload Mobilize all available resources Communicate effectively Use all available information Prevent and manage fixation errors Cross (double) check Use cognitive aids Re-evaluate repeatedly Use good teamwork Allocate attention wisely Set priorities dynamically n Rall M et Gaba DM, in: Miller, Anesthesia 6th Ed 2005 Formation de formateur en Simulation Médicale - François Lecomte - Guillaume Der Sahakian

Un référentiel pour l évaluation en France?

Evaluation (rapport de Mission HAS, PR Granry) Évaluation (mesure des résultats) - Observation de la performance des participants, mais biais. - Evaluation écrite des participants soit par l'intermédiaire de QCM, soit par celui d'un rapport écrit. Cette évaluation est souvent de meilleure qualité que la simple observation des pratiques. - Mesure objective des performances comme par exemple l'utilisation de capteurs au niveau de certaines régions anatomiques d'un mannequin Pugh CM, Domont ZB, Salud LH, Blossfield KM. A simulation-based assessment of clinical breast examination technique: do patient and clinician factors affect clinician approach? Am J Surg 2008;195(6):874-80.

«Indépendamment de l évaluation formative, notamment dans le cadre du DPC, la simulation pourrait être utilisée pour l évaluation des compétences et la certification ou la re-certification des structures et/ou des professionnels de santé sous réserve du développement des outils docimologiques.»

Synthèse de l évaluation sanctionnante n Difficulté de sélection des critères n Difficulté de mise en place d une évaluation sanctionnante

Evaluation Formative

Pendant l évaluation formative (1) n Apprenant actif ó Retour sur prestation Autoévaluation Évaluation par les pairs Formateurs

Pendant l évaluation formative (2) n Apprenants non actifs : Se mettre à la place de l étudiant n Formateurs : Comparaison / déroulé attendu du scénario Comparaison / référentiel(s) Comparaison / objectifs pédagogiques

Ex. d évaluation formative «Formateur» n Objectifs d apprentissage :.. Heure Evénement Objectifs CRM médicaux.. Autres

Ex. de grille d évaluation «étudiants non actifs» Heure Événement Action faite Action attendue

Fin d évaluation formative n Feuille de route : Quoi : n Point de vue de l étudiant : Ce que je veux (/dois) faire dans un proche (/moyen) avenir n Point de vue du formateurs : Ce que l étudiant(/doit) faire dans un proche (/moyen) avenir Comment : n Cours magistraux/e-learning/ task trainer / HF

Quand évaluer? n Proche de la formation = évaluation de la formation Résultats aux examens Evaluation de la formation n A distance de la formation = évaluation centrée sur le patient Marqueurs cliniques Satisfaction du patient

En conclusion n Nécessité pédagogique de l évaluation n Évaluation Formative majoritairement employée en simulation n Difficulté de mise en place d une évaluation sanctionnante mais nécessaire travail de mise en place