Evaluation en Simulation Dr François LECOMTE Urgences-SMUR-UMJ Cochin-Hôtel Dieu Université Paris Descartes
Plan Evaluation en simulation en France Formateurs Structures Programmes Apprenants Evaluation en simulation interprofessionnelle Etat des lieux Perspectives
Définition de l évaluation Evaluation en pédagogie = «analyse systémique de la qualité de l enseignement et de l apprentissage» (Mac Dougall 2010)
Evaluer les formateurs? Avis des étudiants mais biais+++ Formation initiale: Formations des formateurs Formation continue «DPC» Auto ou Hétéro Evaluation DASH Vidéo de la session de simulation
Le DASH explore et note six éléments-clefs d'un débriefing. Le formateur a-t-il : 1. établit un climat favorable à l apprentissage 2. maintenu un climat favorable à l apprentissage 3. conduit le débriefing de manière structurée 4. suscité l engagement dans l échange 5. identifié les écarts de performance et en a analysé les raisons 6. aidé les apprenants à atteindre ou maintenir un bon niveau de performance future.
D A S H
Formation de formateur - niveau 2 - Algérie 2014
Reference : Debriefing Assessment for Simulation in Healthcare
Evaluer les structures? Mode : Incitatif : Autoévaluation / référentiel Informatif : Par la structure Avis d étudiants Certificatif : Experts visiteurs
Evaluer les programmes Comment : Adéquation avec l ordre de formation : Qui : Programme national Programme local (ex. EIG) Programme déposé pour le DPC Cahier des charges/tutelles
Evaluer les apprenants? Formative Auto Pairs Formateurs Sanctionnante
Évaluation Formative Expert Compétent Capable Novice Buts : Examiner les aptitudes et les compétences de l élève, afin de faire ressortir ses points forts. Diagnostiquer d éventuelles difficultés dans l apprentissage.
DU Formateurs Simulation - Paris 2014 2015
Scénario 1 Scénario 1 Débriefing Scénario 2 Scénario 2 Scénario 3 Débriefing Apprentissage limité DU Formateurs Simulation - Paris 2014 2015 Scénario 3 Apprentissage Optimal
Pendant l évaluation formative Apprenants non actifs : Se mettre à la place de l étudiant Formateurs : Comparaison / référentiel(s) Comparaison/objectifs pédagogiques Comparaison/déroulé attendu du scénario DU Formateurs Simulation - Paris 2014 2015
Ex. d évaluation formative «Formateur» Objectifs d apprentissage :... Heure Evénement Objectifs CRM Autres. médicaux DU Formateurs Simulation - Paris 2014 2015
Ex. de grille d évaluation «étudiants non actifs» Heure Événement Action faite Action attendue DU Formateurs Simulation - Paris 2014 2015
Séance de simulation (HAS) HAS, Janvier 2013
Évaluation Sanctionnante Buts : Fin d apprentissage => «note» Situer le niveau de connaissance de l élève à un moment de son apprentissage. Note/moyenne Classement entre les étudiants
Grilles d évaluation Que peut-on évaluer? Qui peut évaluer? Savoir/savoir-faire/savoir-être Auto/pairs/Formateurs Les critères d une bonne évaluation Reproductibilité, Simplicité/Exhaustivité
Exemples de re-certifications - USA, NEW-YORK, Anesthésistes ayant eu une période d interruption de soins avant d autoriser leur reprise de travail (1) (nombreuses demandes de postes) - Europe : Chirurgie vasculaire (2) - MG (3) (différences entre les professionnels) 1) Rosenblatt MA, Abrams KJ, for the New York State Society of Anesthesiologists, Inc; Committee on Continuing Medical Education and Remediation; Remediation Sub-Committee. The use of a human patient simulator in the evaluation of and devt velopment of a remedial prescription for an anesthesiologist with lapsed medical skills. Anesth Analg 2002;94:149 53. 2) Bergqvist D, Liapis C, Wolfe JNH. The developing European Board Vascular Examination. Eur J Vasc Surg 2004;27:339 40. 3) Hagen MD, Summer W, Roussel, Rovinelli R, Xu J. Computerbased testing in family practice certification and recertification. J Am Board Fam Pract 2003;16:227 32.
Exemples d évaluation sanctionnante : Israel, Anesth réa Critères d évaluation Evaluation : 12 20 items. 2 examinateurs différents en direct Validation si > 70% des items (checklist) Impression generale de 1 à 4 Autre score utilisé si proche de 70% 6 sessions en 6 ans, les 2 premières optionnelles et les 4 autres nécessaires avant examen oral final Résultats : Bonne acceptation par les étudiant, pas de corrélation entre résultats des OSCE et examen oral Amélioration des résultats au fur et à mesure des années
Examples of basic knowledge/technical tasks include the following: - preoperative patient assessment, - equipment checks - laboratory data acquisition and interpretation - airway assessment and intubation - treatment according to algorithms of Advanced Cardiac Life Support (ACLS) and Advanced Trauma Life Support (ATLS) - algorithms of handling intraoperative changes in blood pressure or airway pressure, - ventilator setup and parameter changes - regional block description. Seulement quelques critères CRM Advanced knowledge and behavior : - Acquisition of all available information - Anticipation and plans - Reevaluation of the situation with a new complication - Prioritizing concise directed instructions - Communication - Teamwork within the trauma / resuscitation team.
Evaluation (rapport de Mission HAS, PR Granry) Évaluation (mesure des résultats) - Observation de la performance des participants, mais biais. - Evaluation écrite des participants soit par l'intermédiaire de QCM, soit par celui d'un rapport écrit. Cette évaluation est souvent de meilleure qualité que la simple observation des pratiques. - Mesure objective des performances comme par exemple l'utilisation de capteurs au niveau de certaines régions anatomiques d'un mannequin Pugh CM, Domont ZB, Salud LH, Blossfield KM. A simulation-based assessment of clinical breast examination technique: do patient and clinician factors affect clinician approach? Am J Surg 2008;195(6):874-80.
«Indépendamment de l évaluation formative, notamment dans le cadre du DPC, la simulation pourrait être utilisée pour l évaluation des compétences et la certification ou la re-certification des structures et/ou des professionnels de santé sous réserve du développement des outils docimologiques.»
Simulation Interprofessionnelle
Interprofessionnalité (IP) Enseignement : Peu ou pas d enseignement théorique de l IP Evaluation de l IP : Evaluation formative de l IP Peu ou pas d évaluation certificative
Evaluation, Dr François LECOMTE, DU FORMSIM 2014 2015 Simulation IP Formative
Evaluation, Dr François LECOMTE, DU FORMSIM 2014 2015 Simulation IP Certificative
L avenir de la Simulation Interprofessionnelle? Actuellement : les silos the «silo-thinking» J Am Coll Surg. 2014 Jan;218(1):140-9. doi: 10.1016/j.jamcollsurg.2013.09.006. FORMSIM 2014 Epub 2015 2013 Oct 31. Getting a head start: high-fidelity, simulation-based operating room team training of interprofessional students. Paige JT1, Garbee DD2, Kozmenko V3, Yu Q4, Kozmenko L2, Yang T5, Bonanno L2, Swartz W6.
Au total => IP : nécessaire mais beaucoup d obstacles Recherche en faveur (Baker, 2010) : réduction des dommages au patient Réduction de la DMS Amélioration des marqueurs Amélioration en termes de recrutements de personnels Les obstacles : Pas de temps pédagogique fléché interprofessionnel en FI Méconnaissance des autres professions Manque de visibilité des initiatives IP en pédagogie dans les Universités Nécessaire inscription de l IP dans le programme des étudiants Manque d argent Manque de temps Manque d espace
- Difficultés d organisation : - RH, - Scenarii, - «champions en débriefings interprofessionnels» - Nécessaire équité dans les scénarii - Impact social des scénarii Pas ou peu d évaluation sanctionnante
EVALUATION DRIVES CURRICULUM Evaluation??? Reference : Debriefing Assessment for Simulation in Healthcare
Perspectives de l évaluation en Simulation Interprofessionnelle
Pour qui? 15 membres du bloc (3 chirurgiens,3 MAR,3IADE,3IBODE,2IDE de SSPI,1 cadre) en équipe constituée. Où? Ecole Européenne de Chirurgie, Paris Debriefeurs? Un débriefeur principal, plus un débriefeur chirurgien, ou anesthésiste selon la thématique et les objectifs du scenario
MESURES (suggérées par les apprenants) À 3 MOIS À 9 MOIS REALISATION CONCRETE Débriefing systématique des crises Appliquée Appliquée Débriefings interdisciplinaires avec CR (2 réalisés) Réapprendre le leadership Appliquée Appliquée Simulation haute fidélité; intégration dans la pédagogie Meilleure connaissance mutuelle des métiers du bloc Appliquée Appliquée Interdisciplinarité des formations Meilleure répartition de l aide en situation urgente (Re)formation régulière à la prise en charge de l arrêt cardiaque Meilleur encadrement des personnels «extérieurs» intérimaires/vacataires Validée Appliquée Répartition «rationnalisée» Validée Appliquée Débutée, en basse fidélité. Evaluation en cours Validée En cours d élaboration Fiche d accueil intérimaire/vacataire Changer la localisation du chariot d urgence en astreinte À discuter En discussion Le déplacer? Deuxième chariot? Présence médicale renforcée en SSPI À discuter En discussion Un interne en SSPI?
PACTE - Programme d Amélioration Continue du Travail en Equipe Les objectifs de PACTE Sensibiliser les professionnels aux pratiques collaboratives autour de la qualité et de la sécurité des soins ; Faire levier au niveau du microsystème clinique, là où les patients, les familles et les équipes se retrouvent, autour d un programme d amélioration continue de la qualité et de la sécurité des soins, Elaborer un programme d amélioration continue de la qualité et de la sécurité des soins en équipe, là où la prise en charge réelle traduit la réalité de la pratique, suivre et évaluer les effets produits (individuel, patient, collectif, clinique, etc.)
ATTENTION!!!
Quelques échelles
Ottawa Crisis Resource Management Global Rating Scale Formation de formateur en Simulation Médicale - Algérie - Niveau 1 - Medesim Kim J, Crit Care Med, 2006 Score permettant d évaluer les CRM
Formation de formateur en Simulation Médicale - Algérie - Niveau 1 - Medesim
CRM en obstétrique Assessment of Obstetric Team Performance (AOTP) Global Assessment of Obstetric Team Performance, (GAOTP) Formation de formateur en Simulation Médicale - Algérie - Niveau 1 - Medesim
Formation initiale : Une problématique différente?
Utilisation de la Simulation en Formation Initiale : d autres simulateurs? une autre simulation?
En conclusion : le double paradoxe Evaluation en simulation en France : Omniprésente mais plutôt formative pour le moment Interprofessionnalité = omniprésente en santé par essence Mais difficultés à l intégrer dans le cursus en formation initiale car cloisonnement+++ Simulation = meilleur outil d apprentissage de l interprofessionnalité Mais Simulation outil principalement formatif pour l instant Nécessité de développer l évaluation certifiante en simulation pour en justifier son enseignement en simulation.