Simulation: gadget ou outil pédagogique indispensable Comment évaluer l impact de la simulation? Pr Denis Oriot Laboratoire de Simulation - SiMI, Poitiers Plan Quels enjeux? Qualité et amélioration Place de l évaluation dans la simulation Caractéristiques et champs de l évaluation Qualité de la méthode d évaluation Comment évaluer? Modèle de Kirkpatrick Niveaux 1, 2, 3 et 4 avec données de la littérature Quelles difficultés? Conclusion Enjeu? Simulation = 1 des 4 modes d apprentissage Je fais Kolb 1984 Je simule Je vois Je lis Les types d enseignement Plan Equipe Patient imaginaire Etudiant Enseignement magistral Equipe simulée Patient simulé Apprenant S I M U L A T I O N Enseignant Equipe réelle Patient réel Étudiant Réalité Quels enjeux? Qualité et amélioration Place de l évaluation dans la simulation Caractéristiques et champs de l évaluation Qualité de la méthode d évaluation Comment évaluer? Modèle de Kirkpatrick Niveaux 1, 2, 3 et 4 avec données de la littérature Quelles difficultés? Conclusion 1
Place essentielle de l évaluation Situation clinique Analyse des besoins But général de la simulation Objectifs pédagogiques Schéma du scénario de simulation Identification des procédures/comportements qui seront évalués au cours de la séance et des outils Evaluation Feed-back = débriefing Modifications des pratiques Changement de la performance impact clinique PAS DE SIMULATION SANS EVALUATION L évaluation permet de valider le processus pédagogique lui-même C est le seul moyen dedémontrer que la simulation s inscrit bien dans un processus d apprentissage avec acquisition de savoir, de savoir-faire et de savoir-être Tous les enseignements devraient être évalués To Err Is Human Building a Safer Health System Linda T. Kohn, Janet M. Corrigan, and Molla S. Donaldson, Editors Committee on Quality of Health Care in America NATIONAL INSTITUTE OF MEDICINE NATIONAL ACADEMY PRESS 2000 Washington, D.C. Medical errors exceed the deaths from motor vehicle accidents, as well as deaths due to breast cancer or AIDS. Prévention des risques Meilleure pédagogie meilleurs soins Plan Quels enjeux? Qualité et amélioration Place de l évaluation dans la simulation Caractéristiques et champs de l évaluation Qualité de la méthode d évaluation Comment évaluer? Modèle de Kirkpatrick Niveaux 1, 2, 3 et 4 avec données de la littérature Quelles difficultés? Conclusion Définition «L évaluation en pédagogie est l analyse systématique de la qualité de l enseignement et de l apprentissage» (MacDougall 2010) La qualité des soins dépend de la qualité de l enseignement (To err is human, 2000) L évaluation de la formation par simulation préfigure de la qualité des soins qui seront prodigués Caractéristiques (J.M. Chabot 2000) Normée: le but est la hiérarchie de classement dans le groupe d étudiants Critériée: le but est la réalisation d un certains nombre de critères prédéterminés 2
Caractéristiques (J.M. Chabot 2000) Sanctionnante:le but final est la note pour obtenir le diplôme Formative :le but est d accélérer une dynamique de formation Caractéristiques Avoir une vision unitaire: formation évaluation Il n y a pas de formation sans évaluation Il n y a pas d évaluation sans formation Avoir une vision dynamique (Skinner) question 1-réponse 1-renforcement 1 question 2-réponse 2-renforcement 2 Evaluation et dynamique de la simulation Scenario # 1 Débriefing Scenario # 2 Débriefing Scenario # 3 Débriefing Scenario # 1 Débriefing Scenario # 1 Débriefing Scenario # 1 Débriefing Performance Evaluation de la performance Learning curve Je fais Différents objectifs Améliorations non liées à une learning curve Mêmes objectifs? Construction de la learning curve J ai vu Temps 16 Performance Evaluation de la performance Learning curve Performance Evaluation de la performance Learning curve Objectif pédagogique Je fais Je fais SIMULATION J ai vu Temps J ai vu Temps 17 18 3
Continuum novice expert Champ de l évaluation L évaluation est un jugement On évalue le savoir, le savoir-faire et le savoir-être (knowledge, skills, attitudes) Mais jamais les PERSONNES +++ L évaluation est circonstanciée +++ Dreyfus 1986, 2004 Que faut-il évaluer? Que faut-il évaluer? Gestes techniques Respect de l algorithme Gestes techniques Sûreté du patient Respect de l algorithme Travail en équipe Travail en équipe Plan Quels enjeux? Qualité et amélioration Place de l évaluation dans la simulation Caractéristiques et champs de l évaluation Qualité de la méthode d évaluation Comment évaluer? Modèle de Kirkpatrick Niveaux 1, 2, 3 et 4 avec données de la littérature Quelles difficultés? Conclusion Qualités de la méthode Validité (face validity): est d autant plus grande que ce qui est proposé singe la réalité. Est à l évaluation ce que la pertinence est aux moyens Acceptabilité: pas ressentie comme une intrusion pour celui qui s y soumet Faisabilité: facile, peu coûteuse à organiser pour celui qui la met en place Acceptabilité + faisabilité = Commodité 4
Qualités de la méthode (suite) Ratio validité/commodité : Plus on augmente la similitude avec le réel (simulation), plus on augmente le ratio validité/commodité Ce qui veut dire que l on complexifie l évaluation qui devient moins commode! Donc, faire un choix raisonnable de la validité! Qualités de la méthode (suite) Reproductibilité : Représente la solidité du savoir Garantit l objectivité de l évaluation Très importante dans un contexte sanctionnant Plan Quels enjeux? Qualité et amélioration Place de l évaluation dans la simulation Caractéristiques et champs de l évaluation Qualité de la méthode d évaluation Comment évaluer? Modèle de Kirkpatrick Niveaux 1, 2, 3 et 4 avec données de la littérature Quelles difficultés? Conclusion Comment évaluer? 1. Avec quels moyens? 2. Pour quels niveaux? Quels moyens d évaluation Ce n est pas un moyen unique qui évalue un processus d apprentissage complexe incluant plusieurs personnes Critères de jugement d une formation médicale Timing Centré sur l apprenant Proche de la formation Centré sur le patient A distance de la formation Connaissances Tests par QCM Audit, meilleure pratique Aptitudes techniques Attitudes comportements Echelle d évaluation (observation) Echelle d évaluation (observation) Taux de succès des interventions Interview des patients (sortie) 5
Kirkpatrick: une vision dynamique Evaluation d un processus d apprentissage Evaluation : 4 niveaux 4 Impact clinique Kirkpatrick D. 1967 3 Changement des pratiques 2 Acquisition de compétences 1 Degré de satisfaction Evaluation : 4 niveaux Modèle de Kirkpatrick, 1967 1. Degré de satisfaction : toujours auto-évaluée 2. Acquisition de connaissances/performance - 2a : auto-évaluée ; 2b : hétéro-évaluée (mesurée) Science Translational Medicine 2010 3. Changement des pratiques professionnelles: - 3a : auto-évaluée; 3b : hétéro-évaluée (mesurée) 4. Impact clinique: bénéfice pour les patients Kirkpatrick Niveaux 1 et 2 Niveau 3 Niveau 4 Evaluation d un processus d apprentissage 1 2 Evaluation : 4 niveaux 3 4 Impact clinique Changement des pratiques Acquisition de compétences Degré de satisfaction Kirkpatrick D. 1967 LAB Plan Quels enjeux? Qualité et amélioration Place de l évaluation dans la simulation Caractéristiques et champs de l évaluation Qualité de la méthode d évaluation Comment évaluer? Modèle de Kirkpatrick Niveaux 1, 2, 3 et 4 avec données de la littérature Quelles difficultés? Conclusion 6
Niveau 1 Réalisme adhésion Auto-évaluation Niveau 1 Questionnaire à la fin de la session 1. Degré de réalismedes différents modèles et scénarios utilisés durant la session Likertou échelle 0-10 : but > 80% bon réalisme 2. Degré de satisfaction: Likertou échelle 0-10 : but > 80% satisfaits Niveau 1 Niveau de satisfaction élevé «expérience agréable, enrichissante» Kurreck 1996 Haut degré de réalisme des scénarios 7.8 / 10 Devitt2001 «Face Validity» validité écologique Une réponse positive ne garantit pas un apprentissage, mais une réponse négative réduit toujours la possibilité d apprentissage Donc, très important d avoir un haut niveau de satisfaction (> 80%) Niveau 2 Hétéro-évaluation Connaissance: Utilisée par tous les centres QCM(5-10, couvrant le sujet) ou un cas clinique avec des questions après ou avant/après la session Score du post-test Δ= score post test-prétest Objectif : Sim augmente le score au post-test 7
Test théorique Test = pré-test et post-test pour chaque niveau QCM : 5 à 10 questions complexes mais importantes pour les apprenants (QCM et réponses aléatoires) Questions directement en lien avec le sujet de l apprentissage Test établi et revu par plusieurs spécialistes Aucune équivoque sur questions ou réponses Aspect consensuel du test et des réponses Comparaison pré/post-test Delta Evaluation (test théorique) On ne peut pas évaluer deux choses à la fois: Exemple: un choc septique se traite initialement par oxygénothérapie en lunettes sous-nasales et expansion volémique Si réponse oui: on ne sait pas quel est l item concerné; on imagine que les 2 sont bons Si réponse non: on ne sait pas pour quel item : O2 lunettes ou expansion volémique ou les 2 Bonne réponse : O2 aumhc + expansion volémique Test théorique Niveau 2 Connaissances techniques : ACLS 41 internes de médecine (2ème année) Tous certifiés ACLS Pré-test / post-test design Intervention: 4 x 2h formation ACLS sur mannequin simulateur avec débriefing s: Amélioration des scores de 24 % Succès : 17 % pré-test 100% post-test Wayne DB, J GenInternMed 2006 Hétéro-évaluation Niveau 2 Gestes pratiques: performance Difficile à évaluer +++ Evaluateurs Un superviseur évaluation subjective Deux superviseurs meilleure évaluation (objective?) mais ne voient pas la même chose? Vidéo : emplacement des caméras; revoir les vidéo? Comparaison de visu vs. vidéo Hétéro-évaluation Niveau 2 Gestes pratiques: performance Difficile à évaluer +++ Outils d évaluation Difficulté complexité procédure; IOT vs. PMO Développement d échelles d évaluation Car les gestes sont le 1 er champ de la simulation Nécessaire d avoir une évaluation objectivedes gestes pratiqués +++ 8
Gestes: outils d évaluation Gestes: outils d évaluation Comment évaluer une procédure? Validité Avantages Désavantages Checklist Validité modeste Echelle d évaluation Forte validité Novice peut voir où il doit s améliorer Applicable dans de nombreuses situations par différents évaluateurs (objective) Demandele temps d évaluation d un expert Double évaluation Demandedu temps pour sa réalisation Demandele temps d évaluation d un expert Echelle d observation Réalisée par plusieurs spécialistes Amendée par un expert en évaluation modif Avis de N experts internationaux modif Rodée sur 20 situations cliniques (2 observateurs) Analyse de la reproductibilité inter-observateurs Repérage des paires discordantes modif Réévaluée sur 20 situations cliniques (2 observateurs) Analyse de la reproductibilité inter-observateurs Obtention d un taux de reproductibilité > 80% Echelle d évaluation Construite à partir d une check-list de la procédure Dédiée à l évaluation en simulation/clinique Face validity : facile à comprendre Validité de contenu : repose sur les différentes étapes de la procédure Validité de construit : les apprenants expérimentés ont un meilleur score que les novices Fiabilité : statistiques K et coefficient de corrélation intra-classe (> 0.80) reproductibilité Echelle d évaluation : pose d une voie intra-osseuse N = 30 Kappa = 0.946 ICC = 0.947 Accord quasi parfait entre des observateurs indépendants 9
Sim Healthcare2012;7:171-175 Echelle d évaluation : pose d une voie intra-osseuse 20 18 IO performance score/20 16 14 12 10 8 6 4 2 0 MS2 MS3 MS5 PGY Niveau 2: acquisition de compétences techniques Introduction d un nouvel équipement : Familiarisation avec le ventilateur Dräger Fabius 18 anesthésistes en formation randomisés en 2 groupes Groupe 1 : cours Groupe 2 : cours + pratique en simulateur Test : résolution de 2 crises simulées s : impression subjective de maitrise identique groupe simulateur résout les 2 crises plus vite Dalley P, Anesth Analg 2004 90 80 70 60 50 40 30 20 10 0 Echelle d évaluation : annonce d une mauvaise nouvelle 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 # of of students students Obs 1 Obs 2 N = 16 ICC = 0.917 Très bon accord entre deux observateurs indépendants Une option : questionnaire d intention Rudolph 2006 Etabli pour chacun des gestes étudiés Une question une réponse unique Ex: Quel est le risque s il y a issue de muqueuse par le surjet? (Réponse = fistule) Ex: Quel est le risque de l absence de garde sur l aiguille intra-osseuse? (Réponse = tibia transfixié) Couplé à la grille d observation Validé par plusieurs spécialistes Permet de repérer des apprenants avec une intention erronée à la base du déficit de performance Une option : questionnaire d intention Rudolph 2006 Où se situe le déficit de performance? Quelle est l intention? GOLD STANDARD bon Success mauvais 10
Une option : questionnaire d intention Rudolph 2006 Où se situe le déficit de performance? Quelle est l intention? GOLD STANDARD Une option : questionnaire d intention Rudolph 2006 Où se situe le déficit de performance? Quelle est l intention? GOLD STANDARD bonne bon bonne bon Process Success Process Success inadaptée mauvais inadaptée mauvais Une option : questionnaire d intention Rudolph 2006 Où se situe le déficit de performance? Quelle est l intention? GOLD STANDARD Une option : questionnaire d intention Rudolph 2006 Où se situe le déficit de performance? Quelle est l intention? Invisible GOLD STANDARD Intention adéquate bonne bon Intention adéquate bonne bon Frame Process lambda Frame Process lambda Intention erronée inadaptée mauvais Intention erronée inadaptée mauvais Une option : questionnaire d intention Rudolph 2006 Où se situe le déficit de performance? Quelle est l intention? Invisible GOLD STANDARD Une option : questionnaire d intention Rudolph 2006 Où se situe le déficit de performance? Quelle est l intention? Invisible GOLD STANDARD Intention adéquate bonne bon Intention adéquate bonne bon Pb conceptuel sur la raison de la technique poser la question : Pourquoi? lambda Pb conceptuel sur la raison de la technique poser la question : Pourquoi? Success Intention erronée inadaptée mauvais Intention erronée inadaptée mauvais 11
Good-judgment debriefing: base conceptuelle Défi = évaluation des scénarios complexes Algorithme Intention Ce que l on pense Frame Rationalité de l intention? Ce que l on fait Process L objectif Success Rudolph SIH 2006, Rudolph et al. AcadEmergMed 2008;15:1010-6 Feed-back orienté vers l intention Enseignement à deux boucles : Explorer les intentions, relativiser, Détecter déficit de performance Défi = évaluation des scénarios complexes Algorithme Défi = évaluation des scénarios complexes Algorithme Défi = évaluation des scénarios complexes Algorithme Défi = évaluation des scénarios complexes Algorithme 12
Hétéro-évaluation Niveau 2 Evaluation de scénarios complexes: performance Evaluation de la performance d une équipe prenant en charge une situation de menace vitale (trauma sévère, hémorragie de la délivrance, nourrisson en choc ) Evaluation des algorithmes et du CRM Développement d échelles d évaluation +++ Evaluation des scénarios complexes: Exemples pédiatriques Nom Année Auteur Items ICC, Crombach Alpha Standardized Direct Observation Tool(SDOT) NeonatalResuscitation Program Megacode Checklist (NRPMC) Tool for Resuscitation Assessment Using Computerized Simulation (TRACS) MultiraterInstrument for the Assessment of Simulated Pediatric Crises (MIASPC) Evaluation Tool for Simulated Pediatric Resuscitation (ETSPR) 2004 Joshi 26 ICC = 0.81, CA = 0.95 2004 Wood 20 CA = 0.70 2009 Calhoun 72 ICC = 0.80 2011 Calhoun 44 ICC = 0.72, CA = 0.69 2012 Grant 12 ICC = 0.76, CA = 0.82 Evaluation du CRM Niveau 2: acquisition de compétences Hétéro-évaluation Evaluation du CRM (CrisisResource Mangement) performance Neuf échelles validée Evaluation difficile (plusieurs évaluateurs, vidéo ) pendant une situation de crise! Mais rarement utilisées Quels outils d évaluation? Kardgong-Edgren, Clin Sim Nurs 2010 Evaluation du CRM : échelles spécifiques Nom Année Auteur Anaesthetists Non-Technical Skills(ANTS) 2003 Fletcher Ottawa Global Rating Scale Behavioral Assessment Tool(BAT) Mayo High Performance Teamwork Scale Clinical Teamwork Scale(CTS) Team Performance During Simulated Crises Instrument (TPDSCI) Evaluation instrument of CRM Simulation Team Assessment Tool(STAT) Evaluation tool of CRM 2006 Kim 2006 Anderson 2007 Malec 2008 Guise 2009 Calhoun 2011 Plant 2012 Reid 2012 Grant 13
Clinical Teamwork Scale(CTS) La simulation en Médecine d Urgence Niveau 2: acquisition de compétences non techniques Crowded unit Répartition des tâches Fonctionnement en équipe Conscience de la situation Prise de décision Patient 1 Patient 2 Yee B, Anesthesiology2005 ; 103 : 241-8 Mannequins HF Défi : Crowded unit 2 équipes de 4 personnes 1 équipe de 3 personnes «rescueteam» 5 évaluateurs Quels objectifs pédagogiques? Quoi évaluer? Quels outils d évaluation? Niveau 3 Auto-évaluation Questionnaireà la fin de la session Changement des pratiques professionnelles «Pensez-vous que cette séance de simulation vous fera changer quelque chose dans votre pratique professionnelle?» : objectif > 50% de OUI «Dans quels domaines? Connaissances, procédures, attitudes» 14
Niveau 3 Niveau 3: Just-In-Time Treatment Performance Learning Curve Mastery JIT JIT O Donnell, SIH 2011 Temps Niveau 3 Mesuredu transfertapparudansle comportement de l apprenant suite à la sim Connaissances, la compétencetechnique oule savoir-être récemment acquis, sont utilisés dans l environnement quotidien de l apprenant? La plus véridique évaluation de l efficacité d un programme de formation Maisdifficile, impossible de prédirequandle changement surviendra Quandévaluer? À quellefréquenceévaluer? Comment évaluer? Niveau 3 Weller J, Anaesthesia 2003: Changements de pratique 3-12 mois après un cours sur la CRM (Crisis Resource Management) 61% exposés à une ou plus situations critiques 70% estiment que leur gestion de la crise a été améliorée Perceptions / attitudes Formation de collègues à la gestion des crises, stratégies de résolution de problème, planification / anticipation d effets indésirables, travail en équipe, communication avec collègues, impact sur la pratique clinique Niveau 3b Intubation fibroscopique: 24 internes novices en intubation fibroscopique orale 2 groupes randomisés : Gr1 (n=12) : cours Gr 2 (n=12) : cours + mannequin. Mesure de la performance en salle d opération Durée de l intubation (s Intubation réussie Groupe cours Groupe cours + modèle 210 81 < 0.01 42 % 92 % < 0.005 Naik VN, Anesthesiology 2001 P Niveau 3b Performance du travail en équipe: Beaucoup plus difficile à étudier Pas d étude disponible en anesthésieréanimation 1 étude en médecine d urgence (Shapiro 2004): Observation «live» pré et post-training (8h de simulation et débriefing) «Tendance» à l amélioration du travail en équipe aux urgences (p = 0.07) Mais petit collectif (4 équipes de 5 pers.) 15
Efficacité de la simulation : Quelles sont les preuves? Étalon-or de la médecine factuelle : «Étude randomisée contrôlée» = RCT Souvent difficile à réaliser en pédagogie Raisons éthiques / pratiques «Outcomes» difficiles à mesurer Méta-analyses impossibles Comment faire? Impact clinique : Moyens d évaluation Recherche de marqueurs cliniques pertinents en rapport avec la formation, dont la modification de l incidence et/ou de la gravité serait un reflet de l acquisition de savoir, de savoir-faire et de savoir-être par les apprenants, uniquement en lien avec la formation par simulation réalisée Niveau 4: Impact clinique Le niveau 4 essaie d évaluer la formation comme s il s agissait d un processus économique Bénéfice secondaire au processus pédagogique = la santé des patients Epidémiologie des éléments traceurs Recherche translationnelle(= passer du modèle de simulation au patient) Relevé rétrospectifde 2-3 éléments cliniques traceurs bien ciblés lors des années n-1 et n-2 dans l activité de chaque centre Relevé prospectifdes mêmes éléments cliniques traceurs lors des années n et n+1 Pré-intervention vs. post-intervention Mesure de l impact clinique de l apprentissage Mais effet TEMPS inéluctable Niveau 4: Impact clinique Obstétrique Draycott T. BJOG 2006;113:177-82 Sim HF -50% d encéphalopathies +++ (avant/après formation) 5 Apgar 6, n (rate / 10.000) HIE n (rate / 10.000) Mod /sev HIE n (rate/10.000) 1998 1999 (n = 8430) 2001 2003 (n = 11030) Relative risk 73 (86.6) 49 (44.4) 0.51 (0.35 0.74) 23 (27.3) 15 (13.6) 0.50 (0.26 0.95) 16 (19.0) 11 (10.0) 0.53 (0.24 1.13) NB :Montre une association, pas un lien de causalité ; possibilité d un effet-temps! mais encourageant! Niveau 4: Impact clinique Comparaison intra-régionale 2 1,8 1,6 1,4 1,2 1 0,8 0,6 0,4 0,2 0 Pour 1000 naissances vivantes NS * ** MNP IM total IM graves 1993-1997 1998-2006 16
Niveau 4: Impact clinique Comparaison inter-régionale (1998-2006) 2 1,8 1,6 1,4 1,2 1 0,8 0,6 0,4 0,2 0 Pour 1000 naissances vivantes NS **** **** Limousin Poitou-Charentes MNP IM total IM graves Niveau 4: Impact clinique Soins intensifs CVC en USI adulte 0.5 (SIM+) vs 3.2 (SIM-) infections sur cathéter sur 32 mois (p<0.001) Barsuk JH, Arch Intern Med 2009;169:1420-3 Plan Quels enjeux? Qualité et amélioration Place de l évaluation dans la simulation Caractéristiques et champs de l évaluation Qualité de la méthode d évaluation Comment évaluer? Modèle de Kirkpatrick Niveaux 1, 2, 3 et 4 avec données de la littérature Quelles difficultés? Conclusion Moyens d évaluation de la performance Questionnaire d auto-évaluation Nv1 (satisfaction = réalisme du modèle) Nv2a (connaissances) Nv 3a (changement des pratiques) Tests théoriques (quiz avec QCM ou QROC) Nv 2b : acquisition de connaissances (pré/post-test) Echelle(s) d évaluation (hétéro-évaluation) Nv2b (au labo) : performance gestes, algorithme, travail d équipe Mais pas d échelles combinées! Nv3b (in situ) : changement des pratiques Epidémiologie d éléments traceurs Nv4 : mesure de l impact clinique de la formation Rare! Moyens d évaluation de la performance Non technical skills Moyens d évaluation de la performance Non technical skills Individu Equipe Individu Equipe Technical skills Technical skills 17
Simulation = 1 des 4 modes d apprentissage Je fais Je simule Je lis Kolb 1984 Je vois Mastery training (procédure) 1. Package procedure guidelines e-learning Prétest 2. Cours théorique et vidéo -[Post-test 1] 3. Simulation en basse fidélité Evaluation et feed-back 4. Simulation en haute-fidélité Evaluation et débriefing Post-test2 Questionnaire: autoéaluation Niveaux 1, 2 et 3 Plan Quels enjeux? Qualité et amélioration Place de l évaluation dans la simulation Caractéristiques et champs de l évaluation Qualité de la méthode d évaluation Comment évaluer? Modèle de Kirkpatrick Niveaux 1, 2, 3 et 4 avec données de la littérature Quelles difficultés? Conclusion Conclusion L évaluation est indispensable à toute formation par simulation Apporte la différence entre une activité pédagogique et une activité ludique Donne une légitimité scientifique en tant que processus pédagogique Valide ou invalide les hypothèses formulées Précise les déficits de performance possibles complément de formation Lien entre l enseignement et la recherche Limites de l évaluation en simulation? Après apprentissage par simulation (Gaba) : 90%ont réussi la simulation et réussiront dans la réalité 5%ont réussi la simulation et ne réussiront pas dans la réalité 5%n ont pas réussi la simulation et réussiront dans la réalité 18