La recherche en simulation Pr Denis Oriot Laboratoire de Simulation - SiMI, Poitiers Recherche en simulation Pourquoi faire? Moyen d évaluer ce que l on fait OUI Ethiquement facile : pas de dépôt de dossier en CPP NON Pour gagner en légitimité OUI Pour obtenir des ressources NON Pour participer à l acquisition des connaissances scientifiques OUI Champs de la recherche en simulation S inspire de la recherche clinique Mais peut s étendre à d autres domaines : Pédagogie Biomécanique Psychométrie Psychologie Facteurs humains Sociologie Anthropologie Ethique Différents types de recherche Recherche descriptive:catégoriser, provoquer des questions : «Quels types d erreurs voit-on lors d une intubation?» Recherche corrélationnelle :chercher des associations : «Les séniors sont-ils plus performants?» Recherche causale:tester des hypothèses en faisant une intervention : «L apprentissage en simulation améliore-til les compétences, la performance?» Champs de la recherche Utilité du simulateur pour l apprentissage Validité de la simulation Validité et fiabilité de la simulation pour une évaluation des compétences et des performances individuelles et d équipe Etudes d outils d enseignement Etudes des comportements : communication Effets de la fatigue et du stress sur la performance (bruit, interruption) Tester de nouveaux matériels 1
Les champs de la recherche en simulation (HAS, 30-01-2013) Apprentissage des compétences procédurales Simulation en équipe Design des systèmes de simulation Facteurs influençant les performances individuelles et en équipe Science de l éducation Evaluation de l impact clinique de la simulation Etude des méthodes permettant de modifier l apprentissage par la simulation Etude des processus d apprentissage liés au débriefing Processus d évaluation et d accréditation basés sur la simulation Etude des nouveaux paradigmes en simulation Pre-sim THEMES RESEARCH STUDIES N INVESTIGATORS TO DOs Parental presence: SBT-based analysis of practice and opinions of EP 1 DO-Cédric (MP) Arch Dis Child IO access in adults 2 FP-? Ecriture article Training for giving bad news: practice and opinions in ED 3 MS-Olivia Ecriture article Nation-based performance of IO access performed by French EP 4 AG-Stéphane (MU) Ecriture article Emergency cart: Hospital-based analysis of content/utilization of EC 5 AG-Maxime (TP) Ecriture article Healthcare providers performance for positioning ECG leads 6 JS-? Ecriture article Consequences of ECG leads misplacement: 2 day-study in ED 7 JS-? Ecriture article Consequences of ECG leads misplacement: review 8 JS-? Ecriture article PRE- SIMULATION STUDIES P (8) Models MODELS M (4) Chest tube insertion 1 AG-Alex (MP) Sim Healthcare SIM-ECG.leads model 2 CB,JS-? Finalisation Multi-Organ Harvesting 3 MS,JPF,CB Reproductibilité Infant intubation video 4 DO-Jean Macé (MU) Biblio/Ecriture projet 2
Assessment tools Outcomes OUTCOMES: PERFORMANCE IO access IO access by medical students and residents 1 DO-Etienne (MP) Renvoi autre revue? 3 years after SBT (Performance) 2 DO-Xavier (TM) Ecriture article Clinical success rate of IO access among EP after SBT 3 AG,DO-Stéphane (TM) Faire le point Area-based performance of clinical IO access in children 4 DO-Aleksandra (TM) Traduction article Improvement of performance of IO access with different 27 DO-Xavier (MU) Biblio/Ecriture projet debriefing strategies Lumbar puncture: Stress & performance 5 DO-Marine (MP) Poursuivre ou publier? Breaking bad news.1 by students 6 DO-Raphaële (TM) Revoir l étude Breaking bad news.3 with ethical dilemma: And if it was your child? 7 DO-Yaritza (M1E) Revoir l étude SIM-STRESS.2 Real time assessment of stress 8 AG Contact Skype Peter SIM-MIN. SUDI prevention by mothers: performance and risk factors at 3 months 9 DO-Clara (MP) Relecture CPP Chest tube insertion: Performance 10 AG-Alex (TM) Ecriture article Peripheral IV: SBT for US detection (Sim and clinical performance) 11 FP-Thomas Kerforne? Attendre fin de l étude Breaking bad news.2 by residents: performance & stress 12 DO-Laure (MP) Attendre fin de l étude Stress during simulated coeliosurgical procedures 13 AG,JPF-Luigi (M1)/ Ecriture article Pierre (M1) Acceptation of parental presence and performance of CPR 14 DO-Cécile (MP) Biblio/Ecriture projet SIM-STRESS.1 Stress Global stress 15 AG (TU) Cortisol et Holter des 30 Salivary cortisol 16 AG-Emmanuelle (M1) A exploiter Holter 17 AG-Côme (M1)/ A exploiter Quentin (M1) Psychological stress, post-event stress 18 AG-Ivan (MU) Analyse data Performance Teamwork (TAPAS)& CTS 19 AG (TU) Attendre fin de l étude CRM Spatiotemporal analysis of multiprofessional 20 DO-Louise (TM) Biblio/Ecriture projet teamwork during CPR Risk prevention Infectious risk 21 DO,MS Biblio/Ecriture projet Medication error 22 DO,MS Biblio/Ecriture projet Blood transfusion error 23 DO,MS Biblio/Ecriture projet SIM-ECG.leads 24 JS-? Biblio/Ecriture projet Multi-Organ Harvesting 25 MS,JPF,CB,DO Biblio/Ecriture projet Insertion of an intrauterine device 26 S Grand-Colin, DO, Biblio/Ecriture projet Marion André (TM) Femoral venous access in children (by ulstrasound): evaluation scale? Study on 28 DO-Emmanuelle Biblio/Ecriture projet performance? (MP) ASSESSMENT TOOLS A (18) IO access 1 DO-Etienne Sim Healthcare Chest tube insertion 2 AG-Alex Envoyé à Sim Healthcare Breaking bad news 3 DO-Raphaële (TM) Revoir l étude Basic surgical procedures laparotomy 4 JPF-? Ecriture article Basic surgical procedures coelioscopy 5 JPF-MLB Ecriture article Surgical sutures 6 MS Reproductibilité Team Average Performance Assessment Scale (TAPAS) 7 DO,AG-Armelle (TM) Inclure les sim traumato Placement of ECG leads 8 JS-? Révision échelle Perfibroscopic intubation 9 FP-? Finalisation US detection of peripheral IV 10 FP-Thomas Kerforne? Revoir l échelle Evaluation of photos of oversewing 11 JPF-Louise Audier (M1) Biblio/Ecriture projet Acceptation of parental presence during CPR 12 DO-Cécile (MP) Biblio/Ecriture projet Multi-Organ Harvesting 13 MS,JPF,DO Biblio/Ecriture projet SIM-MOTION Performance assessment by motion capture in coeliosurgery SBT 14 DO,JPF-MLB (TU) Biblio/Ecriture projet Infant intubation 15 DO-Jean Macé (MU) Biblio/Ecriture projet Prevention of infection risk 16 DO,MS Biblio/Ecriture projet Prevention of medication error 17 DO,MS Biblio/Ecriture projet Prevention of blood transfusion error 18 DO,MS Biblio/Ecriture projet STRESS O (28) Hypothèse de recherche Fondée: issue de la littérature et/ou la clinique Précise +++ Intéressante: suscite un intérêt du fait de lacunes dans les connaissances actuelles (données de la littérature) ou des constatations cliniques Utile: apporte une plus-value (impact clinique?) Réalisable: moyens disponibles Fertile: qui génère de nouvelles hypothèses Objectifs de recherche Fondés sur la ou les hypothèses Objectif principal: 1 seul Correspond directement à l hypothèse princeps Sa problématique correspond au background et à la partie centrale de la discussion Objectifs secondaires: 1 ou 2 Permettent de préciser ou de diversifier les résultats obtenus avec l objectif principal 3
Schéma général de la recherche R = randomisation ; O = observation ; X = traitement ; N = non randomisé Type 1: R O X O R O - O Effet traitement pré-test post-test Type 2: R X O R - O Effet traitement (même niveau de formation) Type 3: N O X O Effet traitement et effet temps Méthodologie PICO Study Type d étude Objectives objectifs Population population étudiée Intervention ce que l on fait Comparison la randomisation, le groupe comparateur et les éléments qui seront comparés Outcomes critères de jugement/outils de mesure Study design schéma général de la recherche Statistics: questions de recherche et les outils de réponse Précautions méthodologiques : sujets Randomisation à partir d un poolde participants à partir des promotions évite le biais de l attrait de la simulation Maintenir un sex-ratio de 1/1dans chaque groupe et sous-groupe mode d apprentissage différent? Contrôle du même niveau de connaissanceentre les 2 groupes randomisés avant de mettre en œuvre le traitement dans le groupe randomisé Précautions méthodologiques : évaluateurs Un instructeur unique(diaporama) différents des évaluateurs Deux évaluateurs indépendants(en aveugle), non informés des groupes et sous-groupes d affectation des participants Apprendre aux évaluateurs: l utilisation des échelles d évaluation Utiliser plusieurs évaluateurs: analyse de la concordance inter-observateurs (même si échelle déjà validée, les conditions peuvent être différentes) 4
Précautions méthodologiques : mesure Utiliser des outils validés:grilles, questionnaires, échelles, interviews, vidéo (nb de caméras? mais pas seule) Ou développer son propre instrument de mesure: échelle d évaluation spécifique nécessite entre 3 semaines et 3 mois Utiliser les moyennes des mesuresentre 2 évaluateurs avec calcul de la discordance Croiser les outils: Echelle x vidéo en deux lectures isolées discordance Echelle x vidéo pour une valeur amendée Instruments de mesure 1. Chercher un gold standard? = échelle validée et utilisée de façon universelle (GCS) 2. Repérer le bruit! +++ a. Progression naturelle des participants (effet temps à considérer?) b. Variance liée au nombre d enseignants (augmentation de la DS) moins fiable Instruments de mesure : Validité 1ère qualité d un processus de mesure Validité= aptitude d un dispositif d évaluation à appréhender les aspects de la réalité pour lesquels il a été conçu et ceux-là seulement = Bon reflet de la réalité observable Instruments de mesure : Validité Plusieurs types de validité Face validity : facile à comprendre, satisfaisante, écologique Validité de contenu/concurrence : repose sur les différentes étapes de la procédure Validité de construit : les apprenants expérimentés ont un meilleur score que les novices Instruments de mesure : Fiabilité Fiabilité= appréhension avec précision des caractéristiques que l on doit évaluer ou mesurer : connaissances, gestes techniques, attitudes = Bonne précision de la mesure (peu de dispersion) Différents types de fiabilité: Fiabilité inter-juges = reproductibilité interobservateurs (si >2 juges) statistiques Kappa et coefficient de corrélation intra-classe (ICC > 0.80) Fiabilité test-retest: mesure T1/T2 ; reproductibilité temporelle; influence de l effet temps et d autres facteurs : fatigue, stress? 5
Instruments de mesure : Validité et fiabilité Validité:signal non biaisé bon reflet Fiabilité: signal sans erreur aléatoire précis peu valide peu valide valide peu fiable fiable fiable Exemple : VIO et performance Evénements cliniques: VIO non posée dans une prise en charge pédiatrique Etude régionale : sous-utilisation de la VIO en cas d ACR pédiatrique Analyse : pas assez d apprentissage crainte et perte de confiance non respect des recommandations Questions de recherche: La simulation permet-elle l augmentation de la performance lors de la pose d une VIO? VIO et performance Hypothèses: Principale : SIM+ meilleure performance que SIM Secondaire : Etudiants (sans approche clinique) peuvent acquérir une performance élevée : Performance vs. Savoir VIO et performance Type d étude: Monocentrique Randomisée Contrôlée Volontaires sains Objectifs : Mesurer la performance SIM + et SIM Mesurer l effet statut : étudiant vs. interne VIO et performance : Population Population étudiée: étudiants (différentes promotions) et internes (1-2 e année) Critères d inclusion : randomisation des promotions, information et consentement Critères d exclusion: refus (colligé), impossibilité de participer (colligée) Nombre de sujets nécessaires: calcul statistique aide méthodologique 6
VIO et performance : Intervention Cours théorique(15 diapos), pas de question Polycopié Formation par simulation sur os artificiels (groupe SIM+) pendant 1 heure sous supervision feedback Evaluation lors d une séance de simulation BF une semaine plus tard VIO et performance : Comparison Groupes: SIM+ et SIM- Sous-groupes(dans chaque groupe) EM2 EM3 EM5 Internes 1 et 2 e années de médecine Nombre de sujets : 40 (20 SIM+ et 20 SIM-) 10 dschaque s/s-groupe (5 SIM+ et 5 SIM-) VIO et performance : Outcomes K-S-A(knowledge, skills, attitudes) Connaissances : 10 QCM prétest, posttest 1 et 2 (posttest 3 à 1 mois) Compétences techniques : Check-list sur la VIO inexistante Pas d échelle d évaluation validée Développement d une échelle validée Attitudes relationnelles (CRM?) : NON VIO et performance : Outcomes Autres: Chronométrage de la mise en place de la VIO Autoévaluation échelle de Lickert(4-6 classes) ou échelle simplifiée de 0 à 10 Degré de satisfaction Degré de réalisme Confiance en soi Acquisition de compétence Modification de la pratique professionnelle VIO et performance Schéma généralde Type 1 R O X O R O - O pré-test post-test R = randomisation ; O = observation ; X = traitement VIO et performance Schéma réel de la recherche(type 1) J1 J1 J1 J1 J7 J7 J30 R SIM+ O X O X O X O R SIM- O X O - O X O pré-test post-test1 post-test2 post-test3 R = randomisation ; O = observation X = cours théorique + polycopié X= traitement = apprentissage par simulation X = évaluation par simulation BF scénario nourrisson 7
VIO et performance : Analyse statistique Elaboration des questions de recherche J1 J1 J1 J1 J7 J7 J30 R SIM+ O X O X O X O R SIM- O X O - O X O pré-test post-test1 post-test2 post-test3 X = évaluation par simulation BF scénario nourrisson Construction de l outil d évaluation: échelle d évaluation de la pose d une VIO Validité et fiabilité: reproductibilité inter-observateurs IO Performance assessment scale N = 30 Kappa = 0.946 ICC = 0.947 Accord presque parfait entre deux observateurs indépendants VIO et performance : Analyse statistique Performance VIO Elaboration des questions de recherche J1 J1 J1 J1 J7 J7 J30 R SIM+ O X O X O X O R SIM- O X O - O X O pré-test post-test1 post-test2 post-test3 X = évaluation par simulation BF scénario nourrisson Objectif I: comparaison inter-groupe(sim+ vs SIM-) Objectif II: comparaison intra-groupe entre les sousgroupes en fonction du statut du participant IO performance score/20 20 18 16 14 12 10 8 6 4 2 0 MS2 MS3 MS5 PGY VIO et performance : Analyse statistique Impact mémoriel de la simulation Elaboration des questions de recherche J1 J1 J1 J1 J7 J7 J30 R SIM+ O X O X O X O R SIM- O X O - O X O pré-test post-test1 post-test2 post-test3 X = évaluation par simulation BF scénario nourrisson Effet de la simulation sur le savoir: comparaison inter-groupe(sim+ vs SIM-) des post-test2 (J7) et post-test 3 (J30) DELTA post-test D7-D1 2.5 2 1.5 1.5 0 -.5-1 -1.5-2 -2.5 MS2 MS3 MS5 PGY 8
Sim Healthcare 2012;7:171-175 9