Outils d évaluations de la simulation en équipe: Évaluation de performance en formation interprofessionnelle. Martina ESDAILE SFAR 19 septembre 2012

Transcription

1 Outils d évaluations de la simulation en équipe: Évaluation de performance en formation interprofessionnelle Martina ESDAILE SFAR 19 septembre 2012

2 Déclaration de conflits d intérêts! Aucun conflits d intérêts à déclarer

3 La formation interprofessionnelle! «La FIP se produit lorsque deux professions ou plus sont engagées dans un processus d apprentissage conjoint, réciproque et qui leur permet de mieux se connaître mutuellement pour mieux collaborer et améliorer la qualité des soins.» CAIPE, 2002

4 Importance de la formation interprofessionnelle en santé! Contribue à améliorer la qualité des soins! Assure la participation des usagers et des soignants! Encourage les diverses professions à s engager dans un processus d'apprentissage conjoint, réciproque et qui leur permet de mieux se connaître mutuellement! Respecte l intégrité et la contribution spécifique de chaque profession! Améliore la pratique de chaque profession concerné OMS, 2010 CPIC (CIHC), 2007

5

6 Simulation et interprofessionalité! La simulation est un outil qui permet de mettre en avant les compétences interprofessionnelles! La simulation se prête t elle à l évaluation interprofessionnelle?! Comment évaluer l apport d une séance de simulation sur les aspects interprofessionnels?! Comment évaluer le transfert après une séance de simulation?

7 Les différentes méthodes d évaluation! QCM! Examen oral! Dissertation! ECOS! Observation de recueil d antécédents médical et bilan! Procédure/historique d activité! Simulation! Réexamen de dossier! Évaluation de 360! Sondage de patient! Portfolios et projets CHALLENGE: LA PLUPART RESTE NON VALIDÉ POUR LA FIP CIHC, 2010 Simmons & Wagner, JCEHP, 2009

8 Caractéristiques des outils d évaluation! Utilité =! Fiabilité! Validité! Impact éducationnel! Acceptabilité! Faisabilité Van der Vleuten, Adv Health Sci Educ,1996

9 Fiabilité! Reproductibilité des notes à travers tous les examinateurs, les cas et les occasions! Capacité de distinguer les équipes fortes & faibles CHALLENGE: la nature des équipes ne rends pas cela possible! Un échantillonnage large est nécessaire pour prendre en compte les compétences interprofessionnelles

10 Validité! Le contenu est jugé approprié selon les experts! L évaluation mesure les caractéristiques prévues! La performance d une tâche particulière permet de prédire le niveau de performance interprofessionnelle CHALLENGE: Divergences entre les équipes débutantes et expertes

11 Caractéristiques des outils d évaluation! Utilité =! Fiabilité! Validité! Impact éducationnel! Acceptabilité! Faisabilité Van der Vleuten, Adv Health Sci Educ,1996

12 Le Triangle de Miller Faire Montrer comment Compétence Savoir comment Savoir Miller, Acad Med, 1990

13 Examen Clinique Objectif Structuré (ECOS/OSCE)! Un examen développé pour l évaluation des étudiants en médecine! Un circuit d étapes de courtes durées où les candidats interagissent avec des patients standardisés! Chaque étape est attribuée à un examinateur Harden & Gleeson, Med Ed, 1979 Hodges, Med Ed, 2003

14 Elements des étapes d un ECOS La tâche/l activité Examinateur Le Candidat Patient Standarisé

15 Avantage des ECOS dans l évaluation de la FIP! Validité! Spécification du contenu! Fiabilité! Observation d un échantillon d activités! Interactions structurées entre l équipe et l examinateur! Évaluation structurée! Acceptabilité! Chaque équipe doit effectuer les mêmes tâches

16 ECOS interprofessionnel: iosce! Quel est son utilité?! Comment a-t-il été développé?! En quoi cela consiste?! Quels sont les résultats préliminaires des pilotes?

17 Intérêts! Création d une formation avec 11 filières de santé différentes! Évaluation des étudiants sous forme d auto évaluation avant/après! Création d une plateforme sur laquelle les étudiants ont l opportunité de pratiquer leurs compétences! Permet d évaluer les compétences acquises hors de la formation avec une perspective plus objective

18 Développement! La méthode Delphi! Avec des experts de toutes les filières concernées! 3 séries de questionnaires! Des ateliers! Les mêmes invités (et d autres experts)! Compléter les scénarios par des entretiens et des mails Simmons et al, JIC, 2011

19 Le modèle! 3 scénarios pour des groupes d environs 5 professions! 45 minutes (2 examinateurs/stations)! 15 minutes pour consulter et discuter au sujet du dossier médical! 15 minutes de consultation avec un/des patient(s) standardisé(s)! 15 minutes de débriefing! avec les patients standardisés! entre eux

20

21 Les compétences

22 Plan de projet Respect for Competence Understanding of Family Health care workers IP team Ethical decision making Education in collaborative practice Crisis Management Reflection and awareness Roles Responsibilities Communication Conflict prevention Leadership Étape Ressuscitation x x x x x x x x x 9 Briefing x x x x x x x 7 Débriefing x x x x x x x x Hamdy, Clin Teach, 2006

23 Exemple de grille d évaluation

24 Réactions des étudiants! Ils bénéficient d interactions avec d autres étudiants et des patients standardisés! étapes! débriefings! Un format réussi incluant des suggestions d amélioration! une clarification des objectifs! plus de temps par étape! «Intimidant mais amusant»! Difficulté de se concentrer sur la méthode et pas seulement le contenu (leurs connaissances)

25 Réaction des examinateurs! Impressionnés par les étudiants participants! Reconnaissance de la progression des groupes! Quelques difficultés avec les modalités d évaluations (individuel vs groupe)! Évaluation formative (feedback) vs évaluation normative (être noté)

26 Conclusions! La collaboration interprofessionnelle est un maillon essentiel dans la chaîne de soins! La simulation se prête bien à la formation des professionnels de santé sur ces aspects d interprofessionalité! La simulation pourrait aussi être un outil d évaluation de la formation interprofessionnelle! Développements d évaluation formatives adaptées

27 Remerciements! Collègues:! Brian SIMMONS,! Susan WAGNER,! Eileen EGAN LEE,! Scott REEVES! Antoine TESNIERE! Financements:! Education Development Fund, University of Toronto! Ministry of Health and Long Term Care! Conseil Médical du Canada! Network for Excellence in Simulation for Teaching and Learning

28 Bibliographie! Centre For The Advancement Of Interprofessional Education (CAIPE) 2002 Disponible à Consortium pancanadien sur l interprofessionnalisme et santé. (2007). Définition et principes de la formation interprofessionnelle: la perspective du CPIS. Disponible à Harden, R. M. & Gleeson, F. A. (1979). Assessment of clinical competence using an objective structured clinical examination (OSCE). Medical Education, 13 (1), ! Hodges, B. (2003). OSCE! Variation on a theme by Harden. Medical Education, 37(12), ! Miller GE. (1990) The assessment of clinical skills/competence/performance. Academic Medecin, 65, ! Simmons, B., Egan-Lee, E., Wagner, S., Esdaile, M., Baker, L. & Reeves, S. (2011). Assessment of interprofessional learning: the design of an interprofessional objective structured clinical examination (iosce) approach. Journal of interprofessional care, 25(1)