Documenter et évaluer les compétences dans la résidence de médecine familiale : étude de besoins triangulée sur le contenu d un portfolio électronique

Transcription

1 Titre : Documenter et évaluer les compétences dans la résidence de médecine familiale : étude de besoins triangulée sur le contenu d un portfolio électronique Auteurs: Marie-Hélène Dufour 1 MD CCMF Miriam Lacasse 1 MD MSc CCMF Josette Castel 1 MD MSc CCMF Pierre Frémont 2 MD PhD CCMF Louise Arsenault 2 MA (Ed) Isabelle Savard 2 MA (Ed) Affiliation: 1 Département de médecine familiale et de médecine d urgence, Faculté de médecine, Université Laval, Québec, Québec, Canada 2 Vice-décanat à la pédagogie et au développement professionnel continu, Faculté de médecine, Université Laval, Québec, Québec, Canada Adresse de correspondance: Dre Marie-Hélène Dufour Département de médecine familiale et de médecine d urgence Faculté de médecine, Université Laval Pavillon Ferdinand-Vandry 1050, ave de la Médecine, local 4607B Québec, QC (Canada) G1K 7P4 Courriel : marie-helene.dufour@fmed.ulaval.ca Tel : Fax : Supporté par des fonds locaux

2 2 RÉSUMÉ Introduction : Dans le cadre des programmes de résidence par compétences, il importe de mettre en place un outil pour documenter l acquisition des compétences pendant la résidence en médecine familiale (MF). Le portfolio est un instrument intéressant afin d arriver à cette fin. Objectifs : Identifier les besoins de contenu à déposer dans un portfolio électronique pour documenter et supporter l acquisition des compétences pendant la formation en MF à l Université Laval. Méthodologie : Étude de type descriptive avec devis mixte simultané imbriqué, sous forme d étude de besoins. Un questionnaire électronique évaluant (de 1 à 5) la pertinence et le réalisme de 62 outils a été envoyé à la direction des UMF (N=24), à des médecins enseignants (N=24) ainsi qu à des résidents (N=24). Les outils étaient retenus s ils avaient un score pertinence x réalisme 16/25. Résultats : 44 participants (61%) ont répondu au questionnaire. 15 outils ont été retenus, dont un plan d apprentissage, des attestations de réussite de modules et d activités de formation, des fiches d évaluation et des fiches de rétroaction de supervision directe. Parmi les outils non retenus, on note les feuilles de route, l auto-évaluation et l approche réflexive. Conclusion : Cette étude a permis de faire ressortir les outils considérés les plus pertinents et réalistes à déposer dans un portfolio électronique pour documenter et supporter l acquisition des compétences chez les résidents en MF. Ces résultats seront déterminants dans la planification, le développement et l implantation d un portfolio électronique dans le cadre de la résidence en MF au Québec. Mots clés : portfolio, e-portfolio, compétences, résidence, éducation médicale

3 3 Introduction Formation par compétences et évaluation Le Collège des médecins de famille du Canada (CMFC) a recommandé que tous les programmes de résidence en médecine familiale au Canada prennent le virage d une approche par compétences. En 2009 il a adopté le cadre CanMEDS Médecine familiale (CanMEDS-MF), qui décrit les compétences en médecine familiale(1). Les CanMEDS- MF comportent sept rôles, soit expert en médecine familiale, communicateur, collaborateur, gestionnaire, promoteur de la santé, érudit et professionnel(2). Le Groupe de travail sur le processus de certification mandaté par le CMFC ainsi que le Groupe de travail sur la révision du cursus ont émis des recommandations au regard du processus d évaluation en cours de formation dans une approche par compétences. Une stratégie proposée est de documenter l acquisition des compétences, alliée à des rencontres périodiques entre conseiller pédagogique et résident pour le suivi de la progression du résident(3)(4). Comme le mentionnent Drissen et al. «le défi est de trouver les instruments qui soutiennent le développement des compétences de façon intégrée, cohérente et longitudinale et de pouvoir évaluer de façon sommative si les compétences ont été acquises.» (5) Le portfolio semble être un instrument adapté à ce besoin.(5)(6) Portfolio Le portfolio est une «collection organisée et cumulative de travaux et de réflexions d un étudiant, qui rassemble des informations sur les compétences qu il a développées au cours d une période plus ou moins longue d apprentissage»(7). Il peut être utilisé comme soutien au processus d apprentissage, comme source d information dans le cadre d une démarche d évaluation ou encore comme dossier de présentation(8)(9). Le contenu du portfolio peut être variable, mais doit comporter une «compilation de documents variés construits à partir des expériences professionnelles rencontrées par l étudiant [et] une synthèse articulée des apprentissages développés à partir de ce matériau»(7). Il a été bien démontré que l utilisation du portfolio électronique démontrait plus d avantages que l utilisation papier. On y notait entre autres l accès au contenu qui était plus flexible. Il serait plus efficace pour la rétroaction et encouragerait davantage la réflexion que la version papier(10). Il améliorerait l efficacité de l apprentissage et la gestion efficace du travail, permettrait de mieux classer les réflexions et les outils d apprentissage et offrirait davantage de transparence(11). Contenu du portfolio Jusqu à maintenant, plusieurs portfolios documentant les compétences ont été mis en place, mais surtout au niveau prédoctoral(12). Les portfolios utilisés en résidence sont relativement nouveaux(13)(14). Plusieurs études décrivent le contenu des portfolios, ou encore suggèrent des contenus de portfolios au niveau post-gradué afin de pouvoir

4 évaluer de façon formative et sommative l acquisition des compétences. Par contre, afin de faciliter l adoption du portfolio, il est important qu il s intègre avec le contexte et les sources d évaluation déjà en place dans le milieu(5). Il importe donc de mettre en place un outil global qui correspondra à nos besoins afin de pouvoir documenter l acquisition des compétences pendant la résidence en médecine familiale. 4

5 5 MÉTHODES Devis Cette étude est de type descriptive avec devis quantitatif, sous forme d étude de besoins. Population à l étude Les participants à cette étude regroupaient la direction des Unités de médecine familiale (UMF) du réseau de l Université Laval (directeurs et directeurs adjoints) (N=24), les médecins enseignants dans chaque UMF (N=24) ainsi qu un R1 et un R2 de chacune de ces UMF (N=24). Outils de mesure Un questionnaire électronique (annexe 1) a été développé afin d évaluer la pertinence et le réalisme de 62 outils recueillis suite à une revue de littérature sur les différentes stratégies de documentation des compétences (annexe 2) et une revue des outils de documentation des compétences qui sont utilisés en médecine familiale dans le programme de l Université Laval (annexe 3). Les outils ont été divisés selon la typologie de Scallon(9) et de Farr et Tone(8), soit en outils de présentation, d apprentissage ou d évaluation. Les outils d apprentissage se divisent à leur tour en outils de planification, de production, de rétroaction et de réflexion. Le questionnaire utilisait une échelle de Likert à cinq échelons pour évaluer la pertinence et le réalisme des outils proposés, 5 étant très pertinent/très réaliste et 1 étant pas du tout pertinent/réaliste. Les participants pouvaient également écrire des commentaires suite à chaque question. Le questionnaire a été validé auprès d utilisateurs correspondant aux catégories résidents et enseignants pour évaluer la bonne compréhension du questionnaire, en utilisant un échantillon de convenance (deux résidents et deux enseignants). Les directeurs d UMF n ont pas été insérés dans l échantillon de convenance afin de ne pas introduire de biais en les exposant au questionnaire avant le début de l étude, puisque tous ont été sollicités pour participer à l étude. Stratégies d analyse Afin qu un outil soit considéré pertinent et réaliste pour un portfolio électronique, un score pertinence x réalisme 16/25 était considéré comme significatif. Les analyses statistiques ont été réalisées à partir du logiciel SAS 9.3 et de la macro SAS %DUNN(15). Les analyses univariées portaient essentiellement sur les tableaux de fréquences de l ensemble des variables ainsi que le calcul des moyennes [écart interquartile] des variables quantitatives (y compris les scores définis à partir de la multiplication des outils de pertinence et de réalisme).

6 Au niveau des analyses bivariées, les associations entre d une part les niveaux respectifs de pertinence, de réalisme, des scores et de l autre le statut du répondant (directeur, résident, médecin-enseignant) ont été évaluées à partir du test non paramétrique de Kruskal Wallis. Les associations statistiquement significatives étaient complétées par le test non paramétrique de comparaison multiple de Dunn 1964(16). 6

7 7 RÉSULTATS Parmi les participants, 44 (61%) ont répondu au sondage (tableau 1). Seize outils ont été retenus comme étant pertinents et réalistes (score 16/25) (tableau 2). Outils d apprentissage Outils de planification Parmi les outils retenus, on y retrouve le seul outil de planification recensé qui est un plan d apprentissage du résident (16,39 [12;20]). Outils de production La majorité des outils retenus sont des outils de production. On y retrouve en premier des attestations de participation aux ateliers d'apprentissage par simulation "APPRENTIS" (19,29 [16;25]) qui sont des ateliers où les résidents doivent démontrer leurs compétences lors de simulations, entre autres sur des mannequins interactifs. Insérer les attestations de participations à différents modules déjà réalisés dans le cadre de la résidence en médecine familiale serait jugé pertinent et réaliste selon les participants. Parmi les éléments non retenus, on note la documentation quotidienne de l exposition clinique et des habiletés techniques (12,36 [6;16]), une bibliothèque de documents d étude (11,68 [6;20]) et des enregistrements audio ou vidéos d entretiens de patients (7,88 [3;12]) ou de gestes techniques (7,90 [4;12]). Outils de rétroaction Un seul outil de rétroaction a été retenu, soit des fiches de rétroaction d observations directes (17,52 [16;25]). Les autres outils de rétroaction, soit les fiches de rétroaction sur les présentations faites par le résident (14,71 [9;16]) ou les feuilles de rétroaction au quotidien sur les compétences (feuilles de route) (11,69 [6;16]) n ont pas été retenus. Outils de réflexion Dans les outils d apprentissage, aucun outil réflexif n a été retenu comme étant pertinent et réaliste à insérer au portfolio électronique. Celui ayant eu le meilleur score, malgré le fait qu il soit non significatif, est l auto-évaluation sur ses forces et faiblesses (13,69 [8;20]). Il existe par contre une différence significative entre les résultats des directeurs et ceux des résidents. Les directeurs auraient retenu cet outil contrairement aux résidents (18,31 [16;25] vs 10,90 [4;16], p=0,02) et la différence se retrouve surtout au niveau de la pertinence de l outil. Les journaux de bord (mensuels (10,12 [4;16]), hebdomadaires (7,67 [1;12]) et quotidiens (4,21 [1;6]) n ont pas été retenus, de même que l exercice réflexif sur le développement des compétences (10,40 [6;16]). Les commentaires vont dans le sens des résultats ressortis, mais certains participants apportent une vision différente des outils réflexifs, comme le mentionne un directeur ou directeur adjoint d une UMF :

8 8 Comme on le fait pour nous une fois diplômés, il faudrait effectivement axer sur l'auto-évaluation et les activités réflexives par le résident... mais toujours dans un contexte de supervision et non d'abandon!! Outils d évaluation Les évaluations de stage déjà réalisées dans le cadre de la résidence en médecine familiale à l Université Laval ont été retenues, soit les évaluations formatives (18,29 [16;25]), sommatives (20,27 [16;25]) et semestrielles (19,14 [16;25]). Par contre, il existe des différences significatives dans les résultats des directeurs et des résidents en ce qui concerne les évaluations sommatives (23,00 [20;25] vs 18,70 [16;25], p=0,047) et les évaluations formatives (22,85 [20;25] vs 14,85[9;20], p=0,007) (tableau 3). Les résidents trouvent moins pertinent d insérer les évaluations formatives au portfolio que les directeurs (4,77 [5;5] vs 3,55 [3;4,5], p=0,009). Les fiches d'évaluation des compétences par les milieux de stages ont également été jugées pertinentes et réalistes à insérer au portfolio électronique (16,76 [9;25]). Les examens écrits (11,48 [8;16]) et avec patients standardisés (12,10 [9;16]) n ont pas été retenus, de même que les évaluations 360 degrés par les professionnels de la santé (11,14 [6;16]). Les participants ont soulevé plusieurs craintes face à l implantation des portfolios. Plusieurs craignaient une charge de travail supplémentaire pendant la résidence. Un résident résume bien les commentaires retrouvés : Je ne vois pas trop l'utilité d'un portfolio, il me semble qu'à la résidence on est déjà assez débordé et chaque résident doit être responsable de son propre apprentissage avec le soutien et la supervision de l'umf bien sûr, mais je ne vois vraiment pas la nécessité d'avoir ce type de documentation de la progression des connaissances [sic] qui vient seulement rajouter à la charge de travail.

9 9 DISCUSSION Les principaux outils retenus sont un plan d apprentissage, certains outils de production telle l attestation de réalisation de modules, et des fiches d évaluation. Ce sont surtout des outils qui sont déjà utilisés présentement dans le programme de médecine familiale à l Université Laval et qui ne demandent donc pas de changement dans les habitudes actuelles. Les outils réflexifs, très valorisés en éducation médicale(17), ne sont pas ressortis de manière significative dans cette étude de besoins. Ces résultats concordent avec la littérature comme le mentionne Drissen et al (2004) dans une revue systématique, un facteur de succès du portfolio est qu il doit s intégrer avec d autres activités éducatives du programme (5). Il a pourtant été démontré que le portfolio est un instrument qui fait la promotion de la réflexion au niveau postgradué(10). Comme le mentionnent Snadden et Thomas, «il est essentiel que le portfolio ne devienne pas une simple collection d'événements vus ou vécus, mais qu il contienne des réflexions critiques sur ces événements et l'apprentissage qui en a été retiré»(18). La réflexion écrite serait même devenue un incontournable dans le contenu des portfolios(19). Ces résultats concernant les outils réflexifs sont tout de même cohérents avec ce que rapportent certains auteurs. Pearson et Heywood mentionnent que dans un portfolio au niveau de la résidence en médecine familiale en Angleterre, la majorité des participants n ont pas utilisé le portfolio pour faire de la réflexion, car plusieurs considéraient ce que c était non-aidant et plusieurs n étaient pas enthousiastes(20). Ross et al résument bien que cela peut être dû à une culture en médecine qui ne supporte pas la pratique réflexive, malgré sa popularité croissance dans l éducation médicale à tous les niveaux(21). Dans les outils d évaluation, les évaluations 360 degrés n ont pas été retenus. Par contre, dans la littérature, quelques études ont démontré que l évaluation 360 degrés par les professionnels, les pairs, les patients ou les membres de la Faculté aidait à évaluer le professionnalisme, la collaboration et la communication(6). Ce type d évaluation peut par contre peut-être contribuer au fait que les résidents se sentent en constante évaluation, ce qui peut expliquer ces résultats. Les différences retrouvées entre les directeurs et les résidents pour plusieurs outils peuvent être expliquées par quelques hypothèses. Les directeurs voient peut-être plus l utilité à long terme d une pratique réflexive, alors que les résidents ont peut-être une vision plus à court terme. D ailleurs, maintenant plusieurs programmes de formation continue utilisent la pratique réflexive. Dans les commentaires recensés, les résidents semblent également d emblée plus réfractaires à l implantation d un portfolio, ce qui peut teinter leurs réponses quant à la pertinence et le réalisme des outils à insérer dans un

10 10 portfolio. Ils comprennent peut-être moins l apport pédagogique du portfolio que les directeurs. Dans les commentaires recueillis sur les portfolios, plusieurs participants ont émis des réticences concernant l implantation d un portfolio électronique. Cela concorde avec les défis recensés dans la littérature sur l implantation d un portfolio électronique au niveau de la résidence. On y retrouve entre autres le manque de temps rapporté par les résidents pour remplir leur portfolio et le temps nécessaire à la révision par les enseignants(22)(7). La supervision de l étudiant est essentielle dans une approche pédagogique centrée sur le portfolio(7). Le mentorat exige un investissement considérable de temps, mais est indispensable pour l'utilisation réussie des portfolios(23). Il faut également faire attention à mélanger la valeur formative et sommative de l évaluation par le portfolio, ceci pouvant affecter l authenticité de la réflexion du résident(7)(24). Cette étude a été réalisée avec des résidents qui pour la plupart n ont pas travaillé avec des portfolios électroniques depuis le début de leurs études médicales. Un portfolio documentant les situations cliniques à l externat (Clinifolio)(25) est implanté depuis 2010 à l Université Laval. Il ne contient par contre pas d éléments réflexifs. Il existe maintenant un portfolio électronique documentant l acquisition des compétences au prégradué depuis Nous pourrions donc nous attendre à des résultats différents si cette étude était refaite dans quelques années, où l habitude d utilisation d un portfolio électronique contenant des outils réflexifs sera bien implantée. Une limitation de cette étude est entre autres la taille de l échantillon de participants. Peu d enseignants ont répondu, donc il aurait été intéressant de voir si les résultats auraient été différents avec un degré de participation différente, ou encore si tous les résidents et enseignants avaient été sollicités. De plus, certains participants ne connaissaient pas certains outils présentés dans le questionnaire, ce qui pouvait rendre leur interprétation de la pertinence et du réaliste biaisée. Finalement, un seuil de significativité à 16/25 par une multiplication de la pertinence et du réalisme a été choisi de façon arbitraire, mais est pertinent dans le contexte que ces deux éléments agissent de façon synergique. Cela permettait de mieux classer les outils dans un score qui combine et la pertinence et le réalisme. Un score de 16/25 correspond à environ une moyenne de 4/5 pour chaque outil, ce qui correspond à pertinent/réaliste. En conclusion, l implantation prochaine d un portfolio électronique devrait intégrer principalement les outils identifiés dans cette étude de besoins. Les résultats de cette étude démontrent donc une barrière prévisible à l implantation d un portfolio électronique contenant des éléments réflexifs. L inclusion éventuelle dans le portfolio d outils non identifiés par cette étude de besoins devra être bien expliquée aux directeurs d UMF, enseignants et résidents, car leur adoption pourrait être difficile en raison d un manque de perception du besoin.

11 11 Bibliographie 1. Tannebaum D, Konkin J, Parsons E, Saucier D, Shaw L, Walsh A, et al. The scope of training for family medicine residency: Domains of clinical care and evolving professional competencies as an outline for teaching, learning, and assessment [PowerPoint presentation]. Mississauga ON: College of Family Physicians of Canada; Tannenbaum D, Kerr J, Konkin J, Organek A, Parsons E, Saucier D, et al. Rôles CanMEDS - Médecine familiale. Mississauga, ON : Collège des médecins de famille du Canada; Saucier, D and WGCR. Checklist for a Triple C Competency-based Family Medicine Residency Curriculum. College of Family Physicians of Canada, June Allen, T et al (WG Certification Process). Template for intraining evaluation. Report to the Board of Examiners. College of Family Physicians of Canada, Dec Driessen E, van Tartwijk J, van der Vleuten C, Wass V. Portfolios in medical education: why do they meet with mixed success? A systematic review. Medical education Dec;41(12): Carraccio C, Englander R. Evaluating Competence Using a Portfolio : A Literature Review and Web-Based Application to the ACGME. Teaching and Learning in Medicine. (2004):16:4, Naccache N, Samson L, Jouquan J. Le portfolio en éducation des sciences de la santé : un outil d apprentissage, de développement professionnel et d évaluation. Pédagogie médicale May;7(2): Farr R, Tone B. Portfolio and Performance Assessment: Helping Students Evaluate Their Progress as Readers and Writers. Second Edition. Wadsworth Publishing; Scallon G. L évaluation des apprentissages dans une approche par compétences. ERPI Tochel C, Haig A, Hesketh A, Cadzow A, Beggs K, Colthart I, et al. The effectiveness of portfolios for post-graduate assessment and education: BEME Guide No 12. Medical teacher Apr;31(4): Hallam G, Harper W, McCowan C, Hauville K, Mcallister L, Creagh T, et al. Australian eportfolio Project. eportfolio use by university students in Australia: Informing excellence in policy and practice. Final project report. Australia

12 Dannefer EF, Henson LC. The portfolio approach to competency-based assessment at the Cleveland Clinic Lerner College of Medicine. Academic medicine : journal of the Association of American Medical Colleges May;82(5): Colbert CY, Ownby AR, Butler PM. A review of portfolio use in residency programs and considerations before implementation. Teaching and learning in medicine. 2008;20(4): O Sullivan PS, Reckase MD, McClain T, Savidge M, Clardy J. Demonstration of portfolios to assess competency of residents. Advances in health sciences education : theory and practice Jan;9(4): Dmitrienko A, Chuang-Stein C, D Agostino. Pharmaceutical statistics using SAS. In: RD (eds) Nonparametric methods in pharmaceutical statistics. A Practical Guide. Cary SAS Press, p Dunn OJ1964. Multiple comparisons using rank sums. Technometrics. 1985;6: Mann K, Gordon J, MacLeod A. Reflection and reflective practice in health professions education: a systematic review. Advances in health sciences education : theory and practice [Internet] Oct [cited 2011 Jul 18];14(4): Available from: Snadden D, Thomas M. The use of portfolio learning in medical education. Medical Teacher [Internet] Jan;20(3): Available from: Paulson F, Paulson P, Meyer C. What makes a portfolio a portfolio? Eight thoughtful guidelines will help educators encourage self directed learning. Educ Leadership. 1991;(48): Pearson DJ, Heywood P. Portfolio use in general practice vocational training : a survey of GP registrars. Medical Education. 2004;(38): Ross S, Maclachlan A, Cleland J. Students attitudes towards the introduction of a Personal and Professional Development portfolio: potential barriers and facilitators. BMC medical education [Internet] Jan [cited 2011 Sep 7];9:69. Available from: trez&rendertype=abstract 22. Frohna JG, Kalet A, Kachur E, Zabar S, Cox M, Halpern R, et al. Assessing Residents Competency in Care Management : Report of a Consensus Conference. Teaching and Learning in Medicine. 2004;16(1):77 84.

13 Tartwijk JANVAN, Driessen EW. Portfolios for assessment and learning : AMEE Guide no ;(45): Melville C, Rees M, Brookfield D, Anderson J. Portfolios for assessment of paediatric specialist registrars. Medical education Oct;38(10): Groupe de travail sur le portfolio facultaire. Rapport du groupe de travail sur le portfolio facultaire. Faculté de médecine, Université Laval Friedman Ben David M, Davis MH, Harden RM, Howie PW, Ker J, Pippard MJ. AMEE Medical Education Guide No. 24: Portfolios as a method of student assessment. Medical teacher Oct;23(6): Challis M. AMEE Medical Education Guide No.11 (revised): Portfolio-based learning and assessment in medical education. Medical Teacher Jan;21(4): Fung MF, Walker M, Fung KF, Temple L, Lajoie F, Bellemare G, et al. An internet-based learning portfolio in resident education: the KOALA multicentre programme. Medical education Jun;34(6): Benjamin S, Robbins LI, Kung S. Online resources for assessment and evaluation. Academic psychiatry : the journal of the American Association of Directors of Psychiatric Residency Training and the Association for Academic Psychiatry. 2006;30(6): Edwards FD, Frey K a. The future of residency education: implementing a competency-based educational model. Family medicine Feb;39(2): Torbeck L, Wrightson AS. A method for defining competency-based promotion criteria for family medicine residents. Academic medicine : journal of the Association of American Medical Colleges Sep;80(9): Rosenberg ME, Watson K, Paul J, Miller W, Harris I, Valdivia TD. Development and implementation of a web-based evaluation system for an internal medicine residency program. Academic medicine : journal of the Association of American Medical Colleges Jan;76(1):92 5.

14 14 Cette recherche a été élaborée dans le cadre d un travail académique pour le programme Clinicien Érudit, Département de médecine familiale et de médecine d urgence, Faculté de médecine, Université Laval. Ce projet a été approuvé par le Comité d éthique de la recherche de l Université Laval : No d approbation /

15 15 Tableau 1 : Caractéristiques des participants n (%) % de participation Directeur 14 (31,8) 58,3 Médecin 9 (20,5) 37,5 enseignant Résident 21(47,7) 87,5

16 16 Tableau 2 : Outils dont le score est significatif Outils d apprentissage Pertinence Réalisme Score Planification Plan d'apprentissage individualisé du 4,30 [4;5] 3,81 [3;4] 16,39 [12;20] résident Production Attestation de participation aux ateliers 4,24 [4;5] 4,43 [4;5] 19,29 [16;25] d'apprentissage par simulation "APPRENTIS" Attestation de réussite du module de 4,05 [4;5] 4,36 [4;5] 17,93 [15;20] dermatologie Attestation de réussite du module de 3,98 [3;5] 4,29 [4;5] 17,40 [15;25] soins de plaie Attestation de réussite du module de 3,98 [3;5] 4,29 [4;5] 17,38 [15;20] CSST Attestation de réussite du module de 3,90 [3;5] 4,31 [4;5] 17,26 [12;25] lecture critique "InfoCritique" Attestation de réussite du module 3,95 [3;5] 4,29 [4;5] 17,26 [12;20] d'éthique Attestation de réussite du module de 3,83 [3;5] 4,36 [4;5] 16,95 [12;20] radiologie Réalisation des EMS 4,00 [3;5] 4,07 [4;5] 16,93 [12;25] Attestation de participation à divers congrès Rétroaction Fiche de rétroaction des supervisions directes Outils d évaluation 3,88 [4;5] 4,05 [4;5] 16,38 [12;20] 4,05 [4;5] 4,12 [4;5] 17,52 [16;25] Évaluations de stage sommatives 4,39 [4;5] 4,56 [4;5] 20,27 [16;25] Évaluations de stage semestrielles 4,14 [4;5] 4,48 [4;5] 19,14 [16;25] Évaluations de stage formatives 4,05 [4;5] 4,31 [4;5] 18,29 [16;25] Fiches d'évaluation des compétences par les milieux de stages 3,95 [4;5] 4,02 [4;5] 16,76 [9;25] Données présentée en Moyenne [écart interquartile]

17 17 Tableau 3 : Outils ayant dont les résultats ont des différences significatives entre les groupes Directeurs Médecins enseignants Résidents Valeur p Évaluations de stage sommatives * Évaluations de stage formatives * Auto-évaluation sur ses forces et faiblesses en lien avec les habiletés et compétences importantes pour un médecin de famille Documentation quotidienne de l'exposition clinique/des habiletés techniques Participation aux discussions de cas sur la collaboration interprofessionnelle Feuilles de rétroaction au quotidien sur les compétences Synthèse réflexive des apprentissages développés à partir du portfolio et de la croissance personnelle 23,00 [20;25] 20,11 [16;25] 18,70 [16;25] 0,047-22,85 [20;25] 19,33 [16;25] 14,85 [9;20] 0,007 différence a/n pertinence (p=0,009) 18,31 [16;25] 13,22 [8;16] 10,90 [4;16] 0,020 différence a/n pertinence (p=0,016) 17,77 [12;25] 13,78 [10;16] 8,20 [3;13,5] 0,002 différence a/n pertinence (p=0,005) et réalisme (p=0,003) 16,00 [16;20] 14,22 [12;16] 8,15 [4;9] 0,006 différence a/n pertinence (p=0,005) et réalisme (p=0,035) 15,46 [12;25] 13,22 [10;16] 8,55 [4;12] 0,025 différence a/n pertinence (p=0,032) 13,77 [9;16] 8,67 [4;12] 6,55 [1,5;9] 0,009 différence a/n pertinence (p=0,009) et réalisme (p=0,036)

18 18 Journaux de bord quotidiens Données présentée en Moyenne [écart interquartile] 5,92 [4;8] 5,44 [1;9] 2,55 [1;3] 0,021 différence a/n pertinence (p=0,041) et réalisme (p=0,016) * Outils qui ont été retenus selon leur score global ( 16/25)

19 19 Annexe 1 - Questionnaire aux participants 1) Questions sociodémographiques A) Je suis : a. Résident b. Médecin enseignant c. Directeur ou directeur adjoint d une UMF B) Je travaille à l UMF : a. Basques-KRTB b. Etchemins c. Gaspé d. Haute-Ville e. Laurier f. Laval g. Lévis h. Maizerets i. Manicouagan j. Nord de Lanaudière k. Rimouski l. St-François d Assise 2) Quel est selon vous le degré de pertinence et de réalisme, sur une échelle de 1 à 5, à intégrer ces outils de présentation dans le portfolio électronique afin de documenter et de supporter l acquisition des compétences? Pas du tout pertinent / réaliste 1 Peu pertinent / réaliste 2 Indécis 3 Pertinent / Réaliste 4 Très pertinent / Très réaliste 5 OUTILS DE PRÉSENTATION Curriculum vitae Lettres de recommandation/ remerciement diverses Pertinence Réalisme Autres outils Commentaires 3) Quel est selon vous le degré de pertinence et de réalisme, sur une échelle de 1 à 5, à intégrer ces outils de planification dans le portfolio électronique afin de documenter et de supporter l acquisition des compétences? Pas du tout pertinent / réaliste 1 Peu pertinent / réaliste 2 Indécis 3 Pertinent / Réaliste 4 Très pertinent / Très réaliste 5

20 20 OUTILS D APPRENTISSAGE Planification Plan d apprentissage individualisé du résident (objectifs + stratégies) Pertinence Réalisme Autres outils Commentaires 4) Quel est selon vous le degré de pertinence et de réalisme, sur une échelle de 1 à 5, à intégrer ces outils de production dans le portfolio électronique afin de documenter et de supporter l acquisition des compétences? Pas du tout pertinent / réaliste 1 Peu pertinent / réaliste 2 Indécis 3 Pertinent / Réaliste 4 Très pertinent / Très réaliste 5 OUTILS D APPRENTISSAGE Production Documentation quotidienne de l exposition clinique/des habiletés techniques Attestation de participation aux activités hebdomadaires de formation prévues au curriculum (enseignement programmé) Réalisation des EMS (entrevues médicales simulées) Attestation de réussite du module de lecture critique «InfoCritique» Attestation de réussite du module de radiologie Attestation de réussite du module de dermatologie Attestation de réussite du module de CSST Attestation de réussite du module Décision + Attestation de réussite du module d éthique (module à venir) Attestation de réussite du module de soins de plaie (module à venir) Attestation de participation à divers congrès Présentations scientifiques par le résident (en UMF, à l hôpital ou lors de congrès) Résumé de clubs de lecture Observation du médecin de famille (OMF/miroir inversé) Révision de documents de références (ex : DCC) Animation de DCC (discussion de cas clinique) Participation aux discussions de cas sur la collaboration interprofessionnelle Enseignement en petit groupe (ex : préclinique) Supervision d étudiants en médecine ou d autres résidents Projet d évaluation de la qualité de l exercice professionnel Bibliothèque de documents d étude (opportunité de déposer des documents d études ou de référence) Rapport de participation à des comités de gestion (réunions assistant résident coordonnateur, comité de programme, CMDP, etc) Rapport de participation à des comités pédagogiques (comités universitaires, RM2F, AMREQ, FMRQ, comité de l intégration des compétences, etc) Description de projets en cours ou d engagements autres Attestation de participation aux ateliers d apprentissage par simulation «APPRENTIS» Enregistrements audio/vidéo d entretiens - avec des patients ou leurs familles Enregistrements audio/vidéo d entretiens - de gestes techniques Comptes rendus de lecture d information médicale (articles, livres, documentation électronique, documents d information ou de promotion délivrés par l industrie pharmaceutique, etc) Comptes rendus d entretiens formels ou informels avec diverses personnes- Pertinence Réalisme