Évaluation du programme de Maintien du certificat Phase 2. Résumé

Transcription

1 Évaluation du programme de Maintien du certificat Phase 2 Résumé Préparé par Craig M. Campbell, MD, FRCPC Directeur, Bureau des affaires professionnelles En collaboration avec le Groupe de travail consultatif Dr Jocelyn Lockyer Doyen associé, Formation médicale et développement professionnel continus, Université de Calgary Dre Elizabeth Wenghofer Professeure adjointe, École de santé dans les milieux ruraux et du Nord, Université Laurentienne Mme Lynda Buske Dr Glenn Regehr Dr Gavin Stuart Dr Bernard Marlow Dr Réjean Laprise Dre Susan Brien Mme Jennifer Gordon Directrice, Recherche sur les effectifs, Association médicale canadienne Directeur associé, Centre for Health Education Scholarship, Université de la Colombie-Britannique Doyen, Faculté de médecine, Université de Calgary Directeur, Formation médicale continue, CMFC Recherche et Développement, FMSQ Directrice associée, Bureau des affaires professionnelles, CRMCC Gestionnaire, Développement professionnel continu et Centre des services aux membres, CRMCC

2 Introduction Une stratégie officielle d évaluation du programme de Maintien du certificat (MDC) du Collège royal des médecins et chirurgiens du Canada (CRMCC) a été créée en janvier Cette stratégie comporte une série de phases interreliées qui se chevauchent. Le présent rapport contient un résumé des données quantitatives et qualitatives recueillies à partir d un sondage en ligne et sur papier mis au point afin d obtenir directement les commentaires des Associés quant à leurs perceptions et leur expérience par rapport au programme de MDC. Le sondage avait pour but de répondre aux questions suivantes : 1. Qu est-ce qui motive ou décourage les Associés du Collège royal à participer au programme de MDC? 2. Quelles sont les perceptions des Associés concernant les normes actuelles et les processus éducatifs du programme de MDC? 3. Quels aspects du programme de MDC sont importants ou utiles pour la pratique professionnelle? 4. Quelles sont les lacunes du programme de MDC en ce qui a trait à sa capacité d encourager l apprentissage dans la pratique? 5. Quels sont les points de vue des Associés concernant le développement futur du programme de MDC? 6. Quelles stratégies d apprentissage additionnelles et innovations pourraient permettre d améliorer la pertinence du programme de MDC auprès des Associés? Un groupe de travail consultatif formé d experts a aidé à la conception et à l élaboration des questions du sondage et à l analyse des résultats. Un groupe de travail consultatif en matière de communications a été créé et chargé de recommander des stratégies afin d améliorer la participation au sondage. Le sondage en ligne final, lancé le 8 octobre 2008, comportait 10 questions avec échelle de notation normalisée de cinq points. La version papier du sondage a été distribuée (par la poste) peu après le lancement de la version électronique du sondage. Caractéristiques démographiques des répondants L Annexe A contient un résumé des variables démographiques des Associés ayant participé au sondage électronique ou sur papier comparées à celles des membres du Collège royal qui doivent participer au programme de MDC. Taux de réponse au sondage Un total de 2592 personnes a participé au sondage électronique, alors que 322 personnes ont participé à la version papier, pour un taux de réponse globale de 9,3 %. Étant donné le nombre total de questions du sondage, le taux de réponse a été jugé suffisant pour permettre de tirer des conclusions et d établir les orientations stratégiques futures. 2

3 Résumés des analyses descriptives Le nombre de réponses, la note la plus basse, la note la plus haute, la note moyenne et l écart type, ainsi que le pourcentage de réponses positives pour chaque question du sondage électronique, sont résumés à l Annexe B, ainsi qu à l Annexe C pour ce qui est du sondage sur papier. L écart autour du nombre moyen de réponses positives pour les réponses au sondage électronique a été analysé à l aide de cinq variables démographiques : la langue (français ou anglais), le lieu géographique de pratique (régions du Canada, États-Unis, à l étranger), l année de graduation d une école de médecine, la spécialité (divisée en 11 groupes) et le sexe. Les écarts >10 % par rapport à la réponse positive totale moyenne ont été jugés significatifs. Une série d histogrammes décrivant tous les écarts significatifs dans les taux de réponse positive sont donnés à l Annexe D. L écart dans la fréquence des réponses positives a été surtout influencé par le lieu géographique de pratique (51 fois), la spécialité (41) et l année de graduation d une école de médecine (27). La moyenne et le pourcentage de réponses positives (réponses 4 ou 5 sur l échelle de notation de cinq points) pour les versions en ligne et sur papier du sondage sont comparés et résumés à l Annexe E. Enfin, les résultats de l analyse quantitative (nœuds de codage et analyse thématique) sont résumées à l Annexe F. Résultats globaux La motivation à participer au programme de Maintien du certificat découle essentiellement de facteurs internes (besoin de rester «à jour» [4,43], impression que le développement professionnel continu est une responsabilité professionnelle personnelle [4,40], besoin de conserver son titre d associé [4,19]), plutôt que d exigences réglementaires ou d une pression des pairs. Ces résultats viennent appuyer la philosophie et les buts du programme de MDC et montrent l importance qu accordent les Associés à l apprentissage continu, en tant que membres d une profession autoréglementée axée sur le savoir. Assister à des conférences et à des cours (4,56), apprendre en soignant ou en traitant les patients (4,55), enseigner aux autres (4,37) et participer à des cliniques ou à un «journal club» (4,25) sont considérées comme les activités les plus utiles pour améliorer un comportement ou son rendement. Les plus gros obstacles à une participation au programme de MDC sont la charge de travail (3,75) et le manque de temps (3,74). Ces constatations confirment les efforts excessifs qu exige le système de santé de la part des médecins et montrent à quel point les activités d apprentissage doivent être intégrées à leur pratique professionnelle dans ce contexte. Les Associés ont apprécié la possibilité de recevoir une prolongation pour leur cycle (3,95), et on s entend en général pour dire que la période de cinq ans prévue pour un cycle est appropriée (3,83). Toutefois, les Associés ont une opinion neutre (3,16) 3

4 quant à l idée que les activités incluses dans les six sections du programme de MDC sont bien le reflet de leurs façons d apprendre. Les limites imposées pour la lecture constituent une préoccupation importante et constante. En ce qui a trait à MAINPORT, ce sont la possibilité d examiner facilement le sommaire des crédits (4,09), et la possibilité d évaluer le sommaire des activités (4,04) qui ont reçu les notes les plus élevées. La possibilité de confirmer les activités déclarées (3,81) et la possibilité de faire des révisions aux activités inscrites dans MAINPORT (3,72) ont reçu des notes plus modestes. Les notes les plus basses ont trait à l inclusion des rôles CanMEDS dans le profil (3,03), et les répondants ont indiqué que les cases des résultats ne reflétaient pas facilement ce qui avait été appris (3,21). La création ou le développement de programmes d auto-évaluation agréés (3,67) et de stratégies ou outils d évaluation de la pratique (3,57) ont reçu les notes les plus élevées en ce qui a trait aux futures orientations stratégiques du programme. Toutefois, on rejette assez fortement l idée de rendre obligatoire certaines activités d apprentissage, sauf pour ce qui est d améliorer l apprentissage collectif sur le Web (3,36) et d assister à une réunion de spécialistes une fois par cycle (3,31). On rejette fortement l idée de rendre obligatoires les examens du renouvellement du certificat (2,03), de démontrer l obtention de résultats améliorés chez les patients (2,42), ou de s engager dans des stratégies d auto-évaluation. On s entend en général pour dire que des crédits devraient être offerts pour des activités de préceptorat et d enseignement (4,34), la conception d outils éducatifs ou cliniques (4,23) et le développement de programmes d enseignement (4,15). Enfin, on s entend en général pour dire que le programme de MDC devrait soutenir le transfert automatique de la participation à des activités d apprentissage collectif (4,04), et qu il faudrait simplifier le nombre de modèles utilisés pour consigner les activités d apprentissage dans MAINPORT (3,99). On se dit un peu moins d accord avec l idée de maintenir des stratégies pour améliorer la consignation des résultats d apprentissage (3,69). Conclusions ou recommandations Les constatations quantitatives décrites précédemment et les riches commentaires inclus dans les résultats qualitatifs soutiennent les conclusions (thèmes) et recommandations qui suivent. Thème 1 : Clarifier la philosophie et réduire la complexité du programme de MDC Il est clair que l on pense que le programme de MDC contient trop de points dont il faut se souvenir, et trop de sections. Cette complexité fait que les Associés ont de la difficulté à savoir comment catégoriser ce qu ils font en fonction des classifications du programme de MDC. Certains Associés pensent que le principe général du programme de MDC est bien, et ont souligné que démontrer une participation active au programme était le minimum que la société pouvait attendre d eux, et que le programme de MDC offrait un format organisé et encourageait le développement professionnel continu et l apprentissage continu chez les spécialistes, ce qui rend leur 4

5 profession unique. Toutefois, de nombreux autres Associés continuent de questionner le fait que le programme permette le développement de compétences, et ont exprimé leur manque d enthousiasme pour un processus qui ne repose pas sur des données probantes. Le fait de s attaquer aux perceptions voulant que le programme de MDC manque de souplesse, présente une lourdeur bureaucratique et ne soit pas axé sur des données probantes aiderait à promouvoir la valeur du programme de MDC en tant qu avantage pour les membres. Recommandations : 1. Résumer et diffuser les données probantes tirées de la recherche sur le développement professionnel continu concernant la validité et l efficacité des activités d apprentissage incluses dans le programme de MDC. 2. Simplifier la structure du programme de MDC en éliminant les six sections actuelles et en créant trois parcours d apprentissage : l apprentissage collectif, l auto-apprentissage et l évaluation. 3. Mettre au point une stratégie éducative à plusieurs volets afin d expliquer la philosophie éducative, les principes et les buts du programme de MDC, de décrire les données probantes sur lesquelles repose son développement, et de s attaquer aux fausses perceptions exprimées au sujet du programme. Thème 2 : Simplifier la consignation des activités et des résultats d apprentissage dans MAINPORT Bon nombre d Associés ont indiqué que MAINPORT devait évoluer pour devenir clair, concis et intuitif. La lourdeur et la complexité de la consignation des activités d apprentissage ont amené des Associés à prier le Collège royal de rationaliser le processus. La lourdeur associée au fait de devoir consigner les activités d apprentissage et les résultats d apprentissage dans MAINPORT tient à plusieurs facteurs, notamment à un manque d intérêt, à l oubli de saisir des activités ou au fait de ne pas avoir développé l habitude de régulièrement inscrire ses activités, plutôt que de façon sporadique. Ces perspectives s ajoutent aux perceptions que l interfaceutilisateur et les modèles de consignation de MAINPORT sont jugés par beaucoup comme étant intimidants et peu conviviaux. Ainsi, des Associés ont indiqué que 50 % des activités d apprentissage n étaient pas consignées, et certains ont dit n utiliser MAINPORT que pour consigner le nombre minimum d heures nécessaires pour terminer un cycle. Certains ont dit choisir les activités faciles à consigner. Entre autres suggestions pratiques et constructives en vue de modifier les modèles de consignation, on a parlé d éliminer le jargon menant à confusion, de revoir les limites des menus déroulants (par exemple, les cases pour les résultats), d offrir plus d espace pour consigner les activités, et de développer la possibilité d inscrire des crédits partiels. Le message qui domine, c est qu il faut simplifier la procédure, et permettre le transfert automatique d activités afin de faciliter la soumission de crédits. Cette recommandation de simplifier la procédure de consignation présente un dilemme; le format utilisé pour inscrire des activités pourrait être différent des modèles d apprentissage dans la résolution de problèmes diagnostiques. Les données recueillies appuient l idée que bon nombre d Associés considèrent le programme de MDC comme une procédure de consignation de l apprentissage (procédure qui pourrait être simplifiée) et non comme un programme d amélioration de l apprentissage. Pour que MAINPORT puisse devenir une plateforme de consignation 5

6 efficace, il faudrait revoir sa structure en tenant compte de stratégies éducatives et d outils techniques additionnels, afin d améliorer et de soutenir le processus d apprentissage. Recommandations: 4. Simplifier la procédure de consignation pour se concentrer sur les éléments essentiels qui soutiennent la réflexion sur l apprentissage et la définition des résultats d apprentissage pour la pratique. 5. Accélérer l élaboration de stratégies pour soutenir le transfert automatique de la consignation de la participation à des activités d apprentissage collectif (cliniques et conférences), à des programmes d auto-évaluation et à des exercices de simulation directement dans MAINPORT. 6. Modifier MAINPORT dans le cadre du projet de portail/gestion des relations avec la clientèle prévu durant la phase 2 de la transformation des activités, de manière à optimiser les technologies de portail pour une mise en œuvre au milieu de Créer un seul modèle de consignation pour chaque parcours d apprentissage dans le cadre du programme de MDC révisé. 8. Simplifier la terminologie, les menus déroulants, et introduire des stratégies qui tiennent compte des crédits partiels. 9. Examiner activement la possibilité d intégrer des appareils portatifs (Blackberry, i-phone) dans le processus d apprentissage et de consignation dans MAINPORT. 10. Effectuer un examen de la structure et des coûts des portfolios d apprentissage en ligne existants qui seraient compatibles à MAINPORT, afin de permettre aux Associés de décrire leur champ d'activités, d élaborer des plans de développement professionnel continu et de consigner leurs réflexions sur la pratique. Thème 3 : Créer un réseau régional de soutien au développement professionnel continu (DPC) Le besoin de plus de formation et de soutien pour mieux comprendre le programme de MDC et pouvoir utiliser le système MAINPORT plus efficacement constitue une préoccupation commune. Des Associés ont indiqué qu il aurait été utile qu ils reçoivent de la formation sur la manière de bien utiliser le système. On a souligné qu il n existait pas de documentation utile sur la manière d utiliser le programme. Un Associé a indiqué ne pas être au courant d efforts qu aurait fait le Collège royal pour informer ses membres sur la manière d utiliser MAINPORT ou sur ce que comporte le programme de MDC. Les obstacles actuels nuisant à la participation à des activités d apprentissage et la complexité de la procédure de consignation appuient l idée de la nécessité de mettre en œuvre une stratégie d éducation et de développement généralisée. De plus, malgré l inclusion d une vaste gamme d activités d apprentissage au sein du programme de MDC, de nombreux Associés ayant un champ d activité limité, ou un rôle professionnel non clinique, et des spécialistes de l enseignement ont exprimé leurs frustrations concernant la difficulté de faire cadrer leurs activités d apprentissage dans le système de crédits du programme de MDC. Comme les constatations et recommandations des thèmes 1 et 2 représentent d importantes transformations au programme de MDC, au système MAINPORT et au 6

7 système de crédits du programme de MDC, il serait important de créer un réseau de soutien au DPC afin de faciliter la compréhension et l acceptation des transformations proposées. Recommandations : 11. En collaboration avec les comités consultatifs régionaux (CCR), les facultés de médecine et les associations nationales de spécialistes, concevoir et mettre en œuvre une stratégie régionale de soutien au développement professionnel continu en utilisant, le cas échéant, les réseaux éducatifs existants (par exemple, les hôpitaux communautaires). 12. Exploiter les réseaux régionaux sur le DPC afin de répondre de manière proactive aux besoins des Associés et fournir de la formation et de l encadrement sur les stratégies et les outils liés aux différents aspects de l apprentissage continu. 13. Créer un programme de certificat fondé sur le programme d apprentissage continu déjà en place et basé sur le rôle CanMEDS d érudit. Thème 4 : Revoir le système de crédits du programme de MDC Les Associés interrogés appuient fortement l idée d offrir des crédits additionnels liés à leur participation à des activités d érudition, à la lecture de projets d apprentissage structurés ou non et autres stratégies d auto-apprentissage virtuel. Bon nombre d entre eux ont exprimé le point de vue que la lecture de revues spécialisées constituait toujours un moyen très utilisé de maintenir sa compétence ou de développer ses compétences et connaissances. Malgré de fréquents commentaires concernant la nécessité d améliorer la rigueur du programme, on rejette fortement l idée de mettre en œuvre des examens pour le renouvellement du certificat ou de rendre obligatoires certaines activités éducatives ou exigences. Les exigences obligatoires sont perçues par une vaste majorité comme une intrusion non réaliste dans la vie professionnelle des Associés. On pense que le Collège royal doit éviter de mettre en œuvre des exigences normatives ou précises relativement au programme de MDC, et qu il doit simplement s assurer que les Associés prouvent leur engagement à l égard de l apprentissage continu. Recommandations : 14. Élaborer et mettre en œuvre une stratégie pour améliorer de manière significative le système de crédits du programme de MDC pour chaque parcours individuel inclus dans le programme. 15. Éliminer la section 2 et inclure la lecture de revues spécialisées (projets d apprentissage personnels ou distincts) dans le volet de l auto-apprentissage. 16. Élaborer un système de crédits partiels pour la lecture associé à l obligation de remplir un formulaire d évaluation et de réflexion ou de consigner les résultats. 17. Travailler en collaboration avec les facultés de médecine et les associations nationales de spécialistes afin de promouvoir l élaboration de stratégies d évaluation du DPC (voir Thème 5 ci-dessous). 7

8 Thème 5 : Élargir les stratégies d évaluation dans le cadre du programme de MDC Malgré l absence de programmes d auto-évaluation agréés ou d outils de mesure du rendement d un nombre important de spécialités, les stratégies d évaluation ne sont pas considérées comme un obstacle à la participation au programme de MDC. Cette constatation peut être liée au fait que le programme de MDC ne comporte aucune exigence minimale et n oblige pas les Associés à participer à des activités précises pour répondre aux exigences du programme. Toutefois, vu le manque de précision des compétences en auto-évaluation des médecins, quand ils ne disposent pas d un processus défini ou ne sont pas guidés par des données, on est plus ou moins d accord avec l importance de créer dans l avenir des programmes d auto-évaluation et des stratégies et outils d évaluation de la pratique. Le fait de promouvoir des stratégies d évaluation permettra d améliorer la capacité d évolution du programme, qui pourra être davantage orienté sur les résultats que sur les processus, pourvu que l on dispose de données établissant la validité ou l objectivité du programme. Certains Associés ont exprimé le point de vue que le programme devait reposer sur des données empiriques directes prouvant leurs compétences, afin de faire oublier l idée que le programme ne constitue qu une autre mesure de la médiocrité. La mise en œuvre de la «revalidation des médecins», avec l importance accordée au fait de s engager dans un apprentissage associé à la compétence de la pratique, soulève des préoccupations quant à la nécessité de «contrôler sa destinée pour ne pas que la société exige notre autonomie en raison d'irresponsabilité sociale». Enfin, il faut s attaquer au manque de compréhension de la pertinence du cadre CanMEDS pour ce qui est de promouvoir la compétence comme résultat mesurable du processus d apprentissage, afin d éliminer les perceptions que CanMEDS n a pas d utilité en matière de DPC. Recommandations : 18. Améliorer l agrément et l élaboration des programmes d auto-évaluation. 20 Promouvoir la simulation en tant que stratégie pour favoriser l évaluation de la compétence dans le cadre des multiples rôles CanMEDS. 21 Élaborer des stratégies qui permettront aux Associés d évaluer leur rendement ou leur pratique à titre personnel ou à titre de membre d une équipe médicale interprofessionnelle. Une fois au point, ces stratégies formeront la base de la mise en œuvre d une évaluation obligatoire de la pratique d ici deux ans (2012). 22 Créer une conférence sur invitation afin d examiner les données probantes et les stratégies d évaluation du rendement des médecins dans le cadre du programme de MDC à la fin de l automne Organiser, au printemps 2010, une conférence consensuelle regroupant des associations nationales de spécialistes, des bureaux de FMC et autres intervenants intéressés, afin de discuter de la mise en œuvre de stratégies d évaluation dans le cadre du programme de MDC. 24 Renforcer les liens entre le programme de MDC et CanMEDS en explorant la possibilité d élaborer une approche en matière d apprentissage continu et de développement professionnel continu qui serait axée sur les compétences. 8

9 Conclusions La deuxième phase de l évaluation du programme de Maintien du certificat est le premier examen complet des expériences, des perspectives et des recommandations de nos Associés concernant le programme de Maintien du certificat et Mainport. Les thèmes et recommandations inclus dans le résumé ont été formulés à partir et à la lumière des réponses quantitatives et qualitatives d un échantillon représentatif d Associés du Collège royal des médecins et chirurgiens du Canada. Ces thèmes établissent d'importantes orientations stratégiques pour le programme de Maintien du certificat, le système de crédits du MDC et Mainport. Dans les prochains mois, des stratégies suscitant l'engagement de nos Associés, des facultés de médecine, des associations nationales de spécialistes, de la Fédération des médecins spécialistes du Québec, des organismes de réglementation provinciaux et territoriaux et d autres organismes de DPC concernés, seront mises en œuvre pour faciliter la rétroaction et l échange de points de vue sur la pertinence et l importance de chaque thème et recommandation. Craig M Campbell, MD, FRCPC Directeur du Bureau des affaires professionnelles Le Collège royal des médecins et chirurgiens du Canada N hésitez pas à nous transmettre vos commentaires et réactions, à moc@collegeroyal.ca. 9