Mémoire Diplôme Interuniversitaire de Pédagogie Médicale Année

Transcription

1 Mémoire Diplôme Interuniversitaire de Pédagogie Médicale Année Développement d un outil d évaluation des compétences pour les internes en oncologie Contributions : J Alexandre : idée de l étude, conception du questionnaire, envoi du mailing, saisie des questionnaires dans la base de données, analyse des résultats, rédaction des méthodes L Teixeira : analyse des résultats, rédaction de l introduction O Mir : analyse et rédaction des résultats, analyse statistique, conception des figures X Durando : analyse des résultats, rédaction de la discussion R Coriat : analyse des résultats, conception de la présentation orale

2 Table des matières Introduction 3 Matériels et méthodes 5 Résultats 6 Discussion 11 Références 13 Annexes 13 Résumé 17

3 Introduction La formation des professionnels de santé est une préoccupation majeure des systèmes de santés. Son corollaire est la nécessité d évaluer les compétences professionnelles au cours de desformations initiale et continue. Une compétence est un savoir agir fondé sur la mobilisation de connaissances (biologie, essais cliniques), un savoir faire (application de procédures, résolution de problème) et des capacités relationnelles. Mieux évaluer les compétences des internes devient un impératif pour : - Connaître les besoins individuels de formation - Evaluer la valeur formatrice des stages - Evaluer l efficacité des nouveaux moyens de formation - Surtout, s assurer en fin d internat d un niveau de compétence minimum. Cette évaluation doit pouvoir se faire non seulement en fin d internat mais également tout au long du cursus. Il existe plusieurs moyens d évaluer des compétences : examen écrit ou oral, évaluation par le responsable de stage ou autoévaluation. La démarche d évaluation formatrice, qui implique l élève et s intègre à son apprentissage, apparait être un facteur de progression mais aussi de motivation de l apprenant (Campanale, 2001). Plusieurs définitions de l autoévaluation ont été données. L une des plus acceptées actuellement est celle selon laquelle elle est un auto questionnement par le sujet de son action (Vial, 1997) ; un processus d altération du référentiel d action d un sujet, qui l amène à interroger, réguler, transformer son action et par là agir sur lui (Campanale, 1997). On distingue trois types de modalités d organisation de systèmes d auto-évaluation (Allal 1993) ; - L auoévaluation au sens strict, où le sujet contrôle sa production avec une grille de référence. - Les évaluations mutuelles réciproques (faites sur des productions émanant des élèvesévaluateurs) et non réciproques (faites sur des productions externes aux élèves évaluateurs). - Les co-évaluations (évaluations conjointes de l élève et de l enseignant), qui permettent d engager un dialogue entre l élève et l enseignant sur les écarts d appréciation.

4 Nous avons conçu un questionnaire d auto-évaluation dans 3 domaines de compétences en cancérologie : soins de support et traitement des complications, utilisation des médicaments anti-tumoraux et onco-gynécologie pelvienne. Avec pour objectifs ; D évaluer la faisabilité et la compliance des internes à une autoévaluation par questionnaires adressés par . D estimer le niveau de compétence des internes dans les trois domaines explorés et le corréler à leur ancienneté. D identifier les lacunes dans la formation des internes. Et ainsi, permettre de définir des objectifs de formation des internes en oncologie médicale.

5 Matériels et méthodes Population : Internes participant à l enseignement d oncologie médicale en Ile de France (n= 70) et internes inscrits en DES d oncologie médicale à Clermont Ferrand (n=6). Matériels : Questionnaire d auto-évaluation (annexe) : 79 compétences ont été listées : 32 dans le domaine des soins de support, 29 dans le domaine des thérapeutiques anticancéreuses et 18 en onco-gynécologie. Chaque item pouvait côté de 1 à 3 par l interne : 1 : Je n ai jamais rencontré cette situation en cours de stage / je n ai jamais prescrit (vu prescrire) ce traitement 2 : J ai été confronté au moins une fois à cette situation mais j estime de pas avoir assez d expérience pour la gérer correctement / j ai prescrit au moins une fois ce traitement mais ne serait pas capable de le prescrire seul, de reconnaître les situations à risque de toxicité et d adapter le traitement en conséquence. 3 : J ai été confronté plusieurs fois à cette situation et je m estime capable de la gérer / j ai prescrit plusieurs fois ce traitement et je m estime capable de le prescrire seul y compris dans des situations à risque NB : L aptitude à gérer une situation inclut la capacité à solliciter les autres compétences (chirurgien, équipe de soins palliatifs, équipe de soins de support, spécialiste d organes). Le questionnaire était anonyme mais il était demandé de préciser la date de début d internat, le nombre total de semestres validés et plus spécifiquement ceux en oncologie médicale. Enfin, l interne devait préciser le temps passé à remplir le questionnaire. Recueil des données : Le questionnaire a été envoyé par en juin Un rappel a été effectué en septembre Analyse statistique ; Chi-2 de Yates, test de corrélation de Pearson, t-test de Fischer, et test de régression linéaire ont été utilisés.

6 Nb de semestres onco validés Résultats Vingt-quatre internes ont répondu (5 hommes, 19 femmes), dont 19 après le premier envoi et 5 lors du premier et unique rappel. Le nombre médian de semestres validés était de 5 (1-10, 8 internes ayant validé au moins 8 semestres). Le nombre médian de semestres validés en oncologie était de 3 (0-7, 8 internes ayant validé au moins 4 semestres en oncologie). L ancienneté n était pas renseignée pour 1 interne. Le nombre total de réponses «situation inconnue» (case «1») était de 216 (9,2%). Le nombre total de réponses «situation méconnue» (case «2») était de 557 (23,7%). Le nombre total de réponses «situation connue» (case «3») était de 1574 (66,9%). Il y avait 5 réponses manquantes (0,2%). Les items recueillant le plus de réponses «situation inconnue» (case «1») (au moins 6) concernaient le bilan et le suivi des cancers gynécologiques, la prescription d agonistes de la LH-RH et d inhibiteurs de mtor, et de méthotrexate (quelle que soit la dose). Le nombre de réponses «situation inconnue» (case «1») était significativement plus élevé chez les jeunes internes (ancienneté inférieure à la médiane, p = 0.03), et corrélé au nombre de semestres validés (R 2 = 0,89), mais pas au nombre de semestres en oncologie (R 2 = 0,11). 10,0 7,5 5,0 2,5 0,0 R squared = 0,11 0,0 5,0 10,0 15,0 20,0 Nb de réponses "1"

7 Nb de semestres validés 10,0 7,5 5,0 2,5 0,0 0,0 5,0 10,0 15,0 20,0 Nb de réponses "1" R squared = 0,89 Les cinq items ne recueillant que des réponses «situation connue» (case «3») concernaient l embolie pulmonaire, l hypercalcémie, l initiation d un traitement morphinique, la prescription d une transfusion de culots globulaires ou la prescription d une transfusion de plaquettes. Pour les 33 items de soins de support, le nombre de réponses «situation connue» (case «3») était significativement plus élevé que pour les autres items (moyenne 20,2 contre 10,2, p = 0,02). Pour les 17 items de suivi des cancers gynécologiques, le nombre de réponses «situation connue» (case «3») était significativement plus faible que pour les autres items (moyenne 8,3 contre 16,0, p = 0,01). Le nombre de réponses «situation inconnue» (case «1») concernant ces items était significativement plus faible chez les internes d ancienneté supérieure à la médiane (p = 0,04).

8 Nb de semestres validés Le temps médian de remplissage du questionnaire rapporté par les répondeurs était de 5 minutes (3-20). Le nombre médian de dossiers présentés en RCP était de 5 (0 à 50, 10 répondeurs). La progression globale des compétences (jugée sur le nombre d items «3») était significativement corrélée à l ancienneté (totale et en oncologie médicale). 10,0 7,5 5,0 2,5 0,0 R-squared = 0,90 10,0 27,5 45,0 62,5 80,0 Nb de réponses "3"

9 Nb de semestres onco validés 10,0 7,5 5,0 2,5 0,0 R-squared = 0,96. 10,0 27,5 45,0 62,5 80,0 Nb de réponses "3" Enfin, la progression globale des compétences (jugée sur la note totale) était significativement corrélée à l ancienneté (totale et en oncologie médicale).

10 Nb de semestres oncos validés Nb de semestres validés 10,0 7,5 5,0 2,5 0,0 R-squared = 0,89 100,0 135,0 170,0 205,0 240,0 Note 10,0 7,5 5,0 2,5 0,0 R-squared = 0,81 100,0 135,0 170,0 205,0 240,0 Note

11 Discussion/perspectives L évaluation des compétences acquises est indissociable de la formation des internes. Elle doit permettre de faire évoluer la formation et permettre le développement des compétences de tous les internes, l évaluation est un outil de formation (évaluation formative). L étudiant au cours ou au terme d'une phase d'apprentissage doit pouvoir repérer ses progrès, identifier ses points forts, mais aussi comprendre ses propres difficultés et d'y remédier en connaissance de cause. Les enseignants cliniciens doivent aider à cette compréhension et, au besoin, proposer les solutions nécessaires voir de redéfinir individuellement les objectifs de formation. Faisabilité d une auto-évaluation ciblée par courriel La première condition d une évaluation effective est sa faisabilité : un questionnaire simple et ciblé sur 3 domaines de compétences en cancérologie (soins de support et traitement des complications, utilisation des médicaments anti-tumoraux et onco-gynécologie pelvienne) a été envoyé par courriel. C est une méthode simple, adaptable à l emploi du temps de chacun permettant de surmonter la contrainte géographique liée aux différents sites de stage. Cette méthode nous a permis d évaluer 80 items sur une courte période puisque les questionnaires ont été envoyés au mois de juin 2012 pour la première fois puis une seconde relance en septembre. Cette auto évaluation a pu être réalisée dans un temps correct puisque la médiane du temps de remplissage du questionnaire est de 5 minutes La généralisation, la nationalisation, de ce type de procédure pourrait permettre une uniformisation de l évaluation qui est un pré requis pour une bonne acceptabilité des évaluations ce d autant que les internes réalisent de plus en plus de mobilités inter universitaires au cours de leurs cursus. Evaluation de l acceptabilité L acceptabilité est une deuxième condition pour une évaluation efficace ce que nous avons voulu évaluer avec le taux de participation non contraint puis avec une contrainte limitée avec une simple relance. Le taux initial de participation de 25% (19 réponses sur 76 envois) peut sembler faible mais il faut noter qu une simple relance a permis d augmenter le taux de participation à 31% avec 5 réponses de plus. Une participation à l autoévaluation rendue obligatoire aurait sans doute permis une amélioration des taux de participation sans pour autant grever l acceptabilité. Pour cela il aurait fallu définir au préalable les conditions de réalisation et de contrainte ce qui n a pas été possible dans le cadre de cette étude.

12 Résultats Le principal résultat est que la formation des internes parait adapté pour l acquisition des compétences pour prise en charge hospitalière des soins de supports. En effet, ces compétences sont acquises le plus rapidement. Ce qui peut être expliqué par la transversalité de ce domaine. A chacun de leurs stages les internes sont confrontés à la problématique des soins de support. Par ailleurs les cinq items ne recueillant que des réponses «situation connue» sont au programme des ECN. Il semble par contre que la connaissance des traitements utilisés en ambulatoire et donc probablement de la prise en charge en dehors de l hospitalisation soit perçu comme moins optimale même pour des internes de fin de cursus. Effectivement la formation clinique des internes est presque exclusivement ciblée sur le patient hospitalisé. Ce qui peut poser des problèmes aujourd hui ou de nombreux traitement spécifiques (inhibiteurs de tyrosine kinase, hormonothérapies etc ) sont prescrits en consultation chez des patients purement ambulatoires. Une solution pourrait être une plus grande participation, et plus tôt dans leur cursus, des internes aux consultations. Limites de la méthode La principale critique de cette méthode est l introduction d un biais de participation, la participation au questionnaire étant facultative il est possible que les étudiants ayant spontanément participé soient les plus motivé, les plus compétent ou les plus sûr d eux. Biais qui pourrait entrainer une surestimation des compétences. Par ailleurs les compétences ne sont pas décrites de façon détaillée. Une évaluation plus théorique sous forme de QCM avec par exemple des questions portant sur les posologies et leurs adaptations, à compléter dans un temps limité pourrait être proposée. L étudiant repasserai le test jusqu avoir au moins 80% de réponses justes (évaluation formative). Une autre faiblesse de cette méthode d évaluation est le manque d évaluation du savoir être dans les situations proposées par le questionnaire. A coté de la compétence technique auto évaluée il aurait été sans doute informatif de pouvoir évaluer les savoirs comportementaux spécifiques aux situations proposées par le questionnaire. En particulier évaluer lors d'un stress l adaptation du comportement, l autonomie, l'efficacité, et l'attitude. Ces réserves sont à modérer car la méthode de l auto-évaluation invite l interne à passer d un savoir-faire non réfléchi à un savoir-faire réfléchi (a posteriori) lui permettant d intervenir et d agir consciemment.

13 Conclusion L autoévaluation peut parfois conduire à des prises de conscience désagréables : tel le renvoi d une image de soi peu valorisante lorsque l auto-évaluation réfléchit brutalement ce que, face aux enjeux, il ne fait pas bon révéler. Pourtant il nous semble qu aujourd hui l auto évaluation est une méthode faisable, acceptable et efficace. Elle permet une évaluation adaptable aux contraintes actuelles de temps, de lieux et économiques, à condition de la compléter par une évaluation formative des compétences techniques, par une évaluation du savoir être et par une intégration plus précoce de la formation clinique en soins ambulatoires. La formation à la prise en charge des patients en ambulatoire pourrait d ailleurs être un moment privilégiés à l apprentissage du savoir être.

14 Références Allal (L), «Régulations métacognitives : quelle place pour l élève dans l évaluation formative?» in L. Allal, D. Bain, P. Perrenoud, Evaluation formative et didactique du français. Delachaux et Niestlé, pp Camapanale (F), «Autoévaluation et transformation de pratiques pédagogiques», Mesure et Evaluation en Education, Vol 20, n 1, p Vial (M), 1997, «l autoévaluation comme auto-questionnement», les cahiers d Aix, n 12, Université de Provence, Département des Sciences de l Education Annexes Auto-évaluation des compétences pour les internes en oncologie médicale Date de début d internat : fin internat (le cas échéant) : Nombre de semestres déjà réalisés : dont en oncologie médicale : 1 : Je n ai jamais rencontré cette situation en cours de stage / je n ai jamais prescrit (vu prescrire) ce traitement 2 : J ai été confronté au moins une fois à cette situation mais j estime de pas avoir assez d expérience pour la gérer correctement / j ai prescrit au moins une fois ce traitement mais ne serait pas capable de le prescrire seul, de reconnaître les situations à risque de toxicité et d adapter le traitement en conséquence. 3 : J ai été confronté plusieurs fois à cette situation et je m estime capable de la gérer / j ai prescrit plusieurs fois ce traitement et je m estime capable de le prescrire seul y compris dans des situations à risque NB : L aptitude à gérer une situation inclut la capacité à solliciter les autres compétences (chirurgien, équipe de soins palliatifs, équipe de soins de support, spécialiste d organes). Neutropénie fébrile Occlusion sur carcinose péritonéale Hypercalcémie Thrombopénie Détresse respiratoire Hypertension intra-cranienne Embolie pulmonaire, thrombose veineuse profonde Syndrome dépressif Ictère par obstruction tumorale, indications de la pose d endoprothèse Métastase cérébrale 1 2 3

15 Epanchement pleural néoplasique, indications du talcage pleural Compression médullaire Métastase osseuse à risque fracturaire Evaluation d une douleur chronique Initiation d un traitement morphinique Rotation d opioïdes Diagnostic d une dénutrition Mise en place et surveillance d une nutrition parentérale Infection d une chambre implantable Thrombose d une chambre implantable Evaluer le risque de nausée-vomissement en fonction du protocole de chimiothérapie et du profil patient Mettre en place un traitement anti-émétique préventif adapté au risque émétique Prescrire un traitement anti-émétique curatif Annonce d une mauvaise nouvelle Présentation d un programme thérapeutique à un patient Education thérapeutique sur les principales toxicités aigues de la chimiothérapie Accompagner un patient après décision d arrêt des traitements spécifiques Accompagner l entourage d un patient après décision d arrêt des traitements spécifiques Prescription d érythropoéïtine Prescription d une transfusion de culots globulaires Prescription d une transfusion de concentrés plaquettaires Prescription de G-CSF Prescription de bisphosphonate Prescription de cisplatine Prescription de carboplatine Prescription de cyclophosphamide IV Prescription d ifosfamide Prescription de doxorubicine / epirubicine Prescription de doxorubicine PEG liposomale (caelyx) Prescription de 5FU IV Prescription de capécitabine Prescription de gemcitabine Prescription de méthotrexate < 100 mg/m² Prescription de méthotrexate > 100 mg/m² Prescription de pemetrexed Prescription de bleomycine Prescription d irinotecan Prescription de topotecan Prescription d étoposide Prescription de docetaxel Prescription de paclitaxel Prescription de vinorelbine Prescription d agoniste de LHRH

16 Prescription de tamoxifène Prescription d anti-aromatase Prescription de trastuzumab Prescription de cetuximab et panitunumab Prescription de bevacizumab Prescription d erlotinib Prescription de sorafenib Prescription de sunitinib Prescription d everolimus Prescription de temsirolimus Planifier le bilan préthérapeutique d un cancer du col de l utérus Planifier le bilan préthérapeutique d un cancer de l endomètre Planifier le bilan préthérapeutique d un cancer de l ovaire Planifier le bilan préthérapeutique d une tumeur de l ovaire avant 40 ans Planifier le bilan préthérapeutique d un cancer du sein Proposer une stratégie thérapeutique dans les situations suivantes : cancer du col de stade IA à IB1 Cancer du col de stade IB2 à IVA Cancer du col métastatatique Cancer de l endomètre de stade I Cancer de l endomètre de stade III Cancer de l endomètre métastatique Cancer de l ovaire de stade IA à IIA Cancer de l ovaire de stade IIB à IV Cancer de l ovaire en rechute Cancer du sein localisé Cancer du sein métastatique (1 ère à 3 e ligne thérapeutique) Cancer du sein en rechute locale Nombre de dossiers présentés en RCP Merci Remarques générales sur le questionnaire (pertinence, faisabilité) : Combien de temps son remplissage vous a pris?

17 Résumé L évaluation des compétences des internes en oncologie médicale est un problème. Nous avons conçu un questionnaire d autoévaluation dans 3 domaines de compétences en cancérologie : soins de support et traitement des complications, utilisation des médicaments anti-tumoraux et onco-gynécologie pelvienne. Avec pour objectifs ; D évaluer la faisabilité et la compliance des internes à une autoévaluation par questionnaires adressés par . D estimer le niveau de compétence des internes dans les trois domaines explorés et le corréler à leur ancienneté. D identifier les lacunes dans formation des internes. Et ainsi, permettre de définir des objectifs de formation des internes en oncologie médicale. Nous avons pu observer que l acceptabilité de ce type d évaluation était bonne. Le principal résultat est l adaptation de la formation à la prise en charge hospitalière des soins de supports. Il semble par contre que la connaissance des traitements utilisés en ambulatoire et donc probablement de la prise en charge en dehors de l hospitalisation soit perçu comme moins optimale même pour des internes de fin de cursus. Ce type d évaluation semble être un outil utile pour identifier des lacunes ressenties par les internes d oncologie médicale, et de définir des objectifs de formation. Mots clés : autoévaluation, compétences, oncologie médicale, formation initiale.