Le test de concordance de scripts dans les facultés de médecine françaises en 2013

Université Pierre et Marie Curie DIU de Pédagogie Médicale Le test de concordance de scripts dans les facultés de médecine françaises en 2013 Etat des lieux et pistes d implantation Dr Richard Gouron 11/10/2013

SOMMAIRE Sommaire... 2 Résumé... 3 Introduction... 4 Matériel et Méthode... 6 Résultats... 8 1. Répartition géographique des Facultés participantes... 8 2. Analyse des résultats... 8 Discussion... 11 1. Limites du questionnaire... 11 2. Constat du retard d implantation par rapport aux échéances des ECN informatisées.. 11 3. Proposition d une pédagogie d implantation... 12 Conclusion... 15 Références... 16 Annexe... 18 2

RESUME La réforme docimologique et logistique prévue pour les Epreuves Classantes Nationales (ECN) en 2016 prévoit entre autres l utilisation des tests de concordance de scripts (TCS). A l heure où une base d entrainement nationale va se mettre en place, l utilisation des TCS dans nos facultés de médecine françaises n est à ce jour pas bien connu. L objectif de ce travail est ainsi de recueillir et analyser l état des lieux de l utilisation du TCS dans nos facultés et d évaluer les possibilités d implantation pédagogique de ce type d évaluation auprès de nos étudiants par l intermédiaire d un questionnaire envoyé à toutes les facultés de médecine françaises. Parmi les 22 facultés ayant répondu à ce questionnaire, seulement 5 utilisent les TCS au cours du deuxième cycle en 2013. 63% ont prévus de démarrer l utilisation de ce mode d évaluation pour l année universitaire à venir. Majoritairement, les pistes d implantations qui semblent choisies sont la mise en place de séances de TCS formatifs en enseignements dirigés après formation des étudiants et des enseignants en séminaires. Il semble donc, dans les limites des facultés ayant répondu à notre questionnaire, qu il y ait un retard très net à l implantation des TCS en France en 2013. L implantation des TCS semble nécessaire très tôt dans les études médicales y compris dans les disciplines fondamentales. Ce n est pas tant le TCS d évaluation qui doit être privilégié mais plutôt le TCS formatif au mieux en enseignements dirigés dès le premier cycle. Ceci aura l avantage d apprendre très tôt aux étudiants le raisonnement clinique et de les sensibiliser à ce type d épreuve en préparation de leur ECN. La mise en place de TCS d évaluation en sera ainsi facilitée en deuxième cycle. Enfin, il semble nécessaire pour les étudiants actuellement en deuxième cycle et pour leur enseignants de mettre en place des séminaires de formation en plus du projet SIDES (système informatique distribué d évaluation en santé). 3

INTRODUCTION Les Epreuves Classantes Nationales (ECN), créées en 2004, permettent l accès des étudiants en médecine au troisième cycle des études médicales. L effectif d étudiants a considérablement augmenté depuis 2004, et le niveau des étudiants est tel que ceux-ci ont quasiment tous le même niveau théorique. Cela entraine donc un véritable bachotage autour des ECN, avec une course au mot clé, avec un classement peu discriminant et un nombre considérable d ex-aequo. L autre point noir des ECN est sa correction, extrêmement coûteuse, et extrêmement lourde à organiser. Une réforme est donc nécessaire, et attendue des étudiants. C est dans ce contexte qu un un projet de réforme a été proposé se déclinant en deux volets. Le premier volet est docimologique et consiste en la mise en place d épreuves innovantes comportant entre autres des dossiers cliniques progressifs, des questions de lecture critique d article et des tests de concordance de scripts (TCS). La diversification docimologique des épreuves permettrait d augmenter leur discrimination, et donc de diminuer le nombre d étudiants ex-aequo aux ECN. Le deuxième volet est logistique, avec une informatisation totale des ECN depuis la conception des sujets jusqu à la procédure de choix de postes d interne, avec le passage des épreuves des ECN sur un support informatisé. Cette informatisation permet la création d une plateforme en ligne, accessible pour tous les étudiants, sur laquelle chaque étudiant peut se préparer pour les ECN avec des sujets types. Ces sujets sont issus d une banque de donnée nationale, qui serait remplie avec des sujets d examens des différentes facultés et donc testés par les étudiants sur leur pertinence et leur discrimination. Une banque de données construite de la même manière, permettrait de rassembler des sujets possibles pour les ECN. Cette plateforme constitue le projet de système informatique distribué d évaluation en santé (SIDES), plate-forme numérique nationale distribuée dans toutes les facultés et dédiée à la constitution d une base d entrainement nationale. Cette informatisation permettrait par ailleurs la délocalisation totale des épreuves. Chaque étudiant passerait donc les ECN dans sa propre faculté. L informatisation permet enfin de 4

s affranchir de la correction humaine, et d avoir une correction juste et égalitaire pour chaque étudiant. Le TCS est un des modes docimologiques qui a été choisi pour être un des types d évaluation intégré aux ECN informatisées. Le TCS est un outil qui a été développé pour évaluer le raisonnement clinique, à travers l interprétation des données clinique en contexte d incertitude. Ceci est mis en place pour refléter la complexité des situations cliniques réelles 1. Les étudiants doivent interpréter la compatibilité de nouvelles données présentées avec l une des hypothèses pertinentes par rapport à la situation. Les réponses sont recueillies sur une échelle de Likert à 5 niveaux et comparées avec celles formulées par un panel d expert 2. Cet outil se prête parfaitement à l informatisation de l épreuve. Il comporte une vignette de cas clinique qui peut ainsi être optimisée et contenir, en plus, des données numériques (radiographies, photographies, vidéo courtes). La mise en œuvre des TCS est maintenant bien connue et la méthodologie de conception bien codifiée 3,4. Ce mode d évaluation, s il est utilisé pour la constitution des ECN informatisées dès 2016 doit être connu de nos étudiants. Il faut donc que ces derniers connaissent le fonctionnement des TCS et développent une véritable culture du TCS. Les évaluations facultaires permettraient ainsi de plus évaluer le raisonnement clinique de l étudiant et en plus de les préparer aux ECN. A l heure où SIDES s installe, l utilisation des TCS dans nos facultés de médecine françaises n est à ce jour pas bien connu. L objectif de ce travail est ainsi de recueillir et analyser l état des lieux de l utilisation du TCS dans nos facultés et d évaluer les possibilités d implantation pédagogique de ce type d évaluation auprès de nos étudiants. 5

MATERIEL ET METHODE L évaluation de l utilisation des TCS en 2013 a été menée à l aide d un questionnaire réalisé sur l outil Google Formulaire (Google Inc., Montain view, Californie, Etats-Unis) et diffusé via courriel. La première partie du questionnaire avait pour but de connaitre l implantation actuelle des TCS au cours des examens facultaires quel que soit le cycle et si possible de recueillir le type d enseignement actuellement évalué par TCS. La deuxième partie du questionnaire cherchait à savoir si les étudiants et/ou les enseignants avaient reçus une formation spécifique pour appréhender l utilisation des TCS. Enfin, le questionnaire cherchait à recueillir les pistes d implantation de ces TCS pour l année à venir à l aide de plusieurs propositions : Installer de manière obligatoire quelques TCS dans chaque évaluation facultaire. Utiliser le TCS comme outil d'apprentissage au cours d'enseignements dirigés. Attendre la mise en place de la plateforme SIDES et la base nationale d'entrainement. Laisser le choix de l'utilisation ou non des TCS au cours des évaluations facultaires. Prévoir un séminaire de formation pour étudiants Prévoir un séminaire de formation pour enseignants. Il était laissé la possibilité de répondre en texte libre pour recueillir le sentiment des enseignants sur les TCS et ses possibilités d implantation. Le questionnaire complet est présenté en annexe. L ensemble des facultés de médecine françaises soit 37 établissements ont été sollicités pour répondre à ce questionnaire via courriel puis appel téléphonique. Une seule réponse par faculté était exigée fournie soit par le doyen soit par le responsable du département de pédagogie médicale local. 6

Le questionnaire était rempli en ligne. Les données ainsi recueillies ont été analysées par une étude descriptive sur feuilles de calcul du logiciel Excel 2010 (Microsoft, Washington, Etats- Unis). 7

RESULTATS 1. REPARTITION GEOGRAPHIQUE DES FACULTES PARTICIPANTES Sur l ensemble des facultés sollicitées (37 établissements), 22 ont répondu au questionnaire (59,4 % des établissements). La liste de ces facultés participantes est présentée dans le tableau 1. Tableau 1 : Liste des facultés de Médecine ayant répondu au questionnaire. Amiens Limoges Reims Angers Lyon Sud Rennes Besançon Montpellier Rouen Caen Nancy Strasbourg Clermont-Ferrand Nice Tours Grenoble Paris 5 Versailles Lille 2 Lille catho Paris-Est Créteil Poitiers 2. ANALYSE DES RESULTATS La répartition des réponses sur l utilisation actuelle et la formation aux TCS est présentée en figure 1. a. Utilisation des TCS actuelle Seulement 5 des facultés participantes utilisent le TCS dans leurs examens au cours du deuxième cycle. Pour l une d entre elles, les TCS ont été utilisés ponctuellement expérimentalement. Les 4 autres les ont utilisés pour évaluer un ou plusieurs modules. Enfin, un établissement déclare l utiliser seulement en troisième cycle (il n est donc pas compté avec les 5 établissements précédents). b. Formation des étudiants et des enseignants Les étudiants de deuxième cycle ont reçu une formation ou tout au moins une initiation aux TCS dans 3 facultés sur 22. 8

Seulement 11 des facultés participantes mettent à la disposition des enseignants une formation adaptée à l utilisation des TCS pour des évaluations facultaires en dehors de la plateforme SIDES. c. Projet d implantation des TCS pour l année universitaire 2013-2014 L implantation des TCS est envisagée dans 14 facultés parmi les établissements ayant répondu ce qui représente 63% d entre elles. Parmi les autres, 3 sont indécises et 5 ne veulent pas implanter les TCS en 2013-2014. Figure 1: Répartition des réponses en pourcentage sur l utilisation des TCS en 2013, la formation actuelle des étudiants de deuxième cycle aux TCS, la formation actuelle des enseignants et les projets d implantation pour 2013-2014 dans les 22 facultés ayant répondu au questionnaire. 9

d. Modalités d implantation à envisager Parmi les propositions d aide à l implantation des TCS faites dans le questionnaire, trois sont majoritaires (figure 2). L implantation des TCS passe pour la majorité des facultés ayant répondu par une formation spécifique pour les étudiants et les enseignants ainsi que la possibilité d utiliser les TCS comme outil d apprentissage en enseignement dirigé. Figure 2: Résultat exprimé en pourcentage des choix faits par les 22 facultés participantes aux propositions d aide à l implantation des TCS faites dans le questionnaire. Les résultats majoritaires sont visualisés en rouge. En texte libre, de nombreux commentaires ont été rédigés 12 fois sur 22. Dix commentaires étaient favorables à l installation des TCS au cours des examens facultaires et à la préparation des étudiants à ce type d examen. Une faculté suggère une préparation inter-régionale des TCS. Par contre, deux commentaires étaient défavorables à l installation des TCS : «Na pas installer les TCS!». Un premier argument avancé était que : «Trop compliqué et chronophage à construire, et pas de démonstration que cela forme de meilleurs médecins!» et le deuxième plus modéré : «La résistance des enseignants est forte avec des interrogations réelles sur la pertinence. Nous avions fait une tentative d'introduction il y a quelques années et avions renoncé devant la difficulté de mise en œuvre, la faible qualité métrologique des TCS produits et les nombreuses interrogations.» 10

DISCUSSION L'élaboration de la connaissance (qui relève de la constitution de nombreux liens entre les différentes composantes des connaissances acquises et des expériences vécues) est la clef de la compétence clinique 5. Charlin and al 6 ont conçu un instrument, le test de concordance de script, qui mesure le degré d'élaboration d'un schéma de diagnostic. Les principes du test de concordance de script (TCS) ont été déjà rapportés 7. La réforme des ECN et son informatisation impose maintenant que nos étudiants de deuxième cycle soient familiarisés avec ce mode d évaluation du raisonnement clinique. La pédagogie d implantation de ce type d évaluation reste à penser dans de nombreuses facultés. 1. LIMITES DU QUESTIONNAIRE L interprétation que l on peut faire des résultats du questionnaire proposé dans ce mémoire doit être relativisée par le fait que seulement 59,4% des facultés Certaines facultés ont fait le choix de répondre à ce questionnaire parce qu elles étaient déjà sensibilisée à l utilisation des TCS ou bien au contraire parce qu elles étaient fermement contre son utilisation. Les résultats peuvent ainsi être artificiellement faussés par ce biais de sélection. 2. CONSTAT DU RETARD D IMPLANTATION PAR RAPPORT AUX ECHEANCES DES ECN INFORMATISEES Un grand nombre d établissements (77%) n ont à ce jour pas initié leurs étudiants aux TCS, tout particulièrement les étudiants entrant en DCEM2 qui seront les premiers à passer les ECN informatisées en 2016. Il apparaît surtout que 37% d entre elles ne souhaitent pas utiliser les TCS ou ne savent pas encore si elles vont mettre en place ce type d évaluation pour l année universitaire à venir. Si on considère que 86% des étudiants ne sont pas formés aux TCS à l heure actuelle, il apparaît difficile de modifier avec un calendrier aussi rapide l épreuve des ECN telle que la réforme le prévoit pour 2016. Il apparaît enfin qu il existe un frein très net à l implantation des TCS dans au moins deux facultés ayant répondu. Pourtant, des équipes ont déjà mis en place ce type de TCS en 11

deuxième cycle 8, montrant que l évaluation comprenant des TCS était plus discriminante pour l évaluation du raisonnement clinique que le simple cas clinique avec sa grille de correction. Bien entendu, un seul instrument d évaluation ne suffit pas 9. Cette appréhension majeure devra être résolue peut-être grâce au projet SIDES pour ne pas pénaliser les étudiants de ces facultés dans leur préparation des ECN informatisées de 2016. 3. PROPOSITION D UNE PEDAGOGIE D IMPLANTATION Duggan et Charlin 10 au cours d une analyse d évaluation d étudiants de 5 ème année par TCS ont dressé les grands principes d une implantation de TCS dans des épreuves facultaires. Il apparait tout d abord que la mise en place de TCS nécessite la collaboration de nombreux participants bien plus que pour la rédaction des épreuves classiques. Le deuxième point est la nécessité de préparer les étudiants à ce type d épreuve au mieux dès les premières années des études médicales. Enfin, les auteurs insistent sur l importance de mettre en place une base d entrainement aux épreuves (base en ligne par exemple). Ces trois conclusions semblent devoir être reprises pour optimiser l implantation des TCS dans nos facultés. a. Collaboration intra et/ou inter-facultés Il faut probablement avant tout organiser des séminaires de formation dédié aux TCS pour l ensemble des enseignants (comme le suggèrent 72,7% des facultés interrogées dans ce travail). La conception de ce système d évaluation semble complexe à la fois en terme de rédaction que de validation par un panel. C est pourquoi bon nombre de facultés sont encore réticentes à l implantation de ce type d évaluation dans les examens facultaire. La première limite est de trouver un panel d expert suffisant dans une seule faculté pour valider les TCS. Il est possible dans une spécialité de trouver un nombre d expert suffisant 8 (Praticiens séniors, chefs de cliniques, assistant, internes en fin de formation) mais limité. L association des facultés en inter-région dans les spécialités où le nombre de praticiens est réduit permettrait sans doute de résoudre cette difficulté comme l a suggéré un des établissements ayant répondu au questionnaire. Une analyse précise de la littérature menée par Dory et al. 3 a montré en fait qu un panel d expert optimal se situait entre 10 et 20 et qu il n y avait pas intérêt à dépasser ce chiffre. 12

b. Préparation des étudiants Le TCS peut être utilisé dans une démarche certificative comme dans une démarche formative 11. Lubarski et al. 12 dans une revue complète de la littérature sur les TCS et la conséquence de leur utilisation ont confirmé la possibilité d utiliser les TCS dans une démarche formative. L exercice de type TCS servait de base à une discussion formative centrée sur la problématique entre enseignants et apprenants. Ainsi le TCS montrer ses effets pédagogiques immédiats, par laquelle il permet d'identifier et de compléter les lacunes dans les structures de connaissances des apprenants. On en sait peu sur l'impact éducatif à long terme de la méthode de concordance de script sur l'enseignement et l'apprentissage. L idéal serait sans doute de sensibiliser les étudiants aux TCS dès les premières années de médecine y compris pour l enseignement des matières fondamentales. Les TCS ont déjà été utilisés au cours d ateliers en formation médicale continue 13. Ces ateliers pouvaient être utilisés avec confiance comme méthode d enseignement alternative aux ateliers classiques. Ainsi, Hoff et al. 14 ont développé ce type de projet en utilisant le TCS comme outil d enseignement et d apprentissage en première année de médecine à Montréal. Cette expérience était limitée et ne permettait pas d évaluer les impacts qu une telle innovation pourrait avoir sur la consolidation des connaissances ou l acquisition du raisonnement clinique par les étudiants. Néanmoins, cette approche était intéressante. En pratique, des groupes d étudiants étaient réunis en enseignements dirigés. Dans chaque groupe, les étudiants discutaient et répondaient aux TCS en groupe. Puisqu ils ne pouvaient fournir qu une seule réponse par salle, les étudiants devaient débattre et justifier leur raisonnement à leurs collègues. Ils validaient la réponse informatiquement. Des tuteurs (enseignants) étaient présents pour animer la discussion et suggérer des pistes de réflexion. Après cela, l enseignant présentait la distribution des réponses fournies par le panel d experts et donnait des explications au besoin. Ce type d approche formative semble être une piste très intéressante qui permettrait à la fois l apprentissage et la préparation aux épreuves de type ECN informatisées. Parmi les facultés ayant répondu au questionnaire, 68,2% seraient ainsi très favorable à ce type de proposition pour implanter les TCS auprès des étudiants. L association à l apprentissage en plus de l entrainement serait ainsi idéale et à privilégier plutôt que d imposer des TCS aux examens facultaires de manière obligatoire sans accompagnement régulier par enseignements dirigés. 13

Il a également été montré que les TCS pouvaient être utilisés pour l évaluation des matières fondamentales dès le premier cycle sans aucune difficulté 15. c. Base d entrainement en ligne : le projet SIDES Le TCS nécessite un entrainement de la part des étudiants, dont certaines modalités viennent d être énoncées. Ce type d examen peut bien sûr être organisé sur papier mais gagne en efficience à être organisé sur support informatique. L introduction des TICE (Technologies de l Information et de la Communication pour l Enseignement) est le meilleur moyen de mettre en place ce type d examen. La constitution d une banque de TCS informatisée en réseau est un des moyens qui peut être envisagé pour optimiser la préparation des étudiants tout en facilitant la conception des épreuves, le contrôle et la validité des tests 10 et ainsi faire le lien entre les différents établissements du territoire. C est dans cet esprit que se développe le projet SIDES dans les facultés dont le but est de structurer la formation des enseignants, d organiser l entrainement des étudiants sur une base nationale et à partir de là d organiser les épreuves réformées des ECN pour une égalité des chances optimisée pour chaque candidat. Ce projet est universel sur le territoire et entièrement informatisé, accessible en réseau sur internet. Plus des deux tiers des facultés interrogées ne souhaitent pourtant pas attendre le déploiement de SIDES et font le choix de se lancer dans des formations complémentaires dans leur propre institution avec un entrainement des étudiants le plus précoce possible (enseignements dirigés). 14

CONCLUSION Il semble donc, dans les limites des facultés ayant répondu à notre questionnaire, qu il y ait un retard très net à l implantation des TCS en France en 2013. La majorité des facultés ne pensent pas qu il faille attendre SIDES pour sensibiliser étudiants et enseignants même si cet outil s avère à terme indispensable. L implantation des TCS semble nécessaire très tôt dans les études médicales y compris dans les disciplines fondamentales. Ce n est pas tant le TCS d évaluation qui doit être privilégié mais plutôt le TCS formatif au mieux en enseignements dirigés dès le premier cycle. Ceci aura l avantage d apprendre très tôt aux étudiants le raisonnement clinique et de les sensibiliser à ce type d épreuve en préparation de leur ECN. La mise en place de TCS d évaluation en sera ainsi facilitée en deuxième cycle. Enfin, il semble nécessaire pour les étudiants actuellement en deuxième cycle et pour leur enseignants de mettre en place des séminaires de formation en plus du projet SIDES. 15

RÉFÉRENCES 1. Charlin B, Gagnon R, Lubarsky S, et al. Assessment in the context of uncertainty using the script concordance test: more meaning for scores. Teach Learn Med. 2010;22(3):180 186. 2. Carrière B, Gagnon R, Charlin B, Downing S, Bordage G. Assessing clinical reasoning in pediatric emergency medicine: validity evidence for a Script Concordance Test. Ann Emerg Med. 2009;53(5):647 652. 3. Dory V, Gagnon R, Vanpee D, Charlin B. How to construct and implement script concordance tests: insights from a systematic review. Med Educ. 2012;46(6):552 563. 4. Lubarsky S, Dory V, Duggan P, Gagnon R, Charlin B. Script concordance testing: from theory to practice: AMEE guide no. 75. Med Teach. 2013;35(3):184 193. 5. Bordage G. Elaborated knowledge: a key to successful diagnostic thinking. Acad Med. 1994;69(11):883 885. 6. Charlin B, Brailovsky C, Leduc C, Blouin D. The Diagnosis Script Questionnaire: A New Tool to Assess a Specific Dimension of Clinical Competence. Adv Health Sci Educ Theory Pract. 1998;3(1):51 58. 7. Charlin B, Roy L, Brailovsky C, Goulet F, van der Vleuten C. The Script Concordance test: a tool to assess the reflective clinician. Teach Learn Med. 2000;12(4):189 195. 8. Jouneau S, Luraine R, Desrues B. Intérêt des tests de concordance de script pour évaluer le raisonnement et l organisation des connaissances des étudiants de quatrième année des études médicales en France. Pédagogie Médicale. 2012;13(4):225 232. 9. Jouquan J. L évaluation des apprentissages des étudiants en formation médicale initiale. Pédagogie médicale. 2002;3(1):38 52. 10. Duggan P, Charlin B. Summative assessment of 5th year medical students clinical reasoning by Script Concordance Test: requirements and challenges. BMC Med Educ. 2012;12:29. 16

11. Giet D, Massart V, Gagnon R, Charlin B. Le test de concordance de script en 20 questions. Pédagogie Médicale. 2013;14(1):39 48. 12. Lubarsky S, Charlin B, Cook DA, Chalk C, van der Vleuten CPM. Script concordance testing: a review of published validity evidence. Med Educ. 2011;45(4):329 338. 13. Labelle M, Gagnon RJ, Thiverge RL, Laprise R, Sainte-Marie L-G, Charlin B. Formation continue en petits groupes sur l ostéoporose: comparaison d un atelier basé sur le test de concordance de scripts (TCS) et d un atelier classique. Pédagogie médicale. 2003;4(3):145 153. 14. Hoff L, Bestawros A, Kassis J, Charlin B. Le test de concordance de script comme outil d enseignement et d apprentissage : un projet-pilote pour les étudiants de première année de médecine. Pédagogie Médicale. 2010;11:51 56. 15. Humbert AJ, Johnson MT, Miech E, Friedberg F, Grackin JA, Seidman PA. Assessment of clinical reasoning: A Script Concordance test designed for pre-clinical medical students. Med Teach. 2011;33(6):472 477. 17

ANNEXE 18

19