Appropriation du livret de certification de la compétence à exercer la médecine générale, par les internes de médecine générale de Paris XII et par leurs tuteurs Mémoire pour le DIU de Pédagogie Médicale Année 2007/2008 Auteur : Dr Sandrine Bercier Directeur : Pr Claude Attali
Introduction Depuis quelques années, tous les départements de médecine générale (ou presque) ont adopté un cadre pédagogique basé sur le modèle constructiviste. Ce modèle est centré sur l interaction enseignant enseigné, avec une vision la plus systémique possible, à partir de situations authentiques. A Paris XII, les compétences, définies comme «un savoir agir en situation complexe» sont issues de la réflexion de la WONCA et du CNGE. Au département de Créteil, l équipe dirigeante a choisi 7 domaines de compétences autour desquels s articulent un certain nombre de tâches à réaliser (des gestes à savoir réaliser, des travaux de récits cliniques, des items du journal de bord, des actions de santé publique ) Ces travaux sont, tout d abord, évalués sur les lieux de leurs réalisations : 1 par les chargés d enseignement en stage?? pour les travaux réalisés lors des stages (journal de bord et récits cliniques en situation authentique) 2 par les enseignants «théoriques» pour les travaux facultaires Il existe un lien étroit entre tous ces travaux. L évaluation finale de ces apprentissages est le plus souvent réalisée par les tuteurs. La création du DES de médecine générale a accéléré la mise en route de la certification des compétences. Le mémoire du DES réunit l ensemble des travaux. Dans cette logique, il semblait essentiel d avoir un outil servant de guide aux internes afin de repérer les différents travaux, voir leurs avancées et avoir à disposition l ensemble des grilles d évaluation utilisées par leurs enseignants. C est le Dr Laurence Compagnon qui a crée cet outil : le livret de certification. Il est proposé aux internes en version papier et se divise en trois parties. -La première partie «certification des compétences» reprend l ensemble des travaux avec leur validation (tampon ou signature) par les tuteurs, ECA ou chargés d enseignement en stage. -La deuxième partie «autoévaluation» permet à l interne d évaluer toute tâche réalisée. Il s agit d un tableau incluant en ordonnée l ensemble des travaux, et en abscisse un déroulé des 3 ans du DES découpés en 6 semestres. Ce tableau permet à l interne d avoir une vue «panoramique» des tâches réalisées et donc de celles qui restent à faire. Il a aussi l objectif de lui permettre de prendre une place active dans sa propre expertise. Son remplissage est facultatif. -Enfin, la troisième partie présente l ensemble des grilles de validation utilisées par les ECA ou les tuteurs, concernant les gestes et techniques, les travaux de santé publique, les récits cliniques et les items du journal de bord. Le livret a plusieurs objectifs. Il est évidemment au cœur de la validation du DES, permettant une lecture synthétique de l ensemble des travaux réalisés à mettre dans le mémoire. Il est une aide lors des entretiens avec le tuteur. Il veut rendre l interne responsable de ses apprentissages : ce dernier peut s auto évaluer régulièrement pour gérer son temps et son investissement. C est à lui de choisir et de faire valider les travaux qu il juge représentatifs de ses apprentissages. Vœu pieux ou réalité? En 2007-2008, lors du séminaire d accueil de T1 et T2, le livret de certification a été remis aux internes. Une séance plénière d explication et une séance en atelier pour la manipulation et l appropriation de l outil ont été programmées à ce moment. Les tuteurs et ECA avaient été sensibilisés puis initiés au livret l année précédente, avec un rappel lors du séminaire «tutorat» en février 2008. La nécessité d évaluer l utilisation de cet outil au bout d un an de mise en pratique a motivé ce 1
travail. Le thème est l appropriation du livret de certification par les internes et par leurs tuteurs. L objectif n est pas de juger de la satisfaction mais du niveau d appropriation, premier préalable à une critique objective et constructive. La méthode choisie est une enquête qualitative. L intérêt est de recueillir des avis pour analyser les freins, les blocages ou les intérêts de chacun. Au départ, une étude par entretien de groupe type focus group avait été prévue mais n a pas pu être réalisé par manque de participants volontaires et représentatifs. Il a donc été finalement réalisé l envoi d un questionnaire par courriel, l un destiné aux internes (annexe 1), le second aux tuteurs (annexe 2). Ils ont été réalisés avec des questions similaires pour essayer de récolter une image en miroir des perceptions des uns et des autres. Le questionnaire reprend les trois chapitres du livret de certification puis demande une évaluation globale. Des questions plus théoriques sur les définitions de compétence ou d autoévaluation ont aussi été posées. Il était composé de questions fermées et ouvertes (avec, le plus souvent, propositions d items et avec réponse libre). Il a été adressé début juillet 2008, date à laquelle les entretiens avec les tuteurs d octobre, février et juin ont (ou auraient) dus être réalisés. Les populations étudiées étaient les T1, T2 et leurs tuteurs. Résultats Participants Le taux de participation est d un tiers des internes, 11 étudiants de T1/34 dont 2 étudiants militaires, 9 étudiants de T sur 33 dont 1 militaire. Dix tuteurs sur vingt ont répondus. Utilisation du livret Cinq internes de T1 n avaient eu que l entretien d accueil et deux internes de T2 n avaient eu aucun entretien au cours de l année 2007-2008. Ces étudiants n avaient donc pas eu l occasion d avoir un dialogue avec leurs tuteurs autour du livret de certification. Tous les autres ont eu l occasion de présenter leur livret de certification à leurs tuteurs. Les tuteurs déclarent en moyenne 4.1 entretiens par tuteur pour l année. (À noter que chaque tuteur a entre 1 et 4 internes et qu ont été exclu du questionnaire les entretiens collectifs annuels). Seuls cinq enseignants (n=10) déclarent avoir eu la présentation du livret de certification lors des entretiens individuels. Onze internes (n=20) ont déclaré n avoir jamais présenté leur livret à leur tuteur. Sur les neuf étudiants ayant présenté leur livret de certification à leur tuteur, huit l avaient fait remplir par les chargés d enseignement en stage, sept avaient rempli la partie autoévaluation, deux avaient fait remplir par les ECA, deux par l administration et deux par leur tuteur, un a présenté un livret vierge. Lors de l entretien, six internes ont déclaré avoir reçu des propositions ou des commentaires sur le livret de la part de leur tuteur (quatre ayant présenté leur livret et deux ne l ayant pas présenté). En revanche, seul un tuteur déclarait avoir fait des propositions. C est le même tuteur qui a fait des propositions dans la partie 1 «certification des compétences» et la partie 2 «autoévaluation». 2
Analyse de la première partie «certification des compétences» Validation du livret Rappelons que les différents travaux doivent être validés soit par les ECA, l administration, les chargés d enseignement ou les tuteurs. Seize étudiants n avaient pas fait validé leur livret de certification par l administration. Les causes évoquées étaient : la non connaissance de cette consigne (n=7), l existence de la liste d émargement validant leur présence (n=7), le refus des ECA de signer le livret pour valider leur présence (n=4), l absence de réclamation des ECA lors des cours (n=3), la non nécessité de validation pour le moment (n=3), le refus de la scolarité (n=2), le problème du aux horaires de la scolarité (n=2), ou l oubli de la consigne (n=1). Trois tuteurs (sur 5 ayant eu une présentation du livret de certification lors de l entretien) ont déclaré avoir vérifié la validation par l administration ou par les chargés d enseignement. Quatre tuteurs (n=10) ont déclaré trouver le repérage des différents modules difficile, évoquant un chapitre «trop compliqué», «trop complexe» ou «trop touffu». Un tuteur a précisé que «la complexité du document entrave son appropriation». Deux tuteurs ont validé sur le livret de certification les modules validables. Sur les huit tuteurs n ayant pas effectué de validation, seul un a évoqué la non présentation du livret par l interne. Rappelons que le livret de certification a été déclaré présenté lors des entretiens par seulement 5 tuteurs. Les causes de non remplissage évoquées par les tuteurs étaient : l oubli, tout en précisant que la validation administrative avait été faite (n=2) ou le manque d expérience (n=1), l absence de travaux à valider (n=3) ou la complexité, l aspect «fastidieux» du document (n=2). Le remplissage de la première partie Le remplissage est jugé «aisé» ou «plutôt aisé» par 10 internes (n=20) et par 7 tuteurs (n=10) Les raisons évoquées par les internes d un remplissage «difficile» ou «plutôt difficile» concernaient : 1 soit des problèmes liées à la «lisibilité» ou la «complexité» du livret de certification (n=3), un étudiant militaire a jugé les gestes inadaptés à sa pratique, 1 2 soit les problèmes techniques (n=6) cités ultérieurement (refus de la scolarité, refus des ECA, horaires d ouverture de la scolarité). Un étudiant a évoqué «la peur de perdre ou abîmer le document papier en se déplaçant avec lui sur les lieux de stage et à la faculté». 1 3 Enfin, un interne a évoqué la difficulté à «s évaluer soi-même». Les tuteurs, quant à eux, évoquaient, la complexité du livret, l aspect «fastidieux» du remplissage ou l incompréhension de l interne de l intérêt du livret. Intérêt de la première partie Cette partie est jugée intéressante pour l interne lui-même par 10 étudiants (n=20). Pour ceux qui avaient répondu favorablement, il leur était demandé de lister les intérêts. Les réponses évoquaient l aspect pratique de ce chapitre («récapitulatif», «être sûr d avoir validé une tâche ou un travail») pour 5 étudiants. D autres (n=3) s intéressaient à un aspect plus philosophique : définir «de manière précise» les compétences «nécessaires» ou «minimales» requises à l exercice professionnel. Pour certains ces compétences sont celles du médecin généraliste dans l absolu, pour d autres ce sont les compétences à atteindre en fin de cursus universitaire. Parallèlement, il a été demandé aux tuteurs de décrire les intérêts de cette première partie pour 3
l interne et pour eux-mêmes. Globalement, l intérêt pour leurs internes était «d avoir une vision globale des travaux leur permettant de faire le point» (n=4). Pour l un, l intérêt était purement administratif. Un tuteur ne trouvait aucun intérêt dans cette partie pour ses internes, trois étaient «sans opinion» et un n avait «aucun commentaire» à faire. Quant à l intérêt pour eux- mêmes, la première partie leur permettait «de suivre le cursus» de leur interne (n=3), en «contrôlant ses acquisitions» (n=1), en voyant «son évolution» (n=1). Cette partie pouvait être un «guide permettant de ne rien omettre» (n=1) car «regroupant l ensemble des validations en un seul document» (n=1). Pour un tuteur, cela lui a permis de «comprendre l énormité du travail demandé». Un autre utilisait le livret pour «structurer son entretien». Enfin, deux tuteurs n avaient soit pas d avis (n=1), soit aucun commentaire à faire (n=1). Compétence, mais finalement de quoi parle-t-on? Il a été demandé aux internes de définir ce qu est pour eux une compétence. Une seule définition s est approchée de la définition: «capacité à gérer une situation pour que le patient bénéficie d un soin offert par les données actuelles de la science et adapté aux besoins du patient.». La notion de savoir agir n est apparue que dans deux autres réponses : «capacité à avoir une réaction face à une situation donnée», «aptitude permettant au professionnel de répondre de façon adaptée et pertinente à une sollicitation». Autrement, on parlait volontiers de «savoir» (n=2), de «savoir faire» ou «savoir pratique» (n=3), de «connaissance» (n=2), voire de «connaissance pleine et définitive», d «acquisition» (n=2) ou de «capacité» (n=5). La notion de situation complexe était parfois sous entendue (n=3), comme dans la première citation, mais n est jamais apparue clairement. Le caractère transposable ou la notion de famille de situation n ont jamais été évoqués. Certains voyaient la compétence comme inhérente à leur statut d interne : la compétence est «ce qu on est censé faire (n=1), ou pouvoir faire (n=1)», c est «la capacité minimale requise pour être médecin généraliste» ou «c est une connaissance approfondie me donnant le droit de juger en la matière». A noter qu ils parlaient plus souvent de leur futur exercice en utilisant le mot «métier» que «profession» (ce qui est valable dans toutes les questions ouvertes). Enfin, il leur était demandé de préciser si ces différentes compétences étaient en adéquation avec la vision qu ils s étaient faite de leur exercice : 1 Dix trouvaient qu il y avait une adéquation. Trois se faisaient l idée d un champs de la médecin générale plus restreint, un ne savait pas ce qu était la médecine générale avant son entrée dans le DES. 1 2 Trois ont répondu des «plus ou moins» ou «à peu près», sans commentaires. 1 3 Trois ont déclaré qu il n y avait pas d adéquation, un seul a apporté des précisions, en jugeant les compétences requises comme en «inadéquation complète avec la réalité du terrain». Analyse de la deuxième partie «L autoévaluation» Utilisation de la partie autoévaluation Dix internes n avaient pas rempli le chapitre «autoévaluation», cinq l avaient rempli juste avant le(s) entretien(s) avec leur tuteur, trois une fois par semestre et deux tous les deux mois. 1 Ceux qui ne remplissait pas n y trouvaient «pas d intérêt» (n=5), n avaient «pas le temps» (n=4) ou le trouvaient «trop compliqué», ou «trop scolaire» (n=4). 4
1 2 Ceux qui le remplissaient avant l entretien avec le tuteur le faisaient pour «optimiser l entretien» et «parce qu ils n avaient pas le temps de le faire plus régulièrement». 1 3 Enfin, ceux qui l utilisaient une fois par semestre au moins avaient choisi ce rythme dans un but organisationnel «évaluation du temps pour réaliser une tâche» ou fonction du temps de disponible. Enfin, une interne signalait qu elle «s y plongeait très régulièrement car c était déprimant de voir tout ce qu il restait à faire». Trois tuteurs ont vérifié le remplissage de la partie autoévaluation. Les tuteurs n ayant jamais ou pas systématiquement vérifié cette partie le justifiaient par l absence de présentation du livret par l interne ou l absence d entretien (n=2), par «oubli» ou «absence d appropriation de l outil» (n=2) ou par la durée de l entretien («c est prévu pour un autre entretien» ou «pas assez de temps pour tout aborder») (n=2). Un seul tuteur a déclaré avoir fait des propositions à son tuteuré : «remplir au fur à mesure pour gagner du temps et ne rien oublier». Intérêt de la deuxième partie Six internes ne trouvaient aucun intérêt à cette partie, deux précisaient qu «ils s estiment adultes» et «que leur réflexion personnelle suffit à s autoévauler», «le transcrire ne sert à rien». Une interne a soulevé le paradoxe entre exigence de prouver ses compétences au sein de la faculté alors qu «on laisse seul un interne gérer des patients pendant ses gardes». Pour les autres, cette partie leur permettait de faire l «état de leurs connaissances actuelles» (n=4), de les «remettre en question» (n=3), de faire «le point sur les compétences à acquérir» (n=6) et ainsi d «avoir une vue d ensemble» sur leurs apprentissages (n=5). Un interne a précisé que pour lui, ce chapitre avait plus d intérêt que le premier car il était «plus concret». Les tuteurs pensaient que ce chapitre permettait à leurs internes d «évaluer l état de leurs connaissances» ou «compétences» (n=3), de «s habituer à la certification» (n=1), «de prendre conscience» (n=1). Enfin, deux tuteurs pensaient que ce chapitre n était pas compris (n=1) ou pas utilisé par leurs internes (n=1). L intérêt retiré par les tuteurs était de pouvoir «évaluer la progression ou l état actuel des connaissances» (n=6), de «voir ce que l interne pense de lui» (n=1) et d améliorer le dialogue avec les seniors (n=3), tuteurs (n=2) et ECA (n=1). Autoévaluation et Intérêt Il a été demandé aux internes de définir l autoévaluation et d en donner les intérêts. On retrouve ici la notion «état des lieux» (n=5), de «remise en question» (n=6), de«mesure des connaissances à acquérir» (n=6) comme précédemment. L autoévaluation est une évaluation régulière (n=3) (pour un interne «quotidienne») de «soi par soi» (n=3). Apparaît aussi la notion de «se noter» (n=1) ou «se juger» soi même (n=1), avec une consonance morale (n=2) : «une évaluation franche et honnête», «se juger en son âme et conscience». Elle permet, grâce à une «remise en question» (n=5) de «progresser» (n=9) et de «savoir où on en est» (n=3), pour «mieux se connaître» (n=1) et «avoir confiance en soi» (n=1) C est un travail «indispensable» (n=1), une «formation active» (n=1), qui permet d «organiser la mise à jour des connaissances» (n=1) et qui est la «base de la formation continue» (n=1). Analyse de la troisième partie «Les annexes» Recours et intérêt des internes 5
Quatorze internes ont déclaré avoir eu recours aux annexes, avec une grande inadéquation entre les T 1 (10 recours sur 11 T1) et les T2 (4 recours sur 9 T2). Ceux qui y avaient eu recours l avaient fait par curiosité (n=8), avant la réalisation de leurs travaux (n=8, avec 6T1 et 2 T2), avant la présentation aux enseignants (n=8, avec 6T1 et 2 T2) ou après demande de leur ECA ou tuteur (n=3). Ceux qui n y avaient pas eu recours trouvaient le chapitre «trop compliqué» (n=2), «inutile» (n=2), ou «inadapté» (n=1). Ce chapitre leur apporte «une description précise des travaux à réaliser» (n=7), leur permet de «réviser» (n=5) et de «s autoévaluer» (n=1) grâce aux grilles de gestes et techniques. C est «une aide» (n=1). Il donne «les consignes» (n=1). Il permet de «mieux cadrer» (n=1) et de «reprendre l ensemble des travaux» (n=1) «surtout en Santé Publique» (n=1) et pour le journal de bord (n=1). Recours et intérêt des tuteurs Sept tuteurs ont eu recours aux annexes : quatre par curiosité, cinq avant la lecture des travaux, trois suite à une questionnement, un suite à des réflexions faites sur un travail par un ECA. Les trois tuteurs ne l ayant pas utilisé le justifient par l absence d entretien, le manque de temps, ou l absence de nécessité à ce jour. Les tuteurs jugent ce chapitre intéressant pour eux car c est «un guide de travail» (n=1) permettant de «comprendre ce qui est demandé aux internes» (n=1) avec «un accès facile aux grilles» (n=1), grilles qui favorisent «l harmonisation des évaluations» (n=2). Deux tuteurs le jugent «compliqué» et un tuteur l estime «sans intérêt». Vision globale du livret de certification Pour qui le livret de certification est-il un outil utile? Le tableau décrit les réponses à cette question. D après les internes tuteurs interne 11 8 ECA 5 5 tuteurs 8 8 Jury DES 7 6 aucun 4 0 Plusieurs réponses étaient possibles. Aucune combinaison n était prédominante chez les internes. En revanche, 5 tuteurs ont choisi les 4 possibilités et trois le couple interne tuteur. Propositions Propositions des internes (14 internes sur les 20): 1 Supprimer le livret de certification (n=5): «encore une contrainte administrative», «inutile pour le jury du DES, car le mémoire suffit», proposition d entretien biannuel entre l interne, le tuteur et le chargé d enseignement du lieu de stage. 1 2 Améliorer la lisibilité ou «simplifier» (n=8), proposition d un «découpage» (n=2) avec un livret annuel (n=1). 1 3 A l inverse, un interne propose la réalisation d un seul document recueil de l ensemble des livrets remis aux internes. 1 4 Supprimer la validation par les ECA ou par l administration (n=7). 1 5 Introduire le Journal de bord (n=3), dans la partie «autoévaluation» (n=1). 6
1 6 Ne pas préciser les dates exactes des gestes réalisés (n=1). 1 7 Modifier certains actes incompatibles à l exercice de la médecine militaire (n=2). Propositions des tuteurs (sept tuteurs sur 10): 1 «Simplifier» (n=4) ou «changer la structure» (n=2) car «nombreux allers retours» (n=2), «utilisation complexe» (n=3) 1 2 Faire un récapitulatif annuel des taches pour améliorer la lisibilité (n=2) 1 3 Faire un format plus facile à transporter (n=1) 1 4 Expliquer plus concrètement les objectifs du livret (n=1) 1 5 «Revoir les gestes et techniques» (n=1) Commentaires Commentaires des internes : Peu de commentaires sur le livret: deux internes ont précisé que les parties autoévaluation et annexes sont plus intéressantes que la première. Trois internes ont relaté l absence d investissement des seniors, chargés d enseignement hospitaliers (n=2) ou tuteur (n=1). Le reste des commentaires concerne une critique sur la surcharge de travail (n=6), particulièrement pour le journal de bord (n=3). Deux internes tiennent à préciser l intérêt du module gestes et techniques. Commentaires des tuteurs : Le livret est jugé «essentiel». Il est un «guide remarquable», nécessaire à la mise en place du DES (n=2). Deux tuteurs jugent que trop de travaux sont demandés aux internes, impliquant «un bâclage des travaux» (n=1), dénonçant la réalité de la prise en charge des internes par leur tuteur nécessitant un minimum de 15 à 20h par an. Enfin, un tuteur s est déclaré «perdu» et a avoué «vouloir renoncer à son rôle de tuteur». Discussion Choix d un travail qualitatif Il permet d avoir une vision plus globale des opinions des internes et de leurs tuteurs. L objectif était de pouvoir cerner au plus près l appropriation du livret de certification. Il était donc nécessaire de recueillir un florilège de commentaires, d avis ou de critiques permettant de s approcher au mieux des représentations de l outil «livret de certification», et à travers lui, le choix de la méthode d évaluation. Le choix méthodologique initial s était porté sur l utilisation de focus group. Toutefois, la constitution de groupe homogène, volontaire a été délicate. Nous avons donc opté pour une enquête par questionnaire. Elle permet d avoir une parole plus libre même si le questionnaire ne se nourrit pas de la dynamique d une réflexion collective. Un certain nombre d items à questions fermées a été introduit, permettant d évaluer l investissement et la réalité de l utilisation du livret de certification. Il est d ailleurs intéressant de noter que nombre de participants avaient une vision très définitive du livret, des opinions très arrêtées ; ils déclaraient par ailleurs ne l avoir jamais lu, jamais rempli ni présenté aux enseignants. Cette notion est fondamentale à intégrer, pour voir que le premier frein à l utilisation d un outil est l à priori, la représentation négative que l on s en fait. Limite de cette étude Le choix de la date a été dicté par la contrainte de la présentation de ce mémoire. Il était probablement un peu tôt, huit mois après l introduction du livret. De nombreux internes n avaient eu qu un ou deux entretiens avec leur tuteur et la plupart n avaient pas de travaux 7
validés, réduisant ainsi la familiarisation avec l outil. Le nombre de participants est aussi limité, un tiers des internes et la moitié des tuteurs. Il n en demeure pas moins que, pour une étude qualitative, ce taux de participation permet un recueil suffisamment diversifié. Cette première étude pourra servir de préalable à un travail plus approfondi pour évaluer l adhésion au mode d évaluation et à ses outils. L évaluation, un enjeu pédagogique Finalement peut-on comprendre ou adhérer à une méthode d évaluation si on ne comprend ou n adhère pas au paradigme d apprentissage? Ce questionnaire a servi de tribune à un certain nombre de critiques plus sur le fond que sur l outil. Il est culturellement ou socialement difficile de sortir d un modèle d enseignement classique des études médicales débutées et ponctuées par des évaluations sanctionnantes. Devenir interne implique un nouveau rôle social. Il passe brutalement du statut d étudiant à celui de professionnel face au patient, aux familles et face à l institution. Il doit se convaincre d être capable, pour assumer cette responsabilité. Et dans ses efforts de réassurance, il n est pas toujours enclin à adhérer à un apprentissage qui lui demande de s évaluer, de se remettre en cause et faire preuve de ses compétences. Se persuadant d être médecin, il rechigne à prouver qu il peut être docteur. Dans cette période de changement et de doutes, la réflexivité n est pas toujours un fonctionnement spontané. C est tout l enjeu que d initier ce phénomène de «destruction reconstruction» pour pouvoir obtenir une adhésion des enseignés, mais aussi des enseignants au modèle d apprentissage. Par ailleurs, il ressort de certaines réponses, une dissociation entre ce qui est demandé à la faculté et l exercice hospitalier ou universitaire. Le modèle d apprentissage se base sur des situations authentiques. Il est difficile pour eux d intégrer que l apprentissage peut résider uniquement dans l analyse de leur pratique et non plus sur un travail «académique». Ils voient donc la traçabilité des apprentissages comme un travail en plus et ne l intègrent pas spontanément dans leur processus de formation. Ils revendiquent leur statut d «adulte» et trouve l apprentissage «trop scolaire» (alors que stricto sensu c est bien le contraire d un travail scolaire qui leur est demandé). Malgré tout, la place de l autoévaluation est jugée essentielle, de manière unanime. Elle est perçue comme constructive, permettant de se situer dans le temps présent par rapport à l avancée des apprentissages. Bien que ce chapitre soit jugé souvent «trop vaste», il remporte une bonne adhésion. Il est peut-être le chapitre le plus important du livret et devrait donc se situer en première partie, la validation des différents travaux étant finalement l aboutissement de ce travail personnel. Appropriation, clé de la qualité de l évaluation Il est sans doute trop tôt pour juger de la réelle appropriation du livret ; il n en demeure pas moins que son utilisation à ce jour reste modeste. Les déclarations des internes et des tuteurs sont concordantes : la moitié des étudiants ont présenté leur livret de certification à leur tuteur lors de l entretien individuel. De même, un seul tuteur a déclaré avoir fait des propositions et six internes ont déclaré avoir eu des commentaires ou des validations de la part de leur tuteur. On peut en tirer deux types d enseignement : -Tout d abord, les enseignants et enseignés ne sont pas encore familiarisés avec l outil, ce qui ressort nettement des commentaires des tuteurs. Cette introduction est nouvelle. Le document est épais et nécessite une lecture approfondie pour se l approprier. 8
-Ensuite, il est probable qu un certain nombre d internes mais aussi de tuteurs ne sont pas convaincus de l intérêt du livret lors des entretiens en tant qu outil de suivi et recueil de validation. La motivation des tuteurs est sans doute à renforcer, car ils sont les premiers promoteurs de l outil auprès des étudiants. Le préalable de l appropriation est la bonne compréhension de l outil et de son intérêt. La répartition des travaux à présenter se fait par compétence et non de façon chronologique. Ce choix est en parfaite adéquation avec l évaluation des apprentissages qui admet l autoévaluation, la collaboration des pairs et l absence de contrainte de temps. Cela oblige à une compréhension claire de la notion de «compétence», d «évaluation des apprentissages». Il apparaît que la notion de «compétence» est très confuse et est souvent résumée à une acquisition à obtenir, s intégrant dans une liste d objectifs à réaliser, retombant dans un paradigme d enseignement par objectif. On retrouve cette représentation chez les internes qui décrivent le livret comme «un carnet de note» ou «une liste des travaux obligatoires». Toutefois, l ensemble des compétences est en adéquation avec l image qu ils se faisaient de leur futur exercice. Ce n est pas la qualité des compétences mais la quantité de travaux à fournir qui pose problème pour un grand nombre d internes et la moitié des tuteurs. C est un des freins majeurs, évoqué pour justifier l absence d intérêt du livret. Une évaluation pertinente nécessite du temps : internes et tuteurs se plaignent d en manquer pour mener à bien cette tâche et présenter des travaux et des évaluations de qualité. Livret de certification, l outil En effet, les freins concernent plutôt le contenu. L intérêt du livret comme «guide» ou «récapitulatif» est souvent cité. D après Jouquan, «les étudiants s adaptent à ce que l on attend d eux ( ). Il n est pas acceptable que les étudiants soient placés en situation divinatoire par rapport aux intentions des enseignants» 1. Le livret de certification a pour objectif de rendre à l évaluation la place centrale qui est la sienne. Les objectifs de l évaluation 1 sont de motiver l étudiant, dépister les erreurs et les corriger, faire progresser les apprentissages, orienter les stratégies et permettre la promotion. Hormis le dernier point, toutes ces notions ont été évoquées dans les réponses, pour qualifier les intérêts portés aux deux premières parties, essentiellement pour la partie «autoévaluation». Les critiques sont clairement orientées sur la première partie jugée «redondante» par rapport à la seconde et finalement «plus administrative». Il est possible, comme précédemment évoqué, qu elle prenne plus la place de validation et face suite à la partie «autoévaluation». Finalement, la conclusion du questionnaire est relativement optimiste. Le livret est jugé utile pour les internes en premier lieu, pour leur tuteur et la validation du DES. Pari gagné? Malgré des freins notables et une résistance inébranlable de certains, la place de l outil semble être établie. Il est donc nécessaire de renforcer la motivation des internes et des tuteurs pour améliorer l adhésion et donc favoriser l appropriation. Critiques sur la forme du document Le qualificatif le plus souvent associé au livret de certification est «compliqué», c est tout autant imprécis que significatif. Tous veulent un livret «simplifié». Il est probable qu il faille 1 Jean JOUQUAN : l évaluation des apprentissages des étudiants en formation médicale initiale, Pédagogie Médicale, février 2002, vol 3, n 1, pp 38-52 9
modifier la première partie: faire un récapitulatif annuel, limiter le nombre de validation pour certains modules (cumul du cachet de la scolarité, de la signature de l ECA et de celle du tuteur), améliorer la lisibilité avec des tableaux moins fournis, être peut-être moins exhaustif pour certaines tâches. La consigne de validation de la participation active aux cours (avec présentation d un travail) par l administration et par les ECA n a pas été comprise par les internes car ils signaient déjà la liste d émargement dans le même but., D autant que, pour la même raison, les ECA et la scolarité ont refusé de signer les livrets de certification. Sur un plan pratique, il semble chronophage et soumis au risque d oubli du livret, de faire valider lors des cours. Les problèmes d horaire de la scolarité sont aussi un frein au remplissage régulier et risque de dériver vers un cumul de signatures en fin de cursus qui ne renseignerait sur rien. Peut-être est-il préférable de supprimer ces deux paramètres et laisser les validations du tuteur et du chargé d enseignement lors des stages. La place du journal de bord sous forme d items pose problème aux internes qui estiment qu il représente l essentiel du travail à fournir et mérite sa place à part entière. Un descriptif trop précis risque d alourdir encore le document et ne semble pas pertinent. Le risque d endommagement ou de perte du livret de certificat en version papier, format A4 est réel. Une réflexion sur une version informatique est en cours. Conclusion L appropriation du livret de certification par les internes et leurs tuteurs est encore incertaine. Toutefois, l intérêt porté à l outil est indéniable. Il est fondamental de renforcer l éducation des enseignants aussi bien sur l aspect central de l évaluation dans le processus d apprentissage que sur l aspect pratique de familiarisation de l outil afin de pouvoir le communiquer aux étudiants. Il mérite sans doute d être remanié afin d améliorer sa lisibilité. Ce travail a permis de mettre en avant un certain nombre de freins. Il faudra certainement reprendre un certain nombre de concepts pédagogiques ; justifier leur intérêt mais surtout en expliquer les modalités et la finalité afin de limiter les réticences liées à la traçabilité des apprentissages. Il faudra sans doute entendre la problématique de manque de temps pour pouvoir trouver une place plus importante à la formation lors des stages et un statut des tuteurs plus valorisé. Toutefois, cet outil reste une avancée notable dans l évaluation de la certification des compétences. 10
Annexes 11
Annexe 1 : Questionnaire des internes Réponse (texte libre) : Nom : Prénom: Nom de votre tuteur : A. Année d inscription 1 T1 1 2 T2 B. Précisez les dates d entretiens individuels déjà réalisés : - - C. Avez-vous présenté votre livret de certification à votre tuteur lors de chaque entretien individuel? 1 2 Non, pas lors de tous les entretiens 1 3 Non, lors d aucun entretien D. Si oui, aviez vous (plusieurs réponses possibles): 1 Fait remplir la première partie par vos chargés d enseignants facultaires (ECA) 1 2 Fait remplir la première partie par vos chargés d enseignement sur vos lieux de stage 1 3 Fait remplir la première partie par l administration 1 4 Fait remplir la première partie par votre tuteur 1 5 Rempli vous même la deuxième partie concernant l autoévaluation 1 6 Fait remplir ou rempli vous même aucune des deux parties E. Votre tuteur a-t-il fait des demandes, proposé des corrections ou demandé des explications concernant votre livret de certification? 1 2 Non F. Si oui, précisez : 12
La première partie : «certification des compétences» G. Avez-vous présenté votre livret de certification à l administration pour valider votre présence aux différents modules facultaires? 1 2 Parfois 1 3 Non G1 Si non ou parfois, pourquoi? H. Trouvez-vous le remplissage de cette partie? 1 Aisée 1 2 Plutôt aisée 1 3 Plutôt difficile 1 4 Difficile H1 Si vous avez répondu difficile ou plutôt difficile, précisez quelles sont vos difficultés? I. Pensez vous que cette première partie du livret de certification soit intéressante pour vous 1 2 Non I1Dans ce cas veuillez lister leurs intérêts que vous y voyer J. Dans cette partie, il est question de domaine de compétence, qu est-ce, pour vous, une compétence? K. Dans cette partie, les capacités du futur médecin généraliste que vous êtes, tournent autour de sept domaines de compétences. Est-ce l image que vous vous faisiez de votre futur exercice? 13
La deuxième partie : «autoévaluation» L. Remplissez-vous régulièrement la partie autoévaluation 1 jamais 1 2 une fois, à la fin du stage 1 3 quelques fois, avant les entretiens avec mon tuteur 1 4 mensuellement 1 5 de manière hebdomadaire 1 6 autre, précisez : M. Pourquoi avez-vous choisi ce rythme? N. Trouvez-vous le remplissage de cette partie? 1 Aisée 1 2 Plutôt aisée 1 3 Plutôt difficile 1 4 Difficile O. Si vous avez répondu difficile ou plutôt difficile, précisez quelles sont vos difficultés? P. Décrivez les intérêts qu a pour vous le chapitre «l autoévaluation» du livret de certification? Q. Dans cette partie, il est question d autoévaluation, qu est-ce pour vous l autoévaluation? R. Dites nous les intérêts que vous avez à vous auto évaluer? La troisième partie : «annexes» S. Avez-vous déjà eu recours à la troisième partie «annexes» du livret de certification? 1 2 Non S1.Si non, pourquoi? 14
S2.Si oui, dans quelles circonstances, l avez-vous utilisées (plusieurs réponses possibles):? 1 Par curiosité 1 2 Avant la réalisation d un travail 1 3 Après la réalisation d un travail, avant la présentation à un enseignant ou au tuteur 1 4 Après une demande de correction d un enseignant ou d un tuteur T. Décrivez les intérêts qu a le chapitre «annexes» du livret de certification pour vous? Globalement U. Trouvez vous que le livret de certification est un outil utile (plusieurs réponses possibles) : 1 Pour vous 1 2 Pour vos enseignants 1 3 Pour votre tuteur 1 4 Pour le jury du DES 1 5 Pour aucun des intervenants V. Auriez vous des propositions à faire pour améliorer ce livret? W. Commentaires libres 15
Annexe 2 : Questionnaire pour les tuteurs Réponse (texte libre) : Nom : Prénom: Administratif Pour chaque de vos tuteurés, précisez son année et les dates des entretiens individuels déjà réalisés depuis la rentrée 2007 NOM de l interne Année T1 ou T2 Dates des entretiens individuels A. Avez-vous un exemplaire du livret de certification? 1 2 Non B. En avez déjà pris connaissance? 1 2 Non B1. Si oui, pour quel(s) motif(s)? B2. Si non pour quel(s) motif(s)? C. Lors des entretiens individuels, les internes vous présentent-ils leur livret de certification :, tous les internes 1 2 Oui, certains : précisez en le nombre : 1 3 Jamais 16
La première partie : «Certification des compétences» D. Avez-vous vérifié l ensemble des modules normalement validés (par les ECA ou chargés d enseignement en stage)? 1 2 Partiellement 1 3 Non E. Avez vous trouvé que les modules qui devaient être validés par les enseignants ou par l administration, étaient facilement repérables? 1 2 Non E1. Si non, précisez : F. Avez-vous validé sur le livret de certification les travaux validables dans le cadre du DES? 1 2 Non F1. Si non, pourquoi? G. Trouvez-vous le remplissage de cette partie? 1 Aisée 1 2 Plutôt aisée 1 3 Plutôt difficile 1 4 Difficile G1. Si vous avez répondu difficile ou plutôt difficile, précisez quelles sont vos difficultés? H. A votre avis quel est l intérêt pour votre interne de la première partie du livret de certification? I. Décrivez les intérêts qu a la première partie du livret de certification pour vous, en tant que tuteur? 17
J. À la suite de l entretien avec votre tuteuré(e), lui avez-vous fait des commentaires, des demandes de corrections sur le remplissage de la première partie du livret de certification? 1 2 Non J1. Si oui, précisez lesquelles ou quels types de propositions : La deuxième partie : «autoévaluation» K. Avez-vous vérifié que votre interne avait rempli la partie «autoévaluation»? 1 2 Oui, mais pas systématiquement 1 3 Non K1. Si oui, mais pas systématiquement et non, pourquoi? L. Trouvez-vous que le remplissage par votre interne de cette partie est : 1 Aisée 1 2 Plutôt aisée 1 3 Plutôt difficile 1 4 Difficile L1. Si vous avez répondu difficile ou plutôt difficile, précisez quelles sont ses difficultés? M. A votre avis quel est l intérêt pour votre interne du chapitre «l autoévaluation» dans le livret de certification? N. Décrivez les intérêts qu a, pour vous, le chapitre «l autoévaluation» dans le livret de certification? O. A la suite de l entretien avec votre tuteuré, lui avez-vous fait des commentaires, des demandes de corrections sur le remplissage de la première partie du livret de certification? 1 2 Non O1. Si oui, précisez lesquelles : 18
La troisième partie : «annexes» P. Avez-vous déjà eu recours à la troisième partie «annexes» du livret de certification? 1 2 Non P1. Si non, pourquoi? P2.Si oui, dans quelles circonstances, l avez-vous utilisées (plusieurs réponses possibles)? 1 Par curiosité 1 2 Avant la lecture d un travail d un de vos tuteurés 1 3 Après la réalisation d un travail, pour trouver une réponse à un questionnement 1 4 Après une demande de correction d un enseignant Q. Décrivez les intérêts qu a le chapitre «annexes» du livret de certification pour vous? Globalement R. Trouvez vous que le livret de certification est un outil utile (plusieurs réponses possibles)? 1 Pour votre interne 1 2 Pour les enseignants 1 3 Pour vous-même, en tant que tuteur 1 4 Pour le jury du DES 1 5 Pour aucun des intervenants S. Auriez vous des propositions à faire pour améliorer ce livret? T. Commentaires libres 19