Petit guide de pédagogie médicale & évaluation clinique Contribution : Pr Olivier LABOUX, UFR d Odontologie, Université de Nantes Dr Pierre POTTIER, UFR de Médecine, Université de Nantes Dr Emmanuelle RENARD, UFR d Odontologie, Université de Nantes A partir des conférences du : Pr Michel GIRARD, Université de Montréal, Québec, Ca (Journées du CNEOC, Reims 2007) Pr Jacques BARRIER, UFR de Médecine, Université de Nantes (CID.MEF)
Avant-propos Septembre 2011 Un collège d enseignants et donc un collège de spécialistes en pédagogie? S il n y avait qu une seule chose à faire en terme de pédagogie médicale, ne serait-ce pas la formation des formateurs? Pourquoi former les formateurs? Il faut bien reconnaître que nous ne sommes collectivement pas ou peu formés en pédagogie, en andragogie, si l on prend le terme québécois qui s intéresse ainsi plus aux adultes qu aux enfants. Nous assimilons souvent la pédagogie au seul fait de prodiguer un enseignement, un cours, de manière descendante, du maître à l élève, du sachant à l apprenant. Nous sommes volontiers sur le modèle béhavioriste "carotte-bâton" : ceci est nécessaire mais ne doit pas constituer le seul socle de l enseignement. Nous sommes encore structurés sur le modèle "pré-requis pour pouvoir comprendre plus tard". Les publications dans le domaine montrent les limites d un tel fonctionnement. Alors que nous avons-nous même été formés avec ces principes, ne sommes nous pas de bons praticiens pour autant? peut-on entendre. Certes, mais le volume des savoirs augmente, les étudiants ont modifié leur comportement, les charges de travail sont plus lourdes. Comment former les formateurs? La formation des formateurs passe par la compréhension conjointe de deux défis : - l acquisition d un socle de connaissances qui permet aux enseignants de parler le même langage, de s approprier les fondements d une pédagogie moderne où ce n est plus le seul enseignement qui en est l assise mais c est l étudiant. Il faut dès lors comprendre ce que l on appelle la psychologie cognitive de l étudiant, c'est-à-dire comment ce dernier "fonctionne". Très simplement, l étudiant calque sa formation sur le mode d évaluation. - l organisation des enseignements en compétences, ce qui nécessite de structurer le cursus sous forme d objectifs. Ceci suppose de construire son cursus à rebours, en partant du "produit fini". Le Collège a organisé dans un passé récent un certain nombre de séminaires dont l objet en était la formation dans le domaine de la pédagogie médicale, notamment en ce qui concerne un aspect peu défriché qui est l évaluation clinique. Le CNEOC se propose, à la demande du Président, Jean-Jacques Lasfargues, de rédiger un petit livret qui permettra d acquérir les fondements en pédagogie médicale. Les échanges, notamment avec les plus jeunes, démontrent un réel intérêt pour ce domaine. Ceci est encourageant car il s agit bien de notre raison d enseigner. Olivier LABOUX, past-président du CNEOC 2
Chapitre 1 1.1 Concept de pédagogie médicale basé sur les compétences. Olivier LABOUX Introduction Dans tous les pays, dans toutes les Universités, le constat est unanime. L évolution exponentielle des connaissances conduit inévitablement à une impasse, le curriculum étant embolisé par les contenus. Ceci conduit à une certaine insatisfaction des acteurs, enseignants et étudiants. Il est par ailleurs notoire que les carrières des enseignants chercheurs ne sont pas évaluées à l aune des compétences en pédagogie. Tout ceci conduit à l expression de doléances de la part des enseignants, telles que l on peut les entendre : - les étudiants ont eu tous les cours mais ils ne sont pas bons devant un patient - les étudiants ne connaissent pas les fondamentaux De la part des étudiants, il existe très souvent une incompréhension en terme de pertinence de l enseignement vis-à-vis du type de compétences attendues, de la formulation des questions, de la notation. Pour sortir de ce dilemme, l enseignant doit dépasser son rôle classique de dispensateur de savoir pour devenir un facilitateur d apprentissage. Ceci repose sur une prise en compte de la manière dont "fonctionne" un étudiant. C est ce que l on appelle la psychologie cognitive, qui repose sur deux types de connaissances : les connaissances déclaratives (théoriques, facilement accessibles) et les connaissances d action. Parmi les connaissances d action, il y a : - les connaissances procédurales, c'est-à-dire la capacité à agir en situation technique. Par exemple : si je veux faire un composite stratifié, alors - les connaissances conditionnelles, c'est-à-dire la capacité à agir en situation réelle. Par exemple : si le patient est porteur de telle affection, si alors je 3
Contextualiser (malade) Connaissances déclarative Connaissances d action X = expérience Mémoire sémantique A réactualiser Transfert Sommation Mémoire de travail Connaissances d action Contexte: enseignant apprend à décontextualiser puis appliquer L enseignant va devoir, en permanence, contextualiser et décontextualiser. - contextualiser: en cours magistral par exemple, décrire la situation clinique correspondante - décontextualiser : en situation clinique par exemple, rappeler les éléments fondamentaux présentés en cours. De même, il faudra le plus possible, solliciter les connaissances antérieures, (enseigner c est répéter), afin de repérer, traquer les informations erronées notamment. Qu est ce que cela implique dans une démarche qui vise à centrer l enseignement sur l étudiant? - L étudiant doit être actif - L enseignant doit activer les connaissances antérieures de l étudiant - Les apprentissages doivent être contextualisés (exemples, cas, problèmes) - Il faut favoriser la structuration des connaissances, le raisonnement - Il faut hiérarchiser, c'est-à-dire informer l étudiant des éléments importants à retenir, et valider les connaissances Bien entendu, cette démarche pédagogique qui vise à accompagner l étudiant dans son apprentissage, ne doit pas être trop "libre". Le béhaviorisme, c'est-à-dire l emploi du modèle "carotte-bâton", reste d actualité, dans une certaine mesure. 4
Alors que le modèle traditionnel est centré sur l enseignant et l acquisition des connaissances, le modèle pédagogique aujourd hui partagé par tous, s appuie sur l acquisition des compétences. Cela signifie en clair, évaluer les connaissances d action et non plus seulement les connaissances déclaratives. Evaluer : pourquoi, quoi, quand, comment? Pourquoi évaluer? Cela permet : - de vérifier l atteinte des objectifs du programme - d aider les étudiants à progresser (feed-back), c'est-à-dire renseigner l étudiant sur son niveau de compétences - de prendre des décisions de sélection, de promotion, de certification - le guide l apprentissage (moteur important car «l étudiant travaille pour les examens») - identifier les points forts et les points faibles de l institution et ainsi améliorer les programmes de formation. Comment évaluer? - Il faut développer l évaluation authentique, la plus proche du futur exercice professionnel (si possible en situation réelle ou à défaut par simulation) L évaluation peut être alors une mesure critériée, de telle sorte que l interprétation des résultats porte sur les tâches ou les activités réussies par l étudiant, sans référence aux autres étudiants Elle peut être par ailleurs une mesure normative, de telle sorte que l interprétation des résultats se fait en fonction de la position relative d un étudiant par rapport à un groupe normé. - Pour bien évaluer, il faut un système d évaluation cohérent, avec objectifs et méthode ; que les modalités de cette évaluation soient connus bien en amont, que les objectifs pédagogiques et les compétences importantes à acquérir soient rédigés, que les modalités soient particulièrement soignée (souvent, on passe (très) peu de temps à poser les questions et beaucoup à corriger ; il faudrait le contraire). 5
- Connaître les qualités psychométriques des différents outils d évaluation disponibles. Ce sont des outils de mesure. Il faut les choisir avec discernement après avoir étudié leurs avantages et inconvénients dans le contexte. La qualité psychométrique des outils d évaluation Non valide Fidèle (tir groupé) A B Valide Fiable C Ni valide Ni fiable "Carabine" du Pr J Barrier, Université de Nantes 6
La validité permet de mesurer réellement ce qu on veut mesurer. La fidélité (fiabilité ou reproductibilité) donne avec constance un même résultat à différentes occasions de mesure (dans le temps, avec des observateurs différents). La faisabilité doit être considérée à tous les temps de l examen: la préparation (avant), la réalisation (pendant), l interprétation des résultats et les conséquences (après) : quel investissement en temps? Quel investissement en expertise? Quel investissement économique? L effet favorable sur l apprentissage : - une seule chose à retenir : l étudiant travaille pour les examens - l évaluation guide l apprentissage Le système d évaluation est le moteur principal du processus d apprentissage en formation initiale. Un bon outil d évaluation a un effet favorable; un mauvais outil peut avoir des effets désastreux. Quand évaluer? - d une manière sommative (l examen classique) : en fin de module ou d année, avec une fonction administrative de l évaluation ; elle est souvent sanctionnelle (passage dans l année supérieure) - d une manière normative : en cours de module, pour donner du feed-back aux étudiants. C est la fonction pédagogique de l évaluation ; elle est non sanctionnelle (elle ne "compte" pas dans une moyenne par exemple) Le Pr Girard (Université de Montréal), lors des journées du Collège de Reims, exposait le fait qu il fallait utiliser ces deux formes d évaluation, en insistant sur le fait qu il ne fallait pas noter l évaluation formative. 7
Quoi évaluer? Les compétences en adéquation avec les objectifs pédagogiques, c'est-à-dire les connaissances déclaratives mais surtout les connaissances d action. En Odontologie, comme dans d autres domaines médico-chirurgicaux notamment, nous avons une spécificité et l avantage de: - enseigner ce que l on fait et faire ce que l on enseigne - pouvoir évaluer l étudiant en situation clinique alors que nous avons assuré l enseignement (ce qui n est pas le cas en école d ingénieur par exemple). Le domaine de l évaluation clinique n est malheureusement que peu défriché, et il nous paraît pertinent de nous appuyer sur le modèle canadien CANMEDS, qui prend en compte la globalité des compétences attendues dans la prise en charge d un patient : - Connaissances et compréhension (maladies, mécanismes physio-pathologiques, etc ) - Recueil des données cliniques (interrogatoire, examen) - Raisonnement clinique (qualité des hypothèses, stratégie) 8
- Gestes techniques - Qualités personnelles et relationnelles (relation avec le malade, avec l équipe, avec les autres acteurs de santé; la rigueur professionnelle) Evaluer les compétences impose d axer la formation sur l acquisition des compétences. Qu est-ce qu une compétence? Deux définitions : - «La compétence est la possibilité, pour un individu, de mobiliser de manière intériorisée un ensemble intégré de ressources en vue de résoudre une famille de situations-problèmes.» (Roegiers, 2000) - «Un savoir-agir complexe prenant appui sur la mobilisation et la combinaison efficace d une variété de ressources internes et externes à l intérieur d une famille de situations.» (Tardif, 2006) La compétence peut être structurée en tâches, en sous compétences; ces tâches sont facilement mesurables. Quelle est la différence entre compétence et performance? On peut être compétent sans être performant, faute d outils par exemple. La compétence est par ailleurs toujours définie par rapport à une performance attendue. Le contexte itératif de mise en situation permet seul l acquisition d expérience. L expertise est une réflexion sur l action, une capacité à résoudre des problèmes complexes. Dans le domaine de la compétence clinique, il peut être défini un certain nombre de critères : - Connaissance et compréhension (maladie, mécanisme physiopathologique) - Recueil des données cliniques - Raisonnement clinique (capacité à faire émerger des hypothèses, déductions ) - Gestes techniques - Qualités personnelles et relationnelles (relation au malade, rigueur professionnelle ) Tout ceci nous conduit, pour chaque compétence, à définir des objectifs, le volume horaire, la stratégie d enseignement et les modalités d évaluation. 9
Dès lors, les étapes indispensables pour définir les compétences attendues sont les suivantes : - définir les besoins de formation - définir les objectifs d apprentissage +++ - estimer les ressources (personnelles et matérielles) et les méthodes - définir le mode d évaluation adapté L Association for Dental Education in Europe (ADEE) a définit le profil et les compétences du futur odontologiste européen par sept items : ü ü ü ü ü ü ü Professionnalisme. Capacités de relation humaine et de communication. Connaissances fondamentales, traitement de l information et pensée critique. Recueil des informations cliniques. Diagnostic et plan de traitement. Thérapeutique et entretien de la santé orale. Encouragement à la politique de santé publique Pour l évaluation, le Pr Girard (Université de Montréal) résume de la manière suivante : Ne basez pas l évaluation sur des examens courts. Échantillonnez largement (contenu, temps, évaluateurs, patients). Ne soyez pas «fidèle» à une seule méthode - le contenu est plus important. Choisissez des tâches le plus près possible de la pratique clinique - ne vous inquiétez pas tant de la compétence mesurée. Évitez la complexité des simulations ou de la notation. Vérifiez les impacts éducatifs de l évaluation - évaluez l évaluation. Utilisez l évaluation stratégiquement pour atteindre des objectifs éducatifs. Considérez l évaluation comme faisant partie du défi du canevas éducatif. 10
Toujours selon le Pr Girard, cela a trois conséquences pour une Faculté de Chirurgie Dentaire 1- Avoir un contrat clair «competency-based» 2-Avoir des enseignants «professionnels» (formation pédagogique initiale et continue) 3- Assurer l évaluation de l enseignement Au minimum: l étudiant doit connaître de façon explicite dès le début d une séquence d enseignement : - les objectifs de formation (ce qu il doit apprendre), - les moyens et méthodes d apprentissage mis à sa disposition (comment il doit apprendre), - le système de son évaluation. Et la clef du succès de tout ceci est la formation des formateurs. 11
1.2 Quelles différences existent-t-ils entre une l approche pédagogique par objectifs et celle par compétences? Emmanuelle RENARD, Brigitte Alliot-Licht (UFR d Odontologie, Université de Nantes) Lors de la mise en place d un programme de formation ou d un enseignement, vous pourrez être amené à choisir entre l une ou l autre de ces approches. En effet, elles ont pour avantage commun de permettre une meilleure lisibilité de l action de formation que vous menez et de construire dans la foulée le programme d évaluation. Pour mieux comprendre ces notions qui peuvent être complexes à acquérir, nous allons suivre l exemple de la mise en place d un programme de formation concernant «l utilisation du MEOPA au cabinet dentaire», pour un chirurgien dentiste déjà en activité. Si vous choisissez l approche par objectifs : vous devrez partir des savoirs que le Chirurgien Dentiste a déjà acquis ou qu il doit acquérir afin de lui permettre par la suite d assimiler de nouveaux savoirs-faire spécifiques à l activité proposée. Le tout dans le but de les intégrer à son activité professionnelle. Pour chacune des catégories : savoirs, savoirs-faire et les activités professionnelles, des objectifs (généraux et spécifiques) doivent être déclinés. Pour cela vous serez amené à utiliser une taxonomie correspondant au domaine de l objectif. Les deux taxonomies les plus connues sont celles de Bloom et de Krathwohl o Dans la taxonomie de Bloom il existe différents domaines parmi lesquels : Connaissance: arranger, définir, mémoriser, identifier Compréhension: décrire, discuter, classifier Application: démontrer, choisir, interpréter, pratiquer Analyse: analyser, critiquer, discriminer Synthèse: construire, créer, formuler Évaluation: juger, chiffrer, choisir 12
Dans chaque domaine il existe différents verbes d action ; vous choisirez celui qui correspond le mieux à l objectif visé. o Dans la taxonomie de Krathwohl ce sont d autres domaines plus en lien avec le psycho-affectif, qui sont présentés, par exemple : Réception: séparer, choisir, écouter Réponse: discuter, pratiquer, approuver Valorisation: assister, aider, encourager Pour continuer à suivre notre exemple du MEOPA : L objectif général est de : Réaliser les soins dentaires chez les patients phobiques à l aide du MEOPA Les objectifs spécifiques pourront être: Cognitifs: Mémoriser les propriétés et modes d action des différents types d anesthésiants Psychomoteurs: Pratiquer les gestes de réanimation et de premiers secours Affectifs: Ecouter le patient et sa famille L approche par objectifs permet la formulation et la formalisation des finalités d un dispositif de formation. Elle permet aussi de vérifier la concordance entre l objectif visé et l activité éducative qui sera proposée. La démarche d évaluation sera par le fait plus aisée et rigoureuse. 13
Il existe néanmoins des problématiques liées à l utilisation de cette approche: Une trop grande rigidité dans l énonciation des objectifs, Le risque de fragmentation de l enseignement, Les trop longues listes d objectifs L évaluation trop quantitative donc basée sur la maîtrise des faits uniquement. Ces différentes problématiques peuvent concourir malheureusement à un manque d intégration de la formation à l activité professionnelle. Si vous choisissez l approche par compétences : vous procéderez par une démarche inverse de celle de l approche par objectifs. Vous tiendrez compte initialement de la pratique professionnelle du chirurgien dentiste, pour déterminer les compétences nécessaires à la réalisation de cette pratique. Ces compétences pourront être déclinées en paliers de compétences plus précis. Enfin ces paliers permettront d intégrer les savoirs nécessaires à la formation pour atteindre ces compétences. Dans le cadre de notre exemple de la formation au MEOPA, nous savons qu il existe différents modes d exercice de la dentisterie : le cabinet, l hôpital, la recherche, les associations et l enseignement. Pour cette formation, il s agit d un activité au cabinet dentaire. La compétence a acquérir est : «Prendre en charge un patient phobique à l aide du MEOPA au cabinet dentaire». Les paliers de compétences et les savoirs seront déclinés en différents domaines: Cognitif, réflexif, métacognitif, procédural, social et psycho-affectif. (Vous trouverez des listes de verbes d action correspondant à ces domaines sur la toile) 14
Exemples de palliers de compétences: o Décrire les procédures destinées à obtenir l'analgésie du patient au cours des soins dentaires o Réaliser des soins dentaires à des patients sous sédation consciente par inhalation Exemple de savoirs : o Connaître les origines et les prolongements de la peur et de l anxiété Cette approche a pour avantage de suivre les courants contemporains de l apprentissage comme le socio-constructivisme. La formation va répondre aux besoins réels de la population, elle tend à stimuler et motiver les étudiants, elle facilite la communication et les feedback entre les différents acteurs de la formation. Malheureusement, on peut, comme pour l approche par objectifs, tomber dans le travers des formulations sous forme de longues listes, les activités de feedback des enseignants sont rares et peuvent manquer de pertinence. Enfin l évaluation tendra à être de nature très qualitative donc subjective et difficile à mettre en oeuvre pour répondre aux exigences de fiabilité et de validité d un examen. Constat actuel : Le passif de l approche par objectifs fait que cette approche est encore très largement utilisée. Nous tendons malgré tout vers une approche par compétences puisque nos étudiants commencent à mettre en pratique ce qu ils savent sans avoir eu au préalable la délivrance de toutes les connaissances. 15
1.3 : évaluation pré-clinique et clinique L enseignement clinique et pré-clinique: comment l évaluer? Olivier LABOUX Le Collège a débuté une réflexion sur l évaluation de l enseignement clinique. Pourquoi commencer par la clinique alors même qu il s agit certainement de l évaluation la plus difficile et la moins documentée? Pour deux raisons : - une opportunité : nous avons la chance de pouvoir mesurer nous même les performances de notre «produit fini», avec ce qui devrait être une très forte congruence et cohérence entre l enseignement académique et la pratique clinique. Ce n est pas le cas, par exemple, entre une formation d ingénieur et l application en entreprise. Nous pouvons travailler sur le lien entre connaissance et application de ces connaissances, c'est-à-dire que nous avons l opportunité d évaluer une vraie compétence, en prenant en compte, non seulement l acte lui-même, mais aussi l ensemble des éléments qui assurent une réelle prise en charge du patient : hygiène et asepsie, professionnalisme, organisation et gestion, application des connaissances, aptitudes gestuelles (CanMed) - une logique : le processus d évaluation se pratique à rebours, c'est-à-dire qu il faut énoncer les objectifs à atteindre à la fin d un cursus (grade licence, master, doctorat ) et définir le meilleur mode d évaluation de la réalisation de ces objectifs. Une fois ceci réalisé, on «remonte» dans le cursus pour placer, pas à pas, les objectifs assignés à chaque niveau d année, de semestre, d unité fonctionnelle. Un peut ainsi définir un niveau de fin de DCEO3, autorisant le remplacement, et un niveau de fin de TCEO1, d autonomie et d inclusion dans un environnement professionnel. Tout ceci nous conduit à contrôler que le mode d évaluation choisi soit en parfaite adéquation avec ce que l on veut évaluer. Aurait-on idée par exemple de choisir un QCM pour l évaluation clinique ou, inversement, une question rédactionnelle pour des bases fondamentales? 16
Si l on résume, il faut : - définir les objectifs correspondant à un niveau du cursus. Exemple : l étudiant en fin de DCEO3 doit savoir réaliser un traitement endodontique initial en une séance, de manière autonome, selon les critères suivants : reconstitution pré-endodontique permettant la pose d un champ opératoire stable, cavité d accès autorisant l accès visuel des entrées canalaires, ablation des interférences, respect de la mise en forme canalaire - choisir le mode d évaluation de la compétence, et vérifier que celui-ci est en adéquation avec les objectifs pédagogiques. Exemple dans ce cas : un portfolio, un minicex (voir ci-dessous), - adapter notre enseignement à l apprentissage de l étudiant. Ce n est un secret pour personne : l étudiant se conforme au mode d évaluation, en d autres termes, il travaille pour l examen. Des QCM, ou des questions orientées exclusivement sur le contrôle des connaissances, poussent à bachoter et apprendre par cœur, souvent au dernier moment, et l on sait très bien que la mise en application, au fauteuil de cet apprentissage, n est pas performant du tout. Reprenons notre exemple du traitement endodontique : l enseignement est réalisé en cours magistraux, l épreuve porte sur les protocoles de prise en charge de l urgence inflammatoire pulpaire. Comment l étudiant opère t il un lien entre son mode d apprentissage et la mise en pratique? mal, car cela est difficile. Comment combler ce hiatus entre connaissances et compétences? Il faut donc modifier la forme d enseignement pour que l étudiant, parce que c est bien lui qui est au centre du dispositif (est-il besoin de le rappeler?) adapte son apprentissage à ce que nous voulons évaluer en réelle situation clinique. Cela passe par trois phases : - un travail personnel de l étudiant, en amont du présentiel avec l enseignant, à partir de documents, de cours, de littérature fournis par l équipe pédagogique. - un présentiel avec les étudiants qui incite à réfléchir et qui, surtout, est en adéquation avec la manière dont sera évalué l étudiant. Cela peut être un enseignement dirigé, une technique dite des ambassadeurs Ceci est fondamental en ce sens que si, par exemple, ce contact avec les 17
- une évaluation qui «colle» à la compétence clinique, et qui, surtout, correspond à l entrainement fait en présentiel. Si cela n est pas le cas, l étudiant continue à bachoter pour l examen le jour J, à parfois même construire une stratégie de compensation dont le seul objectif est d avoir la moyenne pour valider un ou des UE. Ces trois phases sont indissociables si l on veut adapter la pédagogie au transfert des connaissances vers la compétence. Ceci ne veut pas dire que tout notre enseignement se prête à cette organisation pédagogique. Certains fondamentaux doivent être revus, consolidés, contrôlés d une manière systématique. Il pourrait être judicieux de mettre en place une épreuve transversale, inter-disciplinaire, d évaluation des fondamentaux, sous forme de QCM. Ceci implique une deuxième remarque relative aux Techniques de l Information et de la Communication pour l Enseignement (TICE). Les logiciels spécifiques (Adobe presenter, ), les vecteurs de communication en direct ou différés (podcast, strieming, visioconférences, webconférences, ), les moyens technologiques (vidéo, ) ne sont pas une fin en soi mais des outils, au service d une démarche pédagogique. Alors, évaluation clinique formative, sommative, sanctionnelle? Il s agit en fait de l adoption d une méthode d évaluation positive, accompagnant l étudiant dans l apprentissage des compétences, basée sur un retour de son apprentissage, structuré, formalisé, qui le conduit à un niveau de compétence attendu et défini. 18
L évaluation formative, est en fait donner à l avance les critères selon lesquels seront évaluées les compétences requises en fin de niveau (ex DCEO3 en endo), les formaliser sur une fiche, et surtout, donner à l étudiant, régulièrement, un retour, un feed back, sur sa progression. Ceci se fait en cours de module, donne du feed back aux étudiants, permet l ajustement pédagogique (renseigner l enseignant sur l acquisition des connaissances), et a une fonction pédagogique de l évaluation (DU pédagogie médicale, Pr J Barrier, Université de Nantes). L objectif principal de l évaluation formative est d indiquer à l enseignant, comme à l apprenant, les difficultés rencontrées afin qu ensemble ils tentent d y remédier (L enseignement scientifique, De Vecchi & Giordan, Ed Delagrave). L évaluation formative se pratique au cours des apprentissages: elle a pour but de renseigner l élève le plus complètement et le plus précisément possible sur la distance qui le sépare de l objectif et sur les difficultés qu il rencontre; mais aussi d informer le professeur sur la manière dont son enseignement est reçu mécanisme de retro-action. A ce titre elle est nécessairement libre de toute sanction et ne saurait avoir d autre signification que pédagogique (Se former pour enseigner, Patrice Pelpel, DUNOD). L évaluation sommative se pratique en fin de module ou d année. Elle a une fonction administrative de l évaluation, souvent sanctionnelle, et permet, par exemple, le passage dans l année supérieure (DU pédagogie médicale, Pr J Barrier, Université de Nantes). Il s agit en fait d un véritable contrat avec la société qui demande à l Université, et donc à nous même, d attester de la compétence du futur professionnel. L évaluation sommative a pour but de constater (sans plus) si l apprentissage (superficiel) a été effectif. Soit en fin de leçon, soit en début de séquence suivante et qui, en quelques minutes, vérifient la mémorisation de quelques connaissances ponctuelles ou, à travers un «exercice d application», la capacité à faire fonctionner un savoir-faire précis (L enseignement scientifique, De Vecchi & Giordan, Ed Delagrave). 19
Au terme d un apprentissage et a pour but de vérifier si les objectifs en ont été atteints par tel ou tel individu. Evaluation-bilan qui intervient après une période de formation On s appuie sur ces résultats pour prendre des décisions (fonction sociale et discriminante de l évaluation) (Se former pour enseigner, Patrice Pelpel, DUNOD). Pourquoi préférer le terme sommatif à sanctionnel? Le sommatif est en fait l attestation finale d acquisition d une compétence, par la somme des évaluations formatives. On peut tout à fait imaginer un système d évaluation comportant du sommatif, du formatif, ou les deux. En tout état de cause, il est établi aujourd hui qu il ne faut pas noter le formatif (Serge Normand, Université de Montréal). Proposition d emploi de l outil Mini Clinical Evaluation Exercise (mini-cex) en clinique. Pour trois raisons : il s agit d un document connu dans le monde de la pédagogie, qui va permettre de participer à la recherche en pédagogie, et de partager notre expérience, de publier il s agit d un outil adapté à l évaluation clinique 20
Il faut tout d abord établir une fiche type, avec une trame commune pour les items relatifs à l ensemble de la prise en charge, mais aussi une «figure imposée» plus ciblée sur l acte clinique. Pour cette dernière, l étudiant doit être informé des critères qualitatifs, incontournables, attendus. Ainsi, en poursuivant avec notre exemple d endodontie, plutôt que de demander 20 traitements endodontiques, il est préférable d en demander 7, avec tous les critères d excellence A requis. Certains étudiants auront besoin d un temps T pour y arriver et d autres d un temps Tx2 ou X3 pour ce même acquis de compétence. Les chiffres de 1 à 9 ne sont pas des notes que l on additionne pour obtenir une moyenne. Ils ont été gardés de manière à avoir un document comparable à la littérature. Ils n ont de vocation qu à renseigner l étudiant, si l on juge que les lettre A, B et C sont moins explicites. 21
L acte clinique correspond à l objectif pédagogique défini préalablement par l équipe pédagogique. A titre d exemple : - savoir réaliser une reconstitution pré-endodontique et savoir poser un champ opératoire étanche, en fin de DCEO1 - savoir réaliser un traitement endodontique initial en une séance, en fin de DCEO3 Un document présentant les critères attendus pour l acte technique, doit être connu de l étudiant en tout début d année. A quel moment est effectuée l évaluation sommative (en tout état de cause, en fin d apprentissage)? Le changement de terminologie entre «travaux pratiques» et «simulation pré-clinique» n est pas innocent. Nous devons tout organiser pour que ce soit une véritable simulation, y compris dans le mode d évaluation. Il faut définir le meilleur moyen pour que ceci soit acceptable par tous et réalisable compte tenu du taux d encadrement. Tout peut être envisagé quant au mode de «déclenchement» de la procédure, que ce soit en clinique ou pré-clinique : - lorsque l étudiant se sent suffisamment prêt pour faire valider une compétence, à la faveur du feed back du formatif - lorsque l étudiant a validé x compétences avec un critère A - lorsque l enseignant le décide, pour chaque étudiant - à une période figée, pour l ensemble des étudiants Pour les phases pré-cliniques, s agissant d étudiants novices, il apparaît toutefois nécessaire de mieux cadrer les séances d acquisition complémentaires ; c est à l enseignant de décider quels étudiants en ont besoin. 22
En conclusion - ce type d évaluation est adapté à l activité clinique et par conséquent pré-clinique - ce type d évaluation n est pas la panacée ; il faut multiplier les modes d évaluation - l évaluation formative est centrée sur l acquisition d une compétence et non plus sur le seul critère d attribution d une note moyenne pour un seul acte - ce type d évaluation formative-sommative n est pas adapté à tous les enseignements, notamment fondamentaux - le choix de ce type d évaluation n est pas manichéen : il faut également une «touche» de béhaviorisme («carotte-bâton) - il nous faut délivrer aux étudiants, en amont, un message unique, lisible, quant au mode d évaluation Enseignants Étudiant Formatif avec feed back sommatif L enseignant donne à l étudiant les outils pour favoriser son apprentissage en l accompagnant sur les critères d évaluation, avec pour objet final une auto-évaluation, une autonomie On modifie les rapports entre enseignant et étudiant Enseignants Étudiant sommatif feed back Formatif avec feed back L étudiant donne à l enseignant le feed bqck de son enseignement Evaluation des enseignements (UE ) L enseignant donne à l étudiant les outils pour favoriser son apprentissage en l accompagnant sur les critères d évaluation, avec pour objet final une auto-évaluation, une autonomie 23
Chapitre 2. Outils d'évaluation des compétences cliniques en Sciences de la Santé Pierre POTTIER, MCU-PH. Service de Médecine Interne. CHU de NANTES INTRODUCTION PREMIERE PARTIE : PRE-REQUIS L'évaluation pédagogique Compétence et performance Critères de qualité d'un outil d'évaluation. Critères de classification des outils d'évaluation. DEUXIEME PARTIE : BOITE A OUTILS Etat des lieux Outils décontextualisés Outils richement contextualisés Outils d évaluation en contexte authentique Quelques exemples QCM QROCS Questions rédactionnelles Problème simulé par écrit TQS. Supervision directe et indirecte - RSCA Tutorat - Portfolio ECOS- Patients standardisés-mannequins Cartes conceptuelles CONCLUSION 24
INTRODUCTION L évaluation des compétences cliniques est une préoccupation quotidienne des professionnels de santé en charge de la formation des étudiants dans leur discipline. Comment se repérer dans l abondante littérature qui concerne l évaluation pédagogique et ses divers outils, quels sont les critères de qualité d un outil d évaluation et comment le choisir en fonction de ses propres préoccupations pédagogiques? Telles sont les questions auxquelles cette contribution tentera de répondre en deux temps, le premier étant consacré aux pré-requis nécessaires pour aborder le champ de l évaluation des compétences et le second visant à établir un panorama de la boite à outil disponible à ce jour. PREMIERE PARTIE : PRE-REQUIS (1) L'évaluation pédagogique. Elle comporte trois temps successifs : - La mesure (recueil des données) peut se faire selon deux protocoles différents, non opposés, voire complémentaires. Dans l évaluation quantitative, les protocoles de mesure recueillent des données chiffrées alors que les mesures qualitatives rassemblent des données textuelles. - Le jugement (interprétation des données) peut être très varié en fonction du paradigme pédagogique (behaviouriste ou constructiviste notamment) dans lequel l évaluation s inscrit. Les résultats peuvent être rendus en terme de progression/régression, moyenne obtenue/non obtenue, travail suffisant/insuffisant, compétence atteinte/non atteinte, étudiants dynamiques/ peu investis etc - La décision peut intervenir à différents niveaux. Il peut s'agir d'ajuster un enseignement ou des stratégies d'apprentissage, de valider une séquence d'apprentissage pour autoriser le passage dans une année supérieure ou bien encore de délivrer une autorisation d'exercice par exemple. L évaluation pédagogique peut concerner plusieurs cibles : les étudiants, les enseignants, les dispositifs de formation, les programmes de formation, les facultés Compétence et performance. La compétence clinique se définit comme un savoir agir complexe. Selon Jacques Tardiff (2), c'est un processus conçu comme un cheminement individuel impliquant la mobilisation de connaissances variées, déclaratives et d'action, conditionnelles ou procédurales. Ce processus implique la mobilisation de ressources multiples. Ces ressources peuvent être internes (personnelles) provenant de domaines différents tels que les domaines cognitifs (savoir), psychomoteur (savoir-faire) ou bien affectif (savoirêtre). Des ressources externes peuvent être recherchées et obtenues auprès d'experts, de bases de 25
données scientifiques ou bien encore exploitées en ligne sur le réseau internet. Ainsi, évaluer la compétence c est s intéresser aux processus qui déterminent une action et à leur évolution dans le temps. La performance concerne le produit ou les résultats du processus évoqué ci-dessus. Evaluer la performance, c est s'intéresser à ce qui est observable sans préjuger des processus qui ont conduit à un ce que l on observe. La performance en tant qu objectif de formation s illustre dans un courant pédagogique que les anglo-saxons dénomme "outcome based-education" (3). Critères de qualité d'un outil d'évaluation. Un outil d'évaluation possède des critères psychométriques intrinsèques qu il est utile de connaître pour déterminer sa pertinence en fonction de l objectif d évaluation poursuivi. Parmi ceux-ci : - la reproductibilité (ou fiabilité ou stabilité) est de deux ordres : la reproductibilité intra individuelle de l outil d évaluation qu on souhaite utiliser s apprécie en répondant à la question suivante : «est-ce que je vais prendre la même décision si je soumets un étudiant plusieurs fois à cette même évaluation?», la reproductibilité inter juge se mesure en vérifiant que plusieurs juges utilisant le même outil avec un même étudiant prennent la même décision le concernant. - la validité correspond au degré avec lequel le test mesure ce qu'il est supposé mesurer. La validité de construit est un paramètre très important à considérer bien que souvent négligé. Vérifier la validité de construit de son dispositif d évaluation pédagogique c est apporter des éléments de réponses à la question : «est-ce que mon outil mesure réellement le concept théorique que je souhaite évaluer?». Par exemple, on les QCM ont une moins bonne validité de construit que les tests de concordance de script lorsqu on évalue le raisonnement clinique complexe en situation d'incertitude. La validité de contenu concerne l étendue des connaissances testées. L évaluateur s en préoccupe lorsqu il tente de répondre à la question : «est-ce que mon outil d'évaluation teste des savoirs suffisamment représentatifs de ce que je souhaite évaluer?». D autres dimensions de la validité peuvent être documentées telles que la validité apparente (pertinence de l outil perçue par les étudiants et les enseignants), la validité critériée (relation entre le score obtenu et une compétence clinique), la validité concomitante (corrélation entre le score obtenu et celui d une autre évaluation) ou la validité prédictive (corrélation entre le score obtenu et la réussite ultérieure à une autre évaluation). - l effet Inducteur sur l'apprentissage est très important à prendre en compte. En effet, il est connu que l étudiant développe des stratégies d apprentissage hautement dépendantes des modalités de son évaluation finale. Ce critère est notamment indispensable à considérer si l'on souhaite mettre en place une évaluation à un niveau institutionnel. 26
- la faisabilité peut se révéler être un obstacle pour certains outils nécessitant une lourde logistique, notamment si l on souhaite mettre en place une évaluation à grande échelle ou avec des mesures répétées. - la crédibilité ou validité interne correspond au degré de certitude avec lequel on peut accorder foi aux informations recueillies. - la transférabilité ou validité externe se réfère au degré de sûreté avec lequel on peut généraliser les résultats et les conclusions à d autres contextes. - La pertinence correspond au degré d exactitude avec lequel l'information recueillie rend compte de la réalité. Critères de classification d'un outil d'évaluation pédagogique. Un outil dévaluation peut être envisagé sous plusieurs angles qui seront autant de paramètres conditionnant sa sélection au sein du processus de planification pédagogique. Pour chaque outil, Il est nécessaire d expliciter : - le type de savoir évalué : savoir déclaratif, habiletés, attitudes ou savoir agir complexe, - le type de données recueillies : quantitatives ou qualitatives, - le critère final de jugement : évaluation de la compétence (des processus) ou évaluation de la performance (des produits/résultats), - le contexte pédagogique auquel il se rapporte plus volontiers : évaluation sommative en fin d'année ou formative tout au long de l'apprentissage, - les qualités de l'outil : évaluation fiable et/ou valide, - le degré d'authenticité : s'agit-il d'une évaluation décontextualisée ou richement contextualisée voire authentique (c'est-à-dire en milieu professionnel réel, non simulé). En fonction de ces critères, on peut repérer deux grands profils d'évaluation : - l évaluation sommative, souvent peu contextualisée, évaluant habituellement la performance, en suivant un protocole quantitatif, s'adressant à des connaissances plus volontiers déclaratives et pour laquelle une grande fiabilité est requise. - l évaluation formative, instituée le plus souvent en contexte authentique, axée sur l'évaluation des processus et de la compétence, par essence de nature qualitative, reposant sur des outils ayant démontré une bonne validité. 27
DEUXIEME PARTIE : LA BOITE A OUTILS Etat des lieux Suivant le courant constructiviste de la pédagogie en Sciences de la Santé, il paraît pertinent de classer les outils d'évaluation des compétences selon leur degré d'authenticité et leur niveau de contextualisation. On distingue alors des outils d'évaluation décontextualisés ou faiblement contextualisés, des outils richement contextualisés et des outils d'évaluation en contexte authentique (cf. Tableau 1). Tableau 1 : outils d évaluation en fonction de leur degré de contextualisation Evaluation décontextualisée Evaluation de connaissances déclaratives selon différents formats : Questions écrites rédactionnelles Examen Oral Questions à choix multiples (QCM) Questions à réponses ouvertes et courtes (QROC) Problème simulé par écrit suivi de «questions de cours» Evaluation richement contextualisée Evaluation de la résolution de problème selon différents formats : QCM à contexte riche et menus longue listes QROC type résolution de problème (un problème suivi d une question ouverte à réponse courte) Problèmes simulés par écrits (questions sur la hiérarchisation d hypothèses, la planification d examens complémentaires, la mise en œuvre d un traitement) Examen oral après réflexion sur un problème écrit Questions à appariement étendu (évaluation de la reconnaissance de forme) Examen par éléments clés (à partir de scénarios cliniques) Test de concordance de script Examen clinique objectif structuré (ECOS) Patients standardisés (simulés par des comédiens professionnels) Mannequins (faible ou haute fidélité) Patients virtuels (informatisés) Cartes conceptuelles +/- Protocoles de pensées à voix haute Evaluation en contexte authentique Evaluation de la pratique des étudiants ou des professionnels de santé : Supervision directe (pendant l action) ou indirecte (à distance de l action) Récit de situation complexe authentique (RSCA) Port-folio tutorat Patients Standardisés Incognito (simulés par des comédiens consultant à l improviste un médecin installé avec son accord) Evaluation par les patients Evaluation par les pairs Auto-evaluation 28
Quelques exemples QCM QROC Questions rédactionnelles (4) Les questions à choix multiples (QCM) requérant des réponses simples ou multiples évaluent les savoirs déclaratifs (exemple 1) s ils sont peu contextualisés où des connaissances procédurales lorsque les choix font suite à un énoncé contextualisé (exemple 2). Les données recueillies sont de nature quantitative. Les QCM sont le plus souvent utilisés dans un contexte d évaluation sommative en raison de la facilité de leur correction. Quelque soit leur mode de rédaction, elles évaluent la performance (mémoire pure, raisonnement clinique) et non les processus utilisés pour obtenir la solution. Sur le plan psychométrique, ce sont des outils fiables ayant une faible validité apparente mais une bonne validité critériée. Leurs avantages sont la faisabilité et le faible coût lié à l informatisation possible des corrections. Les inconvénients sont la lourdeur de la rédaction (nécessité de créer des items distracteurs) et l effet d indice apporté par les choix multiples. Cet effet d'indice peut être réduit par l'utilisation informatisée de menus déroulants permettant le choix entre un grand nombre d'options ou l utilisation de propositions complexes associant plusieurs propositions. Exemple 1 : QCM A REPONSE SIMPLE DECONTEXTUALISEE L insuffisance cardiaque gauche est responsable de : A. Dyspnée d éffort B. Reflux hépato-jugulaire C. Signe de Harzer D. Epanchement pleural E. Oedèmes des membres inférieurs Exemple 2 : QCM A CONTEXTE RICHE Un homme de 23 ans est reçu aux urgences pour traumatisme abdominal et lombaire droit au cours d une collision à ski. L examen clinique retrouve un empâtement douloureux de la fosse lombaire droite. La TA est à 126/80. le pouls est à 80/mn. Le reste de l examen est normal. Quels examens radiologiques simples demandez-vous en première intention? A. Scanner rénal B. ASP C. Echographie rénale D. UIV E. Cliché pulmonaire 29
Les questions à réponses ouvertes et courtes (QROC). En fonction de leur rédaction, elles vont solliciter la résolution de problème (exemple 3) ou l'appel à des connaissances déclaratives purement formelles, confinant au test de mémoire (exemple 4). Elles permettent un recueil de données quantitatives binaires (réussite ou échec) et sont, par conséquent, souvent utilisées dans un contexte d évaluation sommative. Elles évaluent la performance du jugement ou de la mémoire. Les QROC ont habituellement une bonne fiabilité. La cohérence interne (et donc la validité) d'un examen comprenant une liste de QROC peutêtre évaluée par le coefficient alpha de Cronbach. Une correction informatisée est possible grâce à l utilisation de menus déroulants. Le principal inconvénient réside dans la difficulté de leur rédaction lorsque l on souhaite réellement tester la pertinence du jugement. Exemple 3 : Question à réponse ouverte et courte testant la résolution de problème Un patient âgé de 85 ans consulte pour des nausées et quelques vomissement depuis 3 jours. Vous retrouvez à l interrogatoire la notion d un amaigrissement depuis 3 mois. Le bilan biologique montre : Na+ : 142 mmol/l, Kaliémie : 5,8 mmol/l, bicarbonates : 10 mmol/l, urémie : 12 mmol/l, créatininémie : 300 µmol/l Quel examen paraclinique simple demandez-vous en première intention? Exemple 4 : Question à réponse ouverte et courte testant la mémoire Quelles sont les 4 causes principales d insuffisance rénale organique? La question rédactionnelle de type «signes cliniques du malaise vagal» évalue essentiellement les connaissances déclaratives. Les données obtenues sont qualitatives mais la plupart du temps elles sont converties en données quantitatives d'après une grille établissant une liste de mots-clés et leur pondération. La question réactionnelle est utilisée dans l'évaluation sommative et très souvent proposée pour la certification ou le passage dans une année supérieure. Elle ne permet de juger que de l efficience de la mémoire. C'est un outil d'évaluation reproductible mais qui n'est pas valide pour les compétences cliniques selon les définitions apportées par le paradigme pédagogique constructiviste, car fortement décontextualisé. La question rédactionnelle reste très utilisée en raison de la facilité de sa rédaction. Son principal inconvénient est la lourdeur de la correction qui la rend difficilement utilisable pour l évaluation à grande échelle. 30
Problèmes simulés par écrit Test de Concordance de script (TCS) Le problème simulé par écrit (exemple 5) est très utilisé en second cycle des études médicales. Il est à la base des Epreuves Classantes Nationales comprenant neuf problèmes et une lecture critique d article. Il s'agit d'un énoncé rapportant les données cliniques et paracliniques, et dans l idéal, posant un problème diagnostique et/ou thérapeutique suivi d'une liste de quatre à dix questions testant les connaissances physiopathologiques, le raisonnement diagnostique, la capacité à planifier les examens complémentaires et à élaborer un plan de traitement. On évalue ici la résolution de problème mais le type de savoir évalué est fortement conditionné par le mode de rédaction. En effet, certains énoncés se concluent par une phrase informant sur le diagnostic étiologique et les questions à suivre ne sont qu une longue liste de questions rédactionnelles testant les connaissances déclaratives concernant ce diagnostic. Les données recueillies sont de type quantitatif d'après une grille établissant la liste des mots clés et leur pondération. En Médecine, cette évaluation est de nature sommative, en fin de deuxième cycle des études médicales, dans le but d'un classement national pour une régulation territoriale des flux en personnels médicaux. Ce type d évaluation peut cependant être utilisé de manière formative dans le cas de l'apprentissage du raisonnement médical. Il teste la performance du jugement mais certains processus peuvent être évalués par des questions du type «quels sont vos arguments positifs?, quels sont vos diagnostics différentiels?, comment hiérarchiser-vous vos hypothèses?...» Sur le plan psychométrique, cet outil est plutôt fiable et reproductible. En revanche, sa validité pour les compétences cliniques est douteuse puisque les signes cliniques sont donnés d'emblée dans l'énoncé et que l'on ne teste pas la façon de les rechercher. Utilisé à grand échelle dans un but de classement, cet outil se heurte à un problème de manque de sensibilité avec de nombreux ex aequo. Bien qu Il s'agisse d'une évaluation non authentique, le problème peut être rédigé tel qu un patient pourrait le soumettre à son médecin ce qui permet d évaluer certains aspects très pragmatique du raisonnement médical. Son principal inconvénient est la grande difficulté de rédaction liée à la quasi impossibilité de lever toutes les ambiguïtés. 31