Faculté de médecine, Université de Bretagne occidentale (Brest), France L évaluation des apprentissages en tant qu acte pédagogique et pratique sociale De multiples transitions à réussir Jean JOUQUAN, Bureau de pédagogie médicale
Institutions (Politiques) Programmes (Curriculum) Cours et/ou stages (Interventions) Evaluation Evaluation de l enseignement (formations) Evaluation Evaluation Assessment des apprentissages (étudiants) Connaissances (Ce que l on sait) Compétences (Ce que l on sait faire) Performances (Ce que l on fait)
La double fonction -pédagogique et sociale- de l évaluation des apprentissages Les tensions et les difficultés créées par la double fonction de l évaluation des apprentissages Des transitions à réussir pour dépasser l antinomie de la double fonction de l évaluation des apprentissages
La double fonction -pédagogique et sociale- de l évaluation des apprentissages
La démarche d évaluation des apprentissages 1. Recueillir des informations relatives aux apprentissages réalisés pendant et/ou à l issue d une formation 2. Interpréter ces informations afin de porter un jugement quant à la valeur de ces apprentissages 3. Dans le but de prendre une décision
1. Recueillir des informations relatives aux apprentissages réalisés pendant et/ou à l issue d une formation État novice Savoirs théoriques disciplinaires académiques culturels déclaratifs Base de connaissances Savoirs pratiques pragmatiques stratégiques expérientiels procéduraux Savoir-agir complexe mobilisation de ressources internes schémas opératoires externes Services judicieux et réfléchis Situations uniques, floues et complexes Conflits de valeurs Problèmes éthiques Expertise Identification et résolution efficace et efficiente d un problème à l intérieur d une famille de situations Schön, 1983. The reflective practitioner : how professional think in action Schön, 1987. Educating the reflective practitioner Curry, 1993. Educating professionals
Respect de la dignité Compétence clinique Altruisme Connaissances Habiletés Sens du devoir Exigence d information Connaissances hautement organisées Attitudes Processus de contrôle Autonomie de haut niveau Responsabilité Respect Raisonnement Investigation Décisions Education du clinique thérapeutiques patient Excellence Performances cliniques Action médicale Empathie Consentement Intégrité Bienfaisance
2. Interpréter ces informations afin de porter un jugement quant à la valeur de ces apprentissages Evidence-based education
2. Interpréter ces informations afin de porter un jugement quant à la valeur de ces apprentissages Valeurs prises en compte pour l interprétation et le jugement lors de l évaluation en tant qu acte pédagogique Valeurs prises en compte pour l interprétation et le jugement lors de l évaluation en tant que pratique sociale L'évaluation est utilisée essentiellement pour mesurer la quantité des apprentissages L'évaluation privilégie l'obtention de la bonne réponse L'évaluation est utilisée pour promouvoir et diagnostiquer la qualité des apprentissages L'évaluation se préoccupe autant du processus que du résultat et exploite les erreurs pour développer les apprentissages Conception «fixiste» et «innéiste» de l intelligence Fonction de sélection dévolue à l institution de formation Conception «constructiviste» de l intelligence Fonction émancipatrice de l institution de formation
3. Dans le but de prendre une décision «Evaluation drives curriculum» G. Miller, 1961 «Si vous voulez savoir ce que font les professeurs, regardez le programme» «Si vous voulez savoir ce que font les étudiants, regardez le système d évaluation» G. Norman, 1991
3. Dans le but de prendre une décision Ajuster des stratégies d apprentissage et d enseignement EVALUATION FORMATIVE Fonction pédagogique de l évaluation
3. Dans le but de prendre une décision Is the public being protected? Prevention of suboptimal medical practice through training programs and credentialing examinations. R Tamblyn Eval Health Professions 1994 ; 17 : 198-221
3. Dans le but de prendre une décision Ajuster des stratégies d apprentissage et d enseignement EVALUATION FORMATIVE Délivrer Valider une autorisation séquence d enseignement d exercice professionnel ou de stage et/ou autoriser le passage en année supérieure EVALUATION CERTIFICATIVE (Licence EVALUATION et/ou SOMMATIVE certification) Fonction pédagogique de l évaluation Fonction (administrative) sociale de l évaluation
La double fonction -pédagogique et sociale- de l évaluation des apprentissages Les tensions et les difficultés créées par la double fonction de l évaluation des apprentissages
Fonction pédagogique de l évaluation Fonction sociale de l évaluation
[.] ce serait revenir aux jours sombres du passé lorsque l on se satisfaisait d une validité apparente [ ] que d utiliser le portfolio à des fins d évaluation sommative (traduction libre) Roberts C, Newble DI, O Rourke A. Portfolio-based assessment in medical education: are they valid and reliable for summative purposes? Med Educ 2002;36:899-900.
Fonction sociale de l évaluation La perspective DOCIMOLOGIQUE de l évaluation Les informations relatives aux apprentissages doivent résulter d une mesure Les qualités métrologiques (validité, fidélité) des instruments de mesure sont garantes de la rigueur de l évaluation Les apprentissages sont mesurés indirectement grâce à des tests (tâches) standardisés
Compétence clinique Connaissances Habiletés Connaissances hautement organisées Processus de contrôle de haut niveau Attitudes Raisonnement clinique (Résolution de problèmes) Performances cliniques Pratiques médicales réelles Modifié d après Newble, Norman et Van der Vleuten, 2000
Respect de la dignité Altruisme Sens du devoir Exigence d information Autonomie Responsabilité Compétence clinique Action médicale Respect Excellence Empathie Consentement Intégrité Bienfaisance
Impacts positifs Apport d une incontestable rigueur Remise en cause de certaines «croyances» Supériorité des questions à réponse ouverte sur les questions à choix multiples Intérêt d une approche «centrées sur des données probantes» en évaluation et en éducation (evidence-based education and assessment) Limites et conséquences discutables Mise en exergue du but sélectif de l évaluation Surestimation des données quantitatives et de la validité statistique Globalisation : tout = stricte somme des parties Orientation des tests vers les éléments faciles à mesurer Clivage des situations d enseignement et d apprentissage et des situations d évaluation
Exemple d un examen composé de 100 questions à choix multiple (QCM) 24 55 Bonnes réponses (n = 86) Mauvaises réponses (n= = 14)
Instrument Fidélité en fonction de la durée du test (Exprimée en coefficient α de Cronbach) 1 heure 2 heures 4 heures 8 heures QCM 0. 62 0. 76 0. 93 0. 93 Cas cliniques «papier» (PMP) 0. 36 0. 53 0. 69 0.82 Examen oral à partir de cas de patients 0. 50 0. 69 0. 82 0. 90 ECOS 0. 54 0. 62 0. 82 0. 90 Épreuves cliniques courtes (mini-cex) 0. 73 0.84 0.92 0. 96 Épreuves cliniques longues (OSLER) 0. 60 0. 75 0. 86 0. 90 Patients standardisés incognito 0. 61 0. 76 0. 82 0. 86 D après CPM Van der Vleuten & LWT Schuwirth Assessing professional competence: from methods to programmes Med Educ 2005;39:309-17
Fonction pédagogique de l évaluation La perspective de l évaluation AUTHENTIQUE Les informations relatives aux apprentissages doivent résulter de procédures éclectiques et peuvent aussi être de nature qualitative Les critères de rigueur sont ceux de l approche qualitative en sciences humaines et sociales Les apprentissages sont appréciés directement à partir de performances, de travaux personnels des étudiants
Caractéristiques des évaluations «authentiques» (1) (Adapté d après Wiggins, 1989) Concernant la conception des modalités d évaluation -La production est destinée à un jury -Il n y a aucune contrainte de temps fixée arbitrairement -La tâche et ses exigences sont connues avant la situation d évaluation -L évaluation peut exiger une certaine forme de collaboration avec les pairs -Les tâches d évaluation sont récurrentes Concernant l orientation cognitive des tâches -L évaluation n inclut que des tâches contextualisées -L évaluation exige l utilisation fonctionnelle de connaissances spécifiques -L évaluation prend en considération les stratégies cognitives et métacognitives utilisées par les étudiants -L évaluation utilise des problèmes complexes visant le traitement en profondeur des informations par l étudiant
Caractéristiques des évaluations «authentiques» (2) (Adapté d après Wiggins, 1989) Concernant les critères de «correction» -La correction ne tient compte que des erreurs importantes dans l optique de la construction des compétences -Les critères de correction sont multiples et donnent lieu à plusieurs informations sur la compétence évaluée -L auto-évaluation fait partie de l évaluation -Les critères de réussite sont démystifiés pour l étudiant Concernant l éthique et la déontologie -L évaluation doit déterminer les forces des étudiants -Les informations obtenues doivent établir un équilibre entre les aptitudes de l étudiant, ses connaissances antérieures et les nouveaux apprentissages réalisés -Les mêmes démarches d évaluation sont exigées de tous les étudiants mais un soutien est nécessaire pour ceux qui éprouvent des difficultés -L évaluation est guidée par les exigences de la validité écologique et elle est avant tout au service de l apprentissage
Impacts positifs Autorise la prise en compte de chaque «objet» évalué pour sa signification intrinsèque (le tout > stricte somme des parties) Invite à privilégier la pertinence plutôt que la commodité à être mesuré Réhabilite le jugement (forces/faiblesses) par rapport à la mesure (reçu/collé) Réintègre l évaluation au sein des activités d enseignement et d apprentissage Limites et difficultés Volume important d informations à manipuler Difficultés de mutualiser les points de vue de plusieurs examinateurs intervenant de façon récurrente Repenser les critères de rigueur Validité Crédibilité Fidélité Fiabilité / transférabilité
La double fonction -pédagogique et sociale- de l évaluation des apprentissages Les tensions et les difficultés créées par la double fonction de l évaluation des apprentissages Des transitions à réussir pour dépasser l antinomie de la double fonction de l évaluation des apprentissages
Théorie de la compétence Théorie de la formation Théorie de l évaluation
Théorie de la compétence
Approche pédagogique «par objectifs» Contenus disciplinaires Objectifs Domaine cognitif Domaine psychoaffectif Domaine psychomoteur Savoir Savoir-être Savoir-faire Connaissances Attitudes Habiletés
Approche pédagogique «par compétences» Ressources Compétences visées
Approche pédagogique par compétences Pédagogues Employeurs Expliciter de façon plus adéquate la finalité des dispositifs de formation Améliorer la productivité des institutions Optimiser les pratiques pédagogiques Optimiser la flexibilité professionnelle et sociale Crédibiliser les procédures d évaluation sommative Reformuler les termes de l employabilité (certification vs. qualification) Logique éducationnelle Logique économique/gestionnaire
Référentiel professionnel Référentiel de compétences Fonctions Activités Tâches Opérations Familles de situations Compétences Capacités Critères Approche située (contextualisée) de la compétence Préparation du transfert des apprentissages Approche analytique (décontextualisée) de la compétence Actes/Gestes Indicateurs TAXONOMIE DES ACTIVITES D après F. Parent et al. Pédagogie Médicale 2010;11:111-25
Théorie de la compétence Théorie de la formation
Enseignant enseignement Étudiant Contenus
Enseignant Enseignant enseignement Étudiant Enseignant Étudiant Situés dans des contextes authentiques Portfolio Expériences d apprentissage Étudiant Mis explicitement en relation avec des tâches Instruments plutôt que cible des apprentissages (Ressources) «Contenus» Articulés autour de compétences Au service de la résolution de situations-problèmes
Théorie de la compétence Théorie de la formation Théorie de l évaluation
Contextualisation (Authenticité) Intégration (Compétences «générales» et «spécifiques») Contextualisation (Authenticité) Portfolio Agit Démontre comment ECOS Sait comment QROC Connaît QCM Intégration (Compétences «générales» et «spécifiques») Miller GE. The assessment of clinical skills/competence/performance. Acad Med (Suppl) 1990;65:S63-7
Contextualisation (Authenticité) Intégration (Compétences «générales» et «spécifiques») Contextualisation (Authenticité) Portfolio Agit Démontre comment ECOS QCM Sait comment QROC Portfolio Connaît QCM Intégration (Compétences «générales» et «spécifiques») Miller GE. The assessment of clinical skills/competence/performance. Acad Med (Suppl) 1990;65:S63-7
La démarche d évaluation des apprentissages Validité Fidélité 1. Recueillir des informations relatives aux apprentissages réalisés pendant et/ou à l issue d une formation Validité/crédibilité Fidélité/fiabilité 2. Interpréter ces informations afin de porter un jugement quant à la valeur de ces apprentissages 3. Dans le but de prendre une décision
Perspective traditionnelle Théorie de la formation Théorie de l évaluation Théorie de la compétence Logique d enseignement Perspective docimologique Corollaires Approche didactique Les tâches d apprentissage réalisées par les étudiants ne peuvent révéler valablement ni les connaissances ni les compétences qu ils maîtrisent. Standardisation Les enseignants ne sont pas des professionnels susceptibles d évaluer judicieusement l évolution des étudiants au moment où elle se produit. Externalisation La rigueur du processus d évaluation doit pouvoir être démontrée «objective» Mesure
Théorie de la formation Logique d apprentissage Perspective alternative Théorie de l évaluation Perspective de l évaluation authentique Théorie de la compétence Approche systémique Corollaires Les tâches d apprentissage réalisées par les étudiants sont les situations les plus appropriées pour révéler valablement les connaissances et les compétences qu ils maîtrisent. Contextualisation Les enseignants sont des professionnels susceptibles d évaluer judicieusement l évolution des étudiants au moment où elle se produit. Récurrence et interaction Il est important d avoir des informations sur les choses importantes à évaluer et pas seulement sur les choses faciles à mesurer. Eclectisme
Au total : les «tendances lourdes» actuelles en matière d évaluation des apprentissages Pour optimiser la «validité/crédibilité» du jugement : Multiplier les sources d informations sur les apprentissages Privilégier la récurrence des moments d évaluation Pour optimiser la «fidélité/fiabilité» du jugement : Envisager l enseignement, l apprentissage et l évaluation des différentes dimensions de la compétence d emblée de façon intégrée Privilégier d emblée l authenticité des contextes d enseignement, d apprentissage et d évaluation des apprentissages Pour optimiser globalement la pertinence du jugement : Logique de validation de processus plutôt que : Logique de démonstration expérimentale
Mesure «Appréciation Assessment Evaluation» Mesure Testing Recueil qualitatif et contextualisé Scallon G L évaluation des apprentissages dans une approche par compétences. 2004, Bruxelles: De Boeck Mesure Méditation Michel Serres L éducation médicale vue par un philosophe 1 Congrès de la SIFEM, Beyrouth 2006
Questions d ordre ontologique : quelle est la nature des apprentissages à évaluer? Questions d ordre épistémologique : quelle relation l évaluateur doit-il entretenir avec l apprenant à évaluer? Questions d ordre méthodologique : quels sont les outils qui offrent le meilleur compromis entre qualités psychométriques et qualités éducationnelle? Questions de nature éthique : au nom de quoi avons-nous pris nos décisions?