Un outil de validation de l épreuve synthèse d un programme d études collégiales

Un outil de validation de l épreuve synthèse d un programme d études collégiales 34 e colloque de l AQPC Atelier #411 4 juin 2014 Catherine Boulanger, Conseillère pédagogique Cégep de Sorel-Tracy Chargée cours PERFORMA

DÉROULEMENT DE LA PRÉSENTATION L ÉSP au collégial La problématique vécue dans le programme de radio-oncologie Conception d un outil de validation Présentation de l outil

MES PRÉOCCUPATIONS Questionnement sur la validité de l ÉSP L intention de mon travail

QU EST-CE QUE L ÉSP? «L ÉSP est une activité d évaluation sommative qui a pour fonction d attester, au terme du programme, le niveau de développement des compétences terminales, en tant que résultat de l intégration, par l élève, des apprentissages essentiels réalisés dans le programme» (D Amour, 1997, p. 319) «L ÉSP doit attester que l élève a réalisé l intégration des apprentissages essentiels du programme; attester que l élève a la capacité de faire face à des situations réelles» (Laliberté, 1995, p. 21)

DÉROULEMENT DE LA PRÉSENTATION L ÉSP au collégial La problématique vécue dans le programme de radio-oncologie Conception d un outil de validation Présentation de l outil

MISE EN CONTEXTE QU EST-CE QUE LA RADIO-ONCOLOGIE? Science qui permet de produire des images médicales servant aux médecins de poser des diagnostics précis La science qui utilise la radiation pour traiter différentes formes de cancer. L'usage de certaines substances chimiques pour traiter une maladie ou détruire les cellules cancéreuses. Science qui a recours à des produits radio pharmaceutiques pour examiner le fonctionnement et la structure d organes et de tissus.

RÉFLEXION Profil de sortie en Technologie de Radio-Oncologie La finissante ou le finissant doit être capable d'effectuer correctement les actes techniques, de prendre des décisions éclairées et appropriées, d'établir et d'entretenir des relations harmonieuses et pertinentes avec les patients et les membres de l'équipe de travail, d'évoluer dans les différents champs d'activité de la radio-oncologie et d'assumer consciencieusement ses responsabilités professionnelles Avez-vous une idée d activité d évaluation synthèse à proposer à la suite de la lecture du profil de sortie?

LA PROBLÉMATIQUE Les objectifs de l ÉSP Les consignes de l ÉSP Le niveau taxonomique L attestation de la compétence Le jugement professionnel La grille d évaluation

Réflexion Exploration Analyse des fondements pédagogiques concernant l épreuve certificative Outil Problème Expérimentation Certifier l atteinte des compétences Peu de liens entre les consignes et la compétence Imprécision de la grille d évaluation Questionnement sur le niveau taxonomique de l ÉSP Intégration et le transferts de connaissances Absence du jugement professionnel Extension du problème à d autres programmes Utilisation Rétroaction Amélioration de l outil

L EXTENSION DU PROBLÈME Plusieurs enseignantes et enseignants s interrogent sur l ÉSP de leur programme d études. Vous en êtes la preuve aujourd hui! Les questionnements concernent : a) la validité de l activité d évaluation synthèse proposée; b) la formule utilisée; c) le contexte de réalisation différent de celui du marché du travail; d) l aspect subjectif que peut représenter le jugement professionnel de l enseignant ; e) la difficulté à concevoir de bons outils de jugements; f) le manque de connaissances en évaluation des apprentissages.

«Plusieurs enseignantes et enseignants n ont pas changé leur conception de l évaluation des apprentissages; une partie de la note accordée à l élève est encore trop souvent associée à des éléments qui ne permettent pas de juger de l atteinte de la compétence» (Leroux, 2009, p. 45).

L ÉSP au collégial La problématique vécue dans le programme de Radio-oncologie Conception d un outil de validation Présentation de l outil

Un cadre de référence Les compétences L évaluation certificative Mise au point d un outil de validation de l ÉSP L accompagnement pédagogique

Activation des connaissances QUELLE EST LA DÉFINITION D UNE COMPÉTENCE? Savoir-agir fondé sur la mobilisation et l utilisation efficace d un ensemble de ressources Savoir-agir complexe prenant appui sur la mobilisation et la combinaison efficaces d une variété de ressources internes et externes à l intérieur d une famille de situations Savoir-agir complexe mobilisant un ensemble intégré de ressources pertinentes et articulées entre elles pour traiter avec succès, une tâche ou une situation complexe, pour une famille de situations Toutes ces réponses

QUEL ÉNONCÉ DÉCRIT L ÉVALUATION CERTIFICATIVE? Permet de réguler les apprentissages et de formuler des rétroactions à l élève. Jugement professionnel qui certifie l acquisition de compétences à certaines étapes du cours. Vérifier l atteinte partielle ou complète par l élève de la ou des compétences pour l ensemble du cours ou du programme. Orienter vers une démarche d appoint ou une aide personnalisé.

LES CARACTÉRISTIQUES DE L ÉSP 1. La qualité : fidélité (capacité de toujours mesurer la même chose) et validité (justesse et la pertinence de l interprétation) 2. L équité (jugement équivalent, dans des situations comparables) 3. La justice (moyen d évaluation cohérent qui examine fidèlement ce qui est précisé au plan d études ) 4. La transparence (le genre d évaluation est connu d avance) 5. L authenticité (un contexte et tâches présentant des similitudes importantes avec des situations réelles) 6. La rigueur (sollicite le traitement des informations en profondeur afin que l étudiante ou l étudiant démontre qu elle ou il a su développer la compétence)

Identification des compétences LA MISE AU POINT D UN OUTIL DE Règles de correction Conception de l ÉSP Situations et outils d évaluation VALIDATION DE L ÉSP Règles d administration

Questions?

UN OUTIL DE VALIDATION DE L ÉSP Scallon (2004a) identifie deux composantes principales d un outil de validation : la situation d évaluation et les outils de jugement. Donc, l outil doit permettre l appréciation autant de la situation d évaluation que de l instrument de mesure nécessaire à l émission du jugement de l enseignante ou de l enseignant

L ÉSP au collégial La problématique vécue dans le programme de Radio-oncologie Conception d un outil de validation Présentation de l outil

LES THÉMATIQUES DE L OUTIL DE VALIDATION DE L ÉSP L analyse de la cible de formation L analyse des caractéristiques d une évaluation certificative La conception de l instrument de jugement Les conditions d évaluation La progression des apprentissages.

Composantes de l outil de validation de l ÉSP Questions à répondre Grille d évaluation Lexique des termes pédagogiques Éléments de preuve Plan de travail

Présentation de l outil de validation Outil de validation final AQPC.docx

L ANALYSE DE LA CIBLE DE FORMATION Compétences essentielles Formation générale Profil de sortie Critères de performance Caractères d une compétence Contexte de réalisation Ressources à mobiliser Niveau taxonomique

L analyse de la cible de formation est la section la plus exigeante de l outil de validation. Plus simple pour les programmes préuniversitaires. Plus exhaustive pour certains programmes techniques. Invite à consulter également les visées de la formation générale.

L ANALYSE DES CARACTÉRISTIQUES D UNE ÉVALUATION CERTIFICATIVE

LA CONCEPTION DE L OUTIL DE JUGEMENT Composition d une grille d évaluation Indicateurs et critères d évaluation, pondération, échelle d appréciation, seuil de réussite Présentation et compréhension Au moment de la remise des consignes (en avance) Grille claire et facile à comprendre Utilisation de la grille Outil fidèle et valide

LES CONDITIONS D ÉVALUATION Conditions d admissibilité, de réussite et de reprise Présentation des conditions de passation Choix des conditions de passation Rétroaction Préparation formative

PROGRESSION DES APPRENTISSAGES Les situations proposées Suivre la progression Les tâches proposées Volets de profession Savoirs universitaires Savoirs-agir complexes Démonstration Intégration et transfert

L ACCOMPAGNEMENT PÉDAGOGIQUE L accompagnement de l équipe programme par une conseillère ou un conseiller pédagogique dans une démarche de validation de l ÉSP peut faciliter une compréhension commune des finalités du programme d études ou des composantes de l ÉSP et aider la réflexion concernant l activité d évaluation certificative.

Les rétroactions des participants Un outil de validation: Exigeant Utile, qui crée l adhésion des participants Aux dimensions pertinentes Qui bénéficie d un accompagnement Prometteur

RÉFLEXION SUR LES RETOMBÉES Voyez-vous des retombées dans votre collège?

Les retombées observées Une enseignante ou un enseignant novice peut construire ou approfondir de nouvelles connaissances en utilisant l outil de validation de l ÉSP. Invite à la concertation des enseignants du programme d études Revoir en profondeur les fondements pédagogiques de l ÉSP Invite à l amélioration de l évaluation certificative

IMPACT DE MES TRAVAUX DANS LE PROGRAMME DE RADIO-ONCOLOGIE Modification de l ÉSP Poursuite des travaux par mon amie et collègue, Lise Joly, dans le cadre d un essai de maitrise. Conception d un examen clinique objectif structuré (ECOS) comme volet pratique de l épreuve synthèse de programme. Évaluation distincte, qui respecte davantage les principes encadrant l ÉSP.

Inspiration pour des travaux futurs Outil pour accompagner un processus d élaboration de l ÉSP Conception d un outil pour encadrer l épreuve terminale de cours

Questions?

MERCI! L outil de validation est disponible à l adresse suivante: Vous avez des questions? Je vous invite à m écrire Catherine Boulanger Cégep de Sorel-Tracy catherine.boulanger@cegepst.qc.ca

BIBLIOGRAPHIE Anderson, L. W.et Krathwohl, D. R. (2000). A Taxonomy for Learning, Teaching, and Assessing: A Revision of Bloom's Taxonomy of Educational Objectives. New York, Longman : Allyn & Bacon. Boudreault, P. (2004). La recherche quantitative, In T. Karsenti et L. Savoie-Zajc (dir.), La recherche en éducation : Étapes et approches (p. 151-180). Sherbrooke : Éditions du CRP. Collège Ahuntsic (2011a). Cahier programme Technologie de radio-oncologie. Montréal : Collège Ahuntsic. Site du Collège Ahuntsic. Site téléaccessible à l adresse http://www.collegeahuntsic.qc.ca/public/7e1f5c75-1d2e-429e-8dc7-0c9373d8a53c/services/spdp/documents/cahiers-prog/cp-radioonco.pdf> Commission d évaluation de l enseignement collégial (1994). L évaluation des politiques institutionnelles d évaluation des apprentissages. Cadre de référence. Québec : Gouvernement du Québec, janvier 1994. Site téléaccessible à l adresse <http://www.ceec.gouv.qc.ca/publications/orientation- DOC/PIEA_Cadre.pdf> Consulté le 10 juin 2013. Côté, F. (2009). Le dossier d étude, pour évaluer autrement un portfolio d apprentissage. Montréal : Les cahiers de l AQPC. D Amour, C. (1997a). L évaluation des apprentissages au collégial : du cours au programme In H. Guy (2004) L évaluation des apprentissages, Carrefour de la réussite au collégial (p. 319-323). Regroupement des collèges, PERFORMA. Gouvernement du Québec (1993a). Règlement sur le régime des études collégiales Québec : Ministère de l Éducation, Site des publications gouvernementales du Québec. Site téléaccessible à l adresse <http://www2.publicationsduquebec.gouv.qc.ca/dynamicsearch/telecharge.php?type=2&file=%2f%2fc_29%2fc29r4.htm> Consulté le 3 octobre 2011. Howe, R. (2006). La Note de l'évaluation finale d'un cours dans l'approche par compétences : Quelques enjeux pédagogiques. Pédagogie collégiale, 20(1),13 Laliberté, J. (1995). L épreuve synthèse de programme gage ou facteur d intégration des apprentissages? Pédagogie collégiale, 8(1),18. Legendre, R. (2005). Dictionnaire actuel de l'éducation (3e éd.). Montréal : Guérin (1er éd.1988). Leroux, J.L. (2009). Analyse des pratiques évaluatives d enseignantes et d enseignants dans une approche par compétences au collégial. Thèse de doctorat en éducation, Université de Sherbrooke, Sherbrooke. Leroux J.L. et Bigras, N. (2003). L'évaluation des compétences : Une réalité accessible dans nos collèges. Saint-Hyacinthe : Cégep de Saint-Hyacinthe et Regroupement des collèges PERFORMA. Martin, N. (2012). Conception d un portfolio pour documenter le développement des compétences de l élève au collégial. Recherche de maîtrise en éducation, Université de Sherbrooke Tardif, J. (2006). L'évaluation des compétences : Documenter le parcours de développement. Montréal : Chenelière éducation.