Évaluation de l'application de la politique institutionnelle d'évaluation des programmes d'études (PIEP)

Documents pareils
Vers l amélioration continue

DEVIS D ÉVALUATION. Efficacité du système d assurance qualité du Collège Shawinigan. Automne 2013

GUIDE D ENCADREMENT DES STAGES EN MILIEU DE TRAVAIL POUR LES ÉTUDIANTS INSCRITS À UN PROGRAMME DE DESS OU DE MAÎTRISE PROFESSIONNELLE ADMISSIBLE

BUREAU DU CONSEIL PRIVÉ. Vérification de la gouvernance ministérielle. Rapport final

RÈGLEMENT NUMÉRO 10 SUR LES CONDITIONS D ADMISSION AUX PROGRAMMES ET D INSCRIPTION AUX COURS

Présentation du programme de danse Questions-réponses

Guide pour la rédaction du rapport d auto-évaluation

RÈGLEMENTS, POLITIQUES ET PROCÉDURES

RÈGLEMENTS, POLITIQUES ET PROCÉDURES

ANNEXE 2 : Liste des questions entre le directeur et l étudiant

la Direction des ressources humaines et des relations de travail (langue du travail ; maîtrise du français par les employé(e)s)

CAHIER DE PROGRAMME SOINS INFIRMIERS (180.A0)

APPROCHE PAR COMPÉTENCES

EVALUATION DES SERVICES GUIDE A L INTENTION DE LA CHEFFE OU DU CHEF DE SERVICE ET DE SES COLLABORATRICES ET COLLABORATEURS

POLITIQUE RELATIVE À L EMPLOI ET À LA QUALITÉ DE LA LANGUE FRANÇAISE

RAPPORT SUR Réunion ordinaire du Conseil

Évaluation périodique du programme MBA coop Résumé Faculté d administration

Ce que nous verrons pendant la PRÉSENTATION

RÈGLEMENT FACULTAIRE SUR LA RECONNAISSANCE DES ACQUIS. Faculté des lettres et sciences humaines

PLAN DE COURS DÉPARTEMENT ÉLECTRONIQUE INDUSTRIELLE. TITRE DU COURS Ordinateur Outil RA 1-4-2

Évaluation en vue de l accréditation. Programme Master Européen en Médiation de l Institut Universitaire Kurt Bösch

RÈGLEMENT NUMÉRO 12 RÈGLEMENT SUR L UTILISATION DES TECHNOLOGIES INFORMATIQUES ET INTERNET

Licence professionnelle Radioprotection, démantèlement et déchets nucléaires : chargé de projets

Cadre de gestion du risque de fraude Rapport d audit Rapport n o 5/14 2 septembre 2014

Protocole institutionnel d assurance de la qualité. Université d Ottawa

L ORDONNANCE DU 2 FEVRIER Exposé des motifs

LE TABLEAU SYNTHÈSE DES BOURSES UNIVERSITAIRES

Bienvenue. au Collège Montmorency. Présentation destinée aux nouveaux admis

INSPECTION EN BÂTIMENT EEC.2W

Une école adaptée à tous ses élèves

médicale canadienne, l Institut canadien d information sur la santé, Santé Canada et le Collège royal des médecins et chirurgiens du Canada.

10 REPÈRES «PLUS DE MAÎTRES QUE DE CLASSES» JUIN 2013 POUR LA MISE EN ŒUVRE DU DISPOSITIF

Licence professionnelle Commerce en banque-assurance

Plan de rédaction d un projet de programme d études UQAM

ARTS, LETTRES & LANGUES LICENCE INFORMATION ET COMMUNICATION. Culture et Médias.

exigences des standards ISO 9001: 2008 OHSAS 18001:2007 et sa mise en place dans une entreprise de la catégorie des petites et moyennes entreprises.

Guide d auto-évaluation

PLAN D ACTION DE L AGENCE DE LA SANTÉ ET DES SERVICES SOCIAUX DE LANAUDIÈRE À L ÉGARD DE L INTÉGRATION DES PERSONNES HANDICAPÉES

Université de Haute Alsace. Domaine. Sciences Humaines et Sociales. MASTER Mention Éducation, Formation, Communication UHA, ULP, Nancy 2

SCIENCES DE L ÉDUCATION

Nantes, le 22 décembre Monsieur le Directeur IONISOS Zone industrielle Les Chartinières DAGNEUX

Évaluation des programmes d Informatique

RÈGLEMENT GÉNÉRAL 3 LES ÉTUDES DE CYCLES SUPÉRIEURS

Rapport d évaluation de la licence professionnelle

Attentes et transitions vers les études postsecondaires : sondage auprès des élèves de 12 e année des Maritimes

Concours de recrutement de professeurs de français - Genève Note d information

LE RENOUVEAU PÉDAGOGIQUE

Évaluation de la politique et des pratiques de l Université de Moncton en matière d assurance de la qualité

Rapport d évaluation de la licence professionnelle

Questions et réponses sur la cote de rendement au collégial

BUREAU DU CONSEIL PRIVÉ. Vérification de la sécurité des technologies de l information (TI) Rapport final

POLITIQUE D OCTROI DES DONS ET COMMANDITES

Guide d auto-évaluation. Directives à l intention des hautes écoles. Accréditation des hautes écoles universitaires

GUIDE SUR LES INDICATEURS DE PERFORMANCE DANS LES UNITÉS DE VÉRIFICATION INTERNE

COMMISSARIAT À LA PROTECTION DE LA VIE PRIVÉE DU CANADA. Vérification de la gestion des ressources humaines

R E G L E M E N T G E N E R I Q U E DES F O R M A T I O N S E P D E S S P E C I A L I S E E S E N S O I N S

PRÉSENTATION GÉNÉRALE

STATUTS DE L ASSOCIATION DES ETUDIANTS EN DROIT DE L UNIVERSITÉ DE GENÈVE

Guide pour la poursuite des études

Services de conciliation en assurance Cadre de collaboration et de surveillance. Approuvé par le CCRRA en juin 2015

CHARTE DES PROGRAMMES

REGLEMENT D ETUDES CADRE DU MASTER OF BUSINESS ADMINISTRATION (MBA) FACULTE D ECONOMIE ET DE MANAGEMENT

Rapport d évaluation du master

(CC )

ÉNONCÉ DE PRINCIPES LE COMMERCE ÉLECTRONIQUE DES PRODUITS D ASSURANCE

BILAN DE L EDUCATION PHYSIQUE A L ECOLE PRIMAIRE RAPPORT DE LA COMMISSION DES INSPECTEURS DU VALAIS ROMAND (CPI)

Évaluation en vue de l accréditation

INTRODUCTION PRÉSENTATION DU PROGRAMME

UN COURS DE MATHÉMATIQUES EN LIGNE? POURQUOI PAS...

CADRE OPÉRATIONNEL ET PLAN D ACTION DE DÉVELOPPEMENT DURABLE POUR LE MASSIF INC. Par. Marie-Michèle Couture-Morissette

Licence professionnelle Conception et administration de systèmes d information en réseau

Manuel de recherche en sciences sociales

Plan de travail du Bureau de l audit et de la surveillance du FIDA pour 2011

PROGRAMME DE BOURSES FONDATION J. ARMAND BOMBARDIER

L obligation de négocier sur la pénibilité dans les entreprises. Premiers éléments de bilan. Direction générale du travail

Concours 2008 / 2009 externe et interne réservé d ingénieurs des services culturels et du patrimoine, spécialité «services culturels»

Une école adaptée à tous ses élèves

Aperçu et raison d être du programme d études

Contenu de l action de formation BTS Management des Unités Commerciales

Licence professionnelle Lean manufacturing

OUTIL DIAGNOSTIQUE DE L ACTION EN PARTENARIAT

Déclin des groupes visés par l équité en matière d emploi lors du recrutement. Étude de la Commission de la fonction publique du Canada

Le 12 avril Monsieur Robert Dutil Ministre du Revenu 3800, rue Marly Dépôt e étage Québec (Québec) G1X 4A5

1. COMPOSITION ET CONDITIONS DE PREPARATION ET D ORGANISATION DES TRAVAUX DU CONSEIL D ADMINISTRATION

Master Audiovisuel, communication et arts du spectacle

Votre droit au français

CONVENTION COLLECTIVE DE TRAVAIL ENTRE L'UNIVERSITÉ DU QUÉBEC À CHICOUTIMI

PROGRAMME D ÉTUDES TECHNIQUES DIPLÔME D ÉTUDES COLLÉGIALES

RAPPORT DU CONSEIL D ADMINISTRATION A L ASSEMBLEE GENERALE

CÉGEP du Vieux Montréal Département des Soins infirmiers. L apprentissage par problèmes

Techniques de l informatique 420.AC. DEC intensif en informatique, option gestion de réseaux informatiques

h + 120h 555 h

Deuxième Cycle d Evaluation. Addendum au Rapport de Conformité sur la Hongrie

Evaluation de l organisation interne

Avis d'emploi vacant. Poste(s) supervisé(s) : Date d'affichage : 18 mars À propos de CATIE

Evaluation des risques et procédures d audit en découlant

Page 1 Domaine commercial filière informatique de gestion 2 sur 16

PLAN DE COURS CONCEPT ET MULTIMÉDIA JCW 06

d évaluation Objectifs Processus d élaboration

Transcription:

Évaluation de l'application de la politique institutionnelle d'évaluation des programmes d'études (PIEP) du Cégep de Jonquière Faite à l'occasion de l'évaluation par l'établissement du programme Sciences, Lettres et Arts (700.01) Juin 2003

Introduction L évaluation de l application de la politique institutionnelle d évaluation des programmes (PIEP) du Cégep de Jonquière s inscrit dans une opération menée par la Commission d évaluation de l enseignement collégial (CEEC) auprès de l ensemble des collèges qui offrent un programme conduisant à l obtention du diplôme d études collégiales (DEC). La Commission a demandé à tous ces établissements de procéder, au cours de l année 1998-1999, à l évaluation en profondeur d un programme menant au DEC en appliquant leur propre politique et de lui transmettre un rapport portant à la fois sur le programme évalué et sur l application de leur PIEP. Le Cégep de Jonquière a évalué le programme Sciences, Lettres et Arts (700.01) et il a transmis son rapport à la Commission en mars 2002, soit avec un retard considérable que la Commission déplore dans une optique d équité à l égard de l ensemble des collèges. Ce rapport comporte deux parties traitant respectivement de l autoévaluation du programme et de l autoévaluation de l application de la PIEP. Un comité de la Commission, présidé par une commissaire 1, a analysé ce rapport et a effectué une visite à l établissement les 23 et 24 octobre 2002. À cette occasion, le comité a rencontré la direction de l établissement, des membres du conseil d administration, le comité d autoévaluation ainsi que des professeurs 2 de différentes disciplines de la formation spécifique. La Commission a évalué l application de la PIEP du Cégep de Jonquière selon les critères annoncés dans le Cadre de référence, publié en 1994 3, soit la conformité et l efficacité, et selon les précisions données dans sa correspondance avec les collèges. Après une brève description du Collège, de sa PIEP et du programme évalué, la Commission expose dans le présent rapport les résultats de son évaluation. 1. Le comité était composé de M me Louise Chené, commissaire, de M me Anne Gourde, conseillère pédagogique au Collège de Maisonneuve, de M. Bernard Boulet, professeur de philosophie dans le programme Sciences, Lettres et Arts, et de M. Robert Howe, directeur adjoint au Cégep régional de Lanaudière à L Assomption. Le comité était assisté de M. Jean Perron, agent de recherche de la Commission, qui agissait comme secrétaire. 2. Dans le présent document, le genre masculin désigne, lorsque le contexte s y prête, aussi bien les femmes que les hommes. 3. COMMISSION D ÉVALUATION DE L ENSEIGNEMENT COLLÉGIAL, L évaluation des politiques institutionnelles d évaluation des programmes d études. Cadre de référence, octobre 1994, 25 p.

- 2 - Le collège, sa politique et le programme évalué Fondé en 1967, le Cégep de Jonquière accueillait, en septembre 2001, près de 3 500 élèves à la formation ordinaire dont 75 % étaient inscrits à l un des quelque 20 programmes techniques offerts au Collège et 25 % à l un des 5 programmes préuniversitaires. La PIEP du Cégep de Jonquière est comprise dans une politique d élaboration et d évaluation des programmes (PIEEP); elle fut adoptée par le conseil d administration du Collège en mai 2001 4. En septembre 2001, la Commission, en évaluant de cette politique tout ce qui touchait l évaluation de programmes, jugeait qu elle contenait les composantes et les éléments essentiels à la réalisation d évaluations de qualité et à la prise en compte de l évaluation dans la gestion des programmes d études. Elle soulignait l intégration du volet de la formation générale dans l évaluation de chaque programme et relevait l importance accordée au suivi des démarches d évaluation. Elle formulait par ailleurs quelques remarques concernant le rôle et les responsabilités du comité d évaluation ainsi que le partage des responsabilités entre les comités de programmes et celui de la formation générale. Le programme Sciences, Lettres et Arts (700.01) a été élaboré en 1993-1994 comme programme expérimental et a été implanté au Cégep de Jonquière dès l automne 1994. Il prépare les élèves aux études universitaires en leur donnant une formation polyvalente qui les rend aptes à poursuivre leurs études dans tous les programmes universitaires 5. De 1994 à 1999, le Collège a accueilli des cohortes comptant entre 16 et 41 élèves. En 1998-1999, le ministère de l Éducation a procédé à l évaluation de l expérimentation du programme; les collèges qui offraient ce programme ont participé à ces travaux. Le programme révisé (700.A0) est offert depuis l automne 2001. Le déroulement de l autoévaluation L autoévaluation, par le Collège, de son programme Sciences, Lettres et Arts et de l application de sa PIEP s est déroulée dans un contexte qui a grandement nui au déroulement de la démarche. 4. Cette politique officiellement adoptée n est pas ce qui a été utilisé lors de l autoévaluation du programme Sciences, Lettres et Arts, comme on le verra plus loin. 5. Sauf en Arts plastiques, en Musique et en Danse.

- 3 - D une part, les travaux d évaluation du programme et de l application de la PIEP ont été fortement perturbés par un boycott syndical, par le départ de la conseillère pédagogique associée à l opération, par le changement de coordonnateur, par les travaux de révision du programme, par des changements à la direction des études; autant de causes à la durée excessive des travaux d évaluation qui, d après le Collège, ont commencé au cours de l année 1997-1998 pour se terminer à la fin de février 2002, avec l adoption du rapport d autoévaluation par le conseil d administration du Collège. D autre part, les travaux ayant conduit à l adoption, par le conseil d administration du Collège, d une politique institutionnelle d évaluation de programmes ont également connu des difficultés, lesquelles ont des répercussions sur la présente opération. L élaboration de la PIEP du Cégep de Jonquière s est poursuivie sur plus de cinq ans : un premier projet de politique remonte à 1996 dont est issu, en 1999, un deuxième projet qui n a pu être officiellement adopté «en raison du contexte des négociations syndicales et d un boycott systématique et ferme des enseignantes et des enseignants» 6. C est sur ce projet de politique que s est appuyée l évaluation du programme Sciences, Lettres et Arts. Une version officielle de la PIEP, assez semblable à cette version de 1999, a été adoptée en mai 2001 par le conseil d administration. La Commission note que le Collège a évalué son programme en utilisant le projet de politique de 1999, qui ne constitue pas la PIEP officielle, et s étonne qu il n en soit pas fait mention dans le rapport. Elle a cependant examiné le processus suivi par le Collège et les résultats qu il a obtenus. Ses observations, ses suggestions ou ses recommandations porteront sur le déroulement de l opération et viseront, le cas échéant, des modifications à apporter à la politique adoptée en 2001. 6. Rapport d autoévaluation du programme Sciences, Lettres et Arts et de l application de la PIEEP, p. 55.

- 4 - Évaluation de l application du projet de PIEP Le choix du programme à évaluer Dans son projet de PIEP, le Collège indiquait que les programmes seraient évalués selon un échéancier établi par le plan triennal institutionnel d évaluation des programmes, lui-même révisé à tous les ans, pour tenir compte notamment de la périodicité des évaluations et des résultats du bilan annuel des programmes. Comme il n y avait pas encore de plan institutionnel d évaluation, le programme Sciences, Lettres et Arts a été choisi à cause du contexte particulier que représentaient l évaluation de l expérimentation du programme que le ministère de l Éducation allait entreprendre, la présence d un comité de programme actif, la dimension restreinte du programme et l arrimage des résultats de l analyse locale du programme avec ceux du Ministère. Certains aspects du programme, comme la charge de travail, la réussite des élèves, la cohérence du programme, le cheminement scolaire, méritaient également d être examinés. Le système d information sur les programmes d études Au moment de l évaluation du programme Sciences, Lettres et Arts, le Collège disposait d un système d information sur les programmes (SIP) encore partiellement implanté. Le SIP a tout de même fourni des données sur la réussite des cours et le cheminement scolaire (réinscription au 3 e trimestre et diplomation). La visite a permis de constater que le Collège a, depuis la session d hiver 2002, considérablement amélioré son système d information lequel lui permet, dorénavant, de suivre, par programme, les élèves de cohorte A et de cohorte B 7 et de produire des fiches signalétiques comportant divers indicateurs : à ceux qui étaient déjà disponibles, s ajoutent la réussite au 1 er trimestre, la réussite de l épreuve uniforme de français, de l épreuve synthèse de programme, la répartition de la population étudiante en différents sous-ensembles (par sexe, par exemple). En plus de ces données statistiques, le système comprend des données perceptuelles. Le SIP fournit les données nécessaires à l évaluation continue aussi bien qu à l évaluation en profondeur des programmes. Au plan de développement du système, le Collège a inscrit le suivi des abandons de programme. 7. La cohorte A regroupe les nouveaux inscrits dans un programme, à une session donnée, qui arrivent pour la première fois au niveau collégial; la cohorte B, quant à elle, regroupe les nouveaux inscrits dans un programme, à une session donnée, qui ont déjà fait des études collégiales dans un autre programme.

- 5 - Le SIP du Cégep de Jonquière est développé conformément aux règles inscrites à sa PIEP. La Commission considère que le Collège s est doté d un outil de suivi efficace et veut en souligner la grande qualité. Le déroulement du processus d évaluation Selon le projet de PIEP, la direction des études est responsable de l évaluation, s assure que les travaux soient réalisés et rend disponibles les ressources nécessaires aux travaux; le comité de programme, quant à lui, voit à ce qu un devis d évaluation soit élaboré, propose les membres qui feront partie du comité d évaluation, s assure que les travaux se déroulent convenablement et est responsable de la production du rapport d évaluation. La seule responsabilité attribuée explicitement au comité d évaluation concerne la collecte des données. C est la conseillère à la qualité de la formation associée à l évaluation du programme Sciences, Lettres et Arts qui s est assurée de la bonne marche des travaux. Selon les membres du comité de programme rencontrés, ces travaux ont été réalisés essentiellement par elle et le coordonnateur du programme de l époque; les enseignants du programme n ayant d abord pris part qu indirectement à la collecte des données et à leur analyse. La direction des études, pour éviter de produire un rapport d évaluation sans la participation active des enseignants, en a reporté la rédaction; un rapport sommaire a été présenté au comité de programme à l hiver 2000. Compte tenu du retard que connaissaient déjà les travaux d évaluation, la priorité fut alors accordée à la révision du programme plutôt qu à la finalisation des travaux amorcés. Plusieurs mois plus tard, une enseignante du programme, membre des comités de programme et d évaluation, libérée à cette fin, a finalement rédigé le rapport d évaluation qui fut diffusé auprès du comité d établissement, composé de directeurs et directrices du Collège, puis auprès du conseil d administration qui l a adopté le 27 février 2002. Par ailleurs, la Commission note que, dans la version officielle de la PIEP autant que dans sa version préliminaire, il n est fait aucune mention de la Commission des études dans le processus d évaluation de programmes alors que la Loi sur les collèges d enseignement général et professionnel lui attribue la fonction de conseil auprès du conseil d administration pour toute question concernant les programmes d études. La Commission est d avis que l évaluation de ce programme n a pas été une priorité du Collège et que le processus a échappé à son contrôle. Elle en juge l utilité plus qu incertaine, notamment à cause de la durée excessive du processus.

- 6 - L efficacité L évaluation de l efficacité permet d établir dans quelle mesure l application de la politique (dans ce cas-ci, du projet de politique) contribue à assurer la qualité de l évaluation des programmes d études. L examen de la Commission vise à déterminer si l évaluation faite par le Collège a permis de porter un diagnostic adéquat sur l état du programme et de prendre les mesures en vue d améliorer, le cas échéant, sa mise en œuvre. De façon plus particulière, la Commission a examiné le devis d évaluation, la collecte des données perceptuelles, la réalisation de l évaluation ainsi que le suivi de l évaluation du programme. Le devis d évaluation Bien qu il semble qu un devis d évaluation ait été élaboré avant le début des travaux, il n était pas joint au rapport d autoévaluation. Un devis a été communiqué à la Commission quelques semaines après la transmission du rapport duquel il reprenait, de façon substantielle, la description de la démarche d évaluation suivie : l historique du programme et sa fréquentation, les questions qu il soulevait aux yeux du Collège et des enseignants, les critères et sous-critères d évaluation pris en considération. Ce document ne comportait pas d échéancier. La problématique du programme n y était pas exposée. Considérant cela, la Commission recommande au Collège d établir un devis d évaluation qui oriente les travaux, d y préciser la problématique du programme qu il évalue et d y inclure un échéancier de réalisation des travaux. Le Collège a retenu tous les critères d évaluation précisés dans son projet de PIEP; il dit avoir choisi les sous-critères et les questions d évaluation concernant des aspects spécifiques de la formation sur lesquels il voulait faire le point. Même si le Collège a considéré le volet de la formation générale, il n a pas étendu son évaluation à l ensemble du programme. La Commission est d avis que tous les critères, comme on le verra, n ont pas été traités avec toute l ampleur nécessaire. C est pourquoi, la Commission suggère au Collège de s assurer que les critères, sous-critères et questions d évaluation qu il retient, lorsqu il évalue un programme en profondeur, lui permettent de l évaluer dans toutes ses dimensions importantes.

- 7 - La collecte des données perceptuelles Le rapport est assez peu explicite sur la façon dont les données perceptuelles ont été colligées; la visite effectuée au Collège par la Commission et, particulièrement, la rencontre avec les enseignants ont permis de mieux comprendre la manière dont le Collège a procédé tant pour recueillir l information que pour la traiter. La collecte des données perceptuelles a été effectuée, entre mai 1998 et mars 1999, auprès des élèves de première et de deuxième année, qui ont tous répondu à un questionnaire; un certain nombre d entre eux ont participé à une entrevue semi-structurée qui avait pour but de valider une partie des résultats obtenus. Ont également répondu à un questionnaire vingt-cinq diplômés des cohortes de 94 à 96. Les enseignants ont procédé à un choix de questions à partir d une banque de questions et les ont, au besoin, reformulées. Les enseignants ont aussi répondu à un questionnaire avec un taux de participation au sondage assez élevé. La conseillère pédagogique, avec la collaboration du coordonnateur de programme, a analysé les résultats qui ont été portés à la connaissance du comité d évaluation ou de programme. Bien que le questionnaire aux élèves ait été validé par un échantillon, sa longueur soulève des questions d ordre méthodologique : il faut s assurer que l intérêt des élèves à le remplir ne faiblit pas, afin d éviter que leurs réponses soient hâtives. Ce questionnaire aurait pu être plus concis dans la mesure où le devis aurait mieux cerné une problématique. On peut aussi s interroger sur la clarté des questions posées aux enseignants; le Collège aurait intérêt à préciser ses questions, particulièrement les questions ouvertes. Malgré les quelques faiblesses méthodologiques relevées, le Collège a effectué sa collecte des données perceptuelles de façon adéquate. La réalisation de l évaluation La Commission commentera la réalisation de l évaluation en fonction de la pertinence des données recueillies, de l analyse effectuée, des conclusions qui en découlent et des actions envisagées par le Collège pour améliorer la qualité de la mise en œuvre du programme. Les données recueillies La Commission considère que les données relatives au cheminement scolaire et aux ressources matérielles sont pertinentes; elles sont partielles dans les cas de la pertinence du programme, de sa cohérence, de l évaluation des méthodes pédagogiques (puisque n est recueillie que l opinion des élèves), de la gestion du programme et de l encadrement des

- 8 - élèves (puisque le rapport ne fournit pas d information sur la disponibilité des enseignants). D autre part, il n y a pas de données sur l évaluation des apprentissages ni sur la qualification ou le perfectionnement du corps professoral. L analyse Pour tous les critères, sauf en partie pour ce qui concerne l encadrement des élèves, l analyse fait défaut : le rapport fournit des descriptions, des commentaires mais n explique pas, n approfondit pas, ne recherche pas les causes de situations observées. Par exemple, à la suite de l examen de la persévérance, de la réussite des cours et de la diplomation, le Collège conclut qu il lui faudrait «mieux cerner les facteurs liés à l abandon» 8 du programme, ce que précisément l évaluation aurait dû permettre de faire. De plus, le rapport se présente sous forme de fiches qui limitent l exposé d une analyse éclairante. Les conclusions Les conclusions sont souvent partiellement appropriées à la situation observée, sauf dans les cas de l évaluation des apprentissages et de l efficacité où elles ne sont pas adaptées du tout. Seule la conclusion sur les ressources matérielles et didactiques est appropriée. Lorsque apparaissent des conclusions intéressantes, l analyse qui devrait les justifier est souvent absente. Les actions envisagées Les actions proposées sont partiellement pertinentes puisqu elles ne prennent pas en compte toutes les dimensions importantes du programme; dans certains cas, notamment en ce qui a trait à l évaluation des apprentissages, aux ressources humaines et à l efficacité du programme, elles sont peu appropriées. Certaines actions proposées pourront apporter des améliorations à l un ou l autre aspect du programme mais ne découlent pas de l évaluation : l assistance par les pairs relève du plan de réussite; l accès aux ressources informatiques est soutenu par le plan triennal des nouvelles technologies de l information et des communications (NTIC). Par ailleurs, le programme a bénéficié des actions entreprises lors de la révision du programme. Le programme aurait donc connu des modifications importantes sans même que le Collège procède à son évaluation. 8. Rapport d autoévaluation du programme Sciences, Lettres et Arts et de l application de la PIEEP, p. 40.

- 9 - La Commission recommande au Collège de recueillir toutes les données relatives aux objets à prendre en compte dans les évaluations qu il effectue, d en faire une analyse approfondie lui permettant de tirer des conclusions appropriées qui puissent l amener à dégager les actions utiles au programme évalué. Le suivi de l évaluation La partie du rapport portant sur l évaluation du programme se termine par un plan d action reprenant la plupart des actions proposées à la suite de l évaluation du programme selon chacun des critères. Ce plan indique les actions à réaliser, les responsables de leur réalisation et fournit un échéancier. Le plan comprend des mesures à entreprendre à périodes régulières, et d autres dont l échéance était prévue au cours de la session où fut adopté le rapport. * * * En conclusion, la Commission juge que l application du projet de PIEP, faite par le Cégep de Jonquière, a été peu efficace. Le rapport du Collège ne rend pas justice au programme évalué parce qu il ne traite pas de toutes ses dimensions pertinentes, qu il adopte un format réducteur, sous forme de fiches de type «aide-mémoire», pour présenter l autoévaluation ce qui a pour effet d estomper l analyse (c est-à-dire la recherche de causes, de facteurs explicatifs) et d entraver la compréhension du rapport par des lecteurs externes au programme, parce que les conclusions et les actions, même pertinentes, ne dérivent souvent pas de l évaluation elle-même mais d autres opérations (évaluation ministérielle; élaboration du nouveau programme; plan de réussite; plan triennal des NTIC). Dans son rapport, le Collège n entrevoit pas apporter de modification à sa politique d évaluation de programmes alors que l application qu il a faite du projet de politique aurait pu lui faire constater que certains points de cette politique sont trop imprécis pour qu elle permette une prise en charge institutionnelle efficace de l évaluation et une véritable reddition de comptes. Non seulement le rôle et les responsabilités des comités de programme et d évaluation ne sont pas clairement délimités, mais les structures mises en place ne favorisent pas la consultation et la participation des enseignants du programme évalué. Plus encore, comme elle ne déborde pas le cercle constitué par le comité de programme ou d évaluation, le comité d établissement et le conseil d administration, il n y a pas de lieu de discussion qui favorise les échanges entre les enseignants, les programmes et les départements sur le résultat des évaluations ou sur leur déroulement; ces échanges permettraient notamment de diffuser une certaine expertise et de faire bénéficier la

- 10 - communauté collégiale de nouveaux moyens d améliorer un programme, etc. Le rapport lui-même, de par sa facture sous forme de fiches où l analyse n apparaît pas, ne peut intéresser qu un petit nombre de personnes et limite la compréhension de la situation exacte du programme évalué. La supervision du processus a été déficiente : il n y a pas eu d établissement d échéancier (ou, du moins, le rapport n en fait pas état), la durée totale des travaux dépasse largement les douze mois durant lesquels, selon le projet de politique, ils devaient se dérouler et une certaine partie des travaux d évaluation a été reportée à plus tard au bénéfice d autres travaux. Même dans des contextes difficiles à gérer, le Collège doit s assurer de pouvoir appliquer les politiques qu il se donne. D autre part, cette supervision ne s est pas effectuée correctement : un suivi adéquat des travaux et la lecture du rapport auraient fait ressortir le vice de forme qui a consisté à appliquer une version préliminaire de la politique et à évaluer cette application par rapport à une autre version, officielle celle-là, de la PIEP. Enfin, il n y a pas, dans la politique comme dans le projet de politique, d instance qui porte un regard critique sur l évolution et sur le résultat des travaux et qui soit à même d en garantir la qualité auprès du conseil d administration. Compte tenu de tout cela, la Commission considère que l évaluation n a pas été utile pour le programme et n a pas permis de tester l application de la politique. Elle a examiné la version officielle de la PIEP du Collège et juge que plusieurs problèmes qu elle a notés dans la version préliminaire se retrouvent dans la version adoptée; c est pourquoi, la Commission recommande au Collège - d amender sa PIEP de manière à clarifier le partage des rôles et des responsabilités des intervenants dans la conduite des évaluations; à s assurer de l efficacité de la supervision des travaux; à donner les moyens à la Commission des études pour qu elle joue son rôle de conseil auprès du conseil d administration sur toute question concernant les programmes d'études, y compris leur évaluation; - de faire approuver par son conseil d administration cette PIEP amendée et de la transmettre à la Commission pour évaluation; - d appliquer cette nouvelle PIEP approuvée en évaluant un programme et de transmettre à la Commission, d ici juin 2004, le rapport d autoévaluation du programme accompagné d un rapport d autoévaluation de l application de cette nouvelle politique.

- 11 - Malgré son jugement sur le processus d évaluation du programme, la Commission considère que le programme évalué était de bonne qualité, ce dont a pu l assurer la rencontre des enseignants.

- 12 - Conclusion Le Cégep de Jonquière a évalué son programme Sciences, Lettres et Arts en se guidant sur un projet de PIEP. La Commission a toutefois examiné le processus adopté par le Collège et a formulé quelques observations en vue de parfaire la démarche d évaluation du Collège ainsi qu en vue d améliorer sa politique. La Commission a pu apprécier la qualité du programme évalué, le dynamisme des enseignants du programme, leur souci de donner à leurs élèves un enseignement qui favorise leur apprentissage et le suivi qu ils assurent auprès d eux. Si le système d information sur les programmes n était pas, au moment de l évaluation, entièrement implanté, le Collège dispose maintenant d un système qui peut fournir les données nécessaires à l évaluation continue aussi bien qu à l évaluation en profondeur des programmes. La Commission considère que le Collège s est doté d un outil de suivi efficace et veut en souligner la grande qualité. En ce qui concerne la démarche suivie lors de l évaluation du programme Sciences, Lettres et Arts, la Commission recommande au Collège d établir un devis d évaluation qui oriente les travaux, d y préciser la problématique des programmes qu il évalue et d y inclure un échéancier de réalisation des travaux; elle lui recommande également de recueillir toutes les données relatives aux objets d évaluation, d approfondir ses analyses de manière à en tirer des conclusions appropriées qui l amènent à dégager les actions utiles au programme évalué. Elle lui suggère, de plus, de s assurer que les critères, sous-critères et questions d évaluation qu il retient, lorsqu il évalue un programme en profondeur, lui permettent de rendre compte de la qualité effective de son programme. La Commission juge que le Collège doit modifier sa PIEP afin de clarifier le partage des rôles et des responsabilités des intervenants dans la conduite des évaluations, de s assurer de l efficacité de la supervision des travaux et d associer la Commission des études à l évaluation de programmes. Même en tenant compte du contexte particulier dans lequel s est déroulée l évaluation du programme Sciences, Lettres et Arts, la Commission juge que l application faite par le Cégep de Jonquière de ce qui n était qu un projet de politique institutionnelle d évaluation des programmes a été peu efficace; elle lui recommande donc, après avoir modifié sa PIEP et l avoir officiellement adoptée, de l appliquer en évaluant un programme et de transmettre à la Commission, d ici juin 2004, le rapport d autoévaluation du programme accompagné d un rapport d autoévaluation de l application de sa nouvelle politique.

- 13 - Les suites de l évaluation En faisant part à la Commission de ses commentaires sur la version préliminaire du présent rapport, le Collège tient à rappeler à la Commission l effet négatif, sur l évaluation de son programme Sciences, Lettres et Arts, du contexte de négociations syndicales et de boycott soutenu des enseignants dans lequel elle s est effectuée. Il porte également à l attention de la Commission qu il a commencé à donner des suites aux observations que celle-ci lui a faites lors de la visite en ajustant, dès l évaluation de son programme Arts plastiques, entreprise en automne 2002, son processus d évaluation en profondeur. Les modifications qu y apporte le Collège concernent les aspects suivants : - l élaboration du devis d évaluation (en précisant la problématique du programme évalué, les critères et sous-critères à prendre en compte, en décrivant les responsabilités des différentes instances participant à l opération, en déterminant un échéancier des travaux); - la supervision des travaux (clarification des rôles et des responsabilités des différents acteurs; implication de la Commission des études; augmentation des ressources humaines consacrées à l évaluation); - la révision du modèle d évaluation (en précisant les critères, les responsables de la collecte des données et les informations nécessaires à la conduite des travaux). Le Collège prévoit amender sa PIEEP en intégrant les recommandations et suggestions de la Commission, au début de l automne 2003. La Commission considère que les actions entreprises par le Collège contribueront à améliorer la qualité de ses évaluations. Elle souhaite recevoir, dès qu elle sera adoptée par le conseil d administration du Collège, la nouvelle version de sa PIEEP; elle s attend à recevoir, en juin 2004, un rapport d autoévaluation d un programme et de l application de la PIEEP lors de l évaluation de ce programme. La Commission d'évaluation de l'enseignement collégial Jacques L'Écuyer, président