Audit des mécanismes d assurance de la qualité des programmes (AMAQP)

Audit des mécanismes d assurance de la qualité des programmes (AMAQP) GUIDE D ORIENTATION Assurance et amélioration de la qualité dans les collèges de l Ontario Pour information, contacter: Service de l assurance de la qualité des collèges de l Ontario 20, rue Bay, Bureau 1600 Toronto ON M5J 2N8 647.258.7688 paquette@ocqas.org

Table des matières Introduction à l audit des mécanismes d assurance de la qualité des programmes des collèges de l Ontario... 3 Première exigence: création d un organisme de surveillance indépendent... 4 Deuxième exigence: mise en oeuvre des normes de mécanismes internes d assurance de la qualité afin de guider le processus... 5 Normes de processus exemplaires d assurance de la qualité :... 5 Norme 1- Système de gestion de la qualité des programmes... 6 Norme 2- Existence et communication des politiques et des pratiques... 7 Norme 3- Conception des programmes... 8 Norme 4- Prestation des programmes et évaluation des étudiants... 9 Norme 5- Conformité avec les exigences du gouvernement... 10 Norme 6- Disponibilité et attribution de ressources à l échelle du collège... 11 Troisième exigence: Audit de la qualité... 12 3.1 Autoévaluation... 12 3.2 L audit... 13 Quatrième exigence: rapport final de l audit... 15 4.1 Paramètres généraux... 15 4.2 Préparation de la version provisoire du rapport... 16 4.3 Rôle du Conseil de gestion... 21 4.4 Processus d appel... 22 Cinquième exigence: Publication du rapport final de l audit... 23 2 P a g e

INTRODUCTION À L AUDIT DES MÉCANISMES D ASSURANCE DE LA QUALITÉ DES PROGRAMMES DES COLLÈGES DE L ONTARIO Afin de bénéficier d une plus grande autonomie en matière de gestion des programmes, les collèges d'arts appliqués et de technologie de l Ontario doivent avoir mis en œuvre un processus qui assure la qualité continue des programmes. En 2002, la documentation du gouvernement (ministère de la Formation et des Collèges et Universités) a mis l accent sur deux éléments : l assurance de la qualité des programmes dans chacun des collèges; la mise en place d un processus d autoréglementation à l échelle du réseau. Dès les premières étapes du développement d'une approche d'autoréglementation, il a été décidé de viser l Assurance de la qualité et la mise en œuvre d un mécanisme qui assure ou mesure la présence de la qualité au sein du réseau collégial. Cette décision est cohérente avec les rôles élargis des conseils d administration des collèges et les écrits qui insistent sur une vaste participation ainsi que sur l appropriation de ces mécanismes. Un ensemble de principes directeurs a été rédigé et approuvé par le Comité des présidents en 2003 et par le Conseil de gestion en 2005. Ces principes ont été développés en tant que guide auquel un processus acceptable de l'assurance de la qualité devait se conformer. Ces principes directeurs faits en sorte que tout modèle de mécanisme d'assurance de la qualité développé dans les collèges d'arts appliqués et de technologie de l'ontario doivent : être en conformité avec les pratiques exemplaires à l échelle internationale en matière d enseignement supérieur; être efficace et cyclique; donner un préavis raisonnable aux collèges relativement à l audit; respecter la description et le fonctionnement d un audit afin d assurer que des normes minimales soient respectées lors de l examen des mécanismes et des politiques d assurance de la qualité des programmes dans chacun des collèges; avoir recours à une équipe de vérificateurs externes, compétents, objectifs et sur lesquels les deux parties sont arrivées à un accord mutuel; suivre un processus clair et obligatoire qui identifie les forces et les faiblesses, qui recommande des améliorations et facilite les changements; distribuer la version provisoire du rapport au collège afin d obtenir son avis et inclure la rétroaction du collège dans le rapport final; fournir différentes catégories d approbation; mettre en place des mécanismes en cas d appel des décisions et des rapports; assurer une cohérence dans les décisions de l équipe de vérification; être viable et avoir un coût raisonnable pour l ensemble du système et pour chaque collège. 3 P a g e

Audit des mécanismes d assurance de la qualité des programmes (AMAQP) L AMAQP est un processus d'examen, cyclique et régulier, portant sur les mécanismes d assurance de la qualité de chaque collège. Ce processus se veut évolutif et vise l amélioration continue. Chaque évaluation externe mène à un rapport documentant le degré auquel les processus du collège sont conformes aux normes qui définissent les processus exemplaires de l assurance de la qualité ou à des recommandations visant l'amélioration et l accroissement de la cohérence par rapport aux normes. L AMAQP exige: la création d'un organisme de surveillance indépendant pour coordonner l'amaqp; la mise en œuvre des normes de mécanismes internes d assurance de la qualité afin de guider le processus; l audit des mécanismes d assurance de la qualité de chaque collège par une équipe de vérificateurs externes, à partir d un rapport d autoévaluation produit par le collège; l examen de chaque rapport final par l organisme de surveillance pour assurer que le processus de l audit s est déroulé conformément aux directives approuvées, et que chaque collège a été traité de façon équitable; les dispositions pour la mise en place d un mécanisme d appel avant la publication du rapport final. Chacune de ces cinq (5) exigences est expliquée de façon détaillée dans les pages qui suivent. PREMIÈRE EXIGENCE: CRÉATION D UN ORGANISME DE SURVEILLANCE INDÉPENDENT Un organisme de surveillance et de gouvernance indépendant assure le bon déroulement et l évolution constante du processus de l'audit des mécanismes d assurance de la qualité des programmes (AMAQP). Puisqu il fonctionne indépendamment par rapport aux collèges et au gouvernement provincial, cet organisme a l entière liberté de porter et de rapporter des jugements objectifs sur les mécanismes d assurance de la qualité des collèges. L entité retenue a été le Conseil de gestion du Service de validation des titres de compétence (SVTC). En plus de surveiller les politiques et les procédures décisionnelles du SVTC, cette entité est également responsable de l AMAQP. À cet effet, le Conseil s assure d avoir des membres possédant l'expérience et la crédibilité requises dans les domaines de l'assurance de la qualité institutionnelle et des processus d audit. Cette entité regroupant le SVTC et l AMAQP s'appelle le. Il s agit là d une approche efficace et coordonnée pour surveiller la qualité de la programmation provinciale des collèges : par le SVTC pour les programmes et par l AMAQP au niveau institutionnel. En ce qui a trait à l AMAQP, le Conseil de gestion : développe les politiques et procédures pour la mise en œuvre et le déroulement de l audit en conformité avec les pratiques exemplaires à l échelle internationale et les principes de base soutenant sa création; facilite la planification continue des audits; 4 P a g e

facilite le recrutement et la formation d'un groupe de vérificateurs externes et désigne les personnes qui feront partie de l équipe de vérification pour chaque audit; reçoit les rapports des équipes de vérificateurs externes et les examine, avant leur publication, afin d assurer qu ils sont conformes aux lignes directrices et au principe d uniformité; propose, au besoin, un mécanisme d appel objectif, compétent et réalisable dans un délai raisonnable, qui permet à un collège de demander des changements dans les sections d'un rapport qui ne concordent pas avec les faits. Le personnel désigné à la surveillance du processus de l AMAQP occupe les installations qui lui sont assignées, situées dans les bureaux de Collèges Ontario 1 et il est sujet à des directives administratives de la direction de Collèges Ontario. Les opérations du SVTC et de l AMAQP sont intégrées pour les raisons suivantes : la complémentarité des rôles, l'utilisation optimale du personnel, l'utilisation efficace des installations, la rationalisation des mécanismes, la gestion du flux de travail, une supervision plus facile du personnel, le contrôle des coûts et la facilitation des communications. DEUXIÈME EXIGENCE: MISE EN OEUVRE DES NORMES DE MÉCANISMES INTERNES D ASSURANCE DE LA QUALITÉ AFIN DE GUIDER LE PROCESSUS Normes de processus exemplaires d assurance de la qualité : La liste suivante est une série de six (6) normes minimales requises qui définissent les politiques et les pratiques institutionnelles exemplaire qu'un collège aura développées et mises en œuvre pour assurer la qualité. On suppose que les collèges continueront de faire preuve d ouverture d esprit et de transparence dans la mise en œuvre de ces mécanismes. 1 Collèges Ontario, anciennement l Association des collèges d arts appliqués et de technologie de l Ontario, est une association à caractère professionnel au service des collèges de l Ontario. À ce titre, Collèges Ontario fournit au Service de l assurance de la qualité des collèges de l Ontario un encadrement aux plans financier, humain et juridique. 5 P a g e

Norme 1- Système de gestion de la qualité des programmes Les mécanismes d assurance de la qualité assurent que l élaboration, l examen et l évaluation continue de la qualité des programmes impliquent le personnel enseignant, les étudiants, les représentants du secteur, ainsi que tout autre intervenant dont l apport est jugé pertinent. Exigences 1.1 Le collège a élaboré et mis en œuvre un système de gestion de la qualité des programmes qui permet de repérer et de corriger les faiblesses et qui facilite l évolution des programmes afin d en maintenir la pertinence et la conformité avec la Mission du Collège. Ce système prévoit des processus formels et structurés pour : évaluer des programmes, des cours et des normes scolaires; surveiller les améliorations à la suite d une évaluation; et décider de maintenir ou de suspendre des cours ou des programmes. 1.2 Les politiques et les pratiques assurent que le processus d élaboration des nouveaux programmes commence par la définition et l utilisation d énoncés clairs quant aux résultats d apprentissage en formation professionnelle des programmes. 1.3 Les politiques et les pratiques prévoient des dispositions pour mesurer systématiquement, à l aide d indicateurs, l atteinte des résultats d apprentissage en formation professionnelle des programmes et veillent à ce que les points de vue des étudiants, des employeurs, des ordres professionnels, des corps de métiers et du personnel enseignant soient pris en compte. 1.4 Les politiques et les pratiques assurent que les modifications apportées aux programmes et aux cours sont gérées de telle sorte que ces derniers demeurent d actualité et restent conformes aux normes provinciales et aux exigences des ordres professionnels pertinents, et que des processus sont en place pour que les recommandations découlant des évaluations antérieures soient prises en compte et appliquées. 1.5 La documentation et les autres pièces justificatives résultant des mécanismes de gestion de la qualité des programmes sont conservées et utilisées à des fins d amélioration continue de la gestion de la qualité. 1.6 Les données recueillies auprès des diplômés, des employeurs, des étudiants et d autres parties intéressées sont utilisées dans le cadre de l assurance continue de la qualité de tous les programmes. 6 P a g e

Norme 2- Existence et communication des politiques et des pratiques Les mécanismes d assurance de la qualité assurent l existence et la communication de politiques et de pratiques efficaces concernant les enjeux scolaires qui sous-tendent l élaboration des programmes et l atteinte des résultats d apprentissage en formation professionnelle des programmes. Ces politiques portent notamment sur l admission, la reconnaissance des acquis, les notes de passage, l obtention du diplôme, ainsi que d autres enjeux scolaires. Exigences 2.1 Les pratiques et politiques scolaires régissant la structure des programmes sont publiées et communiquées aux étudiants, y compris tous les cours préalables et les cours associés spécifiques, les composantes obligatoires et facultatives ou au choix dans les domaines de la formation professionnelle ou non professionnelle, les composantes pratiques ou en milieu de travail et les autres points d entrée et de sortie. 2.2 Les conditions à remplir par les candidats et les étudiants sont clairement indiquées, communiquées et accessibles, notamment : les exigences d admission aux programmes ainsi qu aux cours du programme; les dispositions pour accorder des crédits à l égard d un titre de compétence ou des dérogations à certaines exigences de cours en raison du transfert horizontal ou latéral de crédits et/ou de la reconnaissance des acquis; le parcours à l intérieur d un programme et le temps maximal pour le terminer. 2.3 Des politiques et des pratiques sont suivies, mises en œuvre et communiquées pour gérer les éléments suivants : les cas qui nécessitent des accommodements; l évaluation, y compris les dispositions concernant les réévaluations et les appels; les conditions pour accorder les titres de compétence; les règles et les critères régissant la remise de prix, de mentions et d autres diplômes. 2.4 Les relations extérieures régissant la possibilité pour les étudiants d être admissibles à d autres titres de compétence ou certifications à la fin du programme sont clairement communiquées aux étudiants et sont appuyées par des accords formels avec tout organisme externe pertinent. 2.5 L intitulé du titre de compétence rattaché à un programme ou à une série de cours est en conformité avec toute norme professionnelle ou nomenclature appropriée et est communiqué aux étudiants avant leur admission. 2.6 Les modifications apportées aux cours et aux résultats d apprentissage en formation professionnelle des programmes sont structurées et communiquées à l ensemble des intervenants dans un délai raisonnable et de manière à préserver la pertinence des programmes. 2.7 Les politiques et les pratiques sont régulièrement examinés et évaluées de telle sorte qu elles restent à jour et efficaces. 7 P a g e

Norme 3- Conception des programmes Les mécanismes d assurance de la qualité assurent que des résultats d apprentissage en formation professionnelle ont été définis pour tous les programmes d études, qu ils sont conformes à la raison d être des programmes et qu ils sont adaptés au titre de compétence décerné une fois le programme terminé avec succès. Exigences 3.1 Les résultats d apprentissage en formation professionnelle sont clairement énoncés pour tous les programmes d études proposés par le collège, et ce, quels que soient le lieu et le mode de prestation de l apprentissage, et ils sont communiqués régulièrement et systématiquement aux étudiants et au personnel enseignant. 3.2 Les résultats d apprentissage en formation professionnelle pour tous les programmes d études déterminés par les Descriptions de programmes sont cohérents : avec le titre de compétences décernées, avec la nomenclature d usage des titres des programmes, avec les aptitudes professionnelles (les connaissances et les attitudes essentielles dont ils ont besoin pour intégrer le domaine d activité visé) et, d autre part, avec les aptitudes non professionnelles (les résultats d apprentissage relatifs à l employabilité et les exigences de la formation générale, telles que définies par la politique gouvernementale). 3.3 Les résultats d apprentissage en formation professionnelle des programmes sont pertinents du point de vue opérationnel en ce qu ils : fournissent une base solide pour l élaboration des programmes d études et la conception des activités d apprentissage et d enseignement; sont intégrés au travail quotidien du personnel enseignant de ces programmes; et sont utilisés dans la reconnaissance des acquis. 3.4 Les exigences de chaque programme d études indiquées aux étudiants découlent logiquement et de façon cohérente des résultats d apprentissage en formation professionnelle du programme. 3.5 Les résultats d apprentissage en formation professionnelle des programmes font l objet d un examen régulier pour en vérifier la pertinence et, au besoin, des modifications y sont apportées, y compris des modifications corrélatives dans les programmes, les cours et les évaluations. 3.6 L évaluation des capacités des diplômés des programmes, y compris leurs connaissances, leur compréhension, leurs compétences et leurs attitudes, démontre qu elles sont conformes aux attentes des résultats d apprentissage en formation professionnelle des programmes. 8 P a g e

Norme 4- Prestation des programmes et évaluation des étudiants Les mécanismes d assurance de la qualité assurent que les modes de prestation, et la réalisation des activités d apprentissage et d enseignement, et des stratégies d évaluation des étudiants sont appliqués systématiquement. Exigences 4.1 Les politiques et les pratiques d assurance de la qualité sont appliquées systématiquement à tous les programmes nouveaux et existants proposés par le collège peu importe le mode de livraison (enseignement hybride, en ligne, à temps plein ou à temps partiel, ou auprès de fournisseurs tiers ou conjointement avec d autres établissements postsecondaires), y compris ceux qui se déroulent en dehors de la salle de classe. 4.2 Le collège a établi, a mis en œuvre et surveille régulièrement les politiques et les pratiques scolaires concernant l élaboration et l amélioration continue des stratégies d apprentissage et d enseignement. Par exemple, le personnel enseignant est encouragé à essayer régulièrement de nouvelles techniques d enseignement et d apprentissage qui sont conformes aux pratiques exemplaires et aux recherches actuellement documentées. Ces nouvelles techniques sont examinées et largement communiquées afin de favoriser le caractère actuel et la pertinence de l apprentissage et de l enseignement au sein de tous les programmes. 4.3 Les politiques et les pratiques scolaires en matière d évaluation des étudiants et d appels sont établies et sont mise en œuvre de manière cohérente parmi tous les programmes d études et assurent que : les méthodes d évaluation sont conformes aux résultats d apprentissage; les méthodes d évaluation sont valides et fiables; les normes relatives à l évaluation sont clairement indiquées pour chaque composante des programmes ou des cours; les étudiants reçoivent rapidement une rétroaction formative constructive sur leur rendement ainsi qu une rétroaction sommative constructive; les procédures d appel des étudiants et les examens de reprise reposent sur un processus approprié. 9 P a g e

Norme 5- Conformité avec les exigences du gouvernement Les mécanismes d assurance de la qualité assurent que tous les programmes d études sont cohérents avec la politique gouvernementale actuelle en matière d élaboration et de prestation des programmes d études, qu ils sont conformes à la nomenclature d usage ou aux principes régissant le choix des titres de programmes dans le réseau collégial, et qu ils demeurent pertinents. Exigences 5.1 La structure de tous les programmes est cohérente avec les résultats d apprentissage en formation professionnelle et permet raisonnablement aux étudiants d atteindre les résultats des programmes de formation professionnelle et non professionnelle. 5.2 Le contenu des programmes, y compris les aptitudes professionnelles (les connaissances et les attitudes essentielles dont ils ont besoin pour intégrer le domaine d activité visé) et, d autre part, les aptitudes non professionnelles (les résultats d apprentissage relatifs à l employabilité et les exigences de la formation générale, telles que définies par la politique gouvernementale), remplit ou dépasse les attentes et les exigences du gouvernement et des employeurs. 5.3 Les programmes sont conçus de manière à répondre aux attentes du titre de compétence décerné et conformes avec les exigences le Cadre de classification des titres de compétence. 5.4 Les titres des programmes sont conformes à la nomenclature d usage. 10 P a g e

Norme 6- Disponibilité et attribution de ressources à l échelle du collège Les mécanismes d assurance de la qualité assurent l existence et la disponibilité de ressources humaines, matérielles et financières, de ressources de soutien aux étudiants et d infrastructures technologiques afin de favoriser l atteinte des résultats d apprentissage en formation professionnelle des programmes, quels que soient le lieu et le mode de prestation. Exigences 6.1 Les politiques et les pratiques en place assurent que le personnel enseignant rattaché à un programme : possède l expérience et les qualifications professionnelles appropriées et nécessaires en fonction du titre de compétence visé et du domaine d études; possède l expertise et les aptitudes lui permettant de fournir l expérience d apprentissage annoncée; participe à une pratique réflexive; poursuit son perfectionnement professionnel de base et continu pour améliorer ses compétences en enseignement et se maintenir à jour; est orienté, coordonné et évalué. 6.2 Les politiques et les pratiques sont en place et sont communiquées afin d assurer que le personnel enseignant accomplit ses responsabilités professionnelles; travaille selon un plan d enseignement structuré; est disponible et accessible pour répondre aux questions des étudiants; répond aux besoins des étudiants et facilite l atteinte des résultats d apprentissage; fournit aux étudiants une rétroaction rapide et constructive; incite les étudiants à adopter une attitude propice à l apprentissage. 6.3 Les installations (y compris les centres d apprentissage), les équipements et les infrastructures technologiques sont utilisés pour appuyer les modes de prestation promis et le processus d apprentissage, et sont accessibles à tous les étudiants. 6.4 L appui à l apprentissage et les services de counselling répondent aux besoins des étudiants et facilitent l atteinte des résultats d apprentissage en formation professionnelle des programmes. 6.5 Les politiques et les pratiques assurent que les membres du personnel qui fournissent aux étudiants des services de soutien, comme du tutorat, de l aide scolaire, du conseil financier et des activités parascolaires, sont qualifiés, formés et soutenus. 6.6 Les politiques et les pratiques en place assurent la présence en nombre suffisant et la continuité du personnel enseignant et administratif de manière à apporter du soutien en classe et en dehors de la classe et à favoriser la réussite des étudiants. 6.7 Les politiques et les pratiques sont en place et sont communiqués pour tous les programmes afin que le leadership, l organisation et la gestion des ressources humaines, des ressources pédagogiques et des installations soient optimisés sans compromettre la qualité. 6.8 Les politiques et les pratiques en place sont communiqués au sein des différents services, comme la comptabilité, les finances, les installations et la technologie de l information, afin d assurer un niveau adéquat de soutien et d aide aux programmes et contribuer à l atteinte des résultats d apprentissage en formation professionnelle des programmes. 6.9 Les politiques et les pratiques en place assurent que les étudiants bénéficient constamment des ressources disponibles en vue d atteindre les résultats d apprentissage des programmes, et ce, quels que soient le lieu et le mode de prestation de l apprentissage. 11 P a g e

TROISIÈME EXIGENCE: AUDIT DE LA QUALITÉ La mise en œuvre des audits des collèges de l Ontario a été établie sur un cycle de cinq ans. L'audit des mécanismes d assurance de la qualité est mené par une équipe externe de professionnels compétents et objectifs, sous la direction d'une présidence ayant reçu la formation nécessaire. Le processus est conçu comme une activité de développement qui contribue à l amélioration continue du réseau collégial. Cet audit comprend 1) un rapport d autoévaluation rédigé par le collège, 2) suivi d une visite des lieux. Ce processus met l accent sur l amélioration continue axée sur l autoréflexion plutôt que sur la simple conformité à normes prédéterminées. L audit de la qualité des collèges vise à encourager les collèges à analyser et à évaluer leurs processus d assurance de la qualité et de l amélioration de l éducation, et à faire confirmer ces résultats par une équipe de vérification externe. 3.1 Autoévaluation Les collèges entament le processus par un examen interne de leurs propres processus et procédures d assurance de la qualité et de l amélioration. Cette autoévaluation permet aux collèges de se poser des questions par rapport aux normes et aux exigences mentionnées ci-dessus sur les activités relativement à la définition des résultats d apprentissage, à l élaboration du cursus, à la conception de matériel et de méthodes pédagogiques, à l élaboration d outils d évaluation de l apprentissage, ainsi qu à la mise en œuvre d expériences d apprentissage de qualité. À la suite de cet examen et aux discussions afférentes, le collège remplit les documents d autoévaluation : AMAQP Rapport d autoévaluation, AMAQP Cartographie des données probantes et AMAQP Rapport de l état actuel des activités de qualités. Ces documents d autoévaluation présentent les éléments suivants : Le collège prépare ensuite un rapport d autoévaluation qui : la documentation qui appuie ses conclusions; les forces et les défis dans chacun des six normes; la documentation appuyant les pratiques exemplaires; les initiatives en cours visant les améliorations requises; les efforts d assurance de la qualité; et, les plans d amélioration et de mise en œuvre des priorités. Le Conseil de gestion a adopté les principes d évaluation et les directives ci-dessous, que le collège devrait utiliser et qui seront utilisés par les équipes de vérification, lorsqu elles évalueront les normes : 12 P a g e

afin que la norme soit noté comme étant «Atteinte», toutes les exigences dans la section, selon la documentation et les preuves fournies par l autoévaluation, doivent avoir été atteintes substantiellement et de façon satisfaisante; au cas où, selon la documentation et les preuves fournies par l autoévaluation, la majorité mais pas toutes les exigences ont été atteintes substantiellement et de façon satisfaisante, la norme elle-même sera noté comme étant «Partiellement atteinte»; de la même façon, selon la documentation et les preuves fournies par l autoévaluation, si la majorité des exigences selon une norme n ont pas été atteintes substantiellement et de façon satisfaisante, la norme elle-même sera noté comme «Non atteinte». Les documents d autoévaluation seront acheminés à l équipe de vérification externe avant sa visite au collège. 3.2 L audit 3.2.1 Préaudit Les collèges faisant l objet de l audit dans une année civile donnée recevront un avis d au moins deux (2) mois avant la date limite pour la remise de la documentation et d au moins trois (3) mois avant une visite prévue de l équipe de vérification de l AMAQP. Le personnel du SAQCO précisera, en termes généraux, l'information et la documentation qu ils devront remettre à l avance. Si possible, cette documentation, telle qu indiquée ci-dessus, devrait être soumise en format électronique (on recommande des DC qui contiendraient toute la documentation et les pièces justificatives) et envoyée directement au président et aux membres de l équipe de vérification de l audit. Dans certains cas, la documentation pourrait être envoyée (en format électronique) au bureau de l'amaqp pour distribution aux membres désignés de l équipe de vérification. Elle comprend, entre autres : le nom, la responsabilité organisationnelle et les coordonnées du représentant du collège chargé d établir des liens avec l équipe de vérification. Cette personne sera responsable de fournir toute information additionnelle, de répondre aux questions supplémentaires et de coordonner la visite de l équipe de vérification; la liste des membres de l équipe de l assurance de la qualité au collège et de leurs responsabilités, si une telle équipe est en place au collège; une copie des documents d autoévalutation (AMAQP Rapport d autoévaluation, AMAQP Cartographie des données probantes et AMAQP Rapport de l état actuel des activités de qualités); 13 P a g e

un organigramme à jour du collège y compris les noms et responsabilités du personnel cadre; La présidence et tous les membres de l équipe de vérification examineront la documentation pour s assurer qu elle est complète; par la suite, elle acheminera toute autre demande d information au collège faisant l'objet de l'audit. Les autres membres de l équipe de vérification recevront la documentation appropriée et seront avisés de la date de la visite et des attentes en fonction de l audit. Il est préférable que toute communication en fonction de l audit (horaire de la visite des lieux, documentation requise, demande d hébergement et de restauration, aménagement d un local pour l équipe de vérification, etc.) se fasse entre le président de l équipe de vérification et la personne-ressource du collège. Cependant, s il y a lieu, la communication pourrait être facilitée par l'entremise du secrétariat du SAQCO. La présidence de l équipe de vérification négociera et confirmera la date de la visite du collège par l'entremise du secrétariat du SAQCO, au besoin, et préparera une ébauche d horaire. On prévoit au moins une journée et demie (1.5) pour la visite, ce qui peut inclure une tournée des installations du collège ainsi que des rencontres avec des personnes ou des groupes de personnes, lorsque cela est jugé approprié dans le cadre de l audit. Ces personnes ou groupes peuvent être : l équipe (ou les équipes) ayant la responsabilité globale de l assurance de la qualité scolaire, de la révision des programmes et de l amélioration continue; des représentants des comités consultatifs; des représentants du personnel enseignant; des représentants des étudiants; des représentants des fournisseurs de services (bibliothécaires, services aux étudiants, appui à l apprentissage, conseillers, etc.); et la présidence ainsi que les cadres supérieurs responsables des programmes. Même si l on s attend à ce que l équipe de vérification visite seulement le campus principal du collège, il se peut que l on soit obligé de prolonger la durée de la visite d une journée pour les collèges éloignés, très diversifiés ou polyvalents. Ces dispositions devraient être prises avant la visite du collège faisant l'objet de l'audit. L équipe de vérification doit être attentive aux activités du collège qui pourraient représenter un risque particulier pour la qualité et les normes. L équipe doit surtout s en assurer pour les ententes concernant les programmes offerts à l extérieur du campus principal et audelà des frontières provinciales et nationales. Ceci est particulièrement important pour les programmes que le collège offre outre-mer. 14 P a g e

3.5.2 Visite Tel que cela est expliqué ci-dessus, les visites de l'équipe de vérification seront planifiées selon un processus de négociation entre l'agent de liaison du collège et la présidence de l'équipe de vérification. La visite du site se terminera par une «entrevue de sortie», le dernier matin de la visite. Cette dernière étape de la visite permettra de donner au collège faisant l objet de l audit un aperçu de ce que pourrait contenir la version provisoire (observations et recommandations). À la fin de la visite, toute la documentation envoyée à l'équipe de vérification et reçue par elle sera remise à l'agent de liaison du collège à l'exception des documents réunis et retenus par le président de l'équipe de vérification pour la rédaction du rapport final. Une fois le rapport final terminé et déposé, la présidence remettra ces documents au collège. QUATRIÈME EXIGENCE: RAPPORT FINAL DE L AUDIT 4.1 Paramètres généraux Le rapport de l'audit doit décrire les politiques, les processus et les pratiques collégiales en matière d'assurance de la qualité ainsi que leur efficacité. Le rapport expose les conclusions auxquelles est parvenue l équipe de vérification après que cette dernière a interprété les informations recueillies. Le rapport met en lumière les forces (mentions spéciales / pratiques exemplaires) et souligne les éléments qui devraient faire l objet d améliorations. Il est important de souligner qu aucun commentaire (positif ou négatif) ne sera fait sur les personnes ou sur des normes n ayant aucun lien avec le processus d assurance de la qualité. Le rapport tente d aborder tous les domaines pertinents sans pour autant fournir une avalanche de détails ou prétendre être exhaustif. Le rapport ne doit contenir aucune déclaration qui ne peut être justifiée. Si l'équipe de vérification juge nécessaire de faire des observations sur un point en particulier, elle doit d'abord recueillir l'information justifiant ces observations et l annexer au rapport. Par contre, il faut affirmer explicitement ce dont on est certain et éviter les distinctions subtiles. Le rapport final de l'audit demeure un document public appartenant au Conseil de gestion du Service d assurance de la qualité des collèges de l Ontario (SAQCO) et non à l'équipe de vérification, ni à ses membres. L'équipe agit au nom du Conseil de gestion du SAQCO et c'est à ce dernier, et non à l'équipe de vérification, que revient la 15 P a g e

responsabilité de soutenir les conclusions, d appuyer les recommandations et de publier le rapport final. Tous les rapports de vérification adopteront une structure semblable tout en permettant une certaine souplesse à chaque équipe afin de présenter ses résultats de la manière la plus efficace pour le collège faisant l'objet de l'audit. L équipe de vérification identifiera des pratiques exemplaires ainsi que des domaines pouvant faire l objet de certaines améliorations. Une fois qu'une pratique exemplaire sera identifiée et perçue comme potentiellement transférable à d'autres collèges du réseau, elle sera incluse dans une base de données de pratiques exemplaires (suite à l approbation finale par le Conseil de gestion du rapport de l audit) instituée par le Conseil de gestion et accessible en ligne à tous les collèges (www.ocqas.org). Les recommandations portant sur l amélioration sensibiliseront le collège quant aux domaines qui nécessitent une attention particulière et, plutôt que de prescrire la ou les mesure(s) à prendre, apportera au collège une orientation et une ligne directrice. Le but du rapport final de l audit est d'être le plus utile et le plus constructif possible pour le collège faisant l'objet de l'audit, tout en conservant l'intégrité des conclusions de l'équipe de vérification ainsi que la rigueur même du rapport. 4.2 Préparation de la version provisoire du rapport 4.2.1 En général À la suite d un audit qui comprend un examen complet de toute la documentation reçue du collège ainsi qu'une visite des lieux, les membres de l équipe de vérification se réunissent pour discuter du contenu éventuel du rapport et des recommandations à faire. Le Conseil de gestion du SAQCO s engage à assurer la cohérence de l élaboration des rapports pour les audits de la qualité effectués sous l égide de l AMAQP. Dans cet esprit, le Conseil juge nécessaire de préciser (à l intention des membres de l équipe de vérification et du personnel du collège) les attentes liées aux évaluations pour les collèges et les équipes de vérification. Afin de faciliter et d assurer la cohérence pour l ensemble des collèges et des équipes de vérification, on a approuvé les deux (2) principes suivants 2 : 1. Pour que le système d assurance de la qualité (AQ) d un collège obtienne une cote «ATTEINT», il doit être manifeste que tout processus identifié ou offert à titre de preuve a été mis en œuvre et est en vigueur depuis un 2 Ces principes ont été approuvés par le Conseil de gestion en septembre 2008 16 P a g e

certain temps. Ce principe devrait être interprété dans le contexte de l introduction de nouveaux systèmes d assurance de la qualité. Une cote «ATTEINT» ne peut être accordée pour un nouveau système que s il est manifeste qu il est en vigueur et efficace. 2. Lorsqu un collège instaure un processus d assurance de la qualité en remplacement d un processus existant, il n existe pas suffisamment de preuves quant à l efficacité du nouveau processus du fait qu il n a jamais été éprouvé. Le collège doit alors démontrer que le processus / système précédent était en vigueur et efficace. Ce principe devrait être interprété de manière à «ne pas pénaliser le collège pour la mise en œuvre d un système AQ innovateur et plus efficace» qui remplace un système AQ qui était manifestement efficace. La présidence de l équipe rédigera une version provisoire du rapport en tenant compte de la rétroaction des autres membres de l'équipe de vérification. Chacune des conclusions tirées par l équipe de vérification devrait être présentée dans le cadre du processus de vérification de l audit spécifique et évaluée en conséquence. Les décisions prises et les recommandations faites par le comité d évaluation doivent se concentrer sur les processus, les politiques et les pratiques de l assurance de la qualité pour chacun des collèges et être formulées de façon à refléter leur spécificité. 4.2.2 Jugements concernant les normes Pour corroborer toutes les conclusions atteintes et les jugements prononcés, le rapport doit fournir une évaluation narrative suffisante pour démontrer le cheminement qui a mené l équipe à cette conclusion. Surtout, là où un redressement est requis, le collège doit pouvoir comprendre, à partir du rapport, la nature de la faiblesse à redresser. De la même façon, le collège doit comprendre, à la lecture du rapport, les raisons données pour juger de l atteinte d une norme, ces raisons pouvant être utiles lors de prochains audits. À partir de la preuve présentée, l équipe de vérification doit élaborer les raisons de ses conclusions, lorsqu elle fait mention de ses constatations relatives à chaque norme qui a été «Atteinte», «Partiellement atteinte» ou «Non atteinte». Pour aider l équipe de vérification dans cette élaboration et pour aider le collège dans ses efforts d amélioration continue, les mesures à prendre mentionnées ci-dessous, peuvent servir, lorsqu elles sont appropriées : Les processus de la qualité existants devraient se poursuivre : c est une catégorie ou une mesure qui est utilisée lorsque le collège a cerné un problème, 17 P a g e

a mis en place une solution pour le régler et que cette mesure (ou processus) est à une étape avancée d exécution. Cette catégorie de mesure serait normalement utilisée seulement en conjonction avec un jugement global «atteint». Ceci encourage les collèges à redresser les manques et les brèches, sachant que si un progrès évident est réalisé lorsque l audit a lieu, il n y aura pas de jugement négatif posé. Bien entendu, l équipe de vérification doit être certaine qu il n y aura pas d empêchement à une conclusion satisfaisante et qu elle peut alors recommander que l action se poursuive. Les mesures menant à la correction devraient se poursuivre : c est une catégorie utilisée lorsqu un collège a cerné un problème, a mis en place une solution ou un processus pour le régler et est au début de la mise en oeuvre. Selon les faits et les détails de l affaire, l équipe de vérification pourrait conclure que jusqu à ce que plus de progrès ait été accompli, la norme ne peut être notée comme étant «Atteinte», ce qui justifie la décision d indiquer «Partiellement atteinte». Les mesures menant à la correction sont souhaitables : c est une catégorie où l on estime qu il y a un risque potentiel sérieux. La qualité et les normes ne sont pas encore mis en danger. Cependant, le risque est tel que, si une mesure correctrice n est pas entamée rapidement, la situation pourrait mener à la constatation qu une mesure menant à la correction est essentielle. Cette mesure serait habituellement utilisée en conjonction avec la décision «Partiellement atteinte». Les mesures menant à la correction sont essentielles : dans cette catégorie, on retrouve un risque immédiat à la qualité d un programme ou des programmes ou aux résultats d apprentissage que l étudiant doit atteindre. Selon la nature et l importance du risque, l équipe de vérification pourrait conclure que cette situation place le collège dans la catégorie «Non atteinte». Si l on trouve que plus d une mesure menant à la correction est essentielle dans une norme, ceci pourrait placer la norme entière dans la catégorie «Non atteinte». 4.2.3 Maturité des processus d assurance de la qualité L équipe de vérification classera ses conclusions par rapport aux processus d assurance de la qualité du collège, à part la cote de la norme individuel, selon l une des cinq catégories de maturité suivantes 3. Dans chacun des cas, l équipe de vérification pourra 3 Ces catégories s inspirent de la théorie «Capacité Maturité» élaborée à l Université Carnegie-Melon à l intention de l industrie de la haute technologie et utilisée avec succès lors d audits de la qualité de 18 P a g e

rendre une décision unanime ou majoritaire 4. Les cinq catégories de maturité en matière de processus d assurance de la qualité sont définies comme suit : Effort minime signifie qu il n y a aucun processus d assurance de la qualité et de l amélioration (AQ et A) en place au collège. On n y perçoit aucun processus ou système organisé en matière d assurance et d amélioration de la qualité (AQ et A) et les employés du collège sont peu sensibilisés à la qualité. Effort de réaction signifie que le collège réagit aux situations problématiques en ayant surtout recours à une approche ad hoc. Il peut faire des ajustements périodiques si nécessaire. Les normes et les processus AQ et A reçoivent une attention peu systématique au sein du collège. Effort formel signifie qu il existe ici et là, au sein du collège, certaines initiatives et tentatives d amélioration motivées explicitement par les normes. Des initiatives et tentatives d amélioration individuelles sont perceptibles dans les programmes et au sein du collège. Ces initiatives semblent formellement motivées par les normes. Effort structuré signifie qu il y a un debut de planification et de suivi d initiatives que les méthodes de travail sont systématiquement enracinées dans les normes, et que le collège a commencé à définir les mesures et seuils de performance. Cela démontre que les initiatives des processus d assurance de la qualité sont planifiées et suivies, que les méthodes de travail sont systématiquement enracinées dans les normes et que le collège a commencé à élaborer et appliquer les mesures et seuils de performance. Effort mature signifie que les processus d assurance de la qualité sont bien ancrés dans la culture du collège, que l amélioration continue est un mode de vie et que l apprentissage organisationnel et l engagement envers l AQ et A y sont fermement établis. 4.2.4 Conclusions de l équipe de vérification Nonobstant le classement global du collège par rapport aux catégories de maturité (telles qu indiquées ci-dessus), la version provisoire du rapport présentera ses conclusions selon les trois domaines suivants : l éducation à Hong Kong, au Tennessee et au Missouri. Elles ont été adaptées par William Massy dans son livre intitulé Education Quality Improvement: A Handbook for Departments, Stanford University. 4 Lors d une décision majoritaire, le membre dissident doit écrire un rapport minoritaire et l ajouter en annexe. 19 P a g e

Mentions spéciales -souligner les pratiques exemplaires notées par l équipe de vérification, telles que des pratiques, des politiques ou des procédures dignes d être imitées par les autres collèges. Affirmations signaler les domaines où le collège lui-même a identifié un défi ainsi que les moyens qu il entend prendre afin de le surmonter. L équipe de vérification vient donc confirmer le jugement et les conclusions du collège lors de son autoévaluation. Recommandations signaler les domaines à améliorer tels qu identifiés par l équipe de vérification en dehors de l autoévaluation du collège. Des recommandations peuvent également être faites concernant des sujets de préoccupation signalés par le collège dans son autoévaluation, et pour lesquels il n a conçu aucun plan d action. De toute évidence, les affirmations valent mieux que les recommandations. Cette façon de présenter un sommaire des conclusions auxquelles est parvenue l équipe de vérification permet d identifier les pratiques exemplaires. Elle encourage également les collèges à identifier, lors de l autoévaluation, les faiblesses perçues dans leurs politiques, pratiques et procédures, et à commencer à dresser les plans d amélioration visant à corriger ces situations, plutôt que d espérer que ces faiblesses ne seront pas décelées par l équipe de vérification. Selon la rétroaction de tous les membres de l équipe de vérification, la présidence prépare une version provisoire du rapport (en incluant le rapport du membre dissident, le cas échéant) et le remet à chaque membre de l équipe de vérification à des fins d examen, d ajustements et d approbation. La version provisoire du rapport devra, au moins : décrire la méthodologie utilisée et les mesures de vérification adoptées par l équipe de vérification; fournir un rapport de la situation relativement aux évaluations de programmes faites par le collège; présenter succinctement les principes généraux et les lignes directrices utilisés par le collège dans ses propres évaluations internes de l assurance de la qualité des programmes; fournir des commentaires quant à la façon dont les procédures et les pratiques d évaluation se révèlent conformes aux politiques du collège et dans quelle mesure les méthodes employées par le collège rencontrent les normes établies pour les mécanismes d assurance de la qualité; exposer les forces et les faiblesses des mécanismes; classer les processus AQ et A selon les cinq catégories de maturité 20 P a g e

énoncer clairement toutes les mentions spéciales, affirmations et recommandations; et engager le collège à soumettre, dans les dix-huit (18) mois suivant le dépôt du rapport, un rapport intérimaire, c est-à-dire un suivi aux recommandations du rapport final de l audit. Une fois approuvé par l équipe de vérification, la version provisoire du rapport sera acheminée au collège ayant fait l objet de l audit qui pourra y répondre et apporter, le cas échéant, des corrections à toute erreur de nature factuelle. Le collège aura 30 jours civils pour remettre une réponse par écrit à la présidence de l équipe de vérification. L équipe de vérification effectuera, à sa discrétion et d un commun accord, tout changement jugé nécessaire. Tout commentaire ou toute correction de faits provenant du collège sera incorporé dans le rapport final. Quand toute la rétroaction du collège et celle du comité de vérification aura été incorporée et que le rapport final sera prêt, la présidence du comité de vérification remettra ensuite au Conseil de gestion la version provisoire de ce rapport final à des fins de vérification, d approbation et de publication. 4.2.5 Rapport intérimaire Selon les pratiques exemplaires internationales, il est préférable d assurer un suivi systématique aux recommandations avant le prochain cycle d audit. Le rapport intérimaire demandé dans les dix-huit (18) mois suivant le rapport devrait préciser les actions posées par le collège pour corriger la situation ayant donné lieu à une recommandation, à quel moment la correction a été mise en œuvre ou le sera, tout résultat atteint suite à des gestes déjà posés, et toute autre action prise par le collège dans le but d améliorer la situation. Ce rapport de suivi sera examiné par le Conseil de gestion qui l affichera sur le site Web pour accompagner le sommaire du rapport final de l audit du collège. Le Conseil de gestion reconnaît que le suivi et la redevabilité des collèges concernant les processus d assurance de la qualité et de l amélioration dépendent des conseils d administration des collèges. Pour sa part, le Conseil de gestion s engage à fournir à chaque collège son aide et son appui, par le biais du personnel du SAQCO. 4.3 Rôle du Conseil de gestion Le Conseil de gestion a l autorité de publier un rapport final de l Audit de l AMAQP; néanmoins, avant de le publier, il doit avoir effectué certaines vérifications : le processus utilisé par l équipe de vérification est conforme aux lignes directrices de l audit; 21 P a g e

le collège a eu l occasion de commenter la version provisoire du rapport et il a été traité en toute justice et de façon équitable comparé aux autres audits dans les autres collèges; le collège a retourné une réponse écrite et signée après avoir lu la version provisoire du rapport de l audit; le rapport final de l audit ne divulgue aucune information confidentielle ni aucun renseignement de nature exclusive; et le collège a pris connaissance de la version provisoire finale du rapport de l audit et a eu l occasion de faire appel dans les cas où il croit que le rapport contiendrait encore des erreurs factuelles. 4.4 Processus d appel Les collèges qui désirent aller en appel doivent déposer leur demande, par écrit auprès de la présidence du Conseil de gestion du SAQCO, dans les 30 jours civils suivant l avis de réception de la version provisoire finale du rapport de l audit. La demande d appel doit clairement en préciser les raisons. Le collège doit : identifier les erreurs de nature factuelle ou de logique; fournir la preuve que le contenu du rapport est erroné; demander des mesures spécifiques de correction; annexer toute preuve justifiant la plainte; ajouter une liste de témoins pouvant être convoqués à l audition de l appel; et s engager à assumer les droits de l appel. Dans le cas où un désaccord entre les opinions du collège faisant l'objet de l'audit et celles de l'équipe de vérification ne peut se résoudre par le biais de discussions et de consultations, le Conseil de gestion convoquera officiellement un comité d'appel de trois (3) personnes sélectionnées à partir de l'ensemble de présidences des équipes de vérification ayant déjà été formées et approuvées. Il est convenu que la sélection et la nomination des membres du Comité d'appel se fera d'une manière conforme aux exigences langagières du collège qui va en appel. Le Comité d'appel se réunira dans les trois (3) semaines suivant la réception par écrit de l avis d'appel. L audition du Comité d appel prendra la forme d une réunion officielle convoquée à un endroit acceptable aux deux parties (le plus souvent il s agira des bureaux du SAQCO) à laquelle participeront : le comité d appel formé des trois personnes nommées par le Conseil de gestion; le représentant du collège (qui aura fourni, à l avance, la documentation nécessaire ainsi que le nom des témoins qui seront invités à la séance de l appel, tel que précisé ci-dessus); et 22 P a g e