Faire des choix fondamentaux pour l assurance qualité externe

Transcription

1 Assurance Qualité Externe : options pour les gestionnaires de l enseignement supérieur Module 1 Faire des choix fondamentaux pour l assurance qualité externe Institut international de planification de l éducation

2 Assurance Qualité Externe : options pour les gestionnaires de l enseignement supérieur Ces modules ont été préparés par le personnel et des consultants de l IIPE. Ils peuvent être utilisés soit lors d ateliers et activités de groupes, soit individuellement, en tant que matériel d autoformation. L IIPE les utilise également dans le cadre de ses cours à distance. Cette série de modules est disponible à l adresse suivante : D autres séries sont disponibles à la même adresse sur des thèmes liés à la planifi cation et la gestion de l éducation. Nous vous invitons à consulter régulièrement le site de l IIPE pour prendre connaissance des nouvelles publications. Institut international de planifi cation de l éducation (UNESCO) 7-9 rue Eugène Delacroix Paris Tel. : Fax : [email protected] Site web : Ces modules ont été réalisés à l aide du matériel informatique de l IIPE et imprimés dans son atelier d impression. Les désignations employées dans cette publication, comme les matériels qui y sont présentés, ne sauraient en aucune manière être interprétés comme le refl et d un quelconque point de vue de l UNESCO que ce soit sur le statut juridique d un pays, territoire, ville ou région ou de ses autorités ou que ce soit sur ses frontières ou limites. Cote : PRD/47 Crédit photos : IIEP/UNESO Tous droits réservés UNESCO 2011

3 Module 1 Faire des choix fondamentaux pour l assurance qualité externe Présentation du module 4 Introduction 5 Le rôle de l assurance qualité externe dans les systèmes d assurance qualité 6 1. Tendances des systèmes d enseignement supérieur 6 2. Instruments alternatifs pour la politique de régulation de la qualité dans l enseignement supérieur Définitions : assurance qualité, évaluation, audit, accréditation et reconnaissance Le rôle de l assurance qualité externe dans le système général d assurance qualité 20 Principaux choix d organisation et de méthode dans les systèmes d assurance qualité externe Objectifs généraux de l AQE Choix des mécanismes : évaluation, audit de la qualité et accréditation Portée des systèmes d assurance qualité Conclusions 35 Points à retenir 36 Références bibliographiques 38

4 Liste des abréviations AACSB AERES AQE AUF CAMES CEMAC CEPES CHE CNE CONEAU CUS ENADE ENQA EPAS EQUIS EUA GATS GED HEQC INQAAHE LAN LMD MINESUP OBHE OMC TIC REESAO UEMOA Association pour le progrès des écoles de commerce universitaires (Association to Advance Collegiate Schools of Business) [États-Unis] Agence d évaluation de la recherche et de l enseignement supérieur [France] Assurance qualité externe Agence universitaire de la francophonie [Canada] Conseil africain et malgache pour l enseignement supérieur Communauté économique et monétaire de l Afrique Centrale Centre européen pour l enseignement supérieur (European Centre for Higher Education) [Roumanie] Conseil pour l enseignement supérieur (Council for Higher Education) [Afrique du Sud] Comité national d évaluation de l enseignement supérieur (National Higher Education Evaluation Committee) [France] Commission nationale d évaluation et d accréditation universitaire (National Commission for University Evaluation and Accreditation) [Argentine] Conférence universitaire suisse Examen national d évaluation de l enseignement supérieur Réseau européen d assurance qualité (European Network for Quality Assurance) Système d accréditation de filières organisé sous EQUIS (Program Accreditation System) Système européen d amélioration de la qualité (European Quality Improvement System) Association des universités européennes (European University Association) Accord général sur le commerce des services (General Agreement on Trade in Services) Application de gestion électronique des documents Comité pour la qualité de l enseignement supérieur (Higher Education Quality Committee) [Afrique du Sud] Réseau international des agences d assurance de la qualité dans l enseignement supérieur (International Network for Quality Assurance Agencies in Higher Education) Conseil national d accréditation (Malaisie) Licence Master Doctorat Ministère de l Enseignement supérieur L'observatoire de l'éducation sans frontière (Observatory on Borderless Higher Education) [Angleterre] Organisation mondiale du commerce (World Trade Organization) Technologies d information et de communication Réseau pour l excellence de l enseignement supérieur en Afrique de l Ouest Union économique et monétaire ouest-africaine 2 Module 1 : Faire des choix fondamentaux pour l assurance qualité externe

5 Liste des encadrés Encadré 1. Processus d intégration régionale et assurance qualité 9 Encadré 2. Encadré 3. Encadré 4. L introduction du LMD dans les établissements d enseignement supérieur d Afrique francophone et stratégie d harmonisation des programmes de l Union africaine 11 Mécanismes d assurance qualité des systèmes d enseignement supérieur en Afrique anglophone 12 Approches régionale et nationale : le Conseil africain et malgache de l enseignement supérieur (CAMES) et le Cameroun 13 Encadré 5. L évaluation institutionnelle conduite en France par l AERES (France) 24 Encadré 6. L accréditation des formations et établissements par l OAQ en Suisse 26 Encadré 7. L audit de la qualité en Afrique du Sud 27 Encadré 8. Portée grandissante du système d assurance qualité en Malaisie 30 Encadré 9. La flexibilité du système d accréditation américain 31 Encadré 10. Demande d accréditation obligatoire des filières de formation reconnues par l État en Argentine 33 Liste des tableaux Tableau 1. Instruments alternatifs pour la régulation de la qualité par domaine d intérêt 16 Tableau 2. Fonctions d assurance qualité dans l enseignement supérieur 21 Tableau 3. Classification des options de base utilisées dans les systèmes AQE 28 3 Module 1 : Faire des choix fondamentaux pour l assurance qualité externe

6 Présentation du module Bienvenus au module 1 «Faire des choix fondamentaux pour l assurance qualité externe» de notre cours à distance sur l Assurance qualité externe. Objectifs du module Ce module : présente les tendances internationales qui incitent les pays à mettre en place un système d AQE ; explique comment les mécanismes d AQE s intègrent dans les systèmes d assurance qualité ; analyse la notion de «qualité» et définit les concepts de base de l AQE ; traite des objectifs généraux des systèmes d AQE ; et établit les liens entre ces objectifs généraux et les choix organisationnels de base. À la fin de ce module vous devriez pouvoir : comprendre les facteurs contextuels et les raisons politiques nécessaires à la mise en place d un système d AQE ; définir différents concepts liés à l AQE tels que l évaluation, l audit et l accréditation ; comprendre le rôle de l AQE dans la fonction d assurance qualité sous la responsabilité des gouvernements ; et identifier les choix organisationnels majeurs pour la création d un dispositif d AQE. Thèmes de réflexion Existe-t-il déjà une structure d assurance qualité externe dans votre pays? Quelles sont les fonctions d assurance qualité faibles qui doivent être développées dans votre pays? Quel rôle joue ou pourrait jouer l AQE à cet égard? Quel serait le mécanisme d AQE le plus important à développer dans l immédiat? 4 Module 1 : Faire des choix fondamentaux pour l assurance qualité externe

7 Module 1 Faire des choix fondamentaux pour l assurance qualité externe Introduction L amélioration de la performance et des pratiques de l enseignement supérieur a toujours été une préoccupation des politiques et de la gestion de l enseignement supérieur. À cette fin, différents instruments sont utilisés qui varient selon le mode d organisation de chaque système. Dans les pays à gestion centralisée, on met l accent sur le pilotage au niveau ministériel, alors que dans les pays à gestion décentralisée, tout en gardant un droit de regard du ministère, on laisse aux établissements d enseignement supérieur davantage d initiative pour établir leur propre système d assurance qualité. L assurance qualité externe (AQE) peut traiter les insuffisances des dispositifs traditionnels d assurance qualité au niveau central comme au niveau de l établissement. En effet, les autorités nationales, souvent éloignées du terrain, ont plus de mal à juger équitablement la qualité des filières universitaires ainsi que celle des établissements de formation. Quant à ces derniers, ils peuvent difficilement être prestataires de services et juges à la fois. Par ailleurs, la mondialisation affecte fortement l enseignement supérieur et crée de nouveaux défis pour le pilotage et la régulation. Pendant que l offre d enseignement supérieur continue de se diversifier, la mondialisation suscite, de son côté, le besoin d une plus grande normalisation, afin que les qualifications puissent être plus facilement évaluées. Pour cette raison, nombre de pays de culture et de traditions administratives diverses et variées sont demandeurs d assurance qualité externe (AQE). Ce module sert d introduction à une série de cinq modules sur les systèmes d assurance qualité externe (AQE). Sa première partie situe l AQE au sein du système national d assurance qualité ; l AQE ajoute une nouvelle fonction à l assurance qualité, considérée ici comme une fonction nationale sous la responsabilité des autorités nationales en charge de l enseignement supérieur. Dans cette même partie, sont définis aussi les concepts fondamentaux nécessaires à l établissement d une base de compréhension claire et commune à tous les utilisateurs. La deuxième partie de ce module présente, par la suite, le modèle courant d AQE en trois étapes ainsi qu un nombre de choix fondamentaux à faire pour la conception d un système d AQE. Ces choix dépendent beaucoup des objectifs généraux de l AQE, qui sont eux-mêmes fonction de son rôle dans le système national d assurance qualité. 5 Module 1 : Faire des choix fondamentaux pour l assurance qualité externe

8 Le rôle de l assurance qualité externe dans les systèmes d assurance qualité 1. Tendances des systèmes d enseignement supérieur Au niveau mondial, les systèmes d enseignement supérieur se caractérisent par des tendances communes, fréquemment interdépendantes. Ces tendances demandent une actualisation permanente aux niveaux national et institutionnel. Croissance de la demande sociale et expansion des systèmes d enseignement supérieur Au cours des décennies passées, la demande sociale d enseignement supérieur a augmenté, en particulier dans les pays en voie de développement. L enseignement supérieur s est donc développé alors que le financement nécessaire pour satisfaire la demande restait souvent insuffisante. Au niveau mondial, les effectifs sont passés de 68 millions, en 1991, à 159 millions, en En Asie de l Est et Pacifique, les effectifs ont augmenté, passant de 14 millions, en 1991, à 49 millions, en 2008 (UNESCO, 2010 : 170), avec 26,7 millions d étudiants en Chine seulement 1. Afin d accueillir les effectifs supplémentaires, les systèmes d enseignement supérieur se sont diversifiés ; on a ainsi développé un secteur postsecondaire, non universitaire, et un nombre croissant de cours sont enseignés à distance. Suite à ces évolutions, les difficultés des autorités nationales à garantir la qualité par les méthodes traditionnelles se sont naturellement multipliées. Privatisation de l enseignement supérieur De nombreux pays qui avaient dans le passé des systèmes éducatifs exclusivement publics, n ayant plus la capacité financière de répondre à la demande sociale, ont introduit des mesures pour permettre le développement d un secteur d enseignement privé. Cela a conduit, au cours de la dernière décennie, à une formidable expansion de l offre d enseignement supérieur privé notamment dans les pays en voie de développement. L enseignement supérieur privé est actuellement une composante à part entière du système éducatif au même titre que l enseignement supérieur public. Une perception croissante de l enseignement supérieur comme bien privé La reconnaissance de la rentabilité privée de l enseignement supérieur est en progression. Cela vaut particulièrement pour les diplômes professionnels qui, indéniablement, génèrent des profits individuels substantiels. La formation professionnelle supérieure des adultes (formation tout au long de la vie), plus particulièrement, est considérée par les établissements publics et privés, aux 1 Selon le Bulletin statistique du développement national de l éducation en 2004, préparé par le Bureau des statistiques nationales chinois (2004), l effectif global des différents établissements d enseignement supérieur dépassait 20 millions d étudiants en La Chine se plaçait ainsi au sommet de la pyramide des pays d après le nombre d étudiants. 6 Module 1 : Faire des choix fondamentaux pour l assurance qualité externe

9 niveaux national et international, comme un marché. Certains gouvernements encouragent vivement les établissements supérieurs publics à jouer un rôle actif dans ce secteur. L expansion de l offre de formation supérieure professionnelle, dont une bonne partie est organisée par des prestataires privés, a contribué à mettre en question le rôle et les méthodes des gouvernements dans l assurance qualité. Dérégulation et contrôle de la performance par les gouvernements Dans nombre de pays, les gouvernements ont été réorganisés d après le modèle du nouveau management public, ce qui les a conduits à redéfinir leur rôle d autorité publique. Une des caractéristiques émergentes de ce modèle est la plus grande confiance à la dérégulation et la décentralisation des pouvoirs du gouvernement vers les établissements. Dans beaucoup de pays, la dérégulation fait partie d une réforme plus large des organismes publics. Dans ce cas, les principaux outils sont la décentralisation de la prise de décision, la négociation des objectifs, le contrôle des résultats et un système de financement fondé sur des indicateurs de résultats. Ces outils sont liés aux notions d autorégulation et d autonomie. Dans ce contexte, les gouvernements cherchent à renforcer des mécanismes qui leur permettent d assurer le contrôle de la qualité à distance, avec un intérêt particulier pour la responsabilité. Quand le pilotage de l enseignement supérieur est indirect, le rôle des autorités centrales se limite à établir les grandes lignes d action, à fournir des ressources et à motiver les acteurs ; les établissements et l État négocient des objectifs plus détaillés en termes d activités et de résultats. Dans ce contexte, l Etat exige des établissements qu ils rendent compte, à mesure que ceux-ci acquièrent de l autonomie et de la liberté dans la prise de décision. Le gouvernement, le parlement et les citoyens doivent s assurer que les établissements d enseignement supérieur offrent à la société des services efficaces. Plus que jamais, les gouvernements attendent que les établissements garantissent la performance et démontrent l utilisation optimale des ressources dont elles sont responsables auprès des usagers et du public en général. Au niveau mondial, les établissements des différents pays ont donc été fortement incités à fournir des informations sur leurs dépenses et leurs résultats. Le changement opéré pour satisfaire la demande des consommateurs et du marché concernant la transparence Les nouvelles formes de pilotage au niveau national vont souvent de pair avec une plus grande confiance dans les mécanismes du marché. Certains pays ont une forte tradition dans ce domaine, alors que d autres les ont adopté plus récemment. Dans des systèmes très diversifiés et régis par les principes du marché, comme le système américain, les informations fournies aux consommateurs et au public par le système d accréditation sont une pratique de longue date. La demande d information des familles et des étudiants sur la performance des établissements se manifeste actuellement dans d autres pays de plus en plus influencés par les forces du marché. Même dans des systèmes éducatifs hautement centralisés, on observe un changement d orientation vers une plus grande autonomie institutionnelle. Toutefois, dans ces cas, les schémas d assurance qualité externe (AQE) doivent s adapter à la culture nationale qui, 7 Module 1 : Faire des choix fondamentaux pour l assurance qualité externe

10 traditionnellement, met l accent sur le contrôle des moyens plutôt que sur les résultats. Mondialisation Les systèmes d enseignement supérieur sont de plus en plus touchés par la mondialisation. Les accords commerciaux conclus au niveau international, les technologies d information et de communication (TIC), à la fois matière et outil d apprentissage, ont conduit à la multiplication des échanges internationaux de biens, de capitaux et de personnes. Cela a exercé un effet significatif sur la structure, le contenu et la production de l enseignement supérieur au niveau mondial. En effet, les accords commerciaux ont conduit à un niveau de mobilité sans précédent pour certaines professions. La mondialisation de certaines professions et la mobilité professionnelle croissante ont accentué la pression sur les pays et les établissements pour produire des diplômes reconnus sur le marché de l emploi international et pour la comparabilité des standards éducatifs. L Accord général sur le commerce des services et le marché d enseignement supérieur sans frontières La progression de l enseignement supérieur transnational représente une manifestation directe de la mondialisation. Cet enseignement comprend des filières de formation, des cours d études ou des services éducatifs (y compris l éducation à distance). On désigne l éducation transnationale, souvent organisée dans un but commercial, de «commerce international des services éducatifs». Cependant, l éducation transnationale, comme ses applications commerciales, ne sont pas des phénomènes entièrement nouveaux, mais la rapidité d évolution est plutôt récente et l on s attend à ce qu elle s accélère. En effet, l Organisation mondiale du commerce (OMC) a déjà inclu les «services éducatifs» dans les négociations qui ont lieu dans le cadre de l Accord général sur le commerce des services (GATS). On a donc pris conscience du fait que l éducation était devenue un service sur le marché mondial, et que, par ailleurs, on manquait de pouvoirs régulateurs au niveau international. Des questions particulières liées à l enseignement supérieur transnational seront traitées dans le module 5. Le marché international des services d assurance qualité L évolution des services éducatifs vers la mondialisation inclut aussi les services d assurance qualité et d accréditation. En effet, plusieurs organismes d accréditation privés qui opèrent au niveau national, ceux en particulier des secteurs d études professionnelles comme les formations en matière de gestion des entreprises, les formations d ingénieur et les formations en matière de santé, offrent leurs services à des organisations d autres pays. Certains organismes d accréditation régionaux et professionnels aux États-Unis ont accrédité des filières dans 40 pays. Toutefois, les prestataires de services d assurance qualité internationaux imposent fréquemment leurs propres valeurs et critères, qui ne sont pas toujours les mêmes que celles des autorités nationales. Cela accentue la pression sur les gouvernements nationaux pour créer leurs propres structures d assurance qualité qui peuvent être plus facilement adaptées aux valeurs et intérêts nationaux. 8 Module 1 : Faire des choix fondamentaux pour l assurance qualité externe

11 Intégrations régionales Il est à noter aussi que l enseignement supérieur se trouve de plus en plus affecté par des mouvements d intégration régionale comme il en existe dans toutes les régions du monde. La création d un marché commun à travers l objectif de la libre circulation des personnes, affecte directement la sphère de l éducation, car elle exige la reconnaissance des diplômes. Le continent africain connaît également ce phénomène. En Afrique francophone, l Union économique et monétaire de l Afrique de l Ouest (UEMOA) ainsi que la Communauté économique et monétaire de l Afrique centrale, représentent de telles initiatives dans la sous-région. L encadré 1 présente le processus de Bologne en Europe et l encadré 2, l introduction du LMD dans les établissements d enseignement supérieur d Afrique francophone ainsi que la stratégie d harmonisation des diplômes proposée par l Union africaine. Les deux exemples illustrent comment les processus d intégration régionale affectent le développement de l éducation et favorisent l expansion des systèmes d assurance qualité au niveau régional et à celui du continent. L encadré 3 présente les mécanismes d assurance qualité des systèmes d enseignement supérieur en Afrique anglophone et l encadré 4 aborde les mécanismes traditionnels mis en place par le Conseil africain et malgache de l enseignement supérieur et la diversification des filières et l assurance qualité au Cameroun. Encadré 1. Processus d intégration régionale et assurance qualité Le processus de Bologne est un engagement pour construire un espace européen de l'enseignement supérieur avant Il ne s'agit pas de mettre en place un système universitaire unique mais bien de placer les systèmes nationaux diversifiés dans un cadre commun fondé sur trois points clefs : mise en place d'une structure en deux cycles des études supérieures : un premier cycle d'études d'au moins trois années menant à un premier grade - appelé suivant les pays licence, baccalauréat, candidature, etc. correspondant à un niveau de qualification approprié pour l insertion sur le marché du travail européen ; puis un cycle menant à un grade de type maîtrise universitaire (cycle court) et/ou au doctorat (cycle long) ; mise en place d un système commun de crédits pour décrire les programmes d'études le Système européen de transfert et d'accumulation de crédits pour promouvoir la mobilité des étudiants le plus largement possible ; mise en place du supplément au diplôme afin de rendre plus facilement lisibles et comparables les diplômes, de favoriser ainsi l intégration des citoyens européens sur le marché du travail et d améliorer la compétitivité du système d enseignement supérieur européen à l échelon mondial. Le processus est ponctué par des conférences interministérielles (la Sorbonne 1998, Bologne 1999, Prague 2001, Berlin 2003, Bergen 2005, Londres 2007, ) qui sont autant d étapes et de relances de la dynamique engagée. Le processus de Bologne et les démarches qualité dans l espace européen de l enseignement supérieur Le processus de Bologne comporte un volet d activités dédiées à l amélioration et à la garantie de la qualité dans l enseignement supérieur. Le rôle assigné à cette dimension «assurance de la qualité» est double. Il s agit, d une part, de fournir des objectifs et des 9 Module 1 : Faire des choix fondamentaux pour l assurance qualité externe

12 cadres pour le développement de la qualité des enseignements supérieurs et, d autre part, de fournir à l ensemble des acteurs et des bénéficiaires de ces enseignements des informations utiles et adaptées aux décisions qu ils doivent prendre en termes de politique, de gestion, d orientation, etc. Depuis mai 2005 (conférence de Bergen), il existe un cadre consensuel, cohérent et respectueux du principe de subsidiarité pour le développement des démarches qualité dans les enseignements supérieurs, qui s intitule «Références et lignes directrices pour le management de la qualité dans l espace européen de l enseignement supérieur». ( Ce cadre européen des démarches qualité dans l enseignement supérieur est constitué essentiellement de trois ensembles de références portant respectivement sur le management interne de la qualité des établissements, la mise en œuvre des évaluations externes par les agences et l évaluation des agences. En 2007, il a été décidé, lors de la conférence de Londres, qu il comportera un registre des agences fondé sur la qualité de leurs activités et leur professionnalisme. Y vont pouvoir accéder les structures d assurance qualité qui respectent les Références et lignes directrices susmentionnées. Enfin, la démarche, validée par les ministres, prévoit le renforcement du dialogue permanent des acteurs concernés par le développement de la qualité dans l enseignement supérieur, notamment par une rencontre annuelle, le Forum de la qualité. Les Références et lignes directrices reposent sur le principe de l autonomie des établissements dans le développement de leur culture de la qualité et dans leur définition d une politique qualité. Les références et lignes directrices s adressent aux établissements et aux agences. Les références européennes portent essentiellement sur l exercice de la mission de formation. Elles sont organisées en trois parties : le management interne de la qualité dans les établissements d enseignement supérieur ; la mise en œuvre des évaluations externes par les agences d évaluation reconnues nationalement par les autorités publiques ; l évaluation de ces agences. Les objectifs fixés par les références sont précisés dans des lignes directrices. Etablissements La première partie souligne l importance de la notion d amélioration continue qui doit se trouver au centre de la politique de l établissement. C est à l établissement de définir ses orientations stratégiques, ses choix. Sa politique doit être rendue publique et prévoir un rôle pour les étudiants et les autres parties intéressées. Les références suivantes portent sur la définition et l évaluation des filières et des diplômes, l évaluation des étudiants et des équipes pédagogiques, les ressources et les outils pédagogiques, le système d information et enfin l information du public. Concrètement, l établissement doit montrer qu il est en mesure d atteindre les objectifs qu il s est fixés et réaliser ses missions statutaires. Agences d évaluation Les agences d évaluation ou d accréditation doivent mettre en œuvre des procédures d évaluation conformes à la deuxième partie des références européennes. Par exemple 10 Module 1 : Faire des choix fondamentaux pour l assurance qualité externe

13 une référence précise les modalités de suivi des recommandations. L activité des agences s inscrit bien dans la démarche d amélioration continue. Pour être crédibles, ces agences doivent également être évaluées. La troisième partie des références européennes précise les attentes pour ce qui concerne le fonctionnement de l agence et de son professionnalisme. Les Références et lignes directrices sont complémentaires à d'autres mécanismes La Fondation européenne pour le développement du management est très active dans le domaine de l'accréditation des écoles de commerce et de management avec la marque EQUIS (European Quality Improvement System) et dans le domaine de l'accréditation de parcours de formation avec EPAS (Program Accreditation System). Ce type d'accréditation s'inscrit dans un environnement concurrentiel. Des organismes d'accréditation américains comme l'aacsb (Association to Advance Collegiate Schools of Business) sont présents sur le marché de l'accréditation des formations de commerce. L'Association européenne des universités (EUA) propose aux établissements un mécanisme d'évaluation dans une logique d'amélioration continue, centré sur le respect des objectifs stratégiques et politiques de chaque université. Source : site web de l Agence Europe-Education-Formation Encadré 2. L introduction du LMD dans les établissements d enseignement supérieur d Afrique francophone et stratégie d harmonisation des programmes de l Union africaine Face à la mondialisation et aux nouvelles exigences de mobilité académique des étudiants, le processus de Bologne a rapidement débordé le cadre de l Europe et a été considéré comme un exemple de bonne pratique par des pays d autres régions du monde, qui ont adapté leur système d enseignement supérieur en le prenant pour référence. Ainsi, à l instar de l Europe, d autres continents se sont engagés dans la restructuration de leurs cycles d enseignement en adoptant l architecture LMD. Les évolutions européennes ont incité les autres continents à restructurer leurs cycles d enseignement en adoptant l architecture du LMD. Longtemps restés en retrait de ces réformes, les États d Afrique francophone ont également décidé de basculer vers le système LMD, la structure européenne des études, avec des différences sensibles selon les sous-régions : les pays du Maghreb ont remodelé leur système à partir de 2003 et ceux d Afrique de l Ouest en Le débat, qui s est par le passé focalisé sur la question des cycles d études, concerne aujourd hui d autres sujets. Ceux de l assurance qualité et de l accréditation, de l organisation de diplômes conjoints, des masters de recherche et des écoles doctorales sont de première importance. Suite aux évolutions mondiales, les États d Afrique francophone ont pris des initiatives importantes dans certains de ces domaines. L Union économique et monétaire de l Afrique de l Ouest (UEMOA) et la Communauté économique et monétaire de l Afrique Centrale (CEMAC) ont adopté des directives qui visent la mise en place du système LMD. Cette décision traduit une volonté des pays de la sous-région de renforcer leur collaboration en matière universitaire et de faciliter la mobilité des étudiants. Cette 11 Module 1 : Faire des choix fondamentaux pour l assurance qualité externe

14 décision traduit une volonté de ces États de renforcer leur collaboration en matière universitaire et de se positionner sur la scène internationale. Source : site web d AUF Lors de la conférence de juin 2006 à Ouagadougou qui a réuni 170 participants sur le thème «L enseignement supérieur au cœur des stratégies de développement de l Afrique francophone», on a fait état de trois expériences de mise en œuvre de la réforme LMD dans les universités africaines : l université Cheikh Anta Diop a engagé le processus de la réforme depuis 2003, en mobilisant la communauté universitaire et en commençant par les masters ; pour faire face au défi de la réforme du LMD, des universités publiques francophones ont créé un Réseau pour l excellence de l enseignement supérieur en Afrique de l Ouest (REESAO) qui regroupe 14 membres actuellement. Le réseau vise à créer les conditions d une adhésion politique forte des États en faveur de la réforme ; les chefs d États de la CEMAC (Cameroun, Centrafrique, Congo, Gabon, Guinée équatoriale et Tchad) ont pris des décisions politiques concertées pour créer le cadre juridique, avec un calendrier précis pour la mise en œuvre de la réforme LMD. Il est à noter que la mise en place de la structure LMD facilitera également les échanges et la reconnaissance des diplômes entre l Afrique anglophone et francophone. Afin de stimuler la mobilité des étudiants et des professionnels sur tout le continent africain, l Union africaine s est engagée, depuis 2006, dans une stratégie d harmonisation des programmes de l enseignement supérieur, qui stipule que l assurance qualité est un des mécanismes qui accompagnera cette réforme. Cette stratégie vise à bâtir sur les mouvements d intégration sous-régionaux, mais également à construire, à terme, un espace africain d enseignement supérieur avec un cadre générique des diplômes universitaires. Source : Union africaine, 2007 Encadré 3. Mécanismes d assurance qualité des systèmes d enseignement supérieur en Afrique anglophone De création relativement récente dans la plupart des pays africains, les systèmes d évaluation et d accréditation de l enseignement supérieur, comporte actuellement une grande diversité en Afrique. D après les résultats de six études de cas réalisées dans différents pays africains, on constate que certains pays comme le Ghana, le Kenya et le Nigéria ont déjà une longue expérience ; d autres, les plus nombreux, n ont pas d évaluation ni d accréditation systématique. À peu près un cinquième des États africains ont des agences d assurance qualité en cours de création, ou ont procédé à quelques évaluations ou accréditations ou à quelques accréditations de formations. Quatre de ces agences sont semi-autonomes. Toutes les agences sont financées intégralement ou en partie par un département ministériel. Six pays procèdent actuellement à la mise en place de programmes d accréditation. Onze pays ayant des agences d accréditation utilisent l accréditation institutionnelle ou celle des filières de formation. Deux pays (l Afrique du Sud et Maurice) organisent des audits institutionnels. Le Nigéria accrédite uniquement les filières des universités. Dans les six cas étudiés, les procédures comportent des éléments communs : évaluation par les pairs (peer review), auto-évaluation, visites sur site et un rapport. Il s avère donc que l assurance qualité est en train de se développer dans bon nombre de pays africains. Cela ne doit pas cacher les difficultés auxquelles sont confrontés les 12 Module 1 : Faire des choix fondamentaux pour l assurance qualité externe

15 pays pour mettre en place des mécanismes d assurance qualité, notamment des problèmes de financement, la difficulté de trouver des évaluateurs qualifiés, le volume du travail à effectuer, en particulier dans le domaine de l évaluation des filières où la demande est très forte, et, enfin, le développement et l acceptation de la culture d évaluation. Enfin, il est à noter le niveau de convergence méthodologique des systèmes d évaluation et d accréditation mis en place dans les pays africains et leur ressemblance avec les systèmes européens et américains. Cela crée un potentiel pour la reconnaissance mutuelle des résultats des procédures utilisées. Cela donne également une base encore plus solide à la mobilité académique, surtout des étudiants. Source : Hayward, 2006 Encadré 4. Approches régionale et nationale : le Conseil africain et malgache de l enseignement supérieur (CAMES) et le Cameroun Le CAMES est un organisme intergouvernemental composé de 17 États d Afrique francophone et une douzaine d organisations interétatiques. Créé en 1968, un de ses objectifs est l harmonisation des programmes d études et des niveaux de recrutement des personnels enseignants et chercheurs. Le CAMES a à sa charge quatre programmes : (1) la reconnaissance et équivalence des diplômes, grades et titres, (2) un programme visant la coopération en matière de pharmacopée et médecine traditionnelle africaine, (3) les comités consultatifs interafricains visant l homologation des décisions nationales de promotion et (4) les concours d agrégation. En matière de reconnaissance et d équivalence des diplômes, le CAMES vise à asseoir l organisation des programmes pour qu ils répondent aux normes internationales et aux impératifs d une formation de cadres, adaptés aux réalités africaines. Ayant élaboré des référentiels pour l évaluation (stipulant les conditions d accès à l enseignement supérieur, les contenus, les volumes horaires et les conditions du contrôle des connaissances et une égalité dans la qualification du personnel enseignant), le CAMES vise à établir la validité de plein droit et l équivalence des diplômes pour favoriser la mobilité académique. Dans ce but, il organise tous les deux ans des colloques qui réunissent des experts en trois commissions disciplinaires. Durant ces colloques, les décisions relatives à l équivalence des programmes sont prises. Depuis 1972, 761 programmes d études ont été évalués. Les comités consultatifs interafricains visent à harmoniser les statuts des enseignantschercheurs africains à travers la gestion commune de la promotion. Pour cela, le CAMES fonctionne avec sept comités techniques disciplinaires qui évaluent les demandes d homologation (reconnaissance par le système CAMES des grades et titres obtenus dans le cadre d un autre système de promotion). Plus récemment, la question a été posée de savoir si le CAMES ne devrait pas jouer un rôle également en matière de contrôle de qualité de l enseignement supérieur privé. Des réflexions sur le système le plus approprié sont en cours (cf. module 3). Source : Site web du CAMES Pour répondre à des nouveaux problèmes émanant principalement de la privatisation de l enseignement supérieur, certains pays de l Afrique francophone ont souhaité mettre en place des mécanismes supplémentaires de contrôle de la qualité. La création 13 Module 1 : Faire des choix fondamentaux pour l assurance qualité externe

16 d un secteur d enseignement supérieur privé au Cameroun, par exemple, comme dans de nombreux autres pays africains, a entraîné des préoccupations concernant l élargissement d accès, compte tenu de l augmentation de la demande de poursuite d études, de diversification de l offre de formation, de développement de la qualité et de pertinence des formations. En septembre 2007, le secteur d enseignement supérieur privé comprenait déjà 66 établissements privés. Il a été créé une Commission nationale pour l Enseignement Supérieur Privé qui siège deux fois par ans pour se prononcer en autres sur des demandes d ouverture. Il existe une réglementation qui décrit le processus d autorisation et de fonctionnement. Cette réglementation prévoit quatre étapes pour la mise en place des institutions privées d enseignement supérieur : (i) l accord de création, valable pendant 3 ans renouvelable une fois, qui marque l acceptation du projet de création de l établissement par le MINESUP après présentation des pièces à conviction; (ii) l autorisation d ouverture qui habilite à l ouverture proprement dite, (iii) l agrément qui donne droit à l ouverture des filières, et (iv) l homologation qui permet la délivrance des diplômes nationaux. Source : Site web de Cameroun Link Activité 1 Veuillez faire la liste des tendances nationales et internationales qui exercent une pression pour la mise en place d un système d assurance qualité dans votre pays. Les accords de commerce régionaux, ou d autres accords internationaux, font-ils partie de ces tendances? Votre gouvernement a-t-il introduit récemment des changements dans le pilotage de l enseignement supérieur telle qu une autonomie accrue des établissements, en contrepartie d une plus grande responsabilité en matière de reddition des comptes et de la mise en place d un système d assurance qualité? 14 Module 1 : Faire des choix fondamentaux pour l assurance qualité externe

17 2. Instruments alternatifs pour la politique de régulation de la qualité dans l enseignement supérieur Les tendances précédemment décrites ont conduit à s intéresser de plus en plus à la question de la «qualité» de l enseignement supérieur et, par voie de conséquence, au point de savoir comment l assurer. Pratiquée sous l égide de l État, et par les établissements d enseignement supérieur eux-mêmes, l assurance qualité, comme d ailleurs le contrôle des activités académiques, n est pas une pratique ou une demande complètement nouvelle. La plupart des systèmes d enseignement supérieur contrôlent ces activités au moyen de mécanismes divers dont la nature et l étendue varient selon le système considéré. À la différence des établissements du Royaume-Uni, dans les pays à gestion centralisée, comme ceux de l Europe continentale, le contrôle de l enseignement supérieur porte sur les intrants au moyen de budgets annuels détaillés, de données analytiques sur le personnel enseignant classé par statut, de qualifications minimales, de systèmes d admission. Les filières de formation sont contrôlées de la même façon. Ainsi, les nouvelles filières de formation doivent être conformes aux standards nationaux relatifs à la charge horaire d enseignement, aux contenus de base et au mode de contrôle des connaissances. Au niveau des établissements, l évaluation de la performance des enseignantschercheurs, en particulier la performance dans le domaine de la recherche, a généralement été conduite par les commissions disciplinaires nationales.. L évaluation des résultats de la recherche des enseignants- chercheurs ou des chercheurs, faite le plus souvent par les pairs, est une pratique bien établie au sein de l enseignement supérieur. La récente préoccupation des gouvernements et des organismes internationaux de financement pour l assurance qualité externe apporte trois types d innovations : On s intéresse à des domaines dans lesquels, auparavant, les gouvernements ou les organismes de financement n intervenaient que marginalement. Ainsi, un intérêt spécial s est manifesté pour la qualité des apprentissages ; les gouvernements ont mis en place des enquêtes sur les conditions d enseignement ou bien ils ont encouragé les établissements à créer leurs propres outils pour garantir le respect des critères établis. Les autorités nationales ou les établissements demandent que des évaluations soient menées régulièrement et non seulement à l occasion de la prise de certaines décisions. Le mouvement actuel d assurance qualité s intéresse plus aux résultats (en particulier au mode d apprentissage des étudiants et à la certification) qu aux intrants et aux encours. Dans certains pays d Amérique latine comme le Brésil 2, la Colombie et le Mexique, des dispositifs publics ont été créés pour tester les savoirs et les compétences des diplômés de certaines disciplines universitaires choisies. On cherchait ainsi à obtenir une plus grande transparence sur la performance réelle des établissements publics et privés. 2 Le dispositif brésilien pour évaluer les connaissances des diplômés des différentes disciplines, ENC-Provao, a été créé en 1996 et supprimé en 2003, et réinstauré en 2004 sous le nom ENADE (Examen national d'évaluation de l'enseignement supérieur). 15 Module 1 : Faire des choix fondamentaux pour l assurance qualité externe

18 Domaine Les gouvernements disposent d un choix d approches étendu pour influer sur les standards académiques. Clark (1983) désigne trois pouvoirs coordonnateurs dans l enseignement supérieur : l oligarchie universitaire (y compris les professions) ; l État ; et le marché. Chacun utilise des instruments particuliers pour l assurance qualité. L État peut donner priorité à certains instruments relevant plus particulièrement d un certain pouvoir coordonnateur, le choix dépendant évidemment du rapport des forces entre les pouvoirs : Tableau 1. mesures d encouragement au milieu universitaire et aux organisations professionnelles pour mettre en œuvre une autorégulation ; contrôle direct de la qualité des établissements et des filières d études par l État lui-même ; confiance aux mécanismes du marché pour améliorer la qualité de l enseignement supérieur. Instruments alternatifs pour la régulation de la qualité par domaine d intérêt Organisme professionnel (autorégulation professionnelle) État (régulation directe) Marché (régulation par le marché) Recherche Jugement par les pairs Évaluation de la recherche Allocation concurrentielle des fonds de recherche par l État Formation Organismes professionnels donnant une certification/ autorisation Systèmes d examinateurs externes Accréditation volontaire Système de financement fondé sur les frais de scolarité des étudiants Production information Source : Dill, 2003 Régulation des examens Audits académiques Évaluation des disciplines Certification/ autorisation Accréditation délivrée par l État Indicateurs de performance Examens nationaux Comme on peut le constater dans le précédent tableau, le choix des moyens pour la régulation de la qualité dépend du rapport de forces entre l État, l oligarchie universitaire (le collectif des enseignants-chercheurs) et les professions, et le marché. Habituellement, en ce qui concerne le secteur public, c est le gouvernement qui choisit, afin que le choix soit en harmonie avec la politique de pilotage de l enseignement supérieur. Le changement d un instrument pour un autre, indique souvent le renforcement d un pouvoir au détriment d un autre. Activité 2 Préparez un tableau des instruments alternatifs pour la régulation de la qualité par pouvoir coordonnateur dans votre pays. 16 Module 1 : Faire des choix fondamentaux pour l assurance qualité externe

19 3. Définitions : assurance qualité, évaluation, audit, accréditation et reconnaissance La façon dont le terme «qualité» est défini et mis en pratique a des effets certains sur son mode de gestion. Il est important de comprendre les termes utilisés en théorie ou en pratique dans le domaine de l AQE bien qu on les utilise souvent de manière générale. Considérons les termes suivants, couramment utilisés dans le langage d assurance qualité : assurance qualité (interne et externe) ; évaluation ; audit ; accréditation ; et reconnaissance. Il n y a pas de consensus sur le sens précis de chaque terme. Certains sont génériques pour l ensemble du champ, tels que le terme d assurance qualité (interne et externe) alors que d autres concernent des approches plus spécifiques (évaluation, audit de la qualité et accréditation). Ils concernent aussi la responsabilité d acteurs et de domaines d intérêt 3 différents. Différents organismes ont élaboré des glossaires et définitions relatifs à l assurance qualité. Tel est le cas du Centre européen pour l enseignement supérieur (CEPES) de l UNESCO. Il existe aussi un glossaire préparé par le réseau international des agences d assurance qualité dans l enseignement supérieur (INQAAHE). Assurance qualité est le terme générique pour toute forme de contrôle, d évaluation externe de la qualité. Il pourrait être défini comme une procédure utilisée pour établir la confiance des parties prenantes à savoir que l offre (moyens, procédures, résultats) réponde aux attentes et aux exigences minimales. Dans le glossaire du CEPES (Vlăsceanu, Grünberg et Pârlea, 2004), on définit l assurance qualité comme suit : L assurance qualité est un processus d évaluation continue (évaluation, suivi, assurance et maintien de la qualité, amélioration) de la qualité de l enseignement supérieur, des établissements (organismes de formation) et des filières de formation. En tant que mécanisme de régulation, l assurance qualité vise la responsabilité et l amélioration, en fournissant des informations et des jugements (et non pas des classements) à travers un processus convenu, cohérent, et des critères clairement définis. Beaucoup de systèmes d enseignement supérieur distinguent l assurance qualité interne, (c'est-à-dire des pratiques internes à l établissement qui visent le suivi et l amélioration de la qualité de l enseignement supérieur) et l assurance qualité externe (c'est-à-dire des schémas interétablissements ou supranationaux d assurance qualité des établissements et des filières). Les activités d assurance qualité dépendent de l existence des mécanismes institutionnels soutenus par une culture de la qualité solide. La portée de l assurance qualité est déterminée par la forme et la taille du système d enseignement supérieur. L assurance qualité diffère de l accréditation dans le sens où elle est préalable à cette dernière. L assurance qualité est souvent considérée comme faisant partie de la gestion de la qualité, bien que parfois les 3 Il est à noter que l INQAAHE a élaboré un glossaire qui peut être consulté sur 17 Module 1 : Faire des choix fondamentaux pour l assurance qualité externe

20 deux termes soient utilisés comme synonymes. (Vlăsceanu et al. 2004, traduction de l anglais). Un autre concept proche et un des mécanismes utilisés en matière d assurance qualité est celui d évaluation de la qualité, souvent synonyme d évaluation. Beaucoup de pays ont commencé par mettre en place des dispositifs d évaluation des établissements et des filières ce qui n a pas abouti au classement des établissements ou filières, mais plutôt à la formulation des recommandations sur la manière d améliorer leur fonctionnement. L évaluation de la qualité est la procédure d évaluation externe (évaluation, mesure, jugement) de la qualité des établissements et des filières. L évaluation de la qualité inclut les techniques, mécanismes et activités qui sont mis en œuvre par un organisme externe afin d évaluer la qualité des procédures, filières et pratiques de l enseignement supérieur. Certaines notions sont importantes à définir dans le cadre d évaluation de la qualité : (1) le contexte (national, institutionnel) ; (2) les méthodes (auto- évaluation, évaluation par les pairs, visites sur site) ; (3) les niveaux (système, établissement, département, individuel) ; (4) les mécanismes (récompenses, politiques, structures, cultures) ; (5) certaines valeurs attachées à l évaluation de la qualité, comme les valeurs universitaires (liées à la discipline), managériales (relatives aux enseignants, à leurs capacités d enseignement et leurs pratiques pédagogiques), professionnelles (relatives aux caractéristiques des diplômés et les résultats du e-learning). (Vlăsceanu et al., 2004, traduction de l anglais). Une approche particulière de l assurance qualité est l audit de la qualité qui évalue non pas la qualité ou la performance en tant que telles, mais la qualité des mécanismes d assurance qualité. On l utilise pour évaluer les forces et les faiblesses du dispositif d assurance qualité de l établissement. Il peut contribuer au suivi et à l amélioration d une discipline, d une filière ou de l établissement dans son ensemble. L audit de la qualité est la procédure d évaluation de la qualité par laquelle un organisme externe garantit que (1) la procédure d assurance qualité d une filière ou d un établissement ou (2) la procédure générale d assurance qualité (interne ou externe) sont, dans l ensemble, adéquates et ont été réalisées. L audit de la qualité examine le niveau de qualité du système et non la qualité elle-même. L audit de la qualité ne peut être réalisé que par des personnes (c'est-à-dire des auditeurs) qui ne sont pas impliqués directement dans le domaine audité. Il est effectué pour répondre à des objectifs internes (audit interne) ou externes (audit externe). Les résultats sont présentés dans un rapport d audit (Vlăsceanu et al., 2004, traduction de l anglais). L accréditation est le mécanisme de l AQE le plus largement utilisé et a été récemment introduite dans plusieurs systèmes d enseignement supérieur. Elle peut résulter de la transformation d autres méthodes existantes d AQE, ou être une méthode entièrement nouvelle. L accréditation est une procédure par laquelle un gouvernement ou un organisme privé évalue la qualité de l établissement dans son ensemble (ou de filières de formation particulières) afin de reconnaître formellement qu il remplit les critères établis. Le résultat de la procédure est l attribution d un statut reconnu (décision positive ou négative) et parfois d une autorisation de fonctionnement à durée limitée. L accréditation peut comporter des auto-évaluations, initiales et 18 Module 1 : Faire des choix fondamentaux pour l assurance qualité externe

21 périodiques, et une évaluation par des experts externes. En règle générale, la procédure d accréditation comporte trois étapes, chacune avec des activités spécifiques : 1) une auto-évaluation conduite par le corps enseignant, les administrateurs et le personnel de l établissement ou de la filière de formation ; elle se termine par un rapport qui s appuie sur des standards et les critères de l organisme d accréditation ; 2) une visite d étude conduite par le groupe d experts choisis par l organisme d accréditation, qui examine les données, visite les lieux et s entretient avec les enseignants et les personnels administratifs. Cela aboutit au rapport d évaluation qui comporte des recommandations adressées au comité de l organisme accréditeur ; 3) le comité examine les conclusions et recommandations sur la base des critères de qualité établis et formule sa décision finale. Cette décision est communiquée à l établissement et à d autres autorités si nécessaire. (Vlăsceanu et al., 2004, traduction de l anglais). Dans la discussion des termes clés liés à l assurance qualité, il est important également d aborder la relation entre l accréditation et la reconnaissance. Alors que l accréditation est basée sur la décision d un organisme d accréditation, la reconnaissance reflète une décision d une autorité nationale, parfois d une agence chargée par une autorité nationale de se prononcer sur une demande de reconnaissance. Quand la reconnaissance est exprimée par rapport à un diplôme, un grade ou un autre titre de l enseignement supérieur obtenu à l étranger, elle donne soit droit à la poursuite d études à un niveau plus avancé (reconnaissance académique), soit d exercer une activité professionnelle (reconnaissance professionnelle). De ce fait, un diplôme peut être reconnu, et non accrédité et vice versa. La reconnaissance peut aussi porter sur des établissements, ou des agences d assurance qualité qui se voient conférer un statut d établissement ou agence reconnus par l État. Cet exposé de certains concepts clés montre les difficultés à définir et à catégoriser les procédures. L exercice est particulièrement difficile quand on examine des expériences au niveau international, parce que les réalités des pays montrent la variété des pratiques et l utilisation désordonnée des concepts. Si la recherche des concepts purs n est pas d une grande utilité, il est cependant nécessaire d établir un langage commun pour des raisons pédagogiques Un développement plus complet des concepts avec une analyse des différentes acceptions figure dans le glossaire préparé dans le projet de I INQAAHE sur : 19 Module 1 : Faire des choix fondamentaux pour l assurance qualité externe

22 Activité 3 Consultez le glossaire des termes de base de l assurance qualité établi par l INQAAHE sur : Revoyez le développement relatif au concept d accréditation. Que pensez-vous des définitions du glossaire de l INQAAHE comparées aux définitions de l UNESCO/CEPES? Quelles différences faites-vous entre AQE, accréditation et reconnaissance? Comparez les définitions données dans le Glossaire du CEPES avec les définitions proposées dans la version révisée de la Convention d Arusha. 4. Le rôle de l assurance qualité externe dans le système général d assurance qualité L assurance qualité comprend une variété de mécanismes interdépendants qui évoluent en tant que système. Le changement d un mécanisme se répercute sur les autres. Les systèmes d assurance qualité concernent les établissements et les filières (avant et après la licence). Ils abordent différentes fonctions qui pourraient inclure: des évaluations pour l autorisation d ouverture d établissements, de filières de formation (cette autorisation conduit à l acquisition du statut d entité officiellement reconnue) ; le contrôle du fonctionnement après l autorisation (relatif au contrôle des pratiques de base y compris le contrôle administratif et financier) ; l accréditation (souvent des niveaux avancés de qualité) ; la certification professionnelle des diplômés dans des secteurs disciplinaires choisis ; l information sur l état de reconnaissance et d accréditation des filières de formation et des établissements. Ces fonctions ne sont pas obligatoirement présentes dans tous les systèmes, mais si elles ne le sont pas, la fonction d assurance qualité ne sera pas complètement remplie. Différentes autorités (gouvernementales ou non gouvernementales) peuvent être responsables de ces fonctions. Les principaux acteurs sont habituellement le ministère de l Éducation (qui a la responsabilité principale de l assurance qualité), des instances ayant une autorité déléguée, comme les inspections (moins fréquentes dans l enseignement supérieur que dans les autres niveaux du système éducatif), plus récemment des entités paraétatiques ou privées, comme les 20 Module 1 : Faire des choix fondamentaux pour l assurance qualité externe

23 agences d assurance qualité et d accréditation, et enfin, des organismes professionnels, lorsque le système exige une certification professionnelle. La question du statut légal et d affiliation de telles agences sera traitée plus en détail dans le module 4. Comme le montre le tableau 2, le continuum d assurance qualité peut être présenté sous une forme matricielle avec la distribution des responsabilités suivantes: Tableau 2. Unité d évaluation/ fonction Ouverture - évaluation initiale (reconnaissance) Fonctions d assurance qualité dans l enseignement supérieur Établissements Ministère de l éducation Organisme public spécialisé Filière (avant licence) Ministère de l Éducation ou Établissement d enseignement supérieur reconnu Contrôle Inspection Établissements d enseignement supérieur Accréditation Certification professionnelle Information du public Organisme intermédiaire ou Agence d assurance qualité Ministère de l Éducation et/ou Agence Source: Banque mondiale, 2003 Organisme intermédiaire ou Agence Organisme professionnel Organismes professionnels Ministère de l Éducation et/ou Agence Filière (postlicence) Ministère de l Éducation ou Établissement d enseignement supérieur reconnu Établissements d enseignement supérieur Organisme intermédiaire ou Agence Organisme professionnel Organismes professionnels Évaluation par les pairs Ministère de l Éducation et/ou Agence Étudiants Test d admission Établissements d enseignement supérieur Résultats Évaluation des diplômés Organismes professionnels Activité 4 Veuillez préparer un tableau avec les dispositifs d assurance qualité de votre pays en utilisant les types de régulation présentés ci-dessus. Quelles conclusions tirez-vous de ce tableau? Veuillez préparer un tableau présentant les fonctions d assurance qualité de votre système d enseignement supérieur. Quelles fonctions d assurance qualité reste-t-il à remplir? Quelles sont les forces et les faiblesses du système d assurance qualité tel qu il existe dans votre pays? 21 Module 1 : Faire des choix fondamentaux pour l assurance qualité externe

24 Principaux choix d organisation et de méthode dans les systèmes d assurance qualité externe Les définitions des concepts d AQE pourraient faire croire que les options organisationnelles et méthodologiques sont identiques et les finalités peuvent paraître proches. Cependant, des différences sensibles apparaissent quand on compare les options méthodologiques, car, malgré l existence d éléments de base communs, les objectifs sous-jacents et les approches des systèmes d AQE varient. Idéalement, l AQE devrait se fonder sur une auto-évaluation faite par les personnels des unités de base (département, faculté ou autre) responsables des décisions pour la formation et la recherche. L auto-évaluation est souvent guidée ou aidée par une liste de thèmes à traiter qui forment le cadre de la procédure à suivre. Toutefois, l auto-évaluation a besoin d une validation externe des procédures et des critères utilisés. La mieux placée pour fournir cette validation est une équipe d experts externes qui examine le rapport d auto-évaluation et visite l établissement. Cette équipe préparera un rapport à partir duquel les décisions seront prises. La structure de base de la procédure d assurance qualité comprend donc trois éléments : auto-évaluation ; évaluation par des experts ; prise de décision et rapport public. Ces trois éléments seront traités plus en détail dans le module Objectifs généraux de l AQE Dans le secteur de l enseignement supérieur, l AQE se réfère à un large éventail d objectifs et de cadres méthodologiques associés. Certains reflètent des intérêts et des demandes du gouvernement, alors que d autres concernent plus directement les besoins internes de l établissement. L AQE comporte trois grandes catégories d objectifs : contrôle de la qualité ; reddition des comptes / transparence ; et amélioration des pratiques. Le contrôle de la qualité correspond au rôle traditionnel du gouvernement de garantir que l offre d enseignement supérieur respecte des exigences de qualité minimales. Dans les systèmes d enseignement supérieur majoritairement publics, cette fonction était moins importante car on supposait qu une direction suffisamment forte du système produirait un niveau de qualité acceptable ; maintenant cela est remis en question. De plus, la privatisation continue et la croissance du nombre de prestataires privés aux niveaux national et international ont accru le besoin des gouvernements de suivre avec une plus grande attention, tant dans le public que dans le privé, la qualité, pour protéger les consommateurs 22 Module 1 : Faire des choix fondamentaux pour l assurance qualité externe

25 nationaux et garantir que l offre d enseignement supérieur corresponde aux objectifs nationaux de développement. Deuxièmement, bien que l AQE vise principalement la reddition des comptes et la transparence, les autorités publiques l utilisent souvent dans leur programme politique d éducation. Elle est souvent liée à l intérêt pour la performance, la transparence et les garanties publiques. Pour rendre l enseignement supérieur responsable et conforme aux normes établies, il faut que le public soit tenu informé de l aptitude des établissements à remplir leurs missions. Souvent, l AQE est utilisée dans le but principal d imposer la responsabilité et d assurer les parties prenantes sur le niveau de qualité des établissements, acceptable ou très bon, et la «comparabilité internationale» des établissements publics ou privés (Harvey, 2001). Les modèles d AQE peuvent être aussi utilisés par les gouvernements pour rendre les établissements plus conformes aux orientations politiques générales et aux réformes. Ils peuvent le faire à l aide du modèle qualité et de la mise en place des critères et des standards mesurables. Les standards d assurance qualité fournissent des informations détaillées sur la manière dont les établissements seront jugés. Avec les législations et les méthodologies de financement, l AQE devient ainsi, un puissant instrument de pilotage de l enseignement supérieur. en particulier, la communication entre l établissement et les autorités gouvernementales peut être grandement enrichie grâce à l apport régulier de données et d informations. Troisièmement, l AQE peut aussi être utilisée pour l amélioration des pratiques existantes. Pour y parvenir, il faut compter sur la participation individuelle et collective du personnel enseignant. L AQE conduit naturellement vers l amélioration, d une part, grâce à la conformité aux objectifs, d autre part, grâce à la mise en place de bonnes pratiques avec des objectifs que les établissements et leurs départements s efforceront d atteindre. Mais la raison principale pour laquelle l AQE apporte des améliorations, réside dans le fait qu elle contribue à établir au sein de l établissement une procédure d auto-évaluation officielle et systématique. Les transformations pour l amélioration de la qualité se font plus facilement quand l auto-évaluation commence par la réflexion des enseignants sur leur propre expérience d enseignement. Autrement, l AQE pourrait tout simplement produire «une culture de la conformité». Assurer des standards de qualité minimaux se justifie plus particulièrement dans les systèmes d enseignement supérieur qui se sont beaucoup diversifiés et sont devenus hétérogènes, ou encore, quand la confiance du public envers les établissements d enseignement supérieur s érode. Il devient alors important de fournir la garantie que les établissements se conforment aux critères minimaux exigés, à défaut de quoi ils s exposeraient à des sanctions : radiation du système, non-reconnaissance de leurs diplômes ou autres mesures similaires. La reddition des comptes ou la conformité aux standards, y compris la conformité aux objectifs propres de l établissement, sont les objectifs prioritaires lorsque l information du public sur la qualité d un établissement donné est importante. Dans certains cas, cela va de pair avec la politique des sanctions et des mesures d encouragement. Cependant, l information fournie permet, à tout le moins, la réaction du marché et aide les parties prenantes à fonder leurs décisions sur la qualité. 23 Module 1 : Faire des choix fondamentaux pour l assurance qualité externe

26 L assurance qualité centrée sur l amélioration du système d enseignement supérieur est normalement possible dans les systèmes évolués, où les critères minimaux sont déjà remplis et où les établissements ont développé une compréhension élémentaire de l autorégulation. Cela ne signifie pas pour autant que les autres approches ne peuvent promouvoir la qualité. Mais si l intérêt principal est l amélioration de la qualité, il faut imposer certaines exigences aux établissements d enseignement supérieur et au système d AQE. La question de compatibilité entre les objectifs de contrôle, de responsabilité et d amélioration a fait l objet d un long débat. S il est certain que les systèmes d AQE abordent tous ces points d une manière ou d une autre, la forme particulière de chaque système d AQE dépend habituellement de son orientation vers un de ces objectifs en particulier. 2. Choix des mécanismes : évaluation, audit de la qualité et accréditation Les dispositifs d assurance qualité utilisent l évaluation, l audit de la qualité et l accréditation comme mécanismes pour examiner la qualité des activités et des services des établissements ou de leurs composantes. Dans l encadré 5, on présente l évaluation institutionnelle qui était le seul mécanisme d assurance qualité en France jusqu en 2007, date à laquelle le CNE fut intégré à l Agence d évaluation de la recherche et de l enseignement supérieur. Depuis, l AERES est chargée de l évaluation des établissements d'enseignement supérieur et de recherche, des organismes de recherche, des unités de recherche, des formations et diplômes d enseignement supérieur, ainsi que de la validation des procédures d évaluation de leurs personnels. Encadré 5. L évaluation institutionnelle conduite en France par l AERES (France) L évaluation institutionnelle par l AERES L évaluation analyse la gouvernance et la politique de l établissement en matière de recherche, de valorisation, de formation, de vie étudiante et de relations extérieures. Un intérêt particulier est porté à la politique qualité de l établissement. Cette évaluation permet également de se prononcer sur la cohérence des axes stratégiques de l établissement. Étapes d évaluation L évaluation d un établissement s effectue à travers plusieurs étapes: la préparation, la visite et la restitution. Le processus est le suivant : dépôt des dossiers instruction des dossiers réunion préparatoire du comité d experts visite du comité d experts dans l établissement réunion de restitution validation du rapport par l AERES envoi du rapport aux établissements pour observations publication du rapport d évaluation accompagné des observations de l établissement sur le site Internet de l AERES 24 Module 1 : Faire des choix fondamentaux pour l assurance qualité externe

27 Préparation de l évaluation Du côté de l établissement L auto-évaluation permet à l établissement d analyser sa politique et ses objectifs : il doit identifier ce qui existe, repérer ce qui devrait exister (missions / objectifs), réfléchir à la manière dont il garantit la qualité de ses activités (autonomie / responsabilité) et mesurer les résultats obtenus (indicateurs / objectifs). Cette analyse participe d'une démarche qualité qui s inscrit dans une double perspective de maîtrise accrue de la stratégie des établissements et du développement de leur autonomie dans le cadre de la loi de Elle nécessite de produire à la même date (15 octobre) l ensemble des documents issus de la réflexion de l établissement concernant sa stratégie globale. Du côté de l AERES L agence prépare son intervention en s appuyant sur l ensemble des principes qui la régissent et sur la mise en œuvre des Standards and Guidelines for Quality Assurance in the European Higher Education Area. Ses modalités d intervention comportent: la désignation du président et des membres du comité d experts la consultation du responsable d établissement la lettre de mission aux experts la réunion préparatoire du comité d experts (objectifs, rôles et responsabilités) l organisation des rencontres (dates et interlocuteurs) Organisation de la restitution Sur la base des contributions des membres du comité d experts, le président du comité élabore une première version du rapport qui est immédiatement déposée dans la GED (application de gestion électronique de documents) de l AERES. Ce rapport reflète la position collective des membres du comité. L AERES organise ensuite une réunion de restitution à laquelle participent, outre l ensemble des experts, le directeur de la section, le délégué scientifique et le chargé de projet responsable de l évaluation. Les projets de rapports, dès réception, sont examinés par un comité de lecture interne à la section des établissements et font l objet d une harmonisation de la présentation, de corrections de forme ainsi que de corrections portant sur des appréciations trop subjectives, voire d un renforcement des données objectives (chiffrées) lorsqu elles sont insuffisantes. Le projet de rapport ainsi complété et corrigé est envoyé, pour recueil d observations, au responsable de l établissement. Diffusion du rapport Plusieurs étapes de traitement sont nécessaires avant de diffuser le rapport: Dès réception des observations de l établissement, les erreurs factuelles éventuellement signalées dans le rapport sont corrigées. Ce rapport d évaluation est alors signé par le directeur de la section des établissements et par le président de l AERES, puis mis en ligne sur le site Internet de l agence. une synthèse de l ensemble des évaluations des établissements de la vague concernée est alors rédigée puis soumise à l approbation du conseil de l agence avant d être rendue publique. Retours d expérience Afin d améliorer ses procédures et d optimiser les outils mis à la disposition des experts, la section des établissements réunit chaque année successivement évaluateurs et évalués pour recueillir leurs observations sur le déroulement de chacune des phases de l évaluation. Source: site web de l AERES 25 Module 1 : Faire des choix fondamentaux pour l assurance qualité externe

28 L accréditation des programmes et des établissements est en voie de devenir le mécanisme le plus courant en matière d AQE. En effet, en Suisse, l Organe d accréditation et d assurance qualité des hautes écoles suisses (OAQ) conduit déjà depuis une dizaine d années une procédure d accréditation à la fois des établissements et des programmes offerts par le secteur universitaire. Conformément à la discussion sur des caractéristiques de l accréditation, en Suisse, l évaluation des établissements et des formations est suivie par l octroi d une accréditation ou non. Encadré 6. L accréditation des formations et établissements par l OAQ en Suisse L'OAQ organise des procédures d'accréditation dans le domaine des hautes écoles universitaires suisses sur la base de l'art. 7 de la convention du 14 décembre 2000 (SR ) entre la Confédération et les cantons universitaires sur la coopération dans le domaine des hautes écoles universitaires. Dès le 1er septembre 2007, les nouvelles directives pour l'accréditation sont entrées en vigueur. L'accréditation se présente comme une procédure formelle et transparente qui permet de vérifier, à la lumière de standards clairement définis, si des institutions ou des programmes d'études satisfont à des exigences minimales de qualité. L'accréditation assure aux études universitaires une meilleure visibilité sur les plans national et international et offre aux étudiants, aux responsables des hautes écoles, aux politiciens, aux employeurs et à la société en général, la possibilité de s'orienter et de prendre des décisions en toute connaissance de cause. Les procédures d'accréditation visent, en outre, à contribuer à la reconnaissance internationale et à améliorer la comparabilité des diplômes de fin d'études. En Suisse, contrairement aux autres pays d'europe, le système d'accréditation repose sur un principe facultatif. En effet, selon la convention entre la Confédération et les cantons universitaires, l'objet de l'accréditation peut être une institution publique ou privée de même que toute filière d'études de niveau universitaire. La procédure se déroule en trois temps, conformément aux pratiques et prescriptions internationales: tout d'abord, l'unité universitaire effectue une auto-évaluation ; ensuite, une expertise externe est faite par un groupe d'experts indépendants ; enfin, la Conférence universitaire suisse (CUS) prend une décision sur proposition de l'oaq. Cette décision se fonde sur tous les documents à disposition (rapport d'auto-évaluation, rapport des experts, prise de position de la haute école). Elle peut consister en un «oui», un «non», ou un «oui, à certaines conditions». Une accréditation sans condition est valable sept ans. Les institutions universitaires qui ne sont pas encore entrées en fonction ou ne le sont que depuis peu de temps ont par ailleurs la possibilité de demander une préaccréditation. Cette dernière échoit après trois ans. L'OAQ soumet les institutions privées demandant à être accréditées à un examen préalable effectué en fonction d'une liste de critères publiée. Si cet examen préalable est favorable, l'oaq entame la procédure d'accréditation. Si ce n'est pas le cas, la CUS prononce le rejet de la demande d'accréditation. Un recours pour contester les décisions de la CUS est possible auprès d'une instance d'arbitrage indépendante. Source: site web de l OAQ Il est à noter que l évaluation et l accréditation des programmes et des établissements ne forment pas nécessairement deux mécanismes séparés, mais peuvent être des éléments consécutifs d une même procédure. Souvent, l évaluation précède l accréditation et présente d ailleurs des résultats et des recommandations. L évaluation est faite à partir de standards, critères et règles de procédures, et donc l accréditation se sert des résultats de l évaluation pour établir 26 Module 1 : Faire des choix fondamentaux pour l assurance qualité externe

29 la décision d octroyer ou non le label d accréditation à un établissement ou une formation. Selon les pays, l accréditation peut ou non être une condition pour la reconnaissance d une formation par un ministère de l éducation. L audit de la qualité constitue le troisième mécanisme d AQE. Il est différent de l évaluation et de l accréditation, car il mesure la capacité du système de suivi/contrôle en vigueur dans l établissement à mettre en évidence les forces et les faiblesses de ce dernier. En d autres termes, l audit de la qualité met l accent sur le fonctionnement des dispositifs internes de production régulière d informations relatives aux activités et aux résultats de l établissement : performance pédagogique, collecte régulière des données sur les étudiants, les diplômés et l opinion des employeurs. Bref, l audit de la qualité examine tous les outils et procédures qui contribuent au sein de l établissement à l amélioration de la qualité ; de ce fait il est conforme avec l objectif d «amélioration» de l assurance qualité. Pour autant il n atteste pas d un niveau particulier de qualité ni ne conduit à la comparaison des niveaux de qualité, ce qui est le cas de l évaluation lorsqu elle part de standards donnés. Encadré 7. L audit de la qualité en Afrique du Sud La loi de 1997 sur l enseignement supérieur a confié l assurance qualité de l enseignement supérieur en Afrique du Sud, au Conseil de l enseignement supérieur (Council of Higher Education). Au sein de ce dernier, cette responsabilité relève du Comité pour la qualité de l enseignement supérieur (Higher Education Quality Committee HEQC). Le mandat du HEQC comprend la promotion de la qualité, l accréditation des filières et l audit institutionnel. Pour atteindre l objectif qui lui est assigné de construire un système efficace d assurance qualité, le HEQC a inclus dans son programme d activités le renforcement des capacités institutionnelles et de la formation. L HEQC utilise l audit institutionnel comme outil d amélioration de la qualité des établissements. L audit analyse les politiques, les procédures, les stratégies et les ressources consacrées à la gestion de la qualité de l enseignement et de la recherche, ainsi que les liens avec l environnement socio-économique. Il porte également sur les services de soutien aux étudiants. L audit institutionnel évalue la capacité de l établissement à gérer la qualité pour remplir sa mission, atteindre ses objectifs et répondre aux besoins des parties prenantes. L audit institutionnel mené par le HEQC s appuie sur les principes suivants : Faire le lien entre l amélioration de la qualité et les objectifs de l enseignement supérieur concernant la transformation, la promotion, l innovation et la diversification. L objectif principal de l audit institutionnel est de contribuer de façon systématique et continue au développement et à l amélioration de la qualité de l enseignement supérieur, celle de la capacité institutionnelle de planification, de réponse à l environnement et de responsabilité. Les établissements d enseignement supérieur doivent être les principaux responsables en matière de qualité et de gestion de la qualité. Ils doivent établir et maintenir des systèmes efficaces de gestion de la qualité interne. Ils doivent produire des informations fiables pour les besoins de la planification interne de la qualité, ceux des audits externes, et pour la communication destinée au grand public. 27 Module 1 : Faire des choix fondamentaux pour l assurance qualité externe

30 L HEQC doit créer un système d évaluation externe pour valider les informations fournies par les établissements sur l efficacité des dispositifs mis en place, en particulier ceux concernant le développement, l'amélioration et le pilotage de la qualité de l enseignement et de la recherche, et la participation communautaire. L HEQC doit utiliser un système d évaluation par les pairs et les experts pour assurer des évaluations constructives et éclairées. Les objectifs généraux des audits réalisés par le HEQC visent à : Encourager et soutenir les prestataires de l enseignement supérieur à entretenir une culture d amélioration continue de la qualité, à l aide des dispositifs de qualité institutionnels fondés sur les principes fixés par le HEQC. Valider le rapport d auto- évaluation des établissements sur la qualité de l enseignement, la recherche et les liens avec l environnement socio-économique. Permettre aux établissements de mettre au point des indicateurs fiables afin de garantir aux parties prenantes et à l HEQC l efficacité de leurs politiques, de leurs stratégies et les ressources consacrées à la qualité. Fournir des informations permettant aux établissements et au HEQC d identifier des points forts, des domaines d excellence, mais aussi des domaines dont l amélioration à court, moyen et long terme, requiert une attention particulière. Permettre au HEQC d obtenir des données de base dans des domaines spécifiques à partir des critères communs à tous les établissements. Ces informations vont permettre de : 1) aider, identifier et diffuser des «bonnes pratiques» sur l assurance qualité dans l enseignement supérieur ; 2) faciliter la tâche de l HEQC et des autres parties prenantes de renforcer les capacités institutionnelles et l amélioration des filières 3) conférer aux établissements le statut d auto-accréditation ; et 4) créer un tableau de bord national concernant la qualité de l enseignement supérieur et piloter les améliorations de la qualité dans l ensemble du système. Source: Council on Higher Education, 2004 La plupart des agences d assurance qualité utilisent plusieurs dispositifs d assurance qualité qui incluent souvent l audit institutionnel et l accréditation, car il est difficile de répondre aux trois objectifs de l AQE avec un seul mécanisme. Suivant le principe en vigueur en gestion selon lequel «les structures suivent les objectifs», il est possible, et admis, d articuler les choix fondamentaux pour l assurance qualité avec les objectifs globaux. Le tableau 3 représente un schéma de classification établissant une liaison entre l objectif principal des mécanismes d assurance qualité externe et les caractéristiques fondamentales de chaque mécanisme. Tableau 3. Classification des options de base utilisées dans les systèmes AQE Objectifs Contrôle de la qualité Reddition des comptes Amélioration des pratiques Mécanisme Autorisation Accréditation/évaluation Audit de la qualité préféré d ouverture Principe de Approche basée sur Adéquation aux/des Adéquation aux objectifs fonctionnement les standards objectifs Procédures Évaluation externe Évaluation externe et auto-évaluation Focus sur l autoévaluation Nature Obligatoire Obligatoire ou volontaire Volontaire 28 Module 1 : Faire des choix fondamentaux pour l assurance qualité externe

31 Activité 5 Quel devrait être l objectif prioritaire de l AQE dans votre pays? À votre avis, quel(s) devrai(en)t être le(s) mécanisme(s) prioritaire(s) à mettre en place (évaluation, accréditation ou audit de la qualité)? 3. Portée des systèmes d assurance qualité Un troisième ensemble d options essentielles concerne la portée de l AQE. L assurance qualité peut traiter tout l enseignement supérieur ou certain de ses secteurs seulement, université et/ou secteur non universitaire, établissements publics ou privés, etc. Établissements publics et/ou privés Avant tout, il est important de décider si l AQE doit concerner à la fois les établissements publics et privés. Cela relève souvent d un choix politique et juridique, car les établissements publics, financés principalement par l État, devraient être d une qualité à peu près égale, ce qui n est pas le cas des prestataires privés. Par ailleurs, les établissements publics, en particulier les universités, forment souvent de puissants groupes de pression qui peuvent s opposer à l introduction de l assurance qualité dans leur secteur. Il s ensuit que, dans certains pays, les dispositifs d AQE ont été mis en place seulement pour les établissements privés. En revanche, dans d autres pays où les citoyens comme les gouvernements attendent des établissements publics qu ils fassent bon usage des ressources allouées par l État, ceux-ci sont la cible première de l AQE. Enfin, certains pays veulent que tous les établissements, publics ou privés, contribuent activement à la réalisation des objectifs nationaux, c est-à-dire au développement des ressources humaines, à la cohésion sociale, au progrès scientifique et culturel. Le rôle du système d assurance qualité est donc de contrôler si les établissements apportent la contribution nécessaire à la réalisation de ces objectifs. De plus, dans une optique d anticipation, les pays pourraient souhaiter ouvrir l accès au marché de leur enseignement supérieur aux prestataires étrangers. Compte tenu des négociations actuelles au sein du GATS, on pourrait décider de ne pas offrir aux prestataires publics de traitement préférentiel par rapport à celui réservé aux établissements privés, car le système éducatif est un tout constitué d établissements publics et privés, prestataires de services à la communauté, dont l État doit garantir la qualité. Cela impliquerait que les principales exigences de fonctionnement seraient les mêmes pour les établissements publics et privés, à l exception de l allocation de fonds publics. Le même principe s appliquerait aux 29 Module 1 : Faire des choix fondamentaux pour l assurance qualité externe

32 procédures et critères d AQE.L encadré 8 ci-après présente l exemple de la Malaisie où la portée du système assurance qualité englobe aujourd hui l ensemble du supérieur Encadré 8. Portée grandissante du système d assurance qualité en Malaisie L enseignement supérieur privé en Malaisie s est développé rapidement après En 1996, un cadre législatif relatif à l enseignement supérieur privé a été adopté pour faciliter et encadrer le développement de l enseignement supérieur privé, y compris l enseignement transfrontalier. En 2009 déjà, il existait plus de 500 établissements privés postsecondaires et 44 universités privées. Avec la loi de 1996, LAN (Conseil national d accréditation) a été créé pour faire des recommandations en matière d accréditations et d homologations des formations offertes par le privé. Pour les établissements publics, une division d assurance qualité a été créée au Ministère en 2002 ; elle organisait : 1) des ateliers sur les méthodes d auto-évaluation institutionnelle, 2) des visites externes par les pairs. La division d assurance-qualité organisait aussi l accréditation de formations par disciplines, ce qui a permis de dresser des directives ou standards par groupes de disciplines. En 2007, le Ministère de l enseignement supérieur a intégré les deux structures d assurance qualité en créant l agence Malaisienne de qualifications (MQA). L agence est responsable de l ensemble des processus d assurance qualité à l intention des établissements publics et privés. A cette fin, elle opère une procédure de préaccréditation et d accréditation et elle confère, à la suite d un audit de qualité, aux établissements disposant d un système d assurance qualité interne solide, la capacité d auto-accréditation de leurs formations. Elle gère aussi le répertoire des qualifications Malaisiens qui présente les qualifications des fournisseurs publics et privés reconnus par l Etat. Seules les formations qui ont été soumises à des processus d assurance qualité sont incluses dans le registre de l agence. Ces formations sont certifiés conformes aux référentiels disciplinaires spécifiant les compétences à atteindre dans les diverses disciplines et les formations s y afférentes. Source: Adapté d un texte non publié par Sharifah Hapsah Shahabudin (2005) et mis à jour Universités et/ou établissements non universitaires Le dispositif d assurance qualité peut traiter les secteurs universitaire et/ou non universitaire. Le plus souvent, l AQE couvre le secteur universitaire, étant donné que, par le passé, ce dernier était le segment bénéficiant de la plus large autonomie académique, en particulier pour les filières d études. Les établissements postsecondaires tels que les instituts polytechniques, les instituts ou les community colleges aux États-Unis, qui sont de création plus récente, ont été souvent placés sous un contrôle plus direct des autorités publiques chargées de la création et de la supervision de nouvelles filières d études. Toutefois, dans certains pays, l AQE concerne à la fois les universités et les établissements du secteur non universitaire. Dans ce cas, la question se pose de savoir si la même méthodologie et les mêmes critères peuvent s appliquer aux deux catégories d établissements. Beaucoup d universités revendiquent un profil plus académique, et, de ce fait, leur enseignement devrait avoir un contenu théorique solide fondé sur la recherche. Cela n est pas forcément le cas des établissements postsecondaires qui dispensent des formations professionnalisées. Certaines agences d accréditation régionales aux États-Unis ont une commission spécialisée pour accréditer les universités, et une autre qui s occupe des community colleges. 30 Module 1 : Faire des choix fondamentaux pour l assurance qualité externe

33 Encadré 9. La flexibilité du système d accréditation américain Les agences d accréditation régionales ont essayé de maintenir une batterie unique de critères et de règles tout en reconnaissant l existence des différences entre les établissements et leurs missions. La question n est pas encore réglée. Il s agit de savoir si l on peut avoir les mêmes attentes et exigences à l égard des différentes catégories d établissements, et si tous les établissements doivent produire des informations comparables. Cela est pertinent dans le cas d accréditation régionale, lorsque l agence évalue l établissement dans sa totalité. Même quand on reconnaît l existence de différences sensibles entre établissements, des questions difficiles subsistent : à quelles caractéristiques de l établissement doit-on adapter l accréditation? Comment peut-on moduler les attentes à l égard de l établissement? Les réponses varient. Certaines agences ont créé des unités séparées en fonction de différents types d établissements. La Western Association of Schools and Colleges (WASC), par exemple, a une commission d accréditation pour évaluer les community et junior colleges et une autre pour évaluer les collèges et les universités qui préparent au baccalaureate ou à des diplômes supérieurs. Chaque commission établit ses propres critères et suit les orientations politiques de chaque type d établissement. Certains points sont communs aux deux commissions, d autres non. D autres ajustements sont apportés aux procédures d accréditation pour les adapter aux différentes missions des établissements, afin que chaque établissement soit apprécié en fonction de ses propres missions et objectifs. Ainsi, une école de musique sera évaluée à partir des critères différents de ceux utilisés pour une école d ingénieurs. Suivant cette approche, l agence d accréditation examine les missions de l établissement, clairement formulées, si ces missions sont remplies et si l établissement dispose de ressources nécessaires pour les réaliser dans un futur proche. Cette méthode fortement défendue dans les années 1970, est toujours appliquée par les agences régionales d accréditation. Certains aspects inhérents aux procédures d évaluation pour l accréditation laissent une marge de flexibilité. Par exemple, la pratique actuelle de l accréditation est toujours de prendre en considération à la fois les forces et les faiblesses de l établissement ; cette approche permet une certaine flexibilité car la pondération des informations laisse de la marge au jugement discrétionnaire. Ainsi, une présentation des données où les points faibles et les points forts s équilibrent, sert à atténuer l impact d une information négative, à la condition, bien entendu, que des éléments compensatoires existent. Une autre approche consiste à introduire des ajustements mineurs qui prennent en compte les différences institutionnelles : l agence d accréditation applique une batterie unique de critères et de règles mais lors de la procédure d évaluation pour l accréditation, on fait des adaptations, autant que possible, pour mettre en relief les spécificités de l établissement. Par exemple, une équipe d évaluateurs pourrait être composée d éducateurs venant d établissements similaires ; ainsi, l équipe d évaluation d un petit collège universitaire, de création récente, ne sera pas constituée d enseignants issus de grandes et prestigieuses universités mais de personnes venant de contextes institutionnels similaires. On évaluera donc chaque établissement en fonction de ce que l on peut attendre d un établissement de sa taille et de son niveau de ressources. Source : El-Khawas, Module 1 : Faire des choix fondamentaux pour l assurance qualité externe

34 Assurance qualité externe institutionnelle et/ou des filières Une autre question essentielle que les dispositifs d assurance qualité doivent aborder concerne l unité d analyse, à savoir si l AQE doit être institutionnelle ou viser les filières. L AQE institutionnelle est à l évidence beaucoup plus large que l AQE des filières. Selon Peace Lenn (2004), elle concerne les domaines suivants : missions ; gouvernance ; gestion ; filières de formation ; personnel enseignant ; ressources pédagogiques ; services aux étudiants ; infrastructures et équipements ; ressources financières. L assurance qualité institutionnelle s attache à vérifier que les missions et les objectifs de l établissement sont bien appropriés [examine la congruence des missions et des objectifs de l établissement]. Elle examine aussi l adéquation des ressources et des procédures aux objectifs à atteindre ou encore si certains critères sont remplis. L AQE considère l établissement en tant que système dont les filières de formation font partie. Elle doit donc rester assez générale et tenir relativement peu compte des différences d objectifs et de performances existant entre les composantes de l établissement. L AQE peut être la meilleure option dans un système où la qualité des établissements varie sensiblement et la gestion institutionnelle est plutôt faible. Dans ce cas, elle serait un moyen puissant de renforcement des capacités de gestion des établissements d enseignement supérieur. L AQE des filières se focalise sur leur fonctionnement. Chaque filière peut avoir sa propre politique de recrutement d étudiants, de formation, mais aussi être soumise à des impératifs liés au cadre réglementaire national de certification. Il est donc raisonnable d assurer la qualité des filières professionnelles spécifiques. L AQE des filières peut, en particulier, évaluer l adéquation d une filière aux requis exigés pour entrer dans une profession particulière. Les établissements peuvent proposer des filières de qualité inégale dans différentes disciplines que l assurance qualité institutionnelle ne peut pas identifier. L AQE des filières devient alors un outil adapté pour traiter les problèmes liés à la qualité déficiente de certains départements de formation ou UFR, là précisément où les décisions d amélioration doivent être prises. L AQE des filières doit aussi aborder des domaines de l environnement institutionnel global à savoir, la gestion de l établissement, du département, les équipements, des domaines qui ont un impact direct sur la qualité de la filière. L AQE des filières doit donc comprendre également une dimension institutionnelle. La plupart des pays s intéressent prioritairement aux filières d études, car les informations recueillies sont utilisées par les parties prenantes pour prendre des décisions en fonction de la qualité du diplôme. En outre, il est en général plus facile d introduire l assurance qualité des filières dans les établissements d enseignement supérieur puisqu elle concerne un nombre de personnes moins important et les actions à entreprendre sont circonscrites dans une filière 32 Module 1 : Faire des choix fondamentaux pour l assurance qualité externe

35 spécifique. De plus, les mesures d amélioration coûtent habituellement moins cher et sont ainsi plus facilement mises en œuvre. Certains pays ayant une longue expérience en matière d accréditation institutionnelle (comme les États-Unis) soutiennent que nombre de questions sur la qualité des filières d études se retrouvent au niveau institutionnel. Il s avère, toutefois, plus facile de couvrir un nombre relativement réduit d établissements que d accéder aux informations concernant un grand nombre de filières. Les deux types d AQE sont en fait très liés. L AQE institutionnelle ne peut être conduite sans examen des filières d études ; l AQE des filières, de son côté, doit prendre en considération l environnement de l établissement. Habituellement, les pays démarrent par une analyse de l établissement ou des filières de formation, mais se rendent compte que, finalement, les deux sont complémentaires et se développent ensemble. De nombreux systèmes, qui dans le passé focalisaient l analyse sur un seul aspect, ont décidé d y incorporer l autre. Certains pays mettent en œuvre les deux dispositifs et s efforcent de les combiner dans la même procédure. Certains dispositifs d AQE, comme le système d accréditation américain, font exécuter les deux composantes par des acteurs différents. Dans ce cas, on a essayé de les coordonner de sorte qu ils «s éclairent» mutuellement. Évaluer toutes les filières ou certaines seulement (par exemple, celles qui sont reconnues par l État) S agissant de l assurance qualité des filières, on peut avoir le choix d examiner certaines filières de formation comme, par exemple, les filières de formation des enseignants ou d autres filières qui préparent à des professions considérées comme étant d un intérêt vital pour le pays. En Argentine, par exemple, la commission nationale d accréditation CONEAU accrédite des filières d études qui nécessitent une reconnaissance par l État, parce que, même si la création et la gestion des filières de formation appartiennent aux établissements, l État a jugé nécessaire d imposer une régulation plus stricte aux filières qui conduisent à des professions spécifiques. Encadré 10. Demande d accréditation obligatoire des filières de formation reconnues par l État en Argentine La loi sur l enseignement supérieur stipule que, pour figurer dans l offre de formation des établissements, les filières reconnues par l État doivent être accréditées par la CONEAU ; autrement dit, si un établissement souhaite ouvrir une filière de formation reconnue par l État, il doit demander à la CONEAU de l évaluer. Comme pour l évaluation institutionnelle, le rapport d évaluation de la filière par la CONEAU est obligatoire. Seules les filières de formation qui ont reçu une décision favorable de la CONEAU ont le droit de délivrer des diplômes. Les filières non reconnues par l État n ont pas besoin d être accréditées par la CONEAU, il suffit de l autorisation du ministère et la conformité aux requis minimaux concernant les charges horaires établies par les accords déjà cités pour chaque cas. L obligation d accréditation pour les filières reconnues par l État s applique aussi aux filières qui sont déjà offertes, car elles doivent aussi se soumettre à l évaluation et l accréditation de la CONEAU. Si elles ne répondent pas aux normes et reçoivent 33 Module 1 : Faire des choix fondamentaux pour l assurance qualité externe

36 un avis défavorable de la CONEAU, le ministère a le pouvoir de disqualifier la filière concernée et de ne plus reconnaître ses diplômes. Les procédures d accréditation de la CONEAU suivent les standards académiques et techniques mis en place par le ministère de l Éducation et de la Culture après consultation du Conseil d université. La procédure doit aboutir à une évaluation de la qualité académique qui vient compléter l évaluation institutionnelle. Bien que le contenu académique de la filière soit l objectif principal de l évaluation, la décision de la CONEAU s impose au ministère de l Éducation qui doit alors établir la reconnaissance officielle du diplôme... La procédure d accréditation des filières conduisant à la licence comprend deux étapes : premièrement, la réalisation de l auto-évaluation par la filière qui formule la demande et deuxièmement, l évaluation par le comité de pairs. Suivant les caractéristiques de l unité académique, l auto-évaluation peut prendre de un à quatre mois. À la fin de cette étape, un rapport d auto-évaluation est publié qui doit présenter des informations exhaustives et comparables ainsi qu une évaluation détaillée des conditions de déroulement de la filière et des résultats attendus. Ce document doit inclure un plan de développement qui permet d apprécier l évolution de la filière conformément aux critères réglementaires établis. Ensuite, le comité de pairs analyse le rapport d auto-évaluation en même temps que d autres informations appropriées, visite les locaux du siège de la filière et rend sa décision finale comportant son avis d évaluation et ses recommandations pour une accréditation temporaire ou pour le rejet de la demande. L auto-évaluation comme l évaluation par les pairs sont exécutées à l aide d outils méthodologiques, conçus pour chacune de deux étapes. Le Guide d auto-évaluation a été conçu pour organiser et coordonner l auto-évaluation de l unité académique. Le Guide des pairs esquisse la suite logique qui permet l appréciation de la filière dans son état présent son profil et ses pratiques au regard des pratiques adoptées par la communauté universitaire ainsi que sa conformité aux normes. Source : Site web de la CONEAU Activité 6 Quelle serait la portée souhaitable d un système d assurance qualité dans votre pays, d après vous? Le système d assurance qualité devrait-il couvrir l offre de formation supérieure publique et privée? Si oui, pour quelles raisons? Quelle forme doit revêtir, en priorité, le dispositif d AQE : institutionnelle ou des filières? 34 Module 1 : Faire des choix fondamentaux pour l assurance qualité externe

37 4. Conclusions Avec la mondialisation, les accords de commerce internationaux et la mobilité croissante des étudiants et des professionnels, les systèmes d enseignement supérieur se diversifient en intégrant l éducation à distance et l enseignement supérieur privé. Il s ensuit un besoin accru de normalisation et de lisibilité des références. Cela a conduit, d une part, à l augmentation du nombre de dispositifs d AQE, et, d autre part, à l intégration progressive de la fonction d accréditation en leur sein. C est pour cette raison que l accréditation est, actuellement, la forme la plus largement répandue d AQE. Les systèmes d AQE, globalement équivalents, peuvent être implantés de plusieurs façons. Cependant, on ne peut discuter de choix sans prendre en compte le contexte politique national de l enseignement supérieur, en particulier ses traditions et sa culture. On a soutenu que les systèmes d assurance qualité externe avaient tendance à remplir le vide existant dans le système général d assurance qualité et qu ils se focalisaient sur des fonctions qui n étaient pas encore remplies. Cela explique les différences dans les analyses comparatives des systèmes d AQE. Les traditions et la culture académiques sont une autre source de divergence. Les procédures détaillées peuvent être considérées comme légitimes dans certains systèmes ; mais ce qui est légitime, varie d un contexte à l autre. Ainsi, les différences de compréhension du contenu de «l autonomie institutionnelle» conduisent à différencier les options concernant le fonctionnement d un bon système d assurance qualité. Une autre conclusion majeure est le besoin d identification claire de l objectif général d un système d AQE. Cela déterminera l approche spécifique à adopter, à savoir, si l AQE doit se focaliser sur l évaluation, l accréditation ou l audit. À noter cependant qu avec le temps, les agences d AQE deviennent des systèmes polyvalents. D une part, il est difficile de répondre aux différents objectifs de l AQE par un seul mécanisme, et on constate donc une diversification des mécanismes mis en œuvre par les structures de l AQE au fil du temps. D autre part, certaines nouvelles agences se voient aussi attribuer d autres fonctions comme l octroi d autorisation (d ouverture/de fonctionnement), et l établissement des équivalences de diplômes. 35 Module 1 : Faire des choix fondamentaux pour l assurance qualité externe

38 Points à retenir Point 1 : Les nouvelles caractéristiques du contexte mondial, telles que la diversification et la mondialisation de l enseignement supérieur, font de l assurance qualité une fonction de plus en plus importante pour les autorités publiques L expansion de l enseignement supérieur, la diversification et la privatisation continues du système, requièrent l utilisation de nouveaux outils de pilotage. L assurance qualité en est un. Le développement des systèmes d assurance qualité est une des tendances majeures des politiques d enseignement supérieur, renforcée par les réseaux régionaux d agences d assurance qualité. Ces réseaux aident les agences à échanger leur expérience et à développer des «codes de bonnes pratiques». Point 2 : Les dispositifs d AQE doivent s intégrer dans les mécanismes d assurance qualité préexistants Les nouveaux systèmes d assurance qualité complètent en général les systèmes existants. Un diagnostic des forces et des faiblesses des mécanismes d assurance qualité antérieurs devrait précéder le développement d un système d AQE, afin que celui-ci comble les lacunes et corrige les défauts du précédent. Les nouveaux systèmes d AQE cherchent généralement à remédier aux faiblesses particulières du système général d assurance qualité. Ils peuvent, aussi, être mis en place en tant que nouvel instrument de régulation des établissements d enseignement supérieur d un pays. Point 3 : Il est nécessaire d identifier l objectif fondamental sous-jacent du nouveau système d assurance qualité et de s assurer de sa cohérence avec la méthodologie à développer La structure d AQE doit correspondre à une philosophie générale (reddition des comptes, conformité contre amélioration de la qualité et développement du système). Si l objectif est l amélioration de la qualité, le volontariat est un meilleur choix que l obligation. En effet, quand les établissements sont motivés et engagés dans le changement, le système d AQE peut fonctionner comme outil de développement de l enseignement supérieur. Un fort engagement du monde académique est nécessaire pour que l AQE devienne un instrument d amélioration de la qualité. Toutefois, il pourrait être également nécessaire d établir un système d assurance qualité pour contrôler les standards minimaux, lorsque bon nombre de prestataires de formation sont de qualité médiocre. Point 4 : Les systèmes d AQE peuvent se focaliser sur l évaluation de la qualité, l audit de la qualité ou l accréditation, ou sur un ou plusieurs de ces points En cohérence avec l objectif fondamental sous-jacent du système d AQE, on doit décider si l assurance qualité doit être conçue comme évaluation de la qualité, audit de la qualité ou accréditation. L audit de la qualité, centré sur le système d assurance qualité interne, est sans aucun doute l approche la plus orientée vers le développement. Par conséquent, elle est la plus appropriée pour des systèmes dont les établissements et les filières de formation sont relativement homogènes et d un niveau développé. L évaluation de la qualité est orientée aussi vers 36 Module 1 : Faire des choix fondamentaux pour l assurance qualité externe

39 l amélioration et le développement, puisqu elle évalue d une manière «douce» les forces et les faiblesses de l établissement ou de la filière de formation. L accréditation, qui impose un point de vue définitif sur ce qui est acceptable et ce qui n est pas, est plus adaptée au contrôle de la qualité. Toutefois, elle peut conduire les établissements d enseignement supérieur à une culture de la conformité. Point 5 : Le développement d un système d AQE requiert la création d un modèle de la qualité souhaitée La qualité dans l enseignement supérieur est un concept complexe et multidimensionnel. Chaque système d AQE doit développer un modèle de qualité qui sera opérationnel à travers la mise en place des standards et des lignes de conduite claires pour l évaluation. Ce sont là des points critiques pour la construction d un système d AQE fonctionnel et transparent. Les systèmes d AQE s orientent de plus en plus vers un modèle fondé sur des standards qui auparavant concernaient les moyens, mais sont maintenant utilisés pour l évaluation des procédures et des résultats. Cependant, si l évaluation des résultats tel que l apprentissage des étudiants, est très pertinente, elle demeure difficile d un point de vue méthodologique. Point 6 : Un nombre croissant de systèmes d assurance qualité utilisent des standards quantitatifs et qualitatifs Un modèle de qualité est habituellement mis en œuvre au moyen de standards quantitatifs et qualitatifs. Des guides contenant ces standards sont en général communiqués aux établissements et aux experts lors de deux étapes d autoévaluation et d évaluation par les pairs. Dans certains cas les guides sont très détaillés ; dans d autres, les établissements sont plus libres de conduire leur propre auto-évaluation. Les modèles à base de standards varient selon la marge laissée à l appréciation personnelle concernant le degré de conformité aux critères. Dans les systèmes d AQE développés, on laisse aux établissements et aux experts une marge plus importante, étant donné qu ils n ont plus besoin de démontrer leur crédibilité ni leur réputation de juges objectifs. Point 7 : L articulation entre AQE institutionnelle et AQE des filières La division entre AQE institutionnelle et des filières existe dans tous les systèmes. Certains systèmes sont plus focalisés sur l AQE des filières, alors que d autres se concentrent sur l assurance qualité institutionnelle. D autres encore, utilisent une combinaison des deux. Un nombre minimum de filières de formation accréditées est la condition préalable à l accréditation institutionnelle. Les systèmes d AQE peuvent commencer par l une ou par l autre, mais, souvent, ils font les deux. 37 Module 1 : Faire des choix fondamentaux pour l assurance qualité externe

40 Références bibliographiques Banque mondiale Construire les sociétés du savoir: Nouveaux défis pour l enseignement supérieur. Washington, DC : Banque mondiale. Banque mondiale Tertiary education in Colombia: Paving the way for change. Washington, DC: Banque mondiale. Clark, B.R The higher education system: Academic organization in crossnational perspective. Berkeley: University of California Press. Comité national d évaluation (CNE) Références et lignes directrices pour le management de la qualité dans l espace européen de l enseignement supérieur. Traduction proposée par le Comité national d évaluation. Janvier Disponible sur: Council on Higher Education (CHE) Framework for institutional audits. Pretoria: CHE. Dill, D.D Public policy for academic quality research program. University of North Carolina at Chapel Hill. Available at: El-Khawas, E Accreditation in the United States. Origins, developments and future prospects. Paris: IIEP-UNESCO. Frémont A. (Ed.) Les universités françaises en mutation, la politique de contractualisation ( ). Paris: La Documentation Française. Harvey, L (May). The end of quality? Keynote speech presented at the Sixth Quality In Higher Education Seminar, Birmingham, UK. Hayward F Mécanismes d assurance qualité des systèmes d enseignement supérieur privés et publics. Accréditation et qualité de l audit en Afrique. Communication présentée à la Conférence sur l enseignement supérieur au cœur des stratégies de développement en Afrique francophone, organisé du 13 au 15 juin, 2006 à Ouagadougou, Burkina Faso. Lamoure-Rontopoulou J. 1998, L évaluation de l enseignement supérieur. Paris: UNESCO/IIPE. Martin M External quality assurance: What are the options? Paris: UNESCO/IIPE. Ministère de l Éducation nationale. Espace européen de l enseignement supérieur: action menée en France. Disponible sur : Musselin C La longue marche des universités françaises. Paris: PUF. Naidoo, P.; Singh, M In the aftermath of liberalization. Designing a common framework for public and private providers to serve national development goals: South Africa. Paper presented at the IIEP Policy Forum, Paris, France, June, Organisation de coopération et de développement économiques (OCDE) Regards sur l éducation. Les indicateurs de l OCDE. Paris: OCDE. 38 Module 1 : Faire des choix fondamentaux pour l assurance qualité externe

41 Organisation de coopération et de développement (OECD) Qualité et reconnaissance des diplômes de l enseignement supérieur: un défi international. Paris: OCDE. Peace Lenn, M Strengthening World Bank support for quality assurance and accreditation in higher education in East Asia and the Pacific. Paper presented at the Second Global Forum on International Quality Assurance, Accreditation and the Recognition of Qualification in Higher Education, UNESCO, Paris, June, Schenker-Wicki, A «Accréditation et assurance qualité: Le modèle suisse». Politiques et gestion de l enseignement supérieur, Vol.14, No.2, p United Nations Educational, Scientific and Cultural Organization (UNESCO) Recueil de données mondiales sur l éducation. Statistiques comparées sur l éducation dans le monde. Institut de statistique. Montréal: UNESCO. Vlăsceanu, L.; Grünberg, L.; Pârlea, D Quality assurance and accreditation: A glossary of basic terms and definitions. Bucharest: UNESCO-CEPES. Sites web Agence d'évaluation de la recherche et de l'enseignement supérieur [France]: Agence Europe-Éducation-Formation: Agence pour l évaluation et la qualité de l enseignement supérieur [Communauté francophone de Belgique]: Agence universitaire de la francophonie: Bureaux nationaux de statistique en Chine: européen pour l enseignement supérieur, de l UNESCO (CEPES): Cameroun Link: Conseil africain et malgache pour l enseignement supérieur: Commission nationale d évaluation et d accréditation universitaire (Comisión Nacional de Evaluación y Acreditación Universitaria- CONEAU) [Argentine]: International Network for Quality Assurance Agencies in Higher Education (INQAAHE): Observatory on Borderless Higher Education: 39 Module 1 : Faire des choix fondamentaux pour l assurance qualité externe

42 Les modules sur l Assurance qualité externe : options pour les gestionnaires de l enseignement supérieur L assurance qualité externe (AQE) constitue aujourd hui l un des volets les plus importants de la politique d enseignement supérieur. De plus en plus de pays se demandent si leurs structures traditionnelles d assurance qualité sont encore valables et si elles ne doivent pas créer de nouveaux mécanismes. Il est important de noter que la mise en place de ces systèmes peut servir différents objectifs (la reddition des comptes, la conformité aux standards, l amélioration de la qualité). Différentes options peuvent répondre à la variété des objectifs mentionnés au sein des systèmes d assurance qualité externe (AQE). Les matériaux développés par l UNESCO à l Institut international pour la planifi cation de l éducation (IIPE) ont pour cible les décideurs et gestionnaires dans les départements gouvernementaux. Ces modules devront apporter un soutien pour leurs décisions sur les systèmes d assurance qualité externe à mettre en place. Ces modules sont basés sur les résultats obtenus par deux projets de recherche de l IIPE, l un sur «les options méthodologiques et organisationnels dans les systèmes d accréditation» et l autre sur «la régulation et l assurance qualité des fournisseurs d enseignement supérieur transfrontaliers». Accessible à tous, ces modules sont conçus pour être employés dans des situations d apprentissage variés, de l étude indépendante à la formation présentielle. Ils peuvent être consultés sur le site web de l IIPE et seront révisés selon besoin. Les usagers sont encouragés à envoyer leurs suggestions et commentaires. Les auteurs Les matériaux ont été préparés par Michaela Martin et Antony Stella. Michaela Martin est Spécialiste du programme à l IIPE, chargée du programme de recherche et de formation sur l assurance qualité externe. Antony Stella est Directeur d audit à l Agence australienne d assurance qualité (AUQA).

43 Assurance Qualité Externe : options pour les gestionnaires de l enseignement supérieur Module 2 Évaluer la qualité Institut international de planification de l éducation

44 Assurance Qualité Externe : options pour les gestionnaires de l enseignement supérieur Ces modules ont été préparés par le personnel et des consultants de l IIPE. Ils peuvent être utilisés soit lors d ateliers et activités de groupes, soit individuellement, en tant que matériel d autoformation. L IIPE les utilise également dans le cadre de ses cours à distance. Cette série de modules est disponible à l adresse suivante : D autres séries sont disponibles à la même adresse sur des thèmes liés à la planifi cation et la gestion de l éducation. Nous vous invitons à consulter régulièrement le site de l IIPE pour prendre connaissance des nouvelles publications. Institut international de planifi cation de l éducation (UNESCO) 7-9 rue Eugène Delacroix Paris Tel. : Fax : [email protected] Site web : Ces modules ont été réalisés à l aide du matériel informatique de l IIPE et imprimés dans son atelier d impression. Les désignations employées dans cette publication, comme les matériels qui y sont présentés, ne sauraient en aucune manière être interprétés comme le refl et d un quelconque point de vue de l UNESCO que ce soit sur le statut juridique d un pays, territoire, ville ou région ou de ses autorités ou que ce soit sur ses frontières ou limites. Cote : PRD/47 Crédit photos : IIEP/UNESO Tous droits réservés UNESCO 2011

45 Module 2 Évaluer la qualité Présentation du module 6 Introduction 7 Évaluer la qualité 9 1. La qualité : un concept multidimensionnel, complexe et évolutif 9 2. Définir les termes de base 11 Approches de l assurance qualité L approche fondée sur les standards et l approche par l adéquation aux objectifs Standards minimaux ou standards d excellence 32 Domaines d évaluation de la qualité 36 La prise de décision en matière d assurance qualité Les différentes utilisations des standards L utilisation de l évaluation quantitative L utilisation du jugement par les pairs La flexibilité comme moyen d adaptation au contexte 49 Points à retenir 54 Références bibliographiques 57

46 Liste des abréviations AACCUP ACSCU-AAI AICTE ANECA AQF AQIP AQI-UMED AUQA AVCC CAMES CEPES CHE CHEA CHEMS CICA CNA CNAM CNAP CNE CSE CTI CVCP DEST DUT ENQA ETP HEFCE Agence d accréditation des collèges et universités autorisés des Philippines (Accrediting Agency of Chartered Colleges and Universities of the Philippines) Association des écoles et collèges chrétiens Agence d accréditation (Association of Christian Schools and Colleges Accrediting Agency, Incorporated) Conseil panindien pour l enseignement technique (All India Council for Technical Education) Agence nationale d évaluation de la qualité et d accréditation (Agencia Nacional de Evaluación de la Calidad y Acreditación) [Espagne] (Australian Qualifications Framework) [Australie] Programme d amélioration de la qualité académique (Academic Quality Improvement Program) Projet Tempus pour le «Renforcement de l'assurance qualité interne dans les universités de la Méditerranée» Agence pour la qualité des universités australiennes (Australian Universities Quality Agency) {Australie] Comité des vice-chanceliers d Australie (Australian Vice-Chancellor s Committee) [Australie] Conseil africain et malgache pour l enseignement supérieur Centre Européen pour l'enseignement Supérieur de l UNESCO [Roumanie] Conseil de l enseignement supérieur (Council on Higher Education) [Afrique du Sud] Conseil pour l Accreditation de l Enseiement Supérieur (Council for Higher Education Accreditation) Commonwealth Higher Education Management Service Institut canadien des comptables agréés (Canadian Institute of Chartered Accountants) Conseil national d accréditation (Consejo Nacional de Acreditación) [Colombie] Conservatoire national des arts et metiers [France] Commission nationale d accréditation (Comision Nacional de Acreditación) [Chili] Comité national d évaluation [France] Conseil supérieur de l éducation (Consejo Superior de Educación ) [Chili] Commission des titres d ingénieur [France] Comité Comité des vice- présidents et des directeurs des universités du Royaume Uni (Committee of Vice-Chancellors and Principals of Universities of the UK) [Royaume Uni] Département d Éducation, Science et Technologie (Department of Education, Science and Technology) [Australie] Diplôme universitaire de technologie Association européenne pour le management de la qualité dans l enseignement supérieur ((European Association for Quality Assurance in Higher Education) Équivalent temps plein Conseil de financement de l enseignement supérieur pour l Angleterre (Higher Education Funding Council for England) 2 Module 2 : Évaluer la qualité

47 HEQC IIPE INQAAHE IP IUT LMD LOLF MCEETYA MINEFI MSCHE NAAC NBA NEASC OAQ OCDE PAASCU PACU-COA PG QAA QR RIACES SRHE STS UE UG UNESCO Comité pour la qualité de l enseignement supérieur (Higher Education Quality Committee) [Afrique du Sud] Institut international de planification de l éducation (International Institute for Educational Planning) Réseau international des agences d assurance qualité dans l enseignement supérieur (International Network for Quality Assurance Agencies in Higher Education) Indicateurs de performance Institut Universitaire de Technologie [France] Licence-maîtrise-doctorat Lois de finances Le Conseil ministériel sur des affaires d'éducation, d'emploi, de formation et de jeunesse (Ministerial Council on Education, Employment, Training and Youth Affairs) [Australie] Ministère de l Économie, des Finances et de l Industrie [France] Commission pour l enseignement supérieur des États du Centre (Middle States Commission on Higher Education) [États-Unis] Conseil national d évaluation et d accréditation (National Assessment and Accreditation Council) [Inde] Conseil national d accréditation (National Board of Accreditation) [Inde] New England Association of Schools and Colleges Organe d accréditation et d assurance qualité des hautes écoles suisses Organisation de coopération et de développement économiques [France] Association philippine d accréditation des écoles, collèges et universités (Philippine Accrediting Association of Schools, Colleges and Universities) Association philippine des collèges et universités Commission d accréditation (Philippine Association of Colleges and Universities Commission on Accreditation) Niveau d études post-licence (post-graduate) Agence d assurance qualité (Quality Assurance Agency) Qualité de la recherche (Quality Research) Réseau Interaméricain pour l accréditation de la qualité en enseignement supérieur (Red Iberoamericana para la Acreditación de la Calidad de la Educación Superior) [Argentina] Société pour la recherche dans l Enseignement Supérieur (Society for Research into Higher Education) [Royaume Uni] Sections de techniciens supérieurs Union européenne Niveau d études licence (undergraduate) Organisation des Nations Unies pour l éducation, la science et la culture [France] 3 Module 2 : Évaluer la qualité

48 Liste des encadrés Encadré 1. Encadré 2. Standards de qualité, institutions universitaires Organe d accréditation et d assurance qualité des hautes écoles suisses (OAQ) [Suisse] Standards et critères concernant le corps enseignant : Trois exemples empruntés aux États-Unis, à l Afrique du Sud et à l Inde Encadré 3. Indicateurs de performance proposés par le Rapport Jarratt (1985) [Royaume-Uni] Encadré 4. Encadré 5. Encadré 6. Encadré 7. Indicateurs de performance dans le cadre du programme «Formations supérieures et recherche universitaire» [France] Terminologie liée au référentiel utilisé dans le projet TEMPUS AQI- UMED Les standards quantitatifs demandés pour la création d une école d ingénieurs ou de technologie Manuel de procédure pour le rapport concernant l obtention d un certificat de qualité par les services d une bibliothèque universitaire ANECA [Espagne] Encadré 8. Commission des titres d ingénieur (CTI) [France] Encadré 9. Standards pour l accréditation Commission des établissements d enseignement supérieur, Association des écoles et des collèges de la Nouvelle-Angleterre (Commission on Institutions of Higher Education, New England Association of Schools and Colleges) Encadré 10. Équilibrer les différentes approches de la qualité Comité pour la qualité de l enseignement supérieur (the Higher Education Quality Committee HEQC) [Afrique du Sud] Encadré 11. La position de l agence d assurance qualité du Chili (CNAP) sur les filières d architecture Encadré 12. Création, autorisation d ouverture, agrément et homologation des institutions privées d enseignement supérieur (CAMES) Encadré 13. Autorisation de nouveaux établissements privés au Chili Encadré 14. Standards d assurance qualité Accréditation de filières selon les quatre agences d accréditation aux Philippines Encadré 15. Vers des standards basés sur la compétence des corps professionnels [Etats-Unis] Encadré 16. La Charte des compétences [Canada] Encadré 17. Les capacités et compétences recherchées pour l ingénieur (Commission des titres d ingénieur CTI) [France] Encadré 18. Variables et indicateurs d une caractéristique [Colombie] Encadré 19. Indicateurs de recherche au Royaume Unis Encadré 20. La quantification comme guide de l évaluation par les pairs NBA [Inde] Module 2 : Évaluer la qualité

49 Encadré 21. Champ indicatif AUQA Encadré 22. La flexibilité en matière d auto-évaluation [États-Unis] Encadré 23. La flexibilité dans la définition des standards Encadré 24. La flexibilité comme moyen d adaptation au contexte institutionnel NAAC [Inde] Module 2 : Évaluer la qualité

50 Présentation du module Bienvenus au module 2 «Évaluer la qualité» de notre cours à distance sur l Assurance qualité externe. Objectifs du module Ce module : décrit les différentes définitions et conceptions de la qualité ; définit les concepts de base utilisés pour l évaluation de la qualité : standards, critères, indicateurs et benchmarks ; précise les domaines pris habituellement en compte dans l évaluation de la qualité ; expose les différentes méthodes d évaluation de la qualité ; met en évidence les caractéristiques des différentes conceptions et méthodes d évaluation de la qualité. À la fin de ce module, vous devriez pouvoir : apprécier les différences entre différents définitions de la qualité ; comprendre les domaines communs pris en compte dans l évaluation de la qualité ; identifier les objectifs et les méthodologies des différentes approches de l assurance qualité ; analyser les caractéristiques de l approche et de la méthode qui seraient efficaces dans votre contexte national. Thèmes de réflexion Quel devrait être le point central dans la définition de la qualité dans mon pays? Quels seraient les cinq domaines les plus importants à faire analyser par l agence d assurance qualité de mon pays et pour quelles raisons? Quelle approche et quelle méthode d assurance qualité conviendraient le mieux à mon pays? 6 Module 2 : Évaluer la qualité

51 Module 2 Évaluer la qualité Introduction Dans le module 1, on a exposé le contexte général de l assurance qualité. Quelle que soit l approche retenue pour l assurance qualité externe (évaluation, audit ou accréditation), il s agit de porter un jugement de valeur sur le fonctionnement et les résultats d un établissement d enseignement supérieur, d une formation, d un système. Dans ce module 2, on se penchera sur les choix méthodologiques à effectuer pour pouvoir porter ce jugement : Quelle est la définition de la qualité qui est retenue? Comment cette définition de la qualité est-elle présentée dans un référentiel? Comment est-elle déclinée sous forme de références (ou standards ou critères) et appuyée sur des indicateurs? La définition de la qualité et les méthodes employées pour l évaluer varient sensiblement selon les agences. Selon les contextes dans lesquels on se situe, selon les points de vue où on se place, on donne au mot qualité un sens plus ou moins différent et cette diversité se répercute sur les méthodologies d évaluation utilisées. Définissant la qualité comme «l adéquation aux objectifs», un grand nombre d agences regardent comment les établissements d enseignement supérieur procèdent pour atteindre les objectifs qu ils se sont fixés ; cette approche vise à soutenir les établissements ou les filières de formation dans la réalisation de leurs objectifs et à respecter la diversité institutionnelle. D autres agences, pour évaluer les établissements et filières dont elles assurent la qualité, mettent en avant des standards prédéfinis ; dans cette approche plus normative, c est la conformité qui est visée. En ce qui concerne l utilisation des standards, on constate là aussi une grande diversité. Dans certains cas, les standards définissent un seuil minimal ; selon qu il est ou non atteint, l évaluation (ou plus fréquemment l accréditation) débouche sur une l approbation ou sur un rejet, voire même une sanction. Dans d autres cas, des agences établissent des standards d excellence, qui désignent, non plus un niveau minimal de qualité qu il est obligatoire d atteindre, mais la qualité que l on vise, que l on se donne comme horizon tout en sachant qu elle reste un objectif difficile à atteindre parce que souvent très ambitieux. Le plus souvent, les standards d excellence coexistent avec des standards de seuil. Pour juger de la qualité d un établissement ou d une filière de formation, pour mesurer leur degré d atteinte des références ou des standards, les agences peuvent utiliser différents outils tels que des benchmarks, des indicateurs, des indicateurs de performance.. sachant que d un système à l autre, le même terme peut être utilisé pour se référer à des outils différents. En règle générale, dans les systèmes évolués, dotés de mécanismes d assurance qualité internes efficaces, on utilise davantage des indicateurs et des benchmarks définis par les établissements d enseignement supérieur eux-mêmes plutôt que des standards et des indicateurs 7 Module 2 : Évaluer la qualité

52 externes ; dans ces systèmes, le souci de l amélioration continue et l évaluation par les pairs sont des éléments essentiels de l assurance qualité. Dans les systèmes émergents, qui se préoccupent à la fois de la reddition des comptes et de l amélioration de la qualité, les agences utilisent souvent des indicateurs quantitatifs et l évaluation par les pairs. Enfin, on constate aussi une diversité dans le périmètre des évaluations : l unité prise en compte par l assurance qualité n est pas toujours la même. Le plus souvent, il s agit d un établissement dans sa totalité et on parle alors d approche institutionnelle ou d une filière de formation ce qui est généralement désigné en anglais par programme (voir module 1). Que ce soit dans le cas d une approche institutionnelle ou programmatique l évaluation de la qualité doit absolument couvrir des aspects tels que les filières de formation, les étudiants, les enseignants, le contrôle interne de qualité, les infrastructures, la recherche, les services à la communauté, l organisation et la gestion. En revanche, l évaluation par les pairs est une pratique très largement partagée, même par les systèmes qui privilégient l utilisation de normes et d indicateurs quantitatifs. Toutes ces questions, illustrées par des exemples et des études de cas, seront examinées dans ce module. 8 Module 2 : Évaluer la qualité

53 Évaluer la qualité 1. La qualité : un concept multidimensionnel, complexe et évolutif Dans le domaine de l enseignement supérieur, on trouve de multiples conceptions de la qualité. Selon les cas, la qualité est définie comme adéquation aux objectifs («fitness for purpose»), adéquation des finalités («fitness of purpose»), excellence, seuil ou référence minimale, amélioration continue, bon rapport qualité/prix, satisfaction du consommateur, etc. Cette hétérogénéité pourrait à première vue apparaître comme un défaut de rigueur ou une forme de laxisme, si l on considère que les acteurs façonnent leur définition de la qualité en fonction de leurs intérêts propres et de leur vision personnelle de l enseignement supérieur. En fait, la diversité des conceptions de la qualité résulte de la volonté de définir cette qualité en étroite relation avec le contexte auquel elle s applique. Dans le module 1, on a vu déjà comment les systèmes d assurance qualité sont marqués par la diversité des contextes (historiques, culturels, politiques, économiques, administratifs, etc.) et par la diversité des objectifs assignés à l enseignement supérieur. Il n y a pas, il ne saurait y avoir de définition absolue de la qualité. La qualité est toujours relative, située dans un temps et dans un espace particuliers. C est ce que souligne le glossaire de l UNESCO CEPES (Vlasceanu L., Grünberg L., Pârlea D., Quality Assurance and Accreditation: A Glossary of Basics Terms and Definitions, Papers on Higher Education, UNESCO CEPES, Bucharest, 2004) : «La qualité dans l enseignement supérieur est un concept dynamique, à plusieurs dimensions et plusieurs niveaux, qui se rapporte aux paramètres contextuels d un modèle éducatif, aux missions et objectifs des établissements, ainsi qu à des références spécifiques dans un système, un établissement, une formation ou une discipline donnés». Comme on l a vu dans le module 1, on trouve également, et pour la même raison, une assez grande diversité dans la typologie des systèmes d assurance qualité, qui se distinguent essentiellement en termes de finalité, d objet et de résultat. Certains sont plus orientés vers la redevabilité (ou reddition de comptes) et d autres visent d abord à soutenir l amélioration continue de l éducation. Certains sont centrés sur les établissements, d autres sur les formations. Certains portent plus d attention aux moyens disponibles (notamment en termes de ressources humaines et matérielles), d autres aux résultats. Certains auditent la capacité d un établissement à assurer sa propre qualité. Les systèmes d évaluation débouchent sur des recommandations (plus ou moins impératives), tandis que les systèmes d accréditation débouchent sur des décisions, qui peuvent se limiter à oui/non ou s accompagner d une notation. Cette diversité des systèmes est d autant plus complexe que le vocabulaire prête à confusion, en particulier avec l usage international de la langue anglaise : ainsi des approches assez semblables peuvent porter des noms distincts dans différents pays, alors que les mêmes noms recouvrent souvent des significations différentes dans des contextes divers c est le cas, par exemple, du mot «accréditation». Le cadre législatif et réglementaire de ces systèmes, le statut des agences qui les gèrent sont tout aussi variables. L organisation des Etats, leur degré de 9 Module 2 : Évaluer la qualité

54 centralisation ou de décentralisation, la nature des régimes politiques sont autant de facteurs qui affectent la structuration des systèmes d assurance qualité. Deux courants nettement marqués au plan international favorisent actuellement la mise en place de l évaluation externe ou de l accréditation : il s agit de la promotion d une autonomie accrue des établissements (en particulier des universités) et de l évolution des administrations vers ce que l on a coutume d appeler le «nouveau management public». On observe également que l introduction formelle de l assurance qualité rentre souvent dans le cadre d une réforme plus large de l enseignement supérieur et son principe est alors inscrit dans la loi. Certains pays passent par une phase expérimentale, d autres instaurent d emblée un système généralisé. Quant aux agences d assurance qualité, elles apparaissent plus ou moins indépendantes, des universités d une part, et des autorités ministérielles d autre part ; mais les critères pour juger de cette indépendance sont très variables d un pays à l autre et difficilement généralisables. A l évidence, il n existe donc pas de définition absolue de la qualité dans l enseignement supérieur, ni de modèle unique d assurance qualité. Au-delà de ce constat, il y a la conviction générale que les approches de type «taille unique» doivent être évitées et que les politiques doivent être élaborées «sur mesure», en fonction du contexte particulier de chaque pays. Mais dans un environnement de plus en plus mondialisé, où les échanges se multiplient et où l on cherche à garantir la qualité des formations et des diplômes pour qu ils soient reconnus et attractifs, il importe également que les systèmes d assurance qualité présentent des convergences, faute de quoi ils ne seraient pas intelligibles et ne pourraient inspirer confiance. L enjeu consiste à tenir la tension entre les spécificités locales et une harmonisation mondiale, à rechercher une reconnaissance internationale tout en servant des intérêts nationaux. Un des moyens pour y parvenir est de fournir des informations claires et facilement accessibles sur la qualité attendue comme sur les processus et procédures qui permettent de l assurer : la plupart des agences d assurance qualité ont des sites Internet très bien renseignés et régulièrement mis à jour. Qui définit la qualité? Le sens donné à la qualité varie non seulement, comme on l a vu, en fonction du contexte national ou régional, mais aussi, dans un même contexte, en fonction des besoins et des intérêts des individus ou des groupes concernés par l enseignement supérieur, qu ils en soient acteurs, usagers, partenaires, commanditaires, bénéficiaires, ou autres. Ainsi les enseignants, les étudiants, les familles, l État et ses organismes, les corps professionnels ou les employeurs auront des besoins différents. Les enseignants ont souvent tendance à définir la qualité en mettant plutôt l accent sur l originalité et la productivité de la recherche que sur l innovation et l efficacité de la pédagogie. Pour les étudiants du 1er cycle, la qualité concernera avant tout l enseignement, leur expérience d apprentissage et leur environnement universitaire. Pour les organismes professionnels, la qualité consistera surtout dans l acquisition par les étudiants de compétences liées aux professions visées. Pour qu un système d assurance qualité soit utile et efficace, il importe de construire un consensus sur la définition de la qualité, et donc de trouver un point d équilibre entre les intérêts, souvent divers et même parfois contradictoires, des différents acteur L agence d assurance qualité a un rôle majeur à jouer dans l adoption d une définition partagée de la qualité : pour cela, elle doit consulter les différents acteurs et parties prenantes. Il lui faut aussi tenir compte des principes 10 Module 2 : Évaluer la qualité

55 qui sont maintenant largement acceptés au plan international, et notamment reconnaître que c est aux établissements d enseignement supérieur que revient la responsabilité première en matière de qualité. Le réseau international des agences d assurance qualité (INQAAHE) a inscrit ce principe dans ses «Lignes directrices de bonne pratique». De même, en Europe, comme on l a souligné au Module 1 déjà les Ministres de l Enseignement supérieur des pays signataires de la Déclaration de Bologne ont rappelé dans leur communiqué de Berlin, en 2003, que conformément au principe de l'autonomie des établissements, la responsabilité première en matière d assurance qualité dans l'enseignement supérieur incombe à chaque établissement lui-même, ce qui fonde les bases d'une réelle responsabilisation du système universitaire dans le cadre national de la qualité". Comment est définie la qualité? Pour pouvoir évaluer les établissements ou leurs filières de formation, les agences ont besoin de s appuyer sur un référentiel qualité : ce référentiel est un document qui présente la définition de la qualité, en la déclinant de façon plus ou moins détaillée, et, le plus souvent, en l organisant par domaines. Ces référentiels sont donc de longueur très variable, allant de quelques pages à plusieurs dizaines de pages. Ils servent de base à l évaluation interne et à l évaluation externe. On les trouve sur les sites de toutes les agences d assurance qualité, mais sous des noms qui varient, aussi bien en français qu en anglais. 2. Définir les termes de base Comme on pourra le voir dans tous les exemples cités dans le cadre de ce module, les agences utilisent une grande diversité de termes : «références», «standards», «critères», «indicateurs», «benchmarks» pour élaborer ces référentiels. Or un même mot peut désigner des contenus différents et, à l inverse, des mots différents peuvent être employés pour désigner le même contenu. C est pourquoi il est apparu nécessaire de constituer des glossaires 1. Ce module sera plus utile aux lecteurs, si on emploie les termes de manière cohérente. Dans les pages qui suivent, on s efforcera de définir les principaux termes utilisés, à la fois séparément et en relation les uns avec les autres. Il s agit de : Références et standards Critères Statistiques Indicateurs de performance Benchmarks 1 Citons par exemple, en langue anglaise, le glossaire de l UNESCO-CEPES (déjà mentionné plus haut) ou celui de l INQAAHE ; en espagnol, le glossaire réalisé dans le cadre du réseau hispanoaméricain RIACES. En français, il n existe pas pour le moment de tel glossaire. 11 Module 2 : Évaluer la qualité

56 Références et standards Dans la traduction qu il a produite, en 2006, des «Standards and Guidelines for Quality Assurance in the European Higher Education Area», le CNE a proposé de traduire le mot anglais «standard» par le mot français «référence», pour marquer le lien logique avec les référentiels qualité et pour faire écho à son propre référentiel qui s appelait «Livre des références». Cette traduction permet d éviter la connotation normative portée en français le mot «standard» qui a donné «standardisation». Dans l introduction aux Références et Lignes Directrices européennes, l ENQA souligne que «le mot "standard" est employé de différentes manières en Europe, allant de la formulation de conditions réglementaires étroitement définies à des descriptions plus générales de bonnes pratiques». Dans l enseignement supérieur et l assurance qualité, le standard indique un principe (ou une mesure) auquel on doit (ou on devrait) se conformer, et d après lequel on juge la qualité (ou la propriété). Il peut aussi avoir d autres significations, notamment, le degré d excellence exigé pour atteindre un objectif particulier. Dans certains contextes, le terme «standard» est utilisé comme synonyme de «minimal» ou de «qualité moyenne», ou de minimum requis. Les standards peuvent être quantitatifs ou qualitatifs, comme on va le voir plus loin. Dans l encadré 1 sont présentés les standards utilisés par l Organe d accréditation et d assurance qualité des hautes écoles suisses (OAQ), pour évaluer la qualité des institutions universitaires. Ces standards sont distribués en huit domaines (on reviendra, dans la suite de ce module, sur la question des domaines qui peuvent être couverts par l évaluation). Dans le référentiel suisse, chaque standard se décline en une série de questions et de points de référence qui servent à expliciter le standard et à étayer la réponse de l institution. La présentation complète de tous ces éléments figure sur le site web de l OAQ. Encadré 1. DOMAINE 1. Standards de qualité, institutions universitaires Organe d accréditation et d assurance qualité des hautes écoles suisses (OAQ) [Suisse] STRATEGIE, ORGANISATION ET GESTION DE LA QUALITE AU SEIN DE L INSTITUTION Standard 1.01 L institution universitaire s est dotée d une mission publique comprenant ses objectifs en matière de formation et de recherche et déterminant sa position dans l environnement académique et social. L institution universitaire dispose d un plan stratégique. Standard 1.02 Les processus, les compétences et les responsabilités décisionnels sont déterminés. Le personnel scientifique est impliqué dans les processus décisionnels qui concernent l enseignement et la recherche. Les étudiants et les étudiantes sont impliqués dans les processus décisionnels qui concernent la formation et peuvent faire valoir leur opinion. Standard 1.03 L institution dispose du personnel, des structures, ainsi que des ressources financières et matérielles lui permettant de réaliser ses objectifs en fonction de son plan stratégique. 12 Module 2 : Évaluer la qualité

57 Standard 1.04 La provenance du financement et ses conditions sont transparentes et ne restreignent pas l indépendance décisionnelle de l institution en matière d enseignement et de recherche. Standard 1.05 L institution dispose d un système d assurance qualité. Standard 1.06 L institution a mis en place une commission chargée des questions d égalité ou assure l accès à une telle commission. DOMAINE 2 OFFRE D ETUDES Standard 2.01 L institution offre des enseignements conduisant à l obtention de diplômes académiques ou professionnels avec des objectifs de formation déterminés. Ils s intègrent dans l offre de formation universitaire existante ou la complètent de façon judicieuse. Standard 2.02 L institution participe aux échanges nationaux et internationaux d étudiants, d enseignants et de personnel scientifique. Standard 2.03 L institution a défini les conditions pour l obtention des attestations et des diplômes académiques. Elle veille au respect de ces conditions. Standard 2.04 L institution exploite les informations collectées périodiquement auprès de ses diplômés et de ses diplômées. DOMAINE 3 RECHERCHE Standard 3.01 Les activités actuelles de recherche de l institution concordent avec son plan stratégique et correspondent aux standards internationaux. Standard 3.02 L institution garantit l intégration des connaissances scientifiques actuelles dans la formation. DOMAINE 4 PERSONNEL SCIENTIFIQUE Standard 4.01 Les procédures de sélection, de nomination et de promotion du personnel scientifiques sont réglementées et communiquées publiquement. En ce qui concerne le corps enseignant, il est tenu compte aussi bien des compétences didactiques que des qualifications scientifiques. Standard 4.02 L institution réglemente la formation continue et le perfectionnement du personnel scientifique sur les plans didactique et professionnel. Standard 4.03 L institution conduit une politique durable de la relève. 13 Module 2 : Évaluer la qualité

58 Standard 4.04 L institution offre l accès à un service de conseil en plans de carrière. DOMAINE 5 PERSONNEL ADMINISTRATIF ET TECHNIQUE Standard 5.01 Les procédures de sélection et de promotion du personnel administratif et technique sont réglementées et communiquées ouvertement. Standard 5.02 L institution garantit la formation continue et le perfectionnement du personnel administratif et technique. DOMAINE 6 ÉTUDIANTS ET ETUDIANTES Standard 6.01 Les conditions et les procédures d admission dans les filières d études de l institution sont déclarées et fondées. Standard 6.02 L égalité des chances entre hommes et femmes est réalisée. Standard 6.03 L institution observe la progression des étudiants et des étudiantes dans leur cursus ainsi que la durée des études. Standard 6.04 Les taux d encadrement doivent être garantis de sorte que les objectifs de formation de l institution, respectivement des unités qui la composent, puissent être atteints. Standard 6.05 L institution veille à l existence et au fonctionnement d un service de conseil destiné aux étudiants, aux étudiantes et aux autres personnes intéressées. Elle prend des mesures afin de permettre aux étudiants et aux étudiantes de déterminer périodiquement leur situation dans leur cursus. DOMAINE 7 INFRASTRUCTURES Standard 7.01 L institution dispose d infrastructures permettant la réalisation de ses objectifs à moyen et à long termes. DOMAINE 8 COOPERATION Standard 8.01 L institution noue des contacts aux niveaux national et international. Elle promeut la collaboration avec d autres institutions appartenant au domaine des hautes écoles, avec les milieux professionnels et les acteurs sociaux pertinents. Source : site web de l OAQ 14 Module 2 : Évaluer la qualité

59 Critères Le glossaire de l INQAAHE ( définit les critères comme des «spécifications ou des éléments par rapport auxquels on forme un jugement». Dans certains cas, on établit une différence entre critères et standards. Alors que les critères indiquent des éléments ou des caractéristiques, les standards fixent le niveau. Le glossaire de l AUQA précise que «la fonction des standards consiste à mesurer les critères d après lesquels la qualité peut être jugée». Mais le plus souvent, les termes «critères» et «standards» sont employés indifféremment par les agences d assurance qualité, comme on peut le voir dans l encadré 2, qui présente trois exemples concernant le corps enseignant. Le Conseil national d évaluation et d accréditation (National Assessment and Accreditation Council NAAC) en Inde, emploie le terme «criterion «, de même qu HEQC en Afrique du Sud, alors que l agence régionale d accrédiation MSCHE, aux Etats-Unis utilise le mot «standard». Encadré 2. Standards et critères concernant le corps enseignant : Trois exemples empruntés aux États-Unis, à l Afrique du Sud et à l Inde CARACTERISTIQUES D EXCELLENCE POUR L ACCREDITATION : MSCHE (ÉTATS-UNIS) Le MSCHE a établi 14 standards, dont un sur le corps enseignant Standard 10 : Le corps enseignant Les filières d enseignement, la recherche et les services de l établissement sont conçus, mis en place, contrôlés et soutenus par des professionnels qualifiés. CRITERES POUR L AUDIT INSTITUTIONNEL : HEQC (AFRIQUE DU SUD) Critère 9 Les politiques et les procédures de recrutement, de sélection, de formation continue et de soutien contribuent à ce que l on dispose de personnels enseignants et administratifs ayant les qualifications et l expérience adéquates pour délivrer la formation. Le rapport entre les ressources humaines et les besoins de formation doit être régulièrement examiné. CRITERES POUR L EVALUATION : NAAC (INDE) Le NAAC a identifié sept critères comme base de ses évaluations : caractéristiques des filières de formation ; enseignement et évaluation ; recherche ; expertise et services à la communauté ; infrastructures et ressources documentaires ; soutien aux étudiants et réussite aux études ; organisation et gestion ; bonnes pratiques. Le critère «enseignement et évaluation» comporte huit énoncés dont trois concernent le corps enseignant. L établissement a un dispositif de recrutement efficace pour constituer un corps enseignant adéquat et qualifié. L établissement a un dispositif ouvert et participatif pour évaluer l enseignement et la satisfaction professionnelle des enseignants. Les enseignants bénéficient d une offre de formation continue, tant académique que professionnelle. Sources : sites web de la MSCHE, CHE et NAAC 15 Module 2 : Évaluer la qualité

60 Statistiques Les agences d assurance qualité recueillent des données sur le fonctionnement institutionnel ou sur les prestations des filières. Les données recueillies, primaires et secondaires, sont appelées «statistiques» avec ou sans autre précision. Ce sont les fondements des produits élaborés, spécifiques, comme les indicateurs de performance. Les étudiants inscrits et les données financières sont des statistiques. Quand ces données sont analysées et utilisées pour indiquer quelque chose, elles deviennent des indicateurs. Les statistiques en elles-mêmes sont insuffisantes pour formuler des jugements, elles doivent être analysées dans un contexte particulier ou par rapport à une norme particulière. C est cela qui les transforme en indicateurs. Certaines agences font la distinction entre indicateurs d intrants, indicateurs de processus et indicateurs de rendement. Elles partent ainsi de l hypothèse que l éducation ressemble au secteur de la production qui, au moyen de processus, transforme les intrants en produits et résultats. Les indicateurs d intrants se réfèrent aux ressources et aux éléments utilisés pour produire les résultats de l établissement (ressources financières, infrastructures, personnel enseignant, étudiants). Les indicateurs de processus se rapportent à la manière dont les ressources sont combinées et utilisées pour produire les résultats (gestion de l enseignement, de la recherche et des services). Les indicateurs de rendement décrivent les produits de l établissement (produits de l enseignement, de la recherche et des services). À cela on peut ajouter les indicateurs de fonctionnement et les indicateurs de résultats. Les indicateurs de résultats sont les effets du rendement (par exemple, le taux d emploi des diplômés de l établissement). Indicateurs de performance (IP) Les indicateurs utilisés pour évaluer l efficacité d un établissement ou d une filière sont souvent appelés «indicateurs de performance». Ces indicateurs de performance mesurent la performance de l établissement. L idée d évaluer la performance de l enseignement supérieur vient de l économie, dans le sens où la réussite d un système ou d un établissement est liée à sa productivité en termes d efficacité et d efficience. En conséquence, on trouvera des indicateurs d efficience et d efficacité lorsqu il est question d indicateurs de performance. Les indicateurs d efficacité concernent le degré de réalisation des objectifs visés, à savoir le taux d achèvement des études, le taux d emploi des diplômés et la satisfaction des étudiants. Les indicateurs d efficience concernent l utilisation optimale des moyens pour réaliser les objectifs visés, notamment, le ratio enseignant/étudiants, les coûts unitaires, le taux d utilisation des locaux, la durée d obtention du diplôme. Au Royaume-Uni, la publication du rapport Jaratt en 1985 par le Comité des présidents d universités et collèges (Committee of Vice-Chancellors and Principals) a suscité un vif intérêt dans le monde pour l utilisation des indicateurs dans l évaluation de l enseignement supérieur. On a identifié un grand nombre d indicateurs dont la plupart concernent la performance des établissements. En 1994, Bottril et Borden ont identifié 264 indicateurs et depuis, beaucoup d autres ont été ajoutés. L encadré 3 présente la liste d indicateurs du rapport Jarratt et ceux qui sont actuellement utilisés par le Conseil de financement de l enseignement supérieur anglais (Higher Education Funding Council of England). 16 Module 2 : Évaluer la qualité

61 Encadré 3. Indicateurs de performance proposés par le Rapport Jarratt (1985) [Royaume-Uni] Indicateurs de performance interne : part du marché représentée par les demandes d inscription dans les filières conduisant à la licence (par discipline) ; taux d obtention de diplômes et promotions de diplômés ; attraction des étudiants en master et en doctorat ; taux de réussite aux diplômes supérieurs et durée des études ; attraction des ressources pour la recherche ; qualité d enseignement. Indicateurs de performance externe : insertion professionnelle des diplômés (et des titulaires de doctorat) ; premier emploi des diplômés (et des titulaires de doctorat) ; réputation de l établissement estimée par des évaluations externes ; publications du personnel académique et citations ; brevets, inventions et consultances ; adhésions, prix, distinctions honorifiques des sociétés savantes. Indicateurs de performance opérationnelle : coût unitaire ; ratio enseignant/étudiants ; taille des groupes ; diversité de l offre de formation ; charge de travail des enseignants ; fonds documentaires disponibles ; équipement informatique. Indicateurs utilisés actuellement par le Conseil de financement de l enseignement supérieur pour l Angleterre (Higher Education Funding Council for England - HEFCE) Les indicateurs de performance, publiés chaque année, présentent des données comparatives sur les résultats des établissements d enseignement supérieur en matière d enseignement et de recherche, en particulier sur la façon dont les étudiants accèdent à l enseignement supérieur, effectuent leurs études, intègrent le marché du travail. Ces indicateurs couvrent tous les établissements du Royaume-Uni financés par l État. Les indicateurs de performance concernent les domaines suivants : accès à l enseignement supérieur : recrutement d étudiants issus des zones et des catégories sociales sous-représentées ; proportion d étudiants qui interrompent leurs études après la première année d études supérieures ; projection des taux d achèvement des études supérieures d après l évolution actuelle des taux de réussite par année d études ; proportion d étudiants diplômés qui ont un emploi ou qui continuent leurs études six mois après l obtention du diplôme ; résultats de la recherche. (Pour chacun des domaines mentionnés, des indicateurs de performance ont été identifiés ; on présente ici les indicateurs relatifs à un des domaines la recherche.) 17 Module 2 : Évaluer la qualité

62 Il y a quatre indicateurs pour la recherche : proportion de doctorats délivrés par rapport au coût du personnel académique ; proportion de doctorats délivrés par rapport au financement de la recherche alloué par le conseil de financement QR ; proportion de subventions pour la recherche et proportion de contrats obtenus par rapport au coût du personnel académique ; proportion de subventions pour la recherche et proportion de contrats obtenus par rapport au financement de la recherche alloué par le conseil de financement QR. (Note : La première évaluation formelle des indicateurs de performance a commencé. La publication «Review of Performance Indicators» peut être téléchargée sur le site web de HEFCE. Référence de publication du HEFCE : 2006/34) Source : site web de la HEFCE En France, la nouvelle loi organique relative aux lois de finances (LOLF) offre un autre exemple d utilisation des indicateurs de performance dans le domaine de l éducation et de l enseignement supérieur. «En France, la loi organique du 1 er août 2001 relative aux lois de finances (LOLF) institue de nouvelles règles d élaboration et d exécution du budget de l État. Elle introduit également une démarche de performance pour améliorer l efficacité des politiques publiques. L objectif est de faire passer l État d une logique de moyens à une logique de résultats. Jusquelà, on s'intéressait davantage au volume des moyens consacrés à une politique, qu'aux résultats concrets obtenus grâce à ces moyens. Désormais, les discussions budgétaires portent non seulement sur les moyens, mais aussi sur l'efficacité des dépenses, par rapport à des objectifs définis pour chaque programme. En s inscrivant dans une logique de pilotage par la performance ou en d autres termes, en cherchant à améliorer l'efficacité de la dépense publique en orientant la gestion vers des résultats prédéfinis l administration publique s engage à réformer sa culture, ses modes de fonctionnement et ses méthodes de travail. C est pourquoi de nouveaux outils ont été créés pour mesurer de façon objective la performance publique. À chaque programme, sont désormais associés des objectifs, définis au niveau national et déclinés en objectifs opérationnels pour les services et les opérateurs mettant en œuvre les politiques. Pour chaque objectif, des indicateurs concrets, pertinents et fiables, mesurent les résultats des actions menées. Afin de répondre aux attentes de tous citoyens, usagers et contribuables l administration publique s est fixée trois types d objectifs, répondant à des critères socioéconomiques, de qualité de service et d efficience de gestion.» Source : site web du MINEFI [France] 18 Module 2 : Évaluer la qualité

63 Encadré 4. Indicateurs de performance dans le cadre du programme «Formations supérieures et recherche universitaire» [France] Objectif 1 : Répondre aux besoins de qualification supérieure (du point de vue du citoyen et de l usager) Indicateur 1.1 : Pourcentage d une classe d âge titulaire d un diplôme de l enseignement supérieur. Indicateur 1.2 : Insertion professionnelle des jeunes diplômés trois ans après leur sortie de formation initiale. Indicateur 1.3 : Pourcentage de sortants diplômés selon le niveau LMD (licencemaîtrise-doctorat). Objectif 2 : Améliorer la réussite à tous les niveaux de formation (du point de vue du citoyen et du contribuable) Indicateur 2.1 : Part des inscrits dans les formations professionnelles courtes (STS et IUT) parmi les bacheliers technologiques et professionnels poursuivant leurs études dans l enseignement supérieur. Indicateur 2.2 : Jeunes sortis non diplômés de l enseignement supérieur. Indicateur 2.3 : Pourcentage de licences obtenues en 3 ans. Indicateur 2.4 : Taux de réussite en STS et DUT selon le bac d origine. Indicateur 2.5 : Pourcentage des «doctorants» allocataires soutenant leur thèse en trois ans au plus. Objectif 3 : Maîtriser l offre de formation (du point de vue du contribuable) Indicateur 3.1 : Pourcentage de sites secondaires dont le nombre d étudiants est inférieur à Indicateur 3.2 : Nombre de regroupement d écoles d ingénieurs. Indicateur 3.3 : Part des mentions à faibles effectifs (L et M). Objectif 4 : Faire de l enseignement supérieur un outil performant de formation tout au long de la vie (du point de vue du citoyen) Indicateur 4.1 : Pourcentage de diplômés en formation continue par rapport au nombre total de diplômés. Indicateur 4.2 : Nombre de validations des acquis de l expérience dans les universités et au CNAM. Objectif 5 : Accroître l attractivité internationale de l offre française de formation et son intégration dans le système européen et mondial (du point de vue du citoyen) Indicateur 5.1 : Mesure de la mobilité des étudiants (au sein de l OCDE). Indicateur 5.2 : Part des étudiants étrangers inscrits en Master et en Doctorat (non titulaires du baccalauréat en France). Indicateur 5.3 : Ratio de réussite comparé des étudiants étrangers par rapport aux étudiants français en licence, master. Indicateur 5.4 : Nombre de diplômés conjoints aux niveaux M et D. Objectif 6 : Optimiser l accès aux ressources documentaires pour la formation et la recherche (du point de vue de l usager) Indicateur 6.1 : Mesure de la disponibilité hebdomadaire des places de bibliothèque. 19 Module 2 : Évaluer la qualité

64 Indicateur 6.2 : Nombre de documents communiqués sur place, prêtés à domicile et téléchargés et taux de demandes satisfaites. Objectif 7 : Produire des connaissances scientifiques au meilleur niveau international (du point de vue du citoyen) Indicateur 7.1 : Production scientifique des opérateurs du programme. Indicateur 7.2 : Reconnaissance scientifique des opérateurs du programme. Objectif 8 : Développer le dynamisme et la réactivité de la recherche universitaire (du point de vue du citoyen) Indicateur 8.1 : Réactivité scientifique thématique des opérateurs du programme. Objectif 9 : Contribuer à l amélioration de la compétitivité de l économie nationale par le transfert et la valorisation des résultats de la recherche (du point de vue du citoyen et du contribuable) Indicateur 9.1 : Part des opérateurs du programme dans les brevets déposés. Indicateur 9.2 : Part des ressources apportées aux opérateurs par les redevances sur titre de propriété intellectuelle. Indicateur 9.3 : Part des contrats de recherche passés avec les entreprises dans les ressources des opérateurs. Objectif 10 : Concourir au développement de l attractivité internationale de la recherche française (du point de vue du citoyen) Indicateur 10.1 : Attractivité des opérateurs du programme. Objectif 11 : Participer à la construction de l espace européen de la recherche (du point de vue du citoyen) Indicateur 11.1 : Taux de participation des opérateurs du programme dans les projets financés par les programmes cadres de R et D de l Union européenne. Indicateur 11.2 : Taux de coordination des opérateurs du programme dans les projets financés par les programmes cadres de R et D de l UE. Indicateur 11.3 : Part des articles co-publiés avec un pays membre de l UE dans les articles des opérateurs du programme. Objectif 12 : Optimiser la gestion des établissements de l enseignement supérieur et l évolution du patrimoine immobilier (du point de vue de l usager et du contribuable) Indicateur 12.1 : Pourcentage d établissements disposant d un dispositif d autoévaluation ou d assurance qualité. Indicateur 12.2 : Part des ressources propres liées à des prestations de services sur les recettes de fonctionnement hors droits d inscription. Indicateur 12.3 : Taux d occupation des locaux. Source : site web de la Performance publique Les indicateurs de performance sont utilisés pour évaluer la performance du système, de l établissement ou de la structure organisationnelle. Ils peuvent servir à plusieurs types d opérations : contrôle, soutien, décision, comparaison, évaluation et amélioration. Les indicateurs de performance aident à identifier les problèmes. Cependant, on ne peut pas les utiliser pour établir des rapports de causalité. Le HEFCE utilise les indicateurs de performance pour les décisions de financement. Un établissement peut les utiliser pour comparer ses performances avec celles de ses homologues. Une agence d assurance qualité dont la priorité est l amélioration, peut vouloir attirer l attention de l établissement ou de l État sur les domaines qui 20 Module 2 : Évaluer la qualité

65 nécessitent des améliorations supplémentaires. L agence d assurance qualité peut utiliser une combinaison d approches, en fonction de l usage des indicateurs de performance. L utilisation des indicateurs de performance pour l assurance qualité est complexe, on en parlera dans la dernière partie de ce module. Benchmarks Un benchmark est un point de référence utilisé pour faire des comparaisons. À l origine, le benchmark était une marque faite par le contrôleur de travaux sur un mur, un pilier ou un édifice pour mesurer la hauteur. Actuellement, le terme est utilisé dans toutes les activités qui induisent des comparaisons. Le glossaire de l INQAAHE donne la définition suivante : «Un benchmark est un point de référence par rapport auquel on mesure quelque chose.» D après la définition la plus simple, le benchmarking est une technique qui consiste à apprendre en faisant des comparaisons. Pendant des siècles, on a fait des comparaisons de manière informelle. Actuellement, le benchmarking est une méthode de comparaison utilisée pour susciter des idées d amélioration, et en particulier d amélioration majeure. La Société américaine de qualité définit le benchmarking comme un processus d amélioration suivant lequel un organisme est capable de mesurer sa performance par rapport à celle des meilleurs organismes de sa catégorie, de déterminer comment ces derniers ont réussi à atteindre ces niveaux de performance et d utiliser cette information pour améliorer sa propre performance. Le glossaire de l INQAAHE définit le benchmarking comme «le processus qui permet la comparaison au cours du temps des intrants, des processus et des résultats entre des établissements (ou leurs composantes) ou au sein d un même établissement». Il existe plusieurs moyens d établir un benchmarking en fonction des objectifs. Pour comprendre les différences, on doit tenir compte des options existantes en matière de benchmarking et de méthodologie. Le Commonwealth Higher Education Management Service (1998) dans sa publication «Benchmarking dans l enseignement supérieur : une synthèse internationale», disponible sur le site établit le classement suivant : benchmarks internes pour comparer les unités au sein d un système, sans avoir obligatoirement recours à un standard externe pour la comparaison des résultats ; benchmarks externes concurrentiels pour comparer la performance des secteurs clés d un établissement à partir d informations sur les établissements concurrents ; benchmarks externes de coopération pour comparer un établissement avec un groupe d établissements qui ne sont pas des concurrents immédiats ; benchmarks externes d excellence pour rechercher des pratiques nouvelles et innovantes, quelle que soit leur origine, dans diverses industries. Il existe beaucoup d autres types de benchmarking dans la littérature spécialisée et des méthodologies pour développer des benchmarks. L approche, par exemple, «standards de type idéal» ou («standards d or») crée un modèle basé sur des pratiques idéales ; on l utilise pour des établissements adaptés à ce modèle. Le benchmarking vertical est utilisé pour quantifier les coûts, les charges de travail, la productivité et la performance d un domaine fonctionnel défini. L activité 1 vous familiarisera davantage avec le benchmarking. 21 Module 2 : Évaluer la qualité

66 L exposé précédent montre que le benchmarking peut prendre plusieurs formes, soit quantitatives comme les ratios, soit qualitatives comme les pratiques réussies. Ces benchmarks peuvent être formulés comme «pratiques», «énoncés», ou «précisions des résultats», mais toutes ces formulations se recouvrent Dans la discussion des termes de base, nous avons souligné que ces termes, dans la réalité, ne sont pas toujours utilisés d une manière unanime. Pour cela, dans le cadre du projet Tempus AQI-UMED qui a débuté en 2010 et a pour objectif la mise en place d une démarche d évaluation interne dans dix universités algériennes, marocaines et tunisiennes, un effort de clarification a été fait dans le but que les partenaires européens et maghrébins s entendent sur le vocabulaire méthodologique et notamment sur les éléments constitutifs d un «référentiel». Dans le cadre de ce projet, il est proposé que les» références» qui le composent soient assorties de «règles d interprétation» et de «critères», qui ont pour objectif d aider un établissement à comprendre les références et à apprécier comment il se situe par rapport à ces références, sachant qu il devra en fournir la «preuve». Dans l encadré suivant, qui reprend une partie du document d AQI-UMED, on trouve une définition de tous ces mots. Le projet porte sur l assurance qualité interne, mais la logique de construction du référentiel est la même que pour l assurance qualité externe. Encadré 5. Terminologie liée au référentiel utilisé dans le projet TEMPUS AQI-UMED Référentiel qualité C est la définition explicite de la qualité adoptée par l institution, l ensemble de valeurs et/ou d objectifs qu elle se donne dans le cadre de ses missions pour répondre aux attentes légitimes de ses usagers et partenaires ainsi que de ses personnels. Le référentiel qualité peut se décliner en un ensemble de références et critères accompagné de règles d interprétation. Référence (en anglais «Standard») Une référence traduit en action une valeur que se donne l institution. Il s agit donc d identifier les actions concrètes qui vont concourir au meilleur niveau possible de réalisation de cette valeur. Règles d interprétation Il s agit de traduire une référence au niveau opérationnel en exprimant les pourtours de cette référence et en tenant compte des spécificités de l institution. Critères Un critère constitue un élément qualitatif ou quantitatif qui permet d apprécier le niveau de mise en œuvre d une référence. Preuves La preuve est l élément qui permet de confirmer la réalisation effective d un critère et son niveau éventuel de réalisation et de performance. 22 Module 2 : Évaluer la qualité

67 Activité 1 Regardez les sites web de l Organe d accréditation et d assurance qualité des hautes écoles suisses ( du Comité national d évaluation des universités ( du NAAC ( du HEQC ( de la QAA ( de la CICA ( et analysez comment les agences utilisent les termes «indicateur», «critère» et «benchmark». Indiquez les différents termes utilisés dans votre pays en précisant le sens qu on leur donne. Quelles ressemblances et quelles différences observez-vous avec ceux présentés? 23 Module 2 : Évaluer la qualité

68 Approches de l assurance qualité Pour pouvoir évaluer ou accréditer des établissements ou des filières d enseignement supérieur, ou encore procéder à l audit de leur système qualité, les agences doivent adopter une définition de la qualité et la décliner dans un référentiel sur la base duquel les établissements réaliseront leur autoévaluation, les groupes de pairs effectueront l évaluation externe, l agence enfin rendra ses conclusions ou ses décisions. En fonction des contextes dans lesquels elles sont appelées à opérer et selon les finalités qui sont les leurs (certaines mettant l accent plutôt sur la redevabilité, d autres sur l amélioration continue des établissements et des formations, d autres encore sur la délivrance d une reconnaissance ou d un label), les agences d assurance qualité ont d abord à définir leur approche de la qualité, en accord avec les principaux intéressés.. Dans les pages qui suivent, on présentera principalement deux approches de la qualité qui sont couramment adoptées : l une construite sur des standards, l autre fondée sur l adéquation des établissements (ou des formations) à leurs objectifs. 1. L approche fondée sur les standards et l approche par l adéquation aux objectifs Comme il sera de nouveau évoqué dans le module 3, certaines agences construisent leur approche d assurance qualité en prenant comme point de départ les objectifs de l établissement ou de la filière. D autres agences, en revanche, définissent la qualité par référence à un ensemble de standards, à des spécifications et à des attentes définies en externe.. La qualité fondée sur des standards prédéfinis Suivant cette approche, les établissements doivent démontrer leur qualité sur la base d un ensemble de références ou standards prédéfinis, qui ne découlent pas de leurs finalités propres ni de leurs spécificités. Ces références peuvent être ellesmêmes quantitatives ou qualitatives, et s appuyer sur des critères quantitatifs ou qualitatifs. Citons deux exemples : respecter un certain ratio enseignant/étudiants (critère quantitatif) ou disposer d un corps enseignant efficace, compétent ou qualifié (critère qualitatif). Au vu de ces deux exemples, il est clair que des questions apparemment quantitatives peuvent avoir un fondement qualitatif et inversement, plusieurs éléments qualitatifs peuvent être exprimés en termes quantitatifs. Ainsi, le ratio enseignant/étudiants est fondé sur l hypothèse qu un ratio particulier est nécessaire pour assurer une formation de bonne qualité. Quant à l existence d un corps enseignant compétent et qualifié, elle peut être démontrée de manière qualitative mais aussi s appuyer sur des éléments chiffrés comme le nombre d enseignants titulaires d un doctorat ou le nombre de publications. L assurance qualité a beaucoup évolué : auparavant, les critères quantitatifs suffisaient pour montrer que les standards étaient atteints ; actuellement, on a incorporé un plus grand nombre de critères qualitatifs et on encourage les établissements à se construire une identité propre et à l entretenir. 24 Module 2 : Évaluer la qualité

69 Les standards peuvent être également des énoncés qualitatifs, comme dans le cas des agences d accréditation régionales aux États-Unis. Certaines agences établissent des standards basés sur les bonnes pratiques des établissements ou des filières de qualité. D autres demandent aux établissements de remplir des spécifications détaillées, surtout quantitatives. Les standards établis par le Conseil panindien pour l enseignement technique (All India Council for Technical Education AICTE) sont eux des standards quantitatifs. L AICTE utilise un référentiel pour la création de nouveaux établissements avec des filières qui préparent à la licence en sciences de l ingénieur ou dans des secteurs connexes. Les standards conçus par l AICTE visent à contrôler si l établissement a le potentiel et les infrastructures nécessaires pour ouvrir des filières de qualité. Pour certains domaines, l AICTE a défini des standards quantitatifs, notamment, la capacité d accueil, la surface non bâtie et la surface bâtie, les ressources financières, la taille du corps enseignant et les ressources documentaires. Dans l encadré 7, ci-après, figurent les données concernant la Bibliothèque centrale. Exemples de standards quantitatifs et qualitatifs Les deux encadrés suivants présentent des exemples de standards concernant la documentation : dans le premier cas, en Inde, il s agit des ressources exigées pour la bibliothèque centrale lors de la création d une école d ingénieur (standards quantitatifs) ; dans le second cas, en Espagne, les critères portent non seulement sur les ressources, mais aussi sur les politiques et les résultats de la bibliothèque universitaire (critères quantitatifs et qualitatifs). Encadré 6. Bibliothèque centrale Les standards quantitatifs demandés pour la création d une école d ingénieurs ou de technologie (AICTE) Pour un flux d entrée annuel de 240 étudiants, la bibliothèque centrale doit avoir une surface couverte de 400 m². Pour une école avec trois sections, la bibliothèque doit disposer, à l ouverture, de 4000 volumes au minimum, distribués comme suit : I. Chaque section aura 250 titres, chacun en quatre exemplaires ; II. Dans les domaines des mathématiques, lettres et sciences humaines, sciences etc., la bibliothèque doit avoir un total de 1000 volumes. La bibliothèque doit avoir pour chaque filière de formation, 12 revues technologiques, 6 revues indiennes et 6 revues internationales. Cela est impératif pour les écoles qui offrent des cursus post-licence ; pour les écoles qui préparent aux diplômes pré-licence, le nombre de revues internationales est recommandé, mais non obligatoire. En conséquence, les normes concernant le stock initial de livres, les achats annuels et le nombre de souscriptions annuelles aux revues, sont établies comme suit : 25 Module 2 : Évaluer la qualité

70 No. Article Minimum 1. Stock initial de livres pour les trois sections de l école a. Chaque section de formation d ingénieurs (A) b. Mathématiques, Physique appliquée, Chimie appliquée, Lettres et sciences humaines, Sciences sociales, Gestion (B) 3. Achats annuels de livres (moyenne) a. Pour (A), 1 titre par étudiant admis à la section b. Pour (B), 0.2 titre par étudiant admis annuellement 4. Nombre de revues technologiques a. Pour (A), 12 (6 revues nationales + 6 internationales) b. Pour (B), 12 (6 revues nationales + 6 internationales 1000 (pour chaque section Source : site web de l AICTE Dans l encadré suivant, on présente un autre exemple de standards quantitatifs utilisés pour évaluer la qualité d une bibliothèque universitaire. Ces standards ont été établis par l Agence nationale d évaluation de la qualité et d accréditation (Agencia Nacional de Evaluación de la Calidad y Acreditación - ANECA) en Espagne. Encadré 7. Manuel de procédure pour le rapport concernant l obtention d un certificat de qualité par les services d une bibliothèque universitaire ANECA [Espagne] Normes de procédure interne pour le comité d évaluation La notation effectuée pour le Comité national d évaluation tiendra compte de la pondération suivante des critères mentionnés dans la note du ministère de l Éducation et de la Culture. De même, l échelle de notation de chaque critère sera comprise entre 10 et 1, 10 étant considéré comme une note excellente et 1 comme une note insuffisante. Chaque critère utilisé requiert une liste des données présentée en annexe du manuel. Critères d évaluation Pondération par rapport au total 1. Éléments à partir des données 1.1 Ressources : financières, bibliographiques, capacité physique, etc. 1.2 Résultats : circulation, prêt interbibliothèques, formation des usagers, utilisation des ressources électroniques, etc. 10% 15% 1.3 Degré de satisfaction des usagers 10% 2. Éléments en relation avec les processus 2.1 Degré d intégration de la bibliothèque dans l établissement 10% 2.2 Niveau de relation de la bibliothèque avec ses usagers : bibliothèque/enseignants ; bibliothèque/recherche 2.3 Gestion, organisation et processus 10% 5% 26 Module 2 : Évaluer la qualité

71 2.4 Politique de personnel : qualification, formation et promotion 10% 3. Éléments en relation avec l amélioration consécutive à l évaluation 3.1 Critères se référant aux plans d amélioration et de développement 20% 3.2 Critères se référant à la participation active de la bibliothèque 10% à des projets d innovation et de coopération Source : site web de l ANECA B. Standards qualitatifs Les référentiels de la Commission des titres d Ingénieurs (CIT) et de l Association des écoles et des collèges de la Nouvelle-Angleterre, offrent des exemples de standards qualitatifs. Encadré 8. Commission des titres d ingénieur (CTI) [France] Création d'écoles ou de formations d'ingénieurs à dominante "formation initiale sous statut d'étudiant" 1. Présentation générale du projet 1.1 Justification du projet Argumentaire pour la création d'une nouvelle école et/ou d'une formation d'ingénieurs Contexte régional et national: la spécialité est-elle mal couverte au plan national? Le projet s'inscrit-il dans un réseau existant (national, international)? Synergies possibles? Originalités majeures du projet (spécialité, recrutement, projet pédagogique, relations internationales)? Flux envisagés: contexte économique, benchmark des emplois, avis des branches professionnelles, soutiens industriels? 1.2 Les structures Structure juridique et statut de l'etablissement, degré d'autonomie. Organes de direction et d'administration. Directeur et équipe de direction: titres, expérience de la formation d'ingénieurs. Modalités d'association des éventuels partenaires. 2. Titre proposé À propos du titre d'ingénieur diplômé de l'établissement à créer, la Commission des titres d'ingénieur recommande d'utiliser quatre champs pour définir le meilleur titre possible: 1er champ: générique de l'institution : école, institut ou centre ; 2e champ: un ou deux qualificatifs parmi ceux énumérés ci-après: national, supérieur, universitaire, polytechnique, ou tel autre qualificatif (ou nom) évocateur ; 3e champ: un secteur, ou une spécialité, reconnu : électronique, mécanique, chimie, etc. (l'absence de renseignements dans ce champ évoque une formation généraliste) ; 27 Module 2 : Évaluer la qualité

72 4e champ: indicateur géographique: ville, département ou région (les termes «international», «européen», etc. sont à prohiber). 3. Le projet pédagogique 3.1 Le programme des études 3.2 Les élèves et étudiants 3.3 Évaluation 4. Ressources humaines et environnement scientifique de la formation 4.1 Le corps enseignant 4.2 L'environnement scientifique et technique de la formation 5. Moyens, finances, locaux 6. Rapport à la Commission des titres d'ingénieur, avis et recommandations Source : site web de la CTI Encadré 9. Standards pour l accréditation Commission des établissements d enseignement supérieur, Association des écoles et des collèges de la Nouvelle-Angleterre (Commission on Institutions of Higher Education, New England Association of Schools and Colleges) Standard n 1: Mission et objectifs : la mission et les objectifs de l établissement correspondent à ceux de l enseignement supérieur, ils sont cohérents avec la réglementation de celui-ci ou avec celle des autres autorités et sont mis en place de manière conforme aux standards de la Commission des établissements d enseignement supérieur. La mission de l établissement oriente ses activités et constitue la base pour l évaluation et l amélioration de son efficacité. Standard n 2: Planification et évaluation : l établissement met en œuvre la planification et l évaluation qui correspondent à ses besoins pour remplir sa mission et ses objectifs et améliorer ses réalisations. Il identifie les priorités de son plan et de l évaluation, et les suit activement. Standard n 3: Organisation et gouvernance : l établissement a un système de gouvernance qui facilite la réalisation de sa mission, de ses objectifs et favorise l efficacité et l intégrité institutionnelles. À travers son organisation et la structure de sa gouvernance, l établissement crée et soutient un environnement propice à l enseignement, aux services, à l érudition, à la recherche et aux activités créatrices. Il assure le soutien nécessaire au bon fonctionnement de chacune de ses composantes. Standard n 4 Programmes de formation: Standard n 5: Corps enseignant: Standard n 6: Etudiants: Standard n 7: Bibliothèque et autres sources d information: Standard n 8: Ressources matérielles et technologiques: Standard n 9: Ressources financières: Standard n 10: Communication au public: Standard n 11: Intégrité:... Source: site web de la NEASC 28 Module 2 : Évaluer la qualité

73 Suivant l approche fondée sur les standards, la qualité dépend de la conformité aux standards externes, alors que l approche fondée sur «l adéquation aux objectifs» présentée ci-dessous, part des objectifs de l établissement. La conception de la qualité fondée sur l adéquation aux objectifs (fitness for purpose) Selon cette approche, un établissement (ou une filière) est «adéquat aux objectifs» si: 1. on a mis en place des procédures adaptées aux objectifs visés ; 2. on a des preuves que les objectifs visés par ces procédures ont été atteints. Un établissement qui réussit à atteindre les objectifs qu il s est fixé est considéré comme étant un établissement de qualité. Les objectifs de l établissement ou de la filière sont l angle sous lequel l agence d assurance qualité analyse sa qualité. Les missions de l établissement ou de la filière peuvent être imposées par l État ou par d autres acteurs ces missions sont appréciées au regard de standards externes. Mais l approche «adéquation aux objectifs» concerne les objectifs fixés par l établissement : après que l établissement a intégré les missions définies par l État (ou d autres acteurs) dans ses objectifs, c est au regard de ces objectifs qu il est alors évalué. L approche fondée sur l «adéquation aux objectifs» convient d une part aux systèmes qui garantissent le respect des standards de base par d autres dispositifs, et, d autre part, aux systèmes avec de bons mécanismes d autorégulation qui favorisent la diversité institutionnelle au lieu de la conformité aux standards, les établissements d enseignement supérieur bénéficiant d une grande autonomie. L Agence pour la qualité des universités australiennes (Australian Universities Quality Agency AUQA) est précise dans son approche «adéquation aux objectifs» ; elle n impose pas aux établissements audités une grille de standards prédéterminés, mais elle prend les objectifs de l établissement comme point de départ de l audit. Cette approche reconnaît l autonomie de l établissement audité pour fixer ses objectifs et mettre en place les processus nécessaires pour les atteindre. La tâche essentielle des équipes d audit de l AUQA est d apprécier la performance de l établissement en matière de réalisation de ses objectifs. Dans un même pays, les agences d assurance qualité peuvent avoir, en fonction de leur mission, une conception différente de la qualité. La conception de la qualité des organismes professionnels, par exemple, qui évaluent les filières de formation professionnelles, repose sur la compétence des diplômés à exercer la profession. Dans le même pays, l agence responsable de la création de nouveaux établissements peut avoir des attentes différentes. Le plus souvent, les agences d assurance qualité utilisent une combinaison de ces approches adaptée au contexte où elles opèrent et établissent leurs pratiques d assurance qualité autour de cette combinaison. La position de la HEQC en Afrique du Sud en est un exemple, comme il est présenté dans l encadré Module 2 : Évaluer la qualité

74 Encadré 10. Équilibrer les différentes approches de la qualité Comité pour la qualité de l enseignement supérieur (the Higher Education Quality Committee HEQC) [Afrique du Sud] Afin de faciliter une approche coordonnée du système d assurance qualité et du pilotage du financement et de la planification, le HEQC utilise les définitions suivantes de la qualité: «Adéquation aux objectifs», en relation avec les missions définies dans le cadre national qui englobe les principes de différenciation et de diversité. Rendement, en relation avec tous les objectifs de l enseignement supérieur exposés dans le Livre Blanc. L efficacité et l efficience de l offre de formation seront jugées, mais elles ne se limiteront pas à la satisfaction des demandes du marché ni au recouvrement des coûts. Transformation, dans le sens du développement des capacités d enrichissement personnel des apprenants, du développement économique et social et de la croissance de l emploi. (HEQC, 2001: 14). Source: Naidoo et Singh, 2005 L approche «adéquation aux objectifs» conditionne l approche générale de l agence d assurance qualité. L audit, par exemple, s appuie davantage sur l «adéquation aux objectifs», alors que l accréditation s appuie sur l approche fondée sur les standards. L approche «adéquation aux objectifs» a été fortement soutenue au motif que les établissements et les filières de formation ne peuvent pas être jugés d après les mêmes standards, puisqu ils s adressent à des publics différents au sein de systèmes d enseignement supérieur diversifiés. Ainsi, une université connue, située dans une grande ville et ayant un secteur de recherche développé ne peut être jugée selon les mêmes standards qu un établissement dont l activité principale est la formation et qui recrute ses étudiants parmi les catégories sociales défavorisées. Mais l approche «adéquation aux objectifs» a été critiquée aussi, certains considérant qu elle négligeait l «adéquation des objectifs». Quand on évalue la performance d un établissement par rapport à ses objectifs, on peut constater qu ils ont été remplis, mais sans que rien ne soit dit sur leur valeur scientifique or ils peuvent avoir été fixés, délibérément, à un faible niveau. Cela a donné lieu à des critiques sur «la définition des objectifs». Toutefois, il est difficile de séparer les deux définitions. En pratique, il est impossible d avoir une approche de la qualité qui soit fondée purement et simplement sur l «adéquation aux objectifs». Certains éléments de ce qui est «acceptable et nécessaire», qui font partie de la qualité, se retrouvent dans toutes les approches. Il y a des impératifs concernant le développement national qui ne sont pas négociables et les établissements d enseignement supérieur doivent en tenir compte dans la définition de leurs missions. C est le moyen de contrôler le bienfondé des objectifs, même si l agence d assurance qualité choisit l approche «adéquation aux objectifs». L université de Western Sydney, dans son cadre d assurance qualité, définit la qualité comme l «adéquation aux objectifs moraux», reconnaissant par là que les objectifs doivent être conformes aux finalités générales de l enseignement supérieur. L Agence d assurance qualité australienne, l AUQA, suit l approche de l «adéquation aux objectifs» pour son plan d audit, mais tous les établissements 30 Module 2 : Évaluer la qualité

75 d enseignement supérieur australiens sont soumis aux règles d un vaste système d assurance qualité qui comprend les acteurs suivants (en plus de l AUQA): le gouvernement fédéral, par l intermédiaire du ministère de l Emploi, de la Science et de la Formation (DEST) ; le Conseil ministériel pour l Emploi, l Éducation, la Formation et la Jeunesse (MCEETYA) ; le Cadre australien des qualifications (AQF); les Protocoles nationaux, élaborés par le MCEETYA et appliqués par tous les États et territoires ; le Comité des vice-chanceliers d Australie (AVCC) Le bien-fondé des objectifs est donc bien contrôlé par les dispositifs en place, ce qui permet à l AUQA de se concentrer sur l adéquation aux objectifs. Par ailleurs, tous les établissements d enseignement supérieur fonctionnent selon la même réglementation et obtiennent l autorisation de fonctionnement après avoir accepté de suivre certaines règles et codes de déontologie. Dans la mesure où ces règles sont acceptées, elles font partie des politiques et, implicitement, des objectifs des établissements. Ainsi, l AUQA peut juger si un établissement a adopté ces règles et examiner la réalisation de ses objectifs à cet égard. Ce point est présenté plus en détail dans le manuel d audit de l AUQA ( L agence d assurance qualité chilienne utilise une définition de la qualité qui combine les deux aspects, mettant en exergue l obligation qu ont les établissements d enseignement supérieur d être responsables de leur qualité. L encadré 12 présente le cas chilien sur les études d architecture. Encadré 11. La position de l agence d assurance qualité du Chili (CNAP) sur les filières d architecture La qualité est définie comme la combinaison de deux principaux éléments : Cohérence externe: il s agit de la manière dont la filière ou l établissement adapte son fonctionnement aux requis établis par son groupe de référence, académique, disciplinaire ou professionnel ; la communauté universitaire, par exemple, définit ce qu on doit attendre de l université, le corps des architectes définit ce qu on doit attendre des écoles ou des filières d architecture. Il est important que ces requis soient au cœur des compétences ou des fonctions à assumer. Cohérence interne: il s agit de la manière dont la filière ou l établissement s adapte aux priorités qui découlent de ses missions et objectifs. Ainsi, même si tous les architectes doivent avoir les mêmes compétences, les architectes de l université A seront différents de ceux de l université B, parce qu ils adhèrent à d autres priorités. Dans le cas des filières, cela se traduit dans le profil des diplômes, qui exprime clairement les acquis des étudiants sortants et les engagements de l établissement à l égard des étudiants recrutés. Source: CNAP, sans date. 31 Module 2 : Évaluer la qualité

76 2. Standards minimaux ou standards d excellence Les agences d assurance qualité peuvent utiliser des standards minimaux ou des standards d excellence (ou de bonne pratique). Le plus souvent, on utilise des standards minimaux pour l autorisation de création ou d ouverture d un établissement ou d une filière, et ensuite pour son renouvellement périodique. Habituellement, les standards minimaux incluent les intrants en termes d étudiants, de personnels, d infrastructures, d équipements et de finances. On prend aussi en compte les processus, tels que les systèmes de gouvernance et de gestion, et les activités de recherche jugées nécessaires. En règle générale, les systèmes d assurance qualité fondés sur les standards minimaux visent à garantir la conformité aux règles et la reddition des comptes. Les systèmes d assurance qualité fondés sur l excellence partent de l hypothèse que les standards minimaux sont contrôlés par d autres dispositifs ou que la qualité du système d enseignement supérieur est relativement égale. C est le cas, par exemple, en Europe de l Ouest où l État a depuis longtemps assumé la responsabilité du financement d un système d enseignement supérieur majoritairement public. Les standards d excellence ou les bonnes pratiques prédominent également dans les pays dont les universités bénéficient, depuis longtemps, d une large autonomie, où la conformité aux règles, en particulier au niveau des filières de formation, semble contraire à la conception locale de l autonomie. L assurance qualité fondée sur les standards d excellence ou de bonne pratique, semble être le mécanisme le plus pertinent pour l amélioration de la qualité, car elle fournit une grille de références que les établissements doivent s efforcer d adopter. En outre, il est plus facile de les mettre en place, parce qu il s agit souvent d une démarche volontaire qui peut être impulsée par les établissements les meilleurs. Le problème est que cette approche n est pas très efficace pour éliminer les niveaux de qualité inacceptables ; elle est donc d une faible efficacité pour traiter les filières de qualité faible, voire inacceptable, proposées par exemple par des établissements à but lucratif. Dans un contexte de diversification et de privatisation de l enseignement supérieur, un grand nombre de pays en développement se trouvent confrontés à des prestataires de formation de qualité médiocre, sans système d assurance qualité pour négocier avec eux. La mise en place des standards minimaux constitue donc la priorité. À cet égard, le Conseil africain et malgache pour l enseignement supérieur (CAMES), lors de sa XXIIème session ministérielle, a évoqué la question de l enseignement supérieur privé pour souligner que les établissements privés d enseignement supérieur sont un moyen d adaptation de l enseignement supérieur à l environnement économique et social des États ; tirer des enseignements du fonctionnement de ces établissements ; et formuler quelques considérations politiques parmi lesquelles figure la réflexion concernant la régulation à l endroit du secteur privé universitaire. 32 Module 2 : Évaluer la qualité

77 Dans l encadré suivant, sont présentés les mécanismes de régulation et d assurance qualité coordonnés, qui sont préconisés par le CAMES dans le domaine de l enseignement supérieur privé. Encadré 12. Création, autorisation d ouverture, agrément et homologation des institutions privées d enseignement supérieur (CAMES) Quel que soit le type d établissement (institutions privées d enseignement supérieur non universitaires ou institutions privées d enseignement supérieur universitaires), l autorité compétente doit dresser un véritable cahier des charges établissant des procédures et des normes auxquelles il faudra assujettir ces institutions. Des chartes définissant l ensemble des politiques, des procédures et des attitudes nécessaires pour maintenir et rehausser la qualité sont utiles dans la perspective d une harmonisation à l échelle des pays membres. Dans cette perspective et dans le souci d harmonisation entre les États membres, en dehors des politiques qui incombent à chacun des États, le cadre législatif doit comprendre des mécanismes d habilitation, de suivi et d évaluation. En particulier, quatre étapes doivent être privilégiées: la création, l autorisation d ouverture, l agrément et l homologation. La création est l acte par lequel les autorités constatent que l idée ou le projet est faisable. Une fois que le projet prend corps sur le terrain, le promoteur demande une autorisation d ouverture pour fonctionner. Ce n est que plus tard que les établissements peuvent, à certaines conditions, demander l agrément ou l homologation. À chacun de ces régimes sont attachés des droits et des devoirs. L autorisation de fonctionnement des institutions privées de l enseignement supérieur dans les pays membres du CAMES relève dans certains pays de commissions nationales d évaluation chargées de l accréditation ; dans d autres, elle relève des directions nationales de l enseignement supérieur. Pour une régulation rigoureuse, il convient d examiner la possibilité de créer un organisme de régulation autonome, chargé de la mise en œuvre de la politique de régulation et de contrôle de l enseignement supérieur privé. Cet organisme devrait, entre autres, régler des problèmes qui se posent dans le cadre de l équivalence des programmes et des diplômes. Il s agit notamment de la structure des programmes, de la comptabilisation des unités de valeur et du système de contrôle des aptitudes et des connaissances. La collaboration entre institutions publiques et institutions privées de l enseignement supérieur pourrait être structurée au niveau national et au niveau CAMES au moyen des comités directeurs. Ces comités au niveau national et au niveau du CAMES seront aidés par un groupe de travail composé pour l essentiel, mais pas exclusivement, de membres éminents des milieux de l enseignement supérieur. Il est important de faire fonctionner les institutions privées de l enseignement supérieur dans un environnement concurrentiel stable et protégé. Pour y parvenir, les États pourraient atténuer tout intérêt commercial porté à l enseignement supérieur en exigeant des promoteurs des infrastructures, équipements et personnel nécessaires à la constitution d un campus traditionnel. Source: Amoussouga Gero, 2005 Le cas du Chili en 1990, décrit dans l encadré 13, est un autre exemple de réglementation pour assurer la qualité. 33 Module 2 : Évaluer la qualité

78 Encadré 13. Autorisation de nouveaux établissements privés au Chili L objectif: S assurer de la conformité des projets d ouverture de nouveaux établissements avec les requis fondamentaux de la qualité, notamment, les ressources nécessaires pour le fonctionnement et l avancement effectif de la mise en place du projet initial au cours des premières années. À la fin de la procédure, les établissements peuvent être certifiés autonomes ou, au contraire, perdre la reconnaissance juridique qui leur permet de délivrer des diplômes reconnus, et être alors obligés de fermer. L agence: Le Conseil supérieur de l éducation (Consejo Superior de Educación CSE) créé par une loi organique en 1990, est composé de neuf membres issus des établissements d enseignement supérieur et d autres organismes sociaux. Il est présidé par le ministre de l Éducation et bénéficie d un cofinancement dont une partie vient du budget national et une autre des frais payés par les établissements qui demandent l autorisation d ouverture. Il dispose d un personnel technique et travaille surtout avec des consultants et des évaluateurs recrutés pour différents besoins particuliers. La procédure: Le CSE évalue tous les projets d établissements privés nouveaux. Pour chaque projet, il peut donner son accord ou formuler des réserves. Dans ce cas, le projet est renvoyé à l établissement qui dispose de deux mois pour le modifier avant de le soumettre à nouveau. Le CSE rend alors sa décision finale de l accepter ou de le rejeter. S il le rejette, l établissement ne peut pas ouvrir ; s il est accepté, il peut ouvrir, étant légalement reconnu, et commencer à fonctionner sous le contrôle du CSE. Pendant les six premières années de son fonctionnement, l établissement doit soumettre, chaque année, un ensemble de données, y compris sur les aspects académiques et financiers. Les étudiants peuvent être contrôlés par des examinateurs externes envoyés par le CSE. L établissement reçoit, au moins deux fois, la visite d un groupe d évaluateurs externes qui analyse la mise en place du projet et le degré de réalisation des objectifs. Pendant cette période, des filières nouvelles et des diplômes peuvent recevoir l approbation du CSE. Chaque année, le CSE envoie à l établissement une lettre où il expose ses forces et ses faiblesses observées et les mesures qu il doit prendre. À la fin de la sixième année, on fait une évaluation globale ; si l on estime que l établissement a évolué correctement, le CSE certifie son autonomie. Sinon, le contrôle peut être prolongé de cinq ans, à l issue desquels l établissement est certifié autonome ou fermé. Le CSE peut fermer un établissement pendant la période de contrôle, s il considère qu il ne respecte pas ses recommandations. Source : Lemaître, 2005 Pour compléter l approche ci-dessus, on doit ajouter que dans le même pays d autres initiatives visant l amélioration des établissements ne suivent pas l approche réglementaire. Parfois, la même agence peut avoir deux approches différentes, une pour assurer les standards minimaux et l autre, les standards d excellence. Suivant l état de développement de l enseignement supérieur, les agences d assurance qualité peuvent établir des standards d excellence. Dès lors, le cadre de référence pour l évaluation n est plus la conformité aux standards minimaux mais l «excellence». La Middle States Commission on Higher Education aux États- Unis, qualifie ses standards d accréditation de «caractéristiques d excellence de l enseignement supérieur». 34 Module 2 : Évaluer la qualité

79 Cet exposé peut donner l impression que les approches d assurance qualité sont contradictoires, mais on doit rappeler que l assurance qualité traite des établissements et des filières qui présentent un niveau de qualité inégal. En outre, les préoccupations des pays concernant la qualité varient énormément. Plusieurs mécanismes peuvent coexister au sein d un même pays pour traiter des préoccupations différentes, mais ils doivent être coordonnés. Au sein d un même système, les agences ou les structures d assurance qualité qui examinent les standards de base et celles qui vont au-delà, sont en général complémentaires. Il est nécessaire d avoir des dispositifs qui assurent un niveau minimal de qualité et d autres pour l amélioration de la qualité des établissements qui ont dépassé le niveau de base. 35 Module 2 : Évaluer la qualité

80 Domaines d évaluation de la qualité Une fois définie leur approche, les agences d assurance qualité doivent définir leur champ, c est-à-dire les domaines sur lesquels elles feront porter leurs évaluations. Sur ce point, on constate une grande homogénéité : alors qu elles peuvent servir des objectifs différents et adopter des approches diverses, la plupart des agences regardent les mêmes domaines. Aux Philippines, par exemple, quatre agences d assurance qualité sont responsables de l accréditation des filières de formation. L encadré 14 met en évidence leurs similitudes concernant le champ de l assurance qualité et les domaines considérés. Encadré 14. Standards d assurance qualité Accréditation de filières selon les quatre agences d accréditation aux Philippines En confrontant les référentiels des quatre agences philippines qui procèdent à l accréditation des formations, on constate que les domaines qu ils couvrent sont presque identiques mais que les critères varient d une agence à l autre. N du standard ACSCU-AAI PAASCU PACU-COA AACCUP 1 Objectifs Objectifs Objectifs Missions, finalités et objectifs 2 Personnel enseignant Personnel enseignant Personnel enseignant Personnel enseignant 3 Enseignement Enseignement Enseignement Curricula et programmes d études 4 Bibliothèque Bibliothèque Bibliothèque Bibliothèque 5 Laboratoires Laboratoires Laboratoires Équipements et laboratoires 6 Infrastructures et équipements 7 Services aux étudiants et au personnel 8 Orientation sociale et services à la communauté 9 Organisation et administration de la recherche Infrastructures et équipements Services aux étudiants Orientation sociale et services à la communauté Administration Infrastructures et équipements Services aux étudiants et au personnel Orientation sociale et services à la communauté Organisation et administration Services aux étudiants Autres activités et services à la communauté Administration Source: Phelps, Module 2 : Évaluer la qualité

81 Il y a donc des domaines clés dans l évaluation de la qualité, qui leur sont communs, comme le montre l exemple suivant. En août 2002, le Bureau régional de l UNESCO pour l éducation en zone Asie-Pacifique, à Bangkok, a sponsorisé une réunion d experts venant de huit pays sur le thème «Indicateurs de qualité et facilitation de la mobilité académique à travers les agences d assurance qualité» dans la région Asie-Pacifique. Ces se sont accordés sur un ensemble de domaines clés pour la qualité, qui sont les suivants : 1. intégrité et mission ; 2. gouvernance et gestion ; 3. ressources humaines ; 4. ressources documentaires et infrastructures ; 5. gestion financière ; 6. caractéristiques des étudiants et services de soutien ; 7. aspects curriculaires ; 8. enseignement et évaluation ; 9. recherche, expertise-conseil, autres activités ; 10. assurance qualité. Les participants ont également identifié les contenus des domaines clés : 1. intégrité et mission : honnêteté et transparence des politiques et des procédures ; rapports avec la communauté et les parties intéressées ; missions réalistes clairement formulées ; finalités et objectifs connus des composantes de l établissement ; équité et conditions spéciales pour les catégories défavorisées ; 2. gouvernance et gestion : autonomie de la gouvernance ; structure organisationnelle ; délégation de pouvoirs ; efficacité institutionnelle ; planification stratégique ; documentation ; modernisation de l administration ; 3. ressources humaines : procédures de recrutement ; adéquation, qualification et compétences du personnel ; le ratio enseignants/étudiants, récompenses, distinctions honorifiques, adhésions, prix, médailles scientifiques, stabilité du personnel ; plan de perfectionnement du personnel ; reconnaissance et récompenses ; charges de travail du personnel ; plan social ; commission de litiges ; 4. ressources documentaires et infrastructures : surfaces et surfaces bâties ; propriété ; laboratoires et amphithéâtres ; bibliothèque et équipements dédiés aux technologies de l information ; dépenses documentaires par étudiant ; dépenses informatiques par étudiant ; services de santé, de sports et d éducation physique, résidences universitaires ; maintenance du campus ; utilisation optimale ; utilisation des installations de l établissement par la communauté ; usage commercial des installations de l établissement ; 5. gestion financière : sources de financement ; propriété des ressources ; pérennité du financement ; mobilisation des ressources ; allocation des ressources ; reddition des comptes ; liquidités ; budget pour le plan académique et le plan de développement ; coût unitaire des formations ; 37 Module 2 : Évaluer la qualité

82 management stratégique des actifs ; équilibre des recettes et des dépenses ; 6. caractéristiques des étudiants et services de soutien : procédures d admission ; caractéristiques des étudiants : âge, sexe, origine sociale, répartition géographique, étudiants étrangers, inscriptions par niveau d études, ratio par âge, étudiants inscrits venant d autres États (régions du pays) ; distribution des notes d entrée ; taux de réussite et taux d abandon ; entrée dans la vie active et poursuite d études ; devenir des étudiants ; satisfaction des étudiants ; orientation individuelle et académique ; participation du personnel à l orientation des étudiants ; bourses de mérite ; autres bourses et aides ; dispositifs formels et informels de suivi des étudiants ; représentation des étudiants ; commission d appel pour les plaintes des étudiants et des enseignants ; mobilité des étudiants ; activités de loisirs ; taux d insertion professionnelle des étudiants ; satisfaction des employeurs d étudiants diplômés ; rémunération des diplômés par filière d étude ; associations d élèves et caractéristiques des anciens élèves ; conditions de vie et d étude des étudiants ; 7. aspects curriculaires : conformité aux buts et aux objectifs ; pertinence par rapport aux besoins sociaux ; intégration dans le contexte local ; initialisation, évaluation et redéfinition des filières ; options des filières de formation ; dispositif d information en retour (feedback) sur la qualité de la filière ; rapports entre employeurs et enseignants universitaires ; demande de combinaison de cours ; 8. enseignement et évaluation : innovations pédagogiques ; utilisation de nouveaux médias et méthodes ; activités péricurriculaires ; développement des aptitudes et des compétences ; projets et autres possibilités d enseignement ; liens avec d autres établissements et entreprises en matière d enseignement ; liens pour la formation sur le terrain ; suivi de la scolarité des étudiants ; évaluation interne continue ; utilisation d examinateurs externes ; planning des examens, organisation des examens, évaluation, publication des résultats ; programmes de rattrapage et d approfondissement ; 9. recherche, expertise-conseil et autres activités : soutien institutionnel à la recherche ; personnel actif dans le domaine de la recherche ; étudiants doctorants par filière d études ; nombre d enseignants titulaires de doctorat ; nombre de projets de recherche par enseignant ; projets de recherche sponsorisés par les entreprises ; financement public de la recherche ; ratio recettes/dépenses pour la recherche ; bourses de recherche et autres aides ; chercheurs bénéficiaires de bourses de recherche externes ; équipement dédié à la recherche ; utilité des résultats de la recherche pour l éducation ; intérêt social de la recherche ; recherche interdisciplinaire ; participation des étudiants aux recherches effectuées par le corps enseignant ; qualité de la recherche citations des publications, facteurs d impact, brevets et licences ; bénéfices provenant des activités de consultance auprès des entreprises et des organismes publics ; activités au profit de la communauté ; 10. assurance qualité : assurance qualité interne ; recherche institutionnelle sur la gestion de la qualité ; coordination entre les fonctions académiques et 38 Module 2 : Évaluer la qualité

83 administratives ; résultats des évaluations de qualité externes ; ambiance académique ; réformes éducatives. Les deux exemples qui viennent d être évoqués portent, dans le cas des Philippines, sur l évaluation des filières de formation (en anglais, programme evaluation) et, dans le cas de la région Asie-Pacifique, sur l évaluation institutionnelle. Ces deux exemples montrent que certains domaines sont communs à l évaluation des établissements et à l évaluation des filières, mais qu il y a aussi des différences. Dans le cadre de l évaluation institutionnelle, les filières de formation sont examinées de façon plus globale, sous l angle de la mise en œuvre des politiques de l établissement ; il s agit de voir, au travers de la réalisation des formations, comment l établissement remplit ses missions et atteint ses objectifs. L évaluation des filières, en revanche, permet de porter une attention beaucoup plus approfondie aux formations et de passer en revue, notamment, leur conception, leur contenu, leurs modalités, leurs résultats. Activité 2 Consultez les sites web de quelques agences d assurance qualité qui pratiquent une évaluation institutionnelle, cherchez leurs référentiels et identifiez les domaines d évaluation qui leur sont communs. Faites la même analyse pour l assurance qualité au niveau des filières de formation. Avez-vous identifié d autres domaines et/ou contenus, dignes d intérêt et qui ne figurent pas dans la liste ci-dessus? Dans le contexte de votre pays, quelle approche serait prioritaire : «standards minimaux» ou «standards d excellence»? Laquelle serait utile à long terme? Si votre pays a besoin d une agence d assurance qualité pour garantir le respect de «standards minimaux», quels seraient les domaines à traiter en priorité? Si, dans votre pays, une agence d assurance qualité venait à adopter l approche «standards d excellence», quels types d établissements ou de filières seraient concernés? 39 Module 2 : Évaluer la qualité

84 La prise de décision en matière d assurance qualité Pour traduire leur conception de la qualité en «décisions d assurance qualité», les agences doivent construire un cadre de référence. En effet, les lignes directrices ou le cadre pour la prise de décision sont des éléments critiques. Au cours du processus d assurance qualité, on peut analyser divers aspects, académiques et administratifs, de l établissement ou de la filière en évaluation et recueillir des informations ; mais ces informations n ont pas de sens en elles-mêmes. Pour formuler un jugement évaluatif, les données collectées doivent être interprétées à la lumière des questions préalablement posées. La démarche doit être claire, à savoir utiliser des benchmarks qualitatifs et quantitatifs qui précisent les réalisations souhaitables dont l évaluateur doit apporter la preuve. Dans certains systèmes, l évaluation est basée sur le jugement professionnel de l évaluateur. L utilisation de la preuve au regard du cadre d assurance qualité conduit à des décisions qui ont des conséquences importantes. Les agences opèrent de plusieurs manières, certaines établissent des standards, d autres adoptent une grille d indicateurs, et d autres encore définissent des benchmarks. Certaines agences établissent des indicateurs spécifiques, d autres développent des standards à contenu général que les experts utilisent pour évaluer la qualité. 1. Les différentes utilisations des standards Les agences d assurance qualité adoptent des modes d emploi des standards variés. Les standards de l AICTE (voir encadré 7) concernent principalement les intrants nécessaires pour que l établissement puisse créer une filière de qualité. Certaines agences portent leur intérêt sur les résultats. Pour l accréditation des filières de formation professionnelles, les standards concernent les bonnes pratiques et les procédures institutionnelles, l approche étant centrée sur la pratique. Dans ce cas, les agences interprètent la qualité en termes d efficacité de la formation reçue pour l exercice de la profession par les nouveaux entrants. Au cours des dernières années, les corps professionnels ont adopté des standards basés sur la compétence, c'est-à-dire, l application efficace et adéquate des connaissances, des compétences et des comportements. Ces standards mettent l accent sur la relation entre la formation théorique et les résultats professionnels, autrement dit, ils mesurent la capacité d appliquer correctement et efficacement les connaissances acquises à l exercice de la profession. Suivant cette conception de la qualité, l agence demande aux établissements et aux filières de formation de montrer les résultats de la filière plutôt que les intrants. On met donc l accent sur le développement des compétences des étudiants pour qu ils deviennent de bons professionnels, plutôt que sur le nombre d heures de travaux dirigés ou l expérience pratique. Le développement des standards basés sur la compétence aux États-Unis, est décrit dans l encadré Module 2 : Évaluer la qualité

85 Encadré 15. Vers des standards basés sur la compétence des corps professionnels [Etats-Unis] L évolution des standards dans les filières d architecture apporte une illustration. Dès 1902, suivant les procédures en droit et en médecine, des groupes de professionnels ont mis en place, dans l Illinois, un système d examen pour les diplômés des filières d architecture en quatre ans ; avant la fin 1914, des standards minimaux avaient été établis pour ces filières. En 1940, un conseil national a été créé pour contrôler l accréditation des écoles d architecture au niveau national. Cette approche a subi de nombreuses révisions au cours des décennies suivantes, mais, en 1982, une nouvelle approche a été adoptée. Selon la nouvelle mission du conseil, on devait appliquer pour l évaluation des filières de formation en architecture, des «critères de performance ciblés sur les réalisations». Ainsi, «il est de la responsabilité de chaque école que chaque diplômé remplisse les requis exigés par les études artistiques et atteigne le résultat nécessaire dans chacun des domaines majeurs de la formation». Les critères sont regroupés sous quatre intitulés : connaissances fondamentales, dessein ; communication ; pratique. Les niveaux de résultats sont spécifiés pour 54 domaines de pratique. Source : El-Khawas, 2001 Les corps professionnels responsables de la réglementation établissent les standards basés sur la compétence de plusieurs manières. L Institut canadien des comptables agréés (CICA) a établi «La Charte des compétences des candidats à l expertise comptable» pour sa procédure de qualification (reconnaissance ou enregistrement) d experts-comptables. La CICA et les instituts d expertise comptable représentent près de experts-comptables et 8000 étudiants au Canada et aux Bermudes. La Charte identifie deux types de compétences : des qualités et des compétences générales que les experts-comptables doivent appliquer à toutes les tâches, et des compétences spécifiques ; ces dernières sont regroupées en six catégories. Les compétences répertoriées par la CICA pour la catégorie «Fiscalité» concernant le plan fiscal, la réglementation et le rapport pour différentes entités sont présentées dans l encadré 15. Encadré 16. La Charte des compétences [Canada] Les compétences particulières Fiscalité 1. Analyser le profil fiscal de l entité et identifier les questions fiscales générales : 1.1 Rechercher l amélioration du profil fiscal de l entité ; 1.2 Évaluer de façon continue les nouvelles dispositions législatives fiscales applicables, et conseiller la direction à cet égard ; 1.3 Identifier et analyser les exigences en matière de conformité et de déclarations, et donner des conseils à cet égard ; 1.4 Analyser l étendue de l expertise professionnelle nécessaire pour donner des conseils sur les questions fiscales qui pourraient se poser. 2. Préparer et produire les déclarations fiscales requises conformément aux exigences légales : 2.1 Donner des conseils au sujet de la conformité aux dispositions fiscales ; 2.2 Respecter les exigences en matière de déclarations. 41 Module 2 : Évaluer la qualité

86 3. Effectuer une planification fiscale efficace pour optimiser le rendement après impôt : 3.1 Identifier et analyser des opportunités particulières de planification fiscale, et donner des conseils à cet égard ; 3.2 Analyser les conséquences fiscales des opérations et des opportunités d affaires. 4. Justifier et défendre les positions fiscales, et négocier avec le fisc : 4.1 Analyser les avis de cotisation et leur donner suite ; 4.2 Préparer l information pour étayer le dossier en cas d opposition, d appel et de litige judiciaire. Source : site web de la CICA En France, la Commission des titres d ingénieur (CTI) sous la rubrique «Le métier de l ingénieur» (III.1) précise : «Le métier de base de l ingénieur consiste à poser et résoudre de manière toujours plus performante des problèmes souvent complexes liés à la conception, à la réalisation et à la mise en œuvre, au sein d une organisation compétitive, de produits, de systèmes ou de services, éventuellement à leur financement et à leur commercialisation. À ce titre, l ingénieur doit posséder un ensemble de savoirs techniques, économiques, sociaux et humains, reposant sur une solide culture scientifique.» Elle définit les capacités et compétences recherchées pour l ingénieur comme suit (voir encadré 17). Encadré 17. Les capacités et compétences recherchées pour l ingénieur (Commission des titres d ingénieur CTI) [France] La certification professionnelle des ingénieurs est basée sur les qualités générales suivantes, construites dans le cursus de formation : 1. Connaissance et compréhension d un large champ de sciences fondamentales. 2. Aptitude à mobiliser les ressources d un champ scientifique et technique de spécialité. 3. Maîtrise des méthodes et des outils de l ingénieur : a) identification et résolution de problèmes, même non familiers et non complètement définis ; b) collecte et interprétation de données ; c) utilisation des outils informatiques ; d) analyse et conception de systèmes complexes ; e) expérimentation. 4. Capacité à s intégrer dans une organisation, à l animer et à la faire évoluer : a) esprit d équipe ; b) engagement et leadership ; c) management de projets, maîtrise d ouvrage ; d) communication avec des spécialistes comme avec des non-spécialistes. 5. Prise en compte des enjeux industriels, économiques et professionnels : a) compétitivité et productivité ; b) innovation ; c) propriété intellectuelle et industrielle ; d) respect des procédures qualité, sécurité. 42 Module 2 : Évaluer la qualité

87 6. Aptitude à travailler en contexte international : a) maîtrise d une ou plusieurs langues étrangères ; b) sûreté, intelligence économique ; c) ouverture culturelle ; d) expérience internationale. 7. respect des valeurs sociétales : a) connaissance des relations sociales ; b) environnement et développement durable ; c) éthique. Cet ensemble de qualités constitue les compétences générales des ingénieurs diplômés. Source : site web de la CTI En plus des différentes utilisations de standards, le processus de prise de décision autorise différents niveaux de jugement professionnel. La majorité des agences d assurance qualité utilisent des spécifications et des données quantitatives. Dans certains cas, le cadre de référence accorde plus de liberté au jugement des pairs évaluateurs, mais le plus souvent, celui-ci est guidé par des considérations factuelles sous forme de données quantitatives et d indicateurs. 2. L utilisation de l évaluation quantitative La qualité peut-elle être évaluée de façon quantitative? Les agences d assurance qualité ont plusieurs manières de le faire : En demandant aux établissements de démontrer qu ils répondent à des normes quantitatives, En demandant aux pairs évaluateurs de vérifier que les normes sont respectées, En demandant que l évaluation par les pairs soit enregistrée sur une échelle chiffrée En demandant que le résultat final soit exprimé sur une échelle chiffrée. Cette évaluation quantitative est-elle justifiée? Sur cette question de fond, les points de vue divergent. L évaluation de la qualité est nécessaire voire indispensable pour de nombreuses activités humaines, mais les techniques utilisées peuvent s avérer subjectives. Nous dépendons, dans une large mesure, de nos perceptions sensorielles pour apprécier des choses comme la beauté, la musique, le thé, le niveau de confort procuré par l air conditionné, les parfums Il est communément reconnu que nous ne pouvons pas mesurer précisément certaines choses dans la vie, comme par exemple les sentiments ou les émotions, et que la qualité, comme la beauté, est une notion assez indéfinissable. Au début de ce module, on a vu que la qualité est une notion complexe et multidimensionnelle. Comme pour le traitement d autres notions complexes telles que le développement, la croissance, l excellence, la démocratie ou la religion, de même pour évaluer la qualité, on peut utiliser, dans certains cas, des méthodes quantitatives et dans d autres, des méthodes qualitatives. Lorsque les agences d assurance qualité visent la conformité aux normes ou l atteinte d un certain niveau de performance, elles ont tendance à développer des 43 Module 2 : Évaluer la qualité

88 standards quantitatifs ; les standards de l AICTE concernant les ressources documentaires (voir encadré 7) en sont un exemple. Certaines agences veulent garantir des standards minimaux non quantifiés ; la grille des critères d éligibilité des agences régionales d accréditation américaines en est un exemple. D autres agences s appuient sur des standards quantitatifs pour évaluer l excellence des établissements ; c est le cas du Conseil national d accréditation en Colombie (Consejo Nacional de Acreditación - CNA) qui définit la qualité comme la réunion de 66 caractéristiques, chacune d elles étant déclinée en une série de variables qualitatives et quantitatives. Encadré 18. Variables et indicateurs d une caractéristique [Colombie] Caractéristique 16 : La taille du corps enseignant est adéquate et le personnel enseignant a l engagement et la formation nécessaires, en conformité avec les objectifs institutionnels et les spécificités de la filière. Description Pour la réalisation des objectifs de l établissement et de la filière, on doit disposer du potentiel enseignant nécessaire, dûment qualifié, engagé envers l établissement et la filière. Le nombre d enseignants, leur qualification et leur engagement doivent correspondre aux normes d excellence visées par l établissement et la filière. Les éléments précédents constituent la qualité d un des aspects fondamentaux de la formation. Variables Adéquation de la formation, du niveau de qualification et de l engagement des enseignants aux normes d excellence de la filière (et de la faculté). Qualité scientifique du personnel enseignant qui enseigne dans la filière. Indicateurs Formation (licencié, titulaire du master, titulaire d un 3e cycle, docteur), classement sur l échelle de promotion et engagement des enseignants dans l établissement et la filière. Ancienneté des enseignants dans l établissement, dans la filière, et expériences professionnelles antérieures. Rapport entre le nombre d étudiants inscrits dans la filière considérée et le nombre d enseignants de celle-ci. À comparer avec le nombre d enseignants qui travaillent à temps plein. Évaluation de l engagement du corps enseignant dans les formations par des membres éminents de la communauté scientifique. Évaluation du nombre, de la qualité des étudiants inscrits et des enseignants par les étudiants de la filière. Source : Revelo Revelo et Augusto Hernandez, On peut utiliser des standards quantitatifs, indépendamment du fait que l agence veuille garantir des standards minimaux ou des standards d excellence. Les agences qui souhaitent garantir l objectivité en réduisant la subjectivité de l évaluation par les pairs, en particulier dans les pays où l identification des pairs compétents est difficile, choisissent l emploi des mesures quantitatives. On fait l hypothèse que celles-ci contribuent à assurer la transparence du processus 44 Module 2 : Évaluer la qualité

89 d assurance qualité. Les indicateurs de performance sont le principal outil d une évaluation quantitative. Emploi des indicateurs de performance L emploi d indicateurs de performance pour l assurance qualité dans l enseignement supérieur fait débat. C est le plus souvent dans le cadre de systèmes qui visent la redevabilité (ou reddition de comptes) qu ils ont été acceptés. Au Royaume-Uni, par exemple, les indicateurs de performance ont été la réponse aux acteurs du marché qui réclamaient aux universités des produits de meilleure qualité. En Australie, ils permettent de répondre aux priorités de l État en matière de politique d enseignement supérieur. Aux Pays-Bas, on les utilise pour imposer le respect de la fiscalité et la discipline. Aux États-Unis, ils permettent l élargissement de l autonomie des établissements face aux réglementations des États. Les partisans des indicateurs de performance soutiennent qu ils peuvent : 1. être utiles pour le contrôle de la reddition des comptes ; 2. aider à comparer les performances entre établissements similaires ; 3. fournir des informations sur la performance susceptibles de guider les efforts d amélioration de l établissement et la mise en place d une gestion stratégique efficace ; 4. fournir des informations destinées au public sur les conditions de fonctionnement des différents domaines d activité de l établissement ; 5. contribuer à la formulation des politiques. Dans l encadré 19, on présente les différents indicateurs pour un aspect du fonctionnement de l établissement : la recherche telle qu elle était évalué au Royaume Unis. Encadré 19. Indicateurs de recherche au Royaume Unis Intrants (chercheurs, étudiants doctorants, ressources temps, subventions et bourses, équipement, consommables, etc.) ; processus (projets de recherche, formation à la recherche, candidatures et supervision de la recherche) ; résultats (rapports, produits commerciaux, publications, thèses, contributions et présentations aux colloques et séminaires). Les indicateurs d efficience et d efficacité s appliquent à ces éléments. Les indicateurs d efficacité incluent : le niveau des infrastructures, des subventions, du financement externe pour soutenir la recherche ; le nombre de personnels ayant une formation à la recherche ; le nombre de personnes nouvellement nommées ayant une formation à la recherche ; les demandes pour la préparation de doctorat ; le niveau de satisfaction des étudiants doctorants et salaires des diplômés ; le nombre de projets de transfert des nouvelles technologies. Pour ces indicateurs, on doit préciser des cibles à court et long terme ainsi que des mesures spécifiques. Les indicateurs d efficacité standard incluent : 45 Module 2 : Évaluer la qualité

90 l index annuel des indicateurs de performance (exprimé en points) par catégorie de filières ; le revenu annuel de la recherche comparé avec celui d autres filières similaires ; revenus annuels agrégés à comparer avec ceux d établissements similaires ; les publications annuelles par personne, filière et établissement comparées avec d autres. Les indicateurs d efficience renseignent sur les coûts et les niveaux de productivité : les dépenses pour la recherche par point d index de la recherche ; la performance de la recherche (exprimée en points) par chercheur en équivalent temps plein (ETP) ; le revenu de la recherche par «n» (c'est-à-dire dix) chercheurs en équivalent temps plein (ETP) comparé avec celui d autres établissements similaires ; le nombre de publications par «n» chercheurs en équivalent temps plein (ETP) comparé avec celui d autres établissements. Source : Liston, 1999 Les partisans des indicateurs de performance considèrent donc qu ils peuvent aider les établissements d enseignement supérieur à construire leur planification et gestion stratégique pour l amélioration, à donner des informations au public, à établir des comparaisons et des benchmarks. Ils peuvent également aider le gouvernement à mesurer la reddition des comptes et formuler des politiques. Mais certains, bien qu ils acceptent les indicateurs de performance comme moyen d amélioration des établissements, craignent qu ils ne soient utilisés aussi pour les contrôler. Davis (1996) résume la situation ainsi : «Les indicateurs de performance sont discutables là où on les transforme d un élément de décision, parmi d autres, en un mécanisme de classement hiérarchisé pour différencier l allocation de fonds et d estime.» Ceux qui s opposent à l emploi des indicateurs de performance pour l assurance qualité, font remarquer que la performance des établissements ou la qualité des filières peut dépendre d une multitude de facteurs ; or, il n est pas facile de les prendre tous en compte pour l évaluation. L encadré 20 montre que la performance et la qualité d un domaine spécifique peuvent faire l objet de plusieurs indicateurs et que l évaluation de la qualité est complexe, raison pour laquelle toute évaluation quantitative doit être pondérée par l évaluation qualitative des pairs. Emploi d indicateurs quantitatifs dans l évaluation par les pairs Les évaluateurs peuvent être amenés à utiliser des critères quantitatifs pour formuler des jugements qualitatifs. Ainsi, selon la méthodologie d accréditation du NBA (Inde), fondée par ailleurs sur l évaluation par les pairs, les évaluateurs doivent exprimer leur jugement sous forme d indicateurs, le plafond de la valeur prise par chaque indicateur étant fixé par le NBA (voir encadré 20). 46 Module 2 : Évaluer la qualité

91 Encadré 20. La quantification comme guide de l évaluation par les pairs NBA [Inde] Les huit critères utilisés ont été déclinés en paramètres, chacun avec une pondération fixée par le NBA. Les paramètres et leurs pondérations, qui varient suivant le niveau de la formation concernée (Bac +2, licence (UG) et les diplômes post-licence (PG), sont présentés ci-après : PARAMÈTRES NOTES Bac +2 Licence Post-licence I. ORGANISATION ET GOUVERNANCE (30) (80) (50) A Planification et suivi B Procédure de recrutement et son efficacité C Politiques de promotion/procédures D Leadership E Initiatives pour stimuler la motivation F Transparence G Décentralisation et délégation et participation du corps enseignant H Constitution du conseil d administration Source : site web de la NBA Quantification des résultats de l évaluation externe Dans le cas du NAAC, les scores attribués par les évaluateurs sont utilisés pour calculer les scores de l établissement sous forme de pourcentage (voir aussi encadré 7). Le score de l établissement détermine son rang sur une échelle de neuf points : le rang C indique un score de ; C+ indique ; C++, ; B, ; B+, ; A, ; A+, et A++ indique un score de Les établissements qui ne réussissent pas à atteindre un minimum de 55% ne sont pas accrédités. Certains systèmes de création récente adoptent ainsi une mesure quantitative des résultats pour garantir la crédibilité et l objectivité de leur démarche. Un tel choix est plus particulièrement justifié dans deux cas de figure : soit qu on manque d un vivier suffisant d évaluateurs bien formés soit que la taille importante du système entraîne de fortes variations entre les nombreuses équipes d évaluation externe. Toutefois, la relation entre quantification et objectivité est discutable : comment garantir la validité du jugement quantitatif? Comment être sûr que la différence entre 50 et 60% est la même que celle entre 75 et 85%? Les mesures quantitatives risquent bien souvent de donner une fausse impression d objectivité, en masquant la part de subjectivité qu il y a dans les scores. En conclusion, l utilisation de la quantification fait l objet de débats, et ce pour plusieurs raisons. En effet, elle peut aider l agence à assurer la cohérence de sa méthodologie et à réduire les écarts entre équipes d évaluateurs. Elle peut aussi être très utile aux systèmes émergents pour assurer la transparence. Mais, d un autre côté, elle peut encourager les établissements d enseignement supérieur à présenter des mesures quantitatives qui les favorisent plutôt que d entreprendre une évaluation sincère ; elle peut aussi les encourager à courir après les mesures quantitatives au lieu de 47 Module 2 : Évaluer la qualité

92 s intéresser à leur contenu. Par ailleurs, on a exprimé des craintes sur la pertinence, la précision et l efficacité des mesures quantitatives qui ont été utilisées, ou pourraient l être, par les agences d assurance qualité. Dans tous les cas, il importe de veiller à un juste équilibre entre les mesures quantitatives et l appréciation qualitative portée par les pairs. 3. L utilisation du jugement par les pairs Certaines agences n imposent pas de normes précises ni d objectifs chiffrés considérant qu ils pourraient aller à l encontre de la «diversité institutionnelle» et de l «adéquation aux objectifs». Cela ne signifie pas pour autant que la conformité aux standards n est pas importante, mais elle peut être assurée par d autres dispositifs. Une fois que les établissements ont atteint un niveau minimal de qualité, l agence examine la manière dont ils opèrent pour réaliser leurs finalités et objectifs. La prise en compte de la diversité est importante ici et l évaluation quantitative ne serait pas utile ; c est le jugement des pairs, formé sur la base du référentiel qualité et selon la méthodologie adoptée par l agence, qui est central. Les agences qui ne souhaitent pas avoir une démarche trop prescriptive ne demandent pas aux établissements de répondre à des objectifs quantifiés ; elles peuvent, en revanche, avoir des références (ou standards) ou des lignes directrices sur des questions comme la pertinence et l efficacité de l établissement. Ainsi, une agence n insistera pas pour que l établissement respecte le ratio d un enseignant pour dix étudiants ou que les enseignants des formations doctorales soient titulaires du doctorat, mais elle dira en termes généraux que les enseignantschercheurs doivent être de niveau adéquat et compétents pour assurer les formations concernées. L AUQA, par exemple, donne, à titre indicatif, les domaines à couvrir, mais s en remet au jugement professionnel des pairs (voir encadré 21). Encadré 21. Champ indicatif AUQA L AUQA prête une attention particulière aux activités académiques de l établissement. Le champ indicatif de l audit institutionnel inclut les aspects suivants : direction de l établissement et gouvernance, planification ; enseignement (sous toutes les formes) ; procédures d habilitation des formations et suivi ; comparabilité des standards académiques des formations dispensées par l établissement dans le pays et à l étranger ; activités de recherche et résultats, y compris leur valorisation commerciale ; activités au service de la communauté ; internationalisation, y compris des contrats avec des partenaires étrangers ; dispositifs de soutien pour les étudiants et le personnel ; communication avec les parties intéressées internes et externes ; évaluations internes régulières (par exemple, évaluations des départements ou évaluations thématiques), y compris l évaluation de la rigueur et de l efficacité des mécanismes d évaluation utilisés ; soutien administratif et infrastructures. Source : site web de l AUQA. 48 Module 2 : Évaluer la qualité

93 Les agences qui se fient davantage au jugement des évaluateurs doivent être conscientes de la subjectivité qui peut s introduire dans le processus d assurance qualité. Elles pallient cet inconvénient par des manuels et des lignes directrices pour guider l évaluation par les pairs dont la fiabilité peut être confortée par une formation rigoureuse, comme on le verra dans les modules suivants. Une bonne stratégie pour renforcer l objectivité du jugement des évaluateurs consiste à exiger qu ils arrivent aux conclusions par consensus et non par vote. Ainsi, l objectivité est assurée à travers l intersubjectivité, les opinions extrêmes étant rejetées ; ce qui l emporte c est la décision commune du groupe. La composition des équipes, avec une représentation équilibrée d opinions et d approches disciplinaires diverses, sont également des facteurs importants pour aboutir à des décisions justes. Dans la présentation qui vient d être faite, on a montré que les agences d assurance qualité peuvent s appuyer à la fois sur l emploi d éléments quantifiés et sur l appréciation qualitative des pairs. Pour s adapter au contexte et respecter leur mission, elles doivent choisir une position appropriée. Les options présentées cidessus ne sont pas des options tranchées. Il s agit plutôt d approches à combiner pour mettre en évidence, au mieux, les forces et les faiblesses de l établissement ou de la filière. 4. La flexibilité comme moyen d adaptation au contexte Pour apprécier la qualité, les agences d assurance qualité doivent prendre en considération la notion de flexibilité. L «adéquation aux objectifs» est une approche qui permet d introduire la flexibilité pour prendre en compte les missions spécifiques liées aux conditions locales. L agence doit s interroger sur la possibilité d utiliser les mêmes standards et les mêmes critères pour des établissements et des filières différents. Approches flexibles de l auto-évaluation Au départ, l agence d assurance qualité peut établir un cadre général d autoévaluation des établissements et des filières, mais, à mesure que la méthodologie évolue, elle doit ajuster ses approches. La prise en compte de la «diversité institutionnelle» est importante pour que l auto-évaluation soit pertinente et utile aux établissements. Dans tous les systèmes d enseignement supérieur, les établissements ont des caractéristiques différentes. Ils peuvent avoir un secteur de recherche développé ou être davantage orientés vers l enseignement ; certains sont de création récente, d autres sont plus anciens ; ils sont spécialisés ou pluridisciplinaires. On est donc amené à se demander si la même grille de critères, les mêmes lignes directrices, les mêmes attentes en matière d auto-évaluation peuvent être valables pour tous. Les agences d assurance qualité laissent, en règle générale, peu de flexibilité dans l organisation et la réalisation de l auto-évaluation. La plupart des agences fournissent des lignes directrices ou des guides pour aider les établissements. Certaines agences sont allées plus loin et ont adopté des approches innovantes pour introduire davantage de flexibilité. Aux États-Unis, pays où l accréditation a déjà une longue histoire, on trouve plusieurs exemples d approches flexibles de l auto-évaluation, qui ont été introduites en raison de la diversification croissante des établissements, mais aussi à la suite de plaintes formulées par les établissements à l encontre de la charge de travail occasionnée par des visites à répétition dans le cadre des procédures 49 Module 2 : Évaluer la qualité

94 d accréditation. Certaines agences d accréditation régionales offrent donc différentes options d auto-évaluation. La Commission pour l enseignement supérieur des États du Centre (Middle States Commission on Higher Education MSCHE) a quatre principaux modèles d auto-évaluation : le modèle général ; le modèle général avec un point d intérêt particulier ; le modèle des thèmes choisis ; le modèle d auto-évaluation alternatif. La New England Association est également très flexible dans son approche de l auto-évaluation. L encadré 22 décrit la flexibilité de deux modèles d auto-évaluation de la MSCHE, et leur utilité pour l établissement. Encadré 22. La flexibilité en matière d auto-évaluation [États-Unis] Le modèle des thèmes choisis : Dans le cadre de ce modèle, on focalise l attention sur certains domaines choisis, qu il s agisse d unités ou d aspects de l établissement, comme par exemple l évaluation des curricula. Comparé au modèle général, le modèle des thèmes choisis vise plus particulièrement certains domaines qui devraient, dans la mesure du possible, couvrir tout l établissement dont les aspects généraux sont, malgré tout, moins approfondis que les thèmes choisis. Le modèle d auto-évaluation alternatif : Cette option concerne les établissements accrédités. Ces derniers peuvent proposer d utiliser le modèle alternatif, après en avoir discuté avec la MSCHE, pour le renouvellement de leur accréditation. À l exception des établissements qui demandent une première accréditation ou quand il s agit du premier renouvellement de celle-ci, tout autre établissement peut demander à utiliser le modèle d auto-évaluation alternatif. Les universités de recherche sont souvent celles qui utilisent le mieux cette approche d autoévaluation pour traiter un thème spécifique de nature institutionnelle mais focalisé sur un problème actuel. L utilisation du modèle alternatif peut être aussi liée à la vocation particulière des établissements comme les collèges de musique, les séminaires ou d autres établissements avec des filières spécialisées. Source : El-Khawas, 2001 Certaines agences d accréditation régionales ont introduit des projets d accréditation continue. Ces projets peuvent être considérés comme des variantes de la flexibilité en matière d auto-évaluation, mais ils demandent des efforts concertés et un engagement sérieux. L AQIP présenté dans le module 4 en est un exemple ; avec l AQIP, un établissement peut prouver qu il répond aux standards d accréditation et aux attentes de la Commission d enseignement supérieur (Higher Learning Commission) au moyen d une suite d actions naturellement associées aux activités courantes, ce qui caractérise les établissements qui s efforcent d améliorer leur performance. La flexibilité dans la définition des standards L emploi de standards qualitatifs est, probablement, le moyen le plus facile et le plus efficace d être flexible. Un grand nombre de standards concernent les ressources ; en d autres termes, on demande aux établissements de prouver qu ils ont des ressources suffisantes pour exercer leurs activités. On leur demande aussi de fournir des installations adéquates, de développer la recherche ou encore d utiliser des méthodologies d enseignement appropriées. Il appartient alors aux établissements de montrer qu ils disposent des moyens suffisants, adéquats, importants, et/ou appropriés pour remplir leurs missions. Cela les aide à réfléchir sur leur action, en particulier sur l utilisation de leurs ressources et l efficacité de 50 Module 2 : Évaluer la qualité

95 leur mode de fonctionnement. Cette approche est efficace si les établissements fournissent des informations quantitatives et qualitatives pertinentes pour démontrer aux évaluateurs et à l agence que leur action va dans le bon sens. Encadré 23. La flexibilité dans la définition des standards Pour évaluer les filières de formation, le CNAP (Chili) utilise des standards qualitatifs. Les filières évaluées doivent fournir des données quantitatives et des éléments qualitatifs, notamment les points de vue des enseignants, des étudiants, des diplômés et des employeurs quant à la satisfaction de leurs attentes. Ressources humaines La filière doit prouver que le personnel enseignant est adéquat en termes de nombre, d engagement et de qualification ; il est donc capable d assumer toutes les fonctions définies dans les objectifs de la filière. L unité doit avoir des critères clairs et bien établis pour sélectionner, recruter, former et évaluer son personnel académique et administratif. Cet énoncé est suivi de précisions plus détaillées, dont notamment la définition de ce que l on doit entendre par «qualifications appropriées». Source : Lemaître, 2005 Ce qui est approprié pour une filière d études juridiques, en termes de nombre d enseignants ou de recrutements sur poste à temps plein, peut être complètement inapproprié pour une filière d architecture ou d odontologie. De même, ce qui est suffisant pour un établissement de formation, peut être insuffisant pour un établissement de recherche. Flexibilité dans le cadre de l évaluation Quand une agence a différentes catégories d établissements sous sa compétence, la question suivante est souvent posée : «Comment les mêmes standards peuventils s appliquer à tous les établissements et à toutes les filières?» Certaines agences se fient à l évaluation par les pairs pour tenir compte de la diversité institutionnelle. D autres ont adopté des cadres d évaluation différenciés. Dans l encadré 24, on donne un exemple de critères d évaluation auxquels sont affectés des pondérations différentes en fonction du type d établissement. Encadré 24. La flexibilité comme moyen d adaptation au contexte institutionnel NAAC [Inde] Le système d enseignement supérieur indien est complexe et diversifié. Selon les établissements, l implantation géographique, la population étudiante cible, les missions, la vision, la gouvernance, le financement, la liberté d innovation dans les curricula sont différents. Il n est pas possible, bien évidemment, de développer un cadre particulier pour chaque catégorie d établissements, mais on a tenu compte des principales différences pour construire un classement en trois catégories : université et établissements de niveau universitaire ; collèges autonomes ; collèges affiliés. La méthodologie de NAAC traite les différences entre ces catégories à deux niveaux, en utilisant des référentiels différenciés et en appliquant une pondération différenciée des critères. Le référentiel spécifique est présenté dans le guide d évaluation spécifique à chaque catégorie d établissements. 51 Module 2 : Évaluer la qualité

96 Compte tenu des différences entre les établissements, dans leurs finalités comme dans leur fonctionnement, les critères retenus ont été pondérés en conséquence comme il est montré ci-après. Critères Universités Collèges affiliés Collèges autonomes Aspects currriculaires Enseignement et évaluation Recherche, expertise-conseil et autres activités Infrastructures et ressources documentaires Réussite des étudiants et soutien Organisation et gestion Bonnes pratiques Comme on peut le constater, la pondération des trois premiers critères est différente selon la catégorie d établissements. Tenant compte de la liberté limitée d un collège affilié pour concevoir son programme d études, la pondération du critère est de 10, alors que l enseignement, qui est entièrement sous son contrôle, est pondéré de 40. De même, beaucoup de collèges affiliés ont des cursus jusqu à la licence, leur secteur de recherche est donc peu développé ; ainsi, la pondération du critère «Recherche, expertise-conseil et autres activités» pour les collèges affiliés est de 5. Par contre, pour les collèges autonomes, dont le statut permet la promotion de la recherche, la pondération du même critère est de 10. L exemple précédent présente les pondérations par catégorie d établissements, alors que dans l exemple de l encadré 19, la NBA pondère ses critères en fonction du type de filière, indépendamment de la catégorie d appartenance de l établissement. Pour citer un autre exemple, la CNA de Colombie utilise la pondération pour évaluer le niveau du développement de la recherche au sein de l établissement. Source : Stella, 2002 Note : La NAAC a légèrement révisé le score total. Suivant la même méthodologie, elle continue de pondérer ses critères mais elle est passé d une base de 100 à une base de 1000 ; les scores sont, toutefois, distribués suivant les mêmes proportions (Cf. Le rôle des pairs dans la contextualisation de l évaluation Chaque établissement est unique, mais les agences d assurance qualité ne peuvent pas tenir compte de toutes leurs différences au point d établir un référentiel propre à chacun d eux. Elles considèrent, cependant, que la contextualisation de l évaluation est une question importante à laquelle les évaluateurs doivent être sensibilisés, lors des sessions de formation et au travers des orientations qui leur sont données. Par ailleurs, les agences prennent soin de la composition des groupes d évaluateurs ; elles choisissent des évaluateurs qui apportent des expériences pertinentes et de l expertise, ce qui aide le groupe d évaluation à comprendre le contexte sans remettre en cause le référentiel et la cohérence de l approche. Si les évaluateurs ne font pas la différence entre la «compréhension du contexte» et «les excuses pour l absence de performance», la 52 Module 2 : Évaluer la qualité

97 crédibilité de l agence et l objectivité de l évaluation en souffriront. Les agences d assurance qualité doivent avoir des programmes de formation adaptés et des garde-fous, si elles souhaitent introduire la flexibilité à travers l évaluation par les pairs. La présentation ci-dessus a examiné les diverses approches en matière d assurance qualité. Chaque méthode a ses avantages et ses inconvénients, en fonction du lieu où elle est employée, de la façon dont elle est mise en œuvre et des objectifs auxquels elle répond. Il est indispensable d analyser attentivement ces différents facteurs pour faire le meilleur choix. Les analyses et les études de cas présentées visent à élargir la compréhension des options existantes, mais aucune approche n apporte la solution parfaite aux problèmes spécifiques d un pays. En effet, toute stratégie doit prendre en compte le contexte. Toutefois, quand on développe une stratégie d assurance qualité, les expériences des autres pays sont toujours utiles. Les analyses présentées dans ce module doivent être considérées dans ce sens. Activité 3 Cherchez sur Internet et comparez les différentes approches adoptées par les agences d assurance qualité pour évaluer les standards de qualité. Quelle combinaison d approches conviendrait le mieux à votre pays? Réfléchissez à la flexibilité nécessaire pour assurer la qualité des établissements et/ou des filières dans votre pays. Analysez les garde-fous établis par les agences qui utilisent le jugement des professionnels et réfléchissez aux garde-fous nécessaires dans votre pays. 53 Module 2 : Évaluer la qualité

98 Points à retenir Point 1 : La conception de la qualité dépend du contexte ; en effet, la qualité peut avoir plusieurs définitions. L agence d assurance qualité doit choisir une définition appropriée du terme «qualité» en fonction de l objectif du système d assurance qualité. Les agences d assurance qualité utilisent différentes conceptions de la qualité, qui dépendent du contexte dans lequel elles opèrent et de leur mandat. Pour une agence chargée de la régulation des promoteurs de formations supérieures et du contrôle des prestations douteuses, si un établissement satisfait aux standards externes prédéfinis, cela devient synonyme de qualité. Dans un système bien régulé où les établissements ont de l autonomie, l agence d assurance qualité peut avoir une autre interprétation de la qualité. Mais les préoccupations concernant la reddition des comptes ne doivent pas être sous-estimées et il est nécessaire de disposer des moyens justes et crédibles pour la mesurer. Ainsi, définir la qualité pour l assurance qualité requiert une appréhension plus large du contexte et du mandat de l agence d assurance qualité. Point 2 : Dans certains systèmes, la qualité dépend de la conformité aux standards externes. Dans d autres systèmes, les buts et les objectifs de l établissement sont le point de départ pour appréhender sa qualité. Certains systèmes d assurance qualité combinent les deux approches. Quand la conformité aux normes, la reddition des comptes, l adhésion aux règles et aux règlements prédominent, les établissements doivent démontrer leur qualité au regard d une grille de standards prédéfinis, quantitatifs ou qualitatifs. Les standards pour l accréditation des filières professionnelles concernent les procédures institutionnelles et les pratiques dans une perspective professionnelle. Les agences interprètent la qualité en termes de préparation professionnelle efficace pour que les jeunes diplômés puissent exercer correctement leur profession. Au cours de la période récente, plusieurs corps professionnels ont adopté des standards basés sur les compétences pour définir la qualité. À l opposé, l approche «adéquation aux objectifs» commence par les objectifs de l établissement. Le choix de l approche «adéquation aux objectifs» ou de l approche fondée sur les standards déterminera la démarche générale de l agence d assurance qualité. L audit suit plus naturellement l approche «adéquation aux objectifs», alors que l accréditation suit celle fondée sur les standards. L adéquation aux objectifs convient aux systèmes où d autres dispositifs assurent le respect des standards de base ou des standards prédéfinis. Elle est efficace aussi, dans les systèmes qui ont de bons mécanismes réglementaires, où la diversité institutionnelle est encouragée par opposition à la conformité aux standards, et les établissements bénéficient d un niveau d autonomie élevé. Ceux qui critiquent l approche «adéquation aux objectifs» soutiennent qu elle sape l «adéquation des objectifs». En fait, il est difficile de séparer les deux approches et, concrètement, il n est pas possible d avoir une approche d adéquation aux objectifs parfaite. Un certain nombre d éléments de «ce qui est acceptable ou approprié» sont présents dans toutes les conceptions de la qualité. Certaines 54 Module 2 : Évaluer la qualité

99 exigences liées au développement national sont universelles et se retrouvent dans les missions des établissements d enseignement supérieur, ce qui garantit les missions essentielles des établissements, même si l agence d assurance qualité choisit l adéquation aux objectifs. Beaucoup d agences utilisent une combinaison des deux approches, «adéquation aux objectifs» et «adéquation des objectifs». Point 3 : Atteindre un niveau de base est synonyme de qualité pour certaines agences d assurance qualité. D autres, peuvent demander des standards d excellence (ou de bonne pratique). Dans la majorité des systèmes, des dispositifs complémentaires assurent les standards minimaux et les standards d excellence. Certaines agences d assurance qualité visent à garantir les standards minimaux comme condition d attribution d un statut à l établissement. Ces approches sont généralement conçues pour contrôler la conformité aux règles, le résultat ayant des conséquences en termes d approbation ou de sanction. Dans le contexte de diversification et de privatisation de l enseignement supérieur, beaucoup de pays en développement sont confrontés à des prestataires de formation de qualité médiocre. Dans ce cas, l établissement des standards minimaux est une priorité. Cette approche est appelée «contrôle qualité». À l opposé de cette approche, dans le même pays peuvent exister d autres initiatives qui mettent l accent sur l «amélioration des établissements». Ces initiatives ne suivent pas l approche réglementaire ; l agence d assurance qualité établit des standards conformes au modèle d «adéquation aux objectifs» et demande aux établissements de développer leur propre capacité de réglementation. On valorise ainsi la capacité de l établissement à identifier ses forces et ses faiblesses et à développer des projets d amélioration réalistes et vérifiables. Quelques agences ont établi des standards d excellence. La majorité des systèmes d assurance qualité ont adopté une approche où certains mécanismes traitent des standards minimaux (contrôlés par des instances de réglementation) alors que d autres assurent une amélioration permanente. Point 4 : Les domaines d assurance qualité sont largement les mêmes dans la plupart des agences d assurance qualité. Toutefois, le centre d intérêt, la portée et la profondeur de l évaluation de ces domaines peuvent varier. Les domaines ou les aspects pris en considération par les agences d assurance qualité ont beaucoup en commun. En effet, il y a accord sur les domaines clés d évaluation de la qualité, quels que soient le contexte national ou l unité d assurance qualité de l agence. Pour l accréditation d une filière, on examine avec attention la qualité de son curriculum. Pour l accréditation d un établissement, on peut regarder la qualité d une ou de plusieurs de ses filières de formation, à la recherche des données intéressant l évaluation. Le but n est pas, cependant, d évaluer la qualité du curriculum ou de la filière, mais de tirer des conclusions sur la formation en général de l établissement. Les domaines d intérêt sont donc les mêmes pour la plupart des objectifs d assurance qualité, les différences étant le centre d intérêt et le champ. Beaucoup de systèmes d assurance qualité commencent à reconnaître qu il n est pas suffisant de prendre en compte les intrants et les processus seulement. Ils sont plus faciles à mesurer et représentent l essentiel des standards et des critères utilisés par la majorité des agences d assurance qualité. Pourtant, il est nécessaire d examiner aussi les résultats. Cela a conduit à identifier de nouveaux indicateurs (taux de réussite, d abandon et d obtention de diplôme, données chiffrées sur 55 Module 2 : Évaluer la qualité

100 l emploi, satisfaction des diplômés, satisfaction des employeurs). Ces nouveaux indicateurs sont plus difficiles à mesurer, mais ils permettent une meilleure appréciation de l impact d une filière ou d un établissement sur la société. Point 5 : L agence d assurance qualité peut établir au début un cadre général pour l auto-évaluation des établissements et des filières de formation. Toutefois, à mesure que la méthodologie se développe, elle doit ajuster ses approches. Une des questions à considérer, est la sensibilisation à la «diversité institutionnelle», la pertinence et l utilité de l auto-évaluation pour les établissements. Pour apprécier la qualité, les agences d assurance qualité doivent aborder aussi la question de la flexibilité. Cela est nécessaire pour l auto-évaluation comme pour l évaluation externe. L approche «adéquation aux objectifs» est un moyen d introduire la flexibilité pour tenir compte des missions particulières liées aux conditions locales. L agence doit s interroger sur la possibilité d utiliser la même grille de standards et de critères pour différents types d établissements ou de filières, car dans tout système d enseignement supérieur, les établissements ont des caractéristiques variées. Ils peuvent être orientés vers la recherche, vers la formation, être de création récente, anciens, spécialisés ou pluridisciplinaires. Il s agit donc de savoir si l on doit avoir la même grille de standards ou de critères, les mêmes lignes directrices ou les mêmes attentes en matière d auto-évaluation. En général, les agences offrent peu de flexibilité pour la planification et l organisation de l auto-évaluation. Pour s assurer de la prise en compte du contexte, les dispositions suivantes sont essentielles : former les évaluateurs à prendre en compte le contexte, sans compromettre l objectivité de l évaluation ; choisir des évaluateurs qui comprennent l importance du contexte sans pour autant s éloigner du cadre d assurance qualité et établir des garde-fous appropriés. 56 Module 2 : Évaluer la qualité

101 Références bibliographiques Amoussouga Gero, F L enseignement supérieur privé dans les États membres du CAMES: état des lieux et perspectives. XXème session ministérielle, Ouagadougou avril 2005, disponible sur le site web du CAMES: Arcelo, A.A In pursuit of continuing quality in higher education through accreditation: the Philippine Experience. Paris: IIEP-UNESCO. Australian Universities Quality Agency (AUQA). Sans date. Audit manual. Disponible sur: Bottrill, K. V.; Borden, V.M.H Performance indicators: history, definitions, and methods. New Direction for Institutional Research No.82. San Francisco: Jossey-Bass CNAP. Sans date. Handbook for self-assessment. Disponible sur: (en espagnol). Committee of Vice-Chancellors and Principals of Universities of the UK (CVCP) Report of the Steering Committee for Efficiency Studies in Universities (Jarratt Report). London: CVCP. Commonwealth Higher Education Management Service Benchmarking in higher education: an international review. London: CHEMS. Available at Colon, M «Indicateurs de performance : à qui faut il rendre des comptes?» Politiques et gestion de l enseignement supérieur. Vol 16, no 1, p Davis D The real world of performance indicators: a review of their use in selected countries. London: Commonwealth Higher Education Management Service (CHEMS). Echevin, C.; Ray, D «Mesurer le degré d internationalisation d un établissement de formation». Politiques et gestion de l enseignement supérieur. Vol. 14, No. 1, p El-Khawas, E Accreditation in the United States: origins, developments and future prospects. Paris: IIEP-UNESCO. Green, D What is quality in higher education? Buckingham: SRHE and Open University Press. Harvey L.; Green D Defining quality. In: Assessment and Evaluation in Higher Education. (18) 1 Lemaître, M.J Between privatization and state control: Chile s experience of regulating a widely privatized system through quality assurance. Paper presented at the IIEP Policy Forum on Accreditation and the Global Higher Education Market, Paris, France, June, Liston, C Managing quality and standards. Buckingham: Open University Press. 57 Module 2 : Évaluer la qualité

102 McKinnon, K.R.; Walker, S.H.; Davis,D Benchmarking: a manual for Australian universities. Canberra: Department of Education, Training and Youth Affairs. Naidoo, P.; Singh, M In the aftermath of liberalization: designing a common framework for public and private providers to serve national development goals: South Africa. Paper presented at the IIEP Policy Forum on Accreditation and the Global Higher Education Market, Paris, France, June Phelps, M Accreditation and the quality assurance system for higher education in the Philippines. TA-3500-PHI: Philippines Education Sector Development Programme. Asian Development Bank. Revelo Revelo, J.; Augusto Hernandez, C The national accreditation system in Columbia: experiences from the National Council of Accreditation (CNA). Paris: IIEP-UNESCO. Stella, A External quality assurance in Indian higher education: case study on the National Assessment and Accreditation Council (NAAC). Paris: IIEP- UNESCO. UNESCO Report of the Experts meeting on indicators of quality and facilitating academic mobility through quality assurance agencies, UNESCO- Bangkok and National Assessment and Accreditation Council, India. Sites web Agence d assurance qualité (Quality Assurance Agency QAA) [Royaume-Uni]: Agence nationale de l évaluation de la qualité et accreditation (Agencia Nacional de Evaluación de la Calidad y Acreditación ANECA) [Espagne]: Agence pour la qualité des universités australiennes (Australian Universities Quality Agency AUQA) [Australie]: Association des écoles et collèges de la Nouvelle-Angleterre (New England Association of Schools and Colleges NEASC) [États-Unis]: Comité national d évaluation (CNE) [France]: Commission des titres d ingénieur (CTI) [France]: Commission nationale d accréditation (Comisión Nacional de Acreditación CNAP) [Chili]: Commission pour l enseignement supérieur des États du Centre (Middle States Commission on Higher Education MSCHE) [États-Unis]: 58 Module 2 : Évaluer la qualité

103 Commonwealth Higher Education Management Service (CHEMS) [Royaume-Uni]: Conseil de financement de l enseignement supérieur pour l Angleterre (Higher Education Funding Council for England HEFCE) [Royaume-Uni]: Conseil de l enseignement supérieur (Council on Higher Education CHE) [Afrique du Sud]: Conseil de la qualité de l enseignement supérieur (Higher Education Quality Committee HEQC) [Afrique du Sud]: Conseil national d accréditation (Consejo Nacional de Acreditación CNA) [Colombia]: Conseil national d accréditation (National Board of Accreditation NBA) [Inde]: Conseil national d évaluation et d accréditation (National Assessment and Accreditation Council NAAC) [Inde]: Conseil panindien pour l enseignement technique (All India Council for Technical Education AICTE) [Inde]: Conseil pour l accréditation dans l enseignement supérieur (Council for Higher Education Accreditation CHEA) [États-Unis]: Institut canadien des comptables agréés (Canadian Institute of Chartered Accountants CICA) [Canada]: Middle States Commission on Higher Education (MSCHE) [Etats-Unis]: Ministère de l Économie, des Finances et de l Industrie (MINEFI) [France]: Organe d accréditation et d assurance qualité des hautes écoles suisses (OAQ): Performance publique [France]: Réseau International des agences d assurance qualité dans l enseignement supérieur (International Network for Quality Assurance Agencies in Higher Education INQAAHE): 59 Module 2 : Évaluer la qualité

104 Les modules sur l Assurance qualité externe : options pour les gestionnaires de l enseignement supérieur L assurance qualité externe (AQE) constitue aujourd hui l un des volets les plus importants de la politique d enseignement supérieur. De plus en plus de pays se demandent si leurs structures traditionnelles d assurance qualité sont encore valables et si elles ne doivent pas créer de nouveaux mécanismes. Il est important de noter que la mise en place de ces systèmes peut servir différents objectifs (la reddition des comptes, la conformité aux standards, l amélioration de la qualité). Différentes options peuvent répondre à la variété des objectifs mentionnés au sein des systèmes d assurance qualité externe (AQE). Les matériaux développés par l UNESCO à l Institut international pour la planifi cation de l éducation (IIPE) ont pour cible les décideurs et gestionnaires dans les départements gouvernementaux. Ces modules devront apporter un soutien pour leurs décisions sur les systèmes d assurance qualité externe à mettre en place. Ces modules sont basés sur les résultats obtenus par deux projets de recherche de l IIPE, l un sur «les options méthodologiques et organisationnels dans les systèmes d accréditation» et l autre sur «la régulation et l assurance qualité des fournisseurs d enseignement supérieur transfrontaliers». Accessible à tous, ces modules sont conçus pour être employés dans des situations d apprentissage variés, de l étude indépendante à la formation présentielle. Ils peuvent être consultés sur le site web de l IIPE et seront révisés selon besoin. Les usagers sont encouragés à envoyer leurs suggestions et commentaires. Les auteurs Les matériaux ont été préparés par Michaela Martin et Antony Stella. Michaela Martin est Spécialiste du programme à l IIPE, chargée du programme de recherche et de formation sur l assurance qualité externe. Antony Stella est Directeur d audit à l Agence australienne d assurance qualité (AUQA).

105 Assurance Qualité Externe : options pour les gestionnaires de l enseignement supérieur Module 3 Conduire la procédure d assurance qualité externe Institut international de planification de l éducation

106 Assurance Qualité Externe : options pour les gestionnaires de l enseignement supérieur Ces modules ont été préparés par le personnel et des consultants de l IIPE. Ils peuvent être utilisés soit lors d ateliers et activités de groupes, soit individuellement, en tant que matériel d autoformation. L IIPE les utilise également dans le cadre de ses cours à distance. Cette série de modules est disponible à l adresse suivante : D autres séries sont disponibles à la même adresse sur des thèmes liés à la planifi cation et la gestion de l éducation. Nous vous invitons à consulter régulièrement le site de l IIPE pour prendre connaissance des nouvelles publications. Institut international de planifi cation de l éducation (UNESCO) 7-9 rue Eugène Delacroix Paris Tel. : Fax : [email protected] Site web : Ces modules ont été réalisés à l aide du matériel informatique de l IIPE et imprimés dans son atelier d impression. Les désignations employées dans cette publication, comme les matériels qui y sont présentés, ne sauraient en aucune manière être interprétés comme le refl et d un quelconque point de vue de l UNESCO que ce soit sur le statut juridique d un pays, territoire, ville ou région ou de ses autorités ou que ce soit sur ses frontières ou limites. Cote : PRD/47 Crédit photos : IIEP/UNESO Tous droits réservés UNESCO 2011

107 Module 3 Conduire la procédure d assurance qualité externe Introduction 6 Éléments fondamentaux communs 7 1. Préparation du rapport d auto-évaluation 8 2. Évaluation externe 9 3. Prise de décision et rapport d évaluation 10 Les options La mise en place des conditions préalables La définition des critères d assurance qualité L auto-évaluation L évaluation externe La prise de décision et le rapport de l agence Les suites données aux résultats de l assurance qualité Le suivi 47 Points à retenir 50 Références bibliographiques 53

108 Liste des abréviations ACICS Conseil d accréditation des collèges et facultés indépendants (Accrediting Council for Independent Colleges and Schools) [Etats-Unis] ACQUIN AERES AICTE AQE AUCC AUQA BAN-PT CHE CNE CONEAU CTI ENQA EVALAG FIBAA HAC HEFCE HEQC IATOS ICAR IIEP INQAAHE LDR NAC NAAC NBA NCACS l Institut d accreditation, d homologation et d assurance de la qualité [Allemagne] L agence d'évaluation de la recherche et de l'enseignement supérieur [France] Conseil panindien pour l enseignement technique (All India Council for Technical Education) [Inde] Assurance qualité externe Association des universités et collèges du Canada Agence pour la qualité des universités australiennes (Australian Universities Quality Agency) Conseil d accréditation pour l enseignement supérieur (National Accreditation Board for Higher Education) [Indonésie] Conseil de l enseignement supérieur (Council of Higher Education) [Afrique du Sud] Comité national d évaluation de l enseignement supérieur [France] Commission nationale d évaluation et d accréditation universitaire (National Commission for University Evaluation and Accreditation) [Argentine] Commission des titres d'ingénieur [France] Association européenne d assurance qualité dans l enseignement supérieur (European Association for Quality Assurance in Higher Education) Agence d évaluation de Baden-Württemburg [Allemagne] Fondation pour l'accréditation dans l'administration des affaires internationales (Foundation for International Business Administration Accreditation) [Allemagne] Comité hongrois d accréditation (Hungarian Accreditation Committee) Conseil de financement de l enseignement supérieur d Angleterre (Higher Education Funding Council of England) Comité pour la qualité de l enseignement supérieur (Higher Education Quality Committee) [Afrique du Sud] Ingénieurs, administratifs, techniciens, ouvriers et personnels de service (catégorie de personnel oeuvrant au sein des universités françaises) Conseil indien pour la recherche en agriculture (Indian Council for Agricultural Research) Institut international de planification de l éducation (International Institute for Educational Planning) Réseau international des agences d assurance de la qualité dans l enseignement supérieur (International Network for Quality Assurance Agencies in Higher Education) Livre de références Comité national d accreditation (National Accreditation Committee) [Hongrie] Conseil national d évaluation et d accréditation (National Assessment and Accreditation Council) [Inde] Conseil national d accréditation (National Board of Accreditation) [Inde] Association des collèges et universités du Centre-Nord (North Central Association of Colleges and Schools) [États-Unis] 2 Module 3 : Conduire la procédure d assurance qualité externe

109 NWCCU NZUAAU OCGS OAQ QAA RAE TNAC UGC ZEVA Commission des collèges et universités du Nord-Ouest États-Unis (North West Commission for Colleges and Universities) Unité d audit académique des universités en Nouvelle Zélande (New Zealand Universities Academic Audit Unit) [Nouvelle-Zélande] Conseil des études diplômantes de l Ontario (Ontario Council for Graduate Studies) [Canada] Organe d'accréditation et d'assurance qualité des hautes écoles suisses Agence d assurance qualité (Quality Assurance Agency) Campagne d évaluation de la recherche (Research Assessment Exercise) [Royaume-Uni] Comité national provisoire d accreditation (Temporary National Accreditation Committee [Hongrie] Commission universitaire d'allocation de fonds (University Grants Commission) Agence centrale d évaluation et d accreditation de Hanovre [Allemagne] 3 Module 3 : Conduire la procédure d assurance qualité externe

110 Liste des encadrés Encadré 1. Le modèle en trois étapes conduit par le NAAC en Inde 11 Encadré 2. Encadré 3. Les critères pour devenir un établissement membre de l AUCC [Canada] 14 Exemple de procédure obligatoire pour obtenir l accréditation : Le cas de la Hongrie 16 Encadré 4. L accréditation volontaire en Allemagne 18 Encadré 5. Encadré 6. Encadré 7. La démarche d auto-évaluation : La responsabilité de l établissement (CNE) [France] 22 Guide de préparation pour l auto-évaluation des établissements d enseignement supérieur [Nouvelle-Zélande] 23 La constitution du collège d experts : Un choix décisif pour la réussite de l expertise externe (CNE) [France] 26 Encadré 8. Le choix des évaluateurs (HEQC) [Afrique du Sud] 28 Encadré 9. Participation des étudiants aux procédures AQE dans les pays d Europe de l est 30 Encadré 10. La constitution de l équipe d évaluation : Le cas de l évaluation institutionnelle (CONEAU) [Argentine] 32 Encadré 11. Les tâches des membres et du responsable du groupe d experts (OAQ) [Suisse] 33 Encadré 12. Conduire l évaluation Visite sur site (CTI) [France] 35 Encadré 13. La rédaction du rapport préliminaire et du rapport final par la CONEAU et sa présentation à l établissement évalué [Argentine] 36 Encadré 14. Rapport des résultats d assurance qualité (QAA) [Royaume-Uni] 39 Encadré 15. Prise de décision par l agence d assurance qualité [États Unis] 44 Encadré 16. Suivi non inclus dans la procédure d assurance qualité [Norvège] 47 Encadré 17. Le suivi de l audit de la qualité mis en œuvre par l Agence de la qualité des universités australiennes (AUQA) 48 4 Module 3 : Conduire la procédure d assurance qualité externe

111 Présentation du module Bienvenus au module 3 «Conduire la procédure d assurance qualité externe» de notre cours à distance sur l Assurance qualité externe. Objectifs du module Ce module : décrit les principaux éléments observés dans les pratiques de l assurance qualité de différents pays ; explique les points communs et les différences entre les pratiques mises en œuvre ; illustre par des études de cas les facteurs qui influent sur les choix d organisation faits par les pays ; met en évidence les implications des différentes options choisies, à travers des exemples relatifs aux expériences de différents pays. À la fin de ce module, vous devriez pouvoir : comparer les diverses options pour l organisation de la procédure d assurance qualité ; comprendre les considérations et les facteurs contextuels qui influent sur le choix des options par les différents pays ; analyser les implications de chaque option ; faire une estimation réaliste du système le mieux adapté à votre pays. Thèmes de réflexion Comment expliquer la grande diversité des modes de conduite de la procédure d assurance qualité externe (AQE)? Quels sont les éléments communs entre les différentes pratiques d assurance qualité? Quelles sont les suites de la procédure d assurance qualité? Quelles sont les implications des résultats de l assurance qualité? Dans votre pays, quelles options devraient être mises en œuvre, qui seraient conformes aux spécificités de votre contexte national? En quoi sont-elles différentes, ou devraient-elles l être, au regard des options présentées dans ce module? Pour quelles raisons? 5 Module 3 : Conduire la procédure d assurance qualité externe

112 Module 3 Conduire la procédure d assurance qualité externe Introduction Dans le module 1, on a exposé les principales approches d assurance qualité externe. Le module 2, lui, a présenté le concept de la qualité dans l enseignement supérieur et les différentes approches existantes pour la mesurer. Partant de ces analyses, le présent module présentera diverses options que les agences d assurance qualité (AAQ) peuvent utiliser. Il est à noter que le terme «agence» est utilisé dans les modules de ce cours comme paradigme d une structure responsable de l assurance qualité, comme elles existent déjà dans un grand nombre de pays à travers le monde. Cette structure peut revêtir des statuts différents, selon le contexte national et juridique de chaque pays. Ainsi, une structure d assurance qualité peut être un organisme indépendant, une entité intégrée dans le ministère chargé de l enseignement supérieur ou dans un autre ministère ou bien faire l objet d un montage juridique spécifique. Les agences d assurance qualité utilisent différentes politiques, selon les spécificités nationales et d autres considérations, pour mettre en place les conditions préalables de l assurance qualité, définir des critères concernant la qualité, l autoévaluation et l évaluation externe, mettre en œuvre la formation pour l assurance qualité, organiser la prise de décision et la présentation des rapports. Partant d études de cas, on exposera dans ce module comment les agences traitent ces questions. Si les pratiques diffèrent, il y a accord sur l essentiel, ce qui garantit la validité du cadre conceptuel de l assurance qualité. La plupart des agences privilégient deux aspects : l auto-évaluation fondée sur une grille de critères prédéfinis, et l évaluation externe effectuée par un groupe d experts. Il ne faut cependant pas oublier que l enseignement supérieur comporte souvent un nombre d unités trop important à évaluer et, de plus, la combinaison d autoévaluation et d évaluation externe est une procédure longue et coûteuse. Ces constats, vérifiés à l occasion de différentes expériences, ont encouragé l expérimentation de plusieurs questions controversées. Le débat sur ces questions et les raisons de choix faits par les agences sont l objet de ce module. Chaque option a des implications différentes. Ce module présentera quelques résultats significatifs ainsi que leurs effets. Des études de cas complètes, répertoriées dans la section «Références bibliographiques», seront utiles pour comprendre ces débats et réfléchir à ceux qui se déroulent dans votre contexte national. Enfin, le résumé des diverses options sous forme de «points à retenir» sert à apprécier les développements mis en œuvre dans le domaine de l assurance qualité. 6 Module 3 : Conduire la procédure d assurance qualité externe

113 Éléments fondamentaux communs Les agences d assurance qualité utilisent les termes «assurance qualité» pour indiquer des pratiques dont chacune vise des objectifs particuliers et engage la responsabilité de l agence de plusieurs façons. Dans le module 1, on a présenté quelques définitions et approches. Ces définitions ne sont pas absolues ; dans la pratique, les agences combinent plusieurs approches pour s adapter au contexte national et aux objectifs visés. Cependant, si l approche de l assurance qualité varie en fonction du contexte national et du referentiel choisi, il y a accord sur les fondamentaux. Quelles que soient leurs options de base, la plupart des systèmes d assurance qualité ont des caractéristiques communes : l évaluation s appuie sur des critères prédéfinis et transparents ; l auto-évaluation et l évaluation externe sont associées. Le degré d utilisation de l auto-évaluation dans la procédure d évaluation peut varier ; ainsi, la plupart des agences professionnelles ou spécialisées demandent aux filières de formation évaluées des informations sans autre analyse ou jugement ; la publication des résultats est fortement recommandée, même si elle va de la publication des conclusions finales jusqu à celle de la totalité du rapport d évaluation ; la validité des résultats d évaluation est garantie pour une période de temps déterminée. Les agences d assurance qualité suivent une procédure en trois étapes : Au cours de la première étape, l établissement (ou la filière de formation) fournit des informations correspondant aux critères publics prédéfinis. Ces données sont souvent accompagnées d une auto-évaluation qui inclut une analyse critique des informations. La deuxième étape comprend la visite du site par le groupe d experts externes qui valide le rapport d auto-évaluation ou le rapport institutionnel. Cette visite est suivie d un rapport avec des recommandations sur la qualité de l établissement ou de la filière de formation que les experts remettent à l agence d assurance qualité. La troisième étape comprend la décision finale de l agence, fondée sur les recommandations du groupe d évaluation, et la publication du résultat d évaluation valable pour une période de temps déterminée. La décision finale peut être fondée sur les recommandations du groupe d évaluation et l auto-évaluation, ou sur une combinaison des deux, ou encore sur d autres informations pertinentes dont dispose l agence d assurance qualité sur l établissement ou la filière de formation. Les éléments essentiels de ces trois étapes sont décrits dans les pages qui suivent. 7 Module 3 : Conduire la procédure d assurance qualité externe

114 1. Préparation du rapport d auto-évaluation L auto-évaluation constitue la première étape de la procédure d assurance qualité externe (AQE). Il s agit d un processus systématique de collection de données ayant pour objectif l élaboration d un rapport d auto-évaluation. L auto-évaluation doit se baser sur une réflexion collective en vue de l amélioration des pratiques institutionnelles. Certains termes sont souvent utilisés pour désigner des éléments plus ou moins proches de la notion d auto-évaluation qui est un élément central dans la plupart de procédures d AQE. Toutes les agences d assurance qualité reconnaissent qu il est important que les personnes soumises à l exercice, soient capables d entreprendre une procédure détaillée et autocritique. Mais elles reconnaissent aussi qu il n est pas toujours possible ou réaliste d attendre que les établissements puissent le faire, et ce pour plusieurs raisons : l absence de «culture de l évaluation» entraîne le risque que l autoévaluation manque d esprit critique. Il serait donc utile de demander un rapport d auto-évaluation, mais les agences et les évaluateurs externes savent que, dans la plupart des systèmes, sa valeur est limitée ; l importance des enjeux dans le cas, par exemple, où la procédure d assurance qualité entraîne des sanctions, ou lorsqu il s agit d une décision qui conditionne la poursuite du fonctionnement d une filière ou d un établissement, rend peu réaliste l attente d une auto-analyse critique ; le choix des agences, quand elles opèrent au niveau international, de demander uniquement des données et de se charger elles-mêmes de l évaluation. Le socle de l auto-évaluation est une grille de standards et de critères définie par l agence d assurance qualité qui constitue le référentiel pour l évaluation ou l accréditation. Ces standards et critères sont élaborés par les agences dans le cadre des consultations nationales avec large participation des parties prenantes. Toutefois, les pratiques varient : certaines agences appliquent les mêmes critères à tous les établissements et filières de formation suivant l approche fondée sur les standards ; d autres évaluent par rapport aux objectifs propres de l établissement suivant l approche d «adéquation aux objectifs» ; d autres encore adoptent une position intermédiaire suivant une approche «d adéquation des objectifs». Dans tous les cas, la démarche de l agence, en termes de prise en compte des objectifs de l établissement par rapport aux standards de l agence, est précisée aux intéressés avant le démarrage de la procédure d assurance qualité. On demande à l établissement ou à la filière de formation en évaluation de faire son autoévaluation et d exposer la manière dont elle (il) répond aux standards ou aux critères de l agence. Les étapes du développement de la capacité d auto-évaluation peuvent être résumées comme suit : le premier niveau concerne la production de données de base et d informations pour chaque standard ou critère ; le deuxième niveau, c est l analyse et l évaluation ; le troisième niveau, qui concerne ce qui devrait être réalisé, c est le rapport sur le degré de conformité aux standards et aux critères. 8 Module 3 : Conduire la procédure d assurance qualité externe

115 Être capable de préparer un rapport d auto-évaluation (cf. troisième niveau) est l étape du développement de l assurance qualité souhaitée pour les établissements, mais sa réalisation est ardue, car c est long et difficile d acquérir les capacités pour faire une auto-évaluation satisfaisante. Au cours de l auto-évaluation, les enseignants et les administratifs de l établissement ou du département débattent des forces et des faiblesses de leurs unités, identifient les causes de la situation d après une liste de questions ouvertes ou d indicateurs à renseigner, et décident des stratégies à mettre en œuvre pour améliorer la qualité. Cette démarche a l avantage d impliquer des professionnels compétents qui seront chargés des changements et des réformes ; elle contribue aussi à établir une culture d intérêt pour la qualité et à renforcer l esprit de communauté, souvent absent du milieu universitaire. Cependant, bien que les systèmes d AQE doivent essayer de développer la capacité d auto-évaluation au sein des établissements d enseignement supérieur, force est de reconnaître que les établissements ne sont pas toujours en mesure de faire des auto-évaluations pertinentes. Il y a plusieurs raisons à cela, notamment l absence de conditions adéquates absence de système d information, inexistence de mécanismes participatifs, présence d un nombre peu significatif de personnels à temps plein, mais aussi, et par-dessus-tout, le manque de culture d évaluation. Ces carences pourraient réduire l auto-évaluation à une simple description des problèmes existants. Il n est pas réaliste non plus de s attendre à une étude critique quand les enjeux sont importants par exemple, si l existence de l établissement dépend du résultat de l évaluation ou si l établissement risque des sanctions. Mais l hypothèse sous-jacente dans l intérêt pour l auto-évaluation réside dans le fait qu un établissement qui se connaît vraiment, en d autres termes qui connaît ses forces et ses faiblesses, ses capacités et ses limites, a plus de chances d accomplir sa mission éducative que celui qui n a pas cette connaissance. Ainsi, l auto-évaluation est considérée comme le pilier de la procédure d assurance qualité. C est à travers le rapport d auto-évaluation que le groupe d évaluation externe essaie de comprendre et d évaluer, à titre provisoire, l établissement ou la filière, avant la visite sur site. 2. Évaluation externe L évaluation externe constitue la deuxième phase d une procédure AQE. Il s agit d une procédure d évaluation qui vise à évaluer l efficacité des filières d un établissement et/ou son fonctionnement général. L expert qui participe à une procédure d assurance qualité est appelé, en règle générale, «évaluateur externe». Les évaluateurs externes partagent le même langage, les mêmes catégories, raisonnements et codes disciplinaires et professionnels que la filière ou l établissement évalués et sont, par conséquent, pairs des personnes qu ils évaluent ; en même temps, étant extérieurs à la filière de formation ou l établissement, ils offrent un point de vue externe qui enrichit leur propre expérience. C est dans ce sens, que les agences utilisent les termes «pairs externes» (external peers), «évaluation par les pairs» (peer review, peer assessment). Dans les développements qui vont suivre on utilisera la désignation «évaluateurs externes». Dans les encadrés, les termes utilisés sont ceux de l agence considérée. La terminologie est variée, on trouvera ainsi des désignations telles que «auditeurs», «évaluateurs», «pairs» et autres. 9 Module 3 : Conduire la procédure d assurance qualité externe

116 Après que l établissement a soumis son rapport d auto-évaluation, un groupe d évaluateurs externes, constitué par l agence d assurance qualité, l examine et confirme l analyse après avoir visité l établissement. La visite du groupe d experts offre à l établissement l occasion de débattre sur les moyens de consolider ses points forts et de progresser. Bien que l efficacité de l évaluation par les pairs fasse l objet de discussions, dans certains pays les agences n ont pas encore trouvé de meilleure alternative. L évaluation externe vise à donner le point de vue des personnes étrangères à l établissement, mais souvent, aussi, à valider les conclusions tirées de l autoévaluation. La visite sur site donne l occasion aux évaluateurs de recueillir des informations, d interviewer les acteurs internes, et quelquefois externes, à l établissement. On se rend ainsi compte, d un point de vue extérieur, des conditions nécessaires pour obtenir certains résultats. 3. Prise de décision et rapport d évaluation La décision finale de l agence est prise à partir du rapport de l établissement (ou de la filière de formation) et des recommandations du groupe d évaluation. Dans certains cas, l agence formule des recommandations en vue de la décision qui sera prise par l autorité compétente publique (ministère de l Éducation). Dans tous les systèmes d assurance qualité, un point particulier concerne la diffusion des résultats et leur publication, et le contenu de la publication. Dans le cas de l accréditation, on peut publier uniquement la décision finale, alors que dans celui de l audit, on préférera publier le rapport d évaluation dans sa totalité. La prise de décision en matière d accréditation peut revêtir des formes simples comme oui ou non, mais elle peut inclure des éléments supplémentaires, par exemple des expressions comme «basés sur certaines conditions». L accréditation peut aussi comprendre un système de notation qui s ajoutera à la décision oui ou non. C est une pratique courante de publier la décision avec ou sans le rapport d expertise préparé par le groupe de pairs. Les résultats sont en général valides pour une période de cinq à dix ans. Si l établissement n est pas d accord avec la décision finale de l agence d assurance qualité, il peut faire appel ou formuler une protestation. Le mécanisme d appel sera examiné en détail dans le module 4. Il y a un large consensus actuellement dans la communauté d assurance qualité sur le modèle d assurance qualité en trois étapes, bien que ce soit une approche lourde et coûteuse. Quand l assurance qualité évalue des filières de formation faisant partie des grands systèmes d enseignement supérieur, il vaut mieux utiliser des modèles d AQE moins lourds et moins coûteux. Ces modèles réduiraient, sans doute, l importance accordée à l une des étapes : pour l auto-évaluation, par exemple, on s appuierait sur les statistiques existantes ; l évaluation par les pairs pourrait être faite à distance ; on pourrait tout simplement aussi, abandonner une des trois étapes du modèle. Il est important de réfléchir sur ce point, si l on veut que les systèmes d AQE couvrent toutes les filières de formation, en particulier dans des systèmes d enseignement supérieur d une certaine taille. 10 Module 3 : Conduire la procédure d assurance qualité externe

117 Encadré 1. Le modèle en trois étapes conduit par le NAAC en Inde L intérêt pour l assurance qualité externe dans l enseignement supérieur en Inde est récent. Au cours des années 1980, il est apparu que l expansion sans précédent de l enseignement supérieur pendant les cinquante dernières années, avait rendu les mécanismes de régulation traditionnels inadéquats. Il y a eu des critiques quant à la prolifération d établissements d enseignement supérieur autorisés à fonctionner alors même que leurs cursus manquaient de sérieux et leurs équipements ne répondaient pas aux standards, ce qui entraînait la dilution de standards de qualité. Cette situation est proche de celle qui prévaut actuellement, dans beaucoup de pays africains. Pour lutter contre cette détérioration, la Politique nationale sur l éducation (National Policy on Education) (1986) a recommandé la création d un organisme d accréditation national indépendant. À cette fin, l University Grants Commission (UGC) a créé, en septembre 1994, un organisme autonome, le Conseil national d évaluation et d accréditation (NAAC). Même si l expérience d assurance qualité en Inde n a que dix ans, elle doit être vue dans le contexte historique de 150 années des contrôles de qualité de l enseignement supérieur indien. Avec les mécanismes de régulation et de reconnaissance mis en place, l objectif d accréditation nationale est de conduire les établissements d enseignement supérieur à optimiser leur potentiel pour la qualité, contrairement aux standards minimaux garantis par les mécanismes régulateurs. Cela rend le système d accréditation indien unique à plusieurs égards. Les ressources limitées qui sont consacrées à l amélioration de la qualité de l enseignement supérieur, la taille et la complexité du système, constituent des facteurs qui contribuent à rendre le schéma d accréditation indien unique. Avec le troisième plus grand système d enseignement supérieur au monde, 322 établissements de niveau universitaire, plus de collèges réunissant 9 millions d étudiants à temps plein, le développement d un mécanisme opérationnel d assurance qualité au niveau national a été une tâche remarquable. Depuis sa création, en septembre 1994, le NAAC a consacré ses premières années à élaborer des politiques, des principes et des instruments. L analyse des pratiques actuelles des agences d accréditation des différents pays révèle que la plupart des systèmes d assurance qualité ont un certain nombre d éléments en commun l autoévaluation et l évaluation par les pairs que le NAAC a adoptés. Le NAAC a suivi une démarche claire concernant son rôle dans l évaluation (le NAAC ne participe pas directement à l évaluation), la nature de la procédure d évaluation (procédure volontaire), le but principal de l évaluation (l amélioration de la qualité, contrairement à d autres pays qui s intéressent plus à la reddition des comptes), l articulation entre le résultat de l évaluation et le financement (pas de lien entre les résultats de l évaluation et le financement), l unité d évaluation (l établissement), la politique de publication du rapport d évaluation (publication du rapport intégral et du rang institutionnel de l établissement) et la période de validité (cinq ans). La manière dont le NAAC a affirmé sa doctrine et s est positionné sur ces questions pourrait être très utile aux agences d assurance qualité émergentes. Source : Stella, Module 3 : Conduire la procédure d assurance qualité externe

118 Activité 1 Discutez des avantages et des inconvénients du modèle d assurance qualité externe en trois étapes. Est-il appliqué ou serait-il applicable à l assurance qualité des établissements ou des filières de formation de votre pays? Pour quelles raisons? 12 Module 3 : Conduire la procédure d assurance qualité externe

119 Les options Dans le cadre général en trois étapes présentées ci-dessus, les agences d assurance qualité choisissent les options les plus adaptées aux différents objectifs. Le choix d options concerne les aspects suivants : 1. la mise en place des conditions préalables ; 2. la définition des critères ; 3. l auto-évaluation ; 4. l évaluation externe ; 5. la prise de décision et le rapport de l agence ; 6. les suites données aux résultats de la procédure ; 7. le suivi. Ces différentes options sont présentées dans les pages qui suivent : 1. La mise en place des conditions préalables La plupart des agences d assurance qualité définissent clairement leur champ d intervention. Une agence d assurance qualité qui travaille dans le secteur de l enseignement supérieur limiterait son action aux filières diplômantes et aux établissements reconnus autorisés à délivrer des diplômes. La délimitation semble moins évidente lorsqu il s agit des filières postsecondaires qui ne délivrent pas de diplômes d enseignement supérieur. En plus de la définition du champ d intervention, une agence d assurance qualité dispose de deux options pour examiner l assurance qualité des établissements ou des filières : soit elle évalue les établissements ou les filières de formation de sa compétence, sans condition préalable, soit elle examine les établissements et les filières de formation qui remplissent certaines conditions d éligibilité ou d autres conditions préalables. Ce choix est lié à une autre option, celle de rendre l assurance qualité obligatoire (obligation légale ou non) ou de la considérer comme un choix volontaire. Les deux options sont présentées ci-après : Tous les établissements/toutes les filières de formation Un ensemble particulier d établissements ou de filières de formation Systèmes obligatoires Très rares. Très coûteux. L objectif principal est le contrôle qualité des parties spécifiques des établissements ou des filières de formation. Systèmes volontaires L objectif principal est l amélioration des établissements et/ou des filières. L objectif principal est de réguler l accès à certaines ressources. Quand les systèmes opèrent sur la base du volontariat, les deux principales options sont : Option 1 : L assurance qualité est ouverte à tous les établissements et à toutes les filières de formation de la compétence de l agence sans fixer de conditions préalables. 13 Module 3 : Conduire la procédure d assurance qualité externe

120 Option 2 : Il faut remplir certains critères d éligibilité pour se soumettre à la procédure d assurance qualité. Les critères d éligibilité ne sont pas un moyen de filtrage imposé par les agences d assurance qualité pour écarter certains établissements. Leur intention est de réserver la procédure aux établissements et filières de formation qui ont une chance raisonnable de remplir les conditions requises. Ainsi, elles épargnent à certains établissements et filières la frustration de s engager dans une procédure trop exigeante pour eux. Au Canada, l Association des universités et collèges du Canada (AUCC) est l organisation nationale des universités et collèges universitaires du Canada. Dans ce pays, il n existe pas de système national d agrément des établissements et l éducation, y compris l enseignement supérieur, est du ressort provincial ; l appartenance à l AUCC et la conformité aux lois provinciales applicables équivalent généralement à l agrément d un établissement. L AUCC regroupe actuellement 91 établissements membres. Encadré 2. Les critères pour devenir un établissement membre de l AUCC [Canada] Toute université qui souhaite adhérer à l AUCC doit répondre aux critères d adhésion. On demande aux établissements de fournir des documents et de l information à partir desquels le personnel de l AUCC recommande au conseil d administration de constituer un comité visiteur [ ]. Le rapport et la recommandation du comité visiteur sont ensuite transmis au conseil d administration. Lorsqu une demande est approuvée par le conseil d administration, une recommandation est envoyée à l ensemble des membres qui prennent la décision finale dans tous les cas Les établissements membres sont les universités et les collèges nommés dans l annexe de la loi du Parlement constituant l Association en personne morale, ainsi que les autres universités et collèges du Canada dont l admission à titre d établissement membre est recommandée, à l occasion, par le Conseil et approuvée par un vote de l Association, pourvu que chacun desdits établissements, y compris ceux qui sont rattachés à une université par voie de fédération ou d affiliation ou comme constituante, satisfasse aux conditions suivantes [ ] Ces conditions incluent les statuts de l établissement ; des structures administratives conformes au statut universitaire ; les missions et buts éducatifs [ ] qui doivent convenir à une université ; l offre de formation qui inclut un corps professoral hautement qualifié, une politique d assurance qualité qui prévoit une évaluation périodique ou continue de tous les programmes universitaires, l évaluation périodique du corps professoral y compris un volet d évaluation par les étudiants, l accès aux ressources documentaires, un suivi périodique des résultats obtenus au niveau des études et la diffusion de ces informations au sein de l établissement et à l extérieur, les ressources financières pour concrétiser son énoncé de mission et ses buts. L établissement doit aussi veiller à favoriser et protéger la recherche du savoir, protéger la transmission de la connaissance, privilégier l honnêteté intellectuelle, préconiser des standards d excellence, respecter la liberté universitaire. L établissement candidat à l adhésion doit être un établissement autonome et fonctionner sur une base à but non lucratif. 14 Module 3 : Conduire la procédure d assurance qualité externe

121 Après avoir pris connaissance du rapport du comité visiteur qu il a nommé, le conseil de l AUCC pourra conclure que l établissement offre un enseignement de qualité universitaire et satisfait aux critères d admission au sein de l Association. Un établissement qui ne satisfait pas à tous les critères d admission ne peut faire de nouvelle demande avant trois ans. Depuis 2005, les membres de l AUCC sont invités à confirmer tous les cinq ans qu ils continuent de satisfaire aux critères d adhésion à l Association. Source : Site web de l AUCC Procédure obligatoire ou procédure volontaire Le système obligatoire Décider de la nature du système d assurance qualité, obligatoire ou volontaire, est une question importante pour sa mise en place. Le choix d un système obligatoire signifie que tous les établissements et filières de formation concernés doivent se soumettre périodiquement à une procédure d assurance qualité. Toutefois, un système d AQE obligatoire ne se limite pas, en règle générale, au contrôle des standards minimaux. L adoption des systèmes obligatoires sert souvent de palliatif aux procédures inexistantes ou déficientes d autorisation d ouverture et/ou de fonctionnement (licensing system) des établissements. Le système obligatoire s applique aussi à certaines filières de formation pour lesquels l État a une responsabilité particulière, comme la formation des enseignants ou les filières stratégiques pour le développement national, comme la médecine, l architecture ou le métier d ingénieur civil. Le système volontaire Un certain nombre de systèmes d AQE sont volontaires, les établissements et les départements de formation doivent donc, dans ce cas, faire une demande pour se soumettre à la procédure. Leur motivation peut être liée à la possibilité d obtenir, grâce à l accréditation, un statut spécial qui, dans un environnement concurrentiel, leur donnerait un avantage comparatif pour attirer des étudiants et des ressources financières. Les établissements peuvent être motivés aussi par la possibilité d accès à des financements spécifiques aides financières aux étudiants ou dispositifs de mesures incitatives. Quand le système est volontaire, on s attend à ce que les avantages liés à l AQE attirent l adhésion des établissements. Les systèmes volontaires sont souvent liés à une stratégie d amélioration et les établissements qui intègrent le système manifestent leur volonté d adhérer au modèle de qualité proposé. De plus, les systèmes d AQE volontaires sont plus facilement acceptés par la communauté universitaire. Option 1: Procédure obligatoire Dans les systèmes où l assurance qualité est obligatoire, l agence couvre tous les établissements et les filières de formation de sa compétence sans critères d éligibilité 1. Cette option est appliquée dans les systèmes où le résultat 1. Cela ne signifie pas que les procédures obligatoires s appliquent à tous les établissements, mais uniquement à ceux qui sont de la compétence de l agence d assurance qualité, établissements privés, établissements publics ou certaines filières spécifiques d «intérêt social» comme la médecine et la formation des enseignants. 15 Module 3 : Conduire la procédure d assurance qualité externe

122 d assurance qualité conduit à la prise de décisions telles que l accès à certains financements, la reconnaissance de l établissement comme établissement d enseignement supérieur ou l autorisation d ouverture d une filière de formation. L assurance qualité peut avoir, de manière générale, différents objectifs : dans certains cas, l objectif principal est le contrôle de la qualité ; dans d autres, c est l assurance publique de conformité aux standards de qualité, la reddition des comptes des établissements, l amélioration. Le plus souvent l assurance qualité vise l ensemble de ces objectifs, même si l importance accordée à chacun varie selon les pays et les caractéristiques du système d enseignement supérieur. Quand l assurance qualité est conçue comme un mécanisme de contrôle de la qualité et se réfère à des standards minimaux, elle est obligatoire, au moins pour les établissements et les filières de formation qui doivent être soumis à contrôle. Au Royaume-Uni, le Conseil de financement de l enseignement supérieur d Angleterre (Higher Education Funding Council of England HEFCE) est mandaté pour garantir la qualité des programmes de formation qu il finance. Le HEFCE a chargé l Agence d assurance qualité (Quality Assurance Agence QAA) du Royaume-Uni d évaluer les filières de formation des établissements d enseignement supérieur. L évaluation de la qualité est donc obligatoire pour toutes les filières de formation financées par l État. Dans la province de l Ontario au Canada, les universités peuvent proposer une filière de formation de 3 ème cycle à condition que le Conseil des études du 3 ème cycle de l Ontario (Ontario Council for Graduate Studies OCGS) donne son autorisation, qui s appuie sur les résultats de l évaluation de la filière. Même si l OCGS qualifie cette évaluation de «volontaire», le lien entre le résultat de l évaluation et la sanction potentielle confère à la procédure un caractère obligatoire. Encadré 3. Exemple de procédure obligatoire pour obtenir l accréditation : Le cas de la Hongrie La Hongrie a développé l organisation et la procédure d accréditation au cours des années Au cours de cette période on a créé successivement, le Comité national provisoire d accréditation (TNAC), qui a fonctionné entre , le Comité national d accréditation (NAC) entre et le Comité hongrois d accréditation (HAC) depuis Le HAC est un organisme de «contrôle à distance» responsable des contenus de formation et de la qualité ; il a été mis en place par le système d accréditation des filières de formation et des établissements. Le HAC exerce différentes fonctions. Il assure tous les huit ans l accréditation institutionnelle des universités et collèges universitaires où l on évalue en plus de la gestion et des infrastructures, toutes les filières et tous les diplômes de l établissement au moyen d une procédure complète auto-évaluation, visite des pairs et publication du rapport d évaluation. Une réglementation spéciale régit les établissements privés, laïcs et confessionnels, qui demandent à être reconnus par l État. Le HAC est aussi chargé d évaluer les nouvelles filières diplômantes, les écoles doctorales, les filières d études doctorales spécialisées et les filières de formation professionnelle postsecondaires en deux ans, implantées dans les établissements d enseignement supérieur. Il délivre l autorisation de fonctionnement aux universités et aux collèges universitaires nouveaux et aux établissements étrangers d enseignement 16 Module 3 : Conduire la procédure d assurance qualité externe

123 supérieur. En plus de ces fonctions, directement liées à la gestion de la qualité, il publie les requis de qualification au niveau national et la réglementation du système de crédits de formation ; il évalue les projets d accords internationaux sur la reconnaissance des diplômes et des équivalences. Récemment, il a été chargé aussi de l accréditation de l enseignement supérieur transnational et de l évaluation de la vie universitaire. Une des particularités du système d accréditation hongrois est que l accréditation institutionnelle est fondée à la fois sur l évaluation des filières de l établissement et le nombre de filières accréditées et classées à un niveau de qualité élevé au sein de celuici. Pour remplir ses missions, le HAC publie des recommandations ou des décisions à trois niveaux différents : le premier concerne les commissions disciplinaires, le deuxième (intermédiaire), les collèges universitaires, et le troisième, l assemblée plénière du HAC. Le HAC recommande au ministère de l Éducation la décision à prendre pour l accréditation des cursus prélicence, des filières ou des établissements et donne son avis sur l accréditation des filières de formation doctorale. Source : Kozma, 2003 Option 2. Procédure volontaire Dans certains systèmes, d autres mécanismes obligatoires 2 garantissent le niveau minimal requis pour les établissements, l assurance qualité restant volontaire. Les agences d assurance qualité qui visent, au-delà des objectifs de régulation, l amélioration des établissements d enseignement supérieur, ont généralement une approche volontaire qui utilise l adéquation aux objectifs (fitness for purpose), selon laquelle le niveau de qualité correspond au degré de réalisation des objectifs de l établissement. Il s agit là des objectifs propres des établissements et non d objectifs définis par des acteurs externes tel le gouvernement. Cette approche fait de l assurance qualité une procédure d amélioration moins «risquée» pour les établissements. Les différentes parties prenantes utilisent les résultats d assurance qualité pour la prise de décisions qui se traduisent par des mesures incitatives et d autres bénéfices indirects ; cela encourage les établissements à se soumettre à l exercice d assurance qualité qui peut alors prendre le sens d une quasi-obligation, car un bon résultat d assurance qualité confère à l établissement un prestige plus grand, une meilleure reconnaissance sociale, des étudiants de meilleur niveau et des enseignants compétents. Le système d accréditation aux États-Unis est un exemple de l influence du mécanisme volontaire quand celui-ci est bien établi. Aux États-Unis, le gouvernement fédéral comme le gouvernement de l État s appuient sur l accréditation pour allouer des aides aux étudiants. Nombre d autres financements fédéraux et des milliards de dollars venant des États sont octroyés sur la base du statut d accréditation. La certification des professionnels par les États dépend fortement du fait qu ils aient suivi des filières de formation accréditées. Ces retombées résultent de l accréditation bien qu elle soit une autorégulation volontaire et non obligatoire. 2. Il s agit habituellement d autres formes d assurance qualité qui peuvent coexister dans un système donné. 17 Module 3 : Conduire la procédure d assurance qualité externe

124 Dans les pays où les établissements sont en général de qualité satisfaisante et relativement égale, les dispositifs d AQE mettent l accent sur la fonction d amélioration. Toutefois, dans beaucoup de systèmes, l assurance qualité est liée, même quand elle est volontaire, à la demande de reddition des comptes. Il est des systèmes qui adoptent une approche mixte à savoir, une procédure d assurance qualité obligatoire pour certaines filières ou certains établissements, et une procédure volontaire pour d autres. Cela se produit quand on veut mettre l accent à la fois sur la reddition des comptes de l établissement et sur l amélioration de la qualité. Dans ce cas, la principale différence est l absence de sanctions à l encontre des établissements et des filières qui font volontairement la demande d accréditation. Dans les systèmes volontaires, les établissements peuvent estimer leur capacité à réussir l accréditation eux-mêmes. Les critères publics deviennent alors des requis implicites d éligibilité. L établissement qui souhaite se soumettre à l évaluation peut envoyer une demande à l agence d assurance qualité avec des précisions sur son éligibilité. Après avoir contrôlé son éligibilité, l agence accepte la lettre de demande et commence la préparation pour l évaluation. Encadré 4. L accréditation volontaire en Allemagne Le Conseil d accréditation (Akkreditierungsrat) a été mis en place en 1999, suite à la décision du Conseil des ministres de la Culture et de l Éducation du 3 décembre Ce conseil est une institution indépendante qui accrédite les agences régionales d accréditation et coordonne leur travail. L Allemagne a ainsi été le premier pays d Europe de l Ouest à créer une institution nationale officielle d accréditation. Pour l instant, seuls les nouveaux cursus bachelor/master qui ont été réformés sur le régime du LMD sont accrédités. Ces accréditations effectuées par des institutions d accréditation régionales et spécialisées dans la branche concernée telles que l Agence centrale d évaluation et d accréditation de Hanovre (ZEVA), l Institut d accréditation, d homologation et d assurance de la qualité (ACQUIN), la Foundation for International Business Administration Accreditation (FIBAA) sont volontaires et non obligatoires. Pour l introduction de nouveaux cursus, ce sont les lois-cadres des Länder sur les examens qui sont décisives. On constate une tendance à ne plus accréditer uniquement les cursus bachelor/master, mais tous les cursus proposés. Depuis 2001, le Conseil scientifique allemand accrédite également les universités privées. Mais là encore, l accréditation n est pas obligatoire pour l institution. En raison de la structure fédérale de l Allemagne, il n existe pas d agence nationale d évaluation. Mais il y a diverses agences régionales ZEVA, Agence d évaluation de Bade-Wurtenberg (EVALAG), Alliance Nord qui effectuent des évaluations. Le projet Q (projet assurance de la qualité, depuis 1998 sous la conduite des recteurs d universités), regroupe diverses initiatives universitaires et non universitaires au-delà des frontières des Länder. Il favorise le dialogue et offre une vaste plate-forme pour un développement futur. Source : Site web de l OAQ 18 Module 3 : Conduire la procédure d assurance qualité externe

125 2. La définition des critères d assurance qualité La définition des critères pour la qualité est une étape essentielle que l on peut traiter de plusieurs façons : Construction d une grille d indicateurs quantitatifs Certaines agences utilisent une grille d indicateurs quantitatifs ou des standards (benchmarks) auxquels les établissements doivent répondre ; cette méthode relativement simple et peu coûteuse s applique en général quand on veut garantir la conformité aux exigences fondamentales. Ces indicateurs ou benchmarks sont en principe fixés par l autorité publique pour le fonctionnement du système ou l allocation de subventions. Ils sont un moyen objectif et relativement peu coûteux pour mesurer la conformité avec des standards de base. Toutefois, ils ont tendance à privilégier la conformité réglementaire au détriment d autres éléments plus stratégiques qui participent à leur construction. Un autre moyen de procéder, plus élaboré, serait d identifier certains benchmarks qu on utiliserait comme références pour l ensemble du système. Combinaison des standards et des critères qualitatifs L approche la plus courante consiste à associer des standards et des critères qualitatifs. Ils peuvent être établis par l agence mais, le plus souvent, ils sont le résultat des consultations avec les acteurs stratégiques du système. Ils garantissent le respect des standards de la discipline, de la profession ou du modèle institutionnel mais ils conduisent à une approche trop uniforme des filières de formation ou des établissements. Utilisation des standards adaptés aux objectifs (fitness for purpose) Cette approche consiste à développer des standards en relation avec les objectifs de l établissement ou de la filière, le modèle de référence étant l «adéquation aux objectifs» (fitness for purpose). Beaucoup de systèmes donnent une définition claire de l «adéquation aux objectifs», afin que cette approche ne soit acceptée comme critère pour la qualité que sous certaines conditions. Un consensus est en train d émerger également sur le fait que l approche de l «adéquation aux objectifs» doit être complétée par une analyse de l adéquation des objectifs, car évidemment, tous les objectifs ne sont pas valables pour tous les établissements d enseignement supérieur. Utilisation de l approche «adéquation aux objectifs» uniquement Certaines agences évaluent les établissements ou les filières de formation au regard de leurs objectifs uniquement (adéquation aux objectifs), les établissements ayant la liberté d évoluer conformément à leurs propres priorités et principes. Cette approche est utile si un niveau minimal de qualité est garanti par d autres mécanismes du système, l agence d assurance qualité pouvant alors se concentrer sur la réalisation des objectifs affichés des établissements ou des filières de formation. En revanche, l «adéquation aux objectifs» pourrait s avérer insuffisante à assurer la qualité dans un contexte de grande diversité des établissements et des filières. 19 Module 3 : Conduire la procédure d assurance qualité externe

126 Les agences d assurance qualité doivent choisir l approche la mieux adaptée au niveau de développement de leur système d enseignement supérieur. Appliquer une méthode formaliste à des établissements ayant un niveau d excellence reconnu, provoquerait le rejet de la procédure et des résistances aux efforts d assurance qualité. À l opposé, appliquer un dispositif de type «adéquation aux objectifs» à des établissements nouveaux, de profil différent, ne contribuera pas à créer des orientations pour l amélioration de leur qualité et celle de l ensemble du système. Les agences peuvent, et le font souvent, combiner ces approches de la manière la plus adaptée aux caractéristiques de leurs établissements. Avant le démarrage de la procédure d assurance qualité, il est essentiel que l approche adoptée soit claire en termes de prise en compte respective des objectifs de l établissement, d une part, et des standards de l agence d assurance qualité, d autre part. Avant la mise en œuvre de l évaluation, l agence peut demander à l établissement de fournir des informations pour chaque critère ou standard. Il est souhaitable que l établissement, à partir des standards établis et des critères identifiés par l agence, fasse son auto-évaluation suivie d un rapport. Il y a un second domaine à options, qui concerne les parties prenantes que le système souhaite faire participer à la définition des critères pour la qualité. Sur ce point, on recommande d assurer une large participation pour faciliter l acceptation et renforcer la légitimité des standards ou des critères. Les différents acteurs, enseignants, représentants des milieux professionnels, associations disciplinaires, employeurs et autres, peuvent faire des contributions importantes, même si, parfois, ils risquent d introduire des considérations liées à leurs préoccupations, sans rapport avec la qualité. 3. L auto-évaluation L agence doit préciser le rôle qu elle assigne à la procédure d auto-évaluation. L objectif de la plupart des systèmes d assurance qualité est d aider les établissements à conduire des auto-évaluations critiques ce qui n est pas toujours possible. Les agences d assurance qualité doivent faire preuve de réalisme et prendre en compte les conditions réelles du système d enseignement supérieur. La diversification des systèmes d enseignement supérieur et l entrée de nouveaux prestataires dans le champ de la formation, ont rendu nécessaire la mise en place des mécanismes d assurance qualité liés au contrôle de la qualité. Ces mécanismes, étant donnée l importance des enjeux pour les établissements, peuvent rendre difficile, voire impossible, la réalisation des rapports d auto-évaluation critiques. En effet, les établissements pourraient considérer dangereux d identifier et de reconnaître leurs faiblesses. Le rapport d auto-évaluation serait alors biaisé ou, pour le moins, fortement édulcoré. Une agence de qualité doit prendre cela en compte et se contenter de demander à l établissement de fournir les informations correspondant aux critères de qualité qu elle a définis. Si les établissements ont atteint un niveau de qualité suffisant, il est possible d en attendre davantage de leurs capacités d auto-évaluation mais il est toujours utile de leur donner des orientations claires et précises sur les données à fournir pour étayer les jugements sur la qualité, et de définir les critères qui leur seront appliqués. 20 Module 3 : Conduire la procédure d assurance qualité externe

127 Les systèmes d enseignement supérieur développés utilisent le modèle d «adéquation aux objectifs» ; les établissements sont capables de réaliser des auto-évaluations critiques de même qu ils sont en mesure de développer des plans d amélioration efficaces. Ces précisions ont un intérêt pour les agences d assurance qualité dans la mesure où elles doivent avoir des attentes raisonnables et travailler avec des objectifs clairs pour responsabiliser les établissements sur la qualité de leur travail. Lors de la phase initiale d introduction de l AQE, la préparation du rapport d autoévaluation peut poser un sérieux défi aux établissements, même aux meilleurs d entre eux. Avec le temps, ils peuvent réussir à développer des capacités d évaluation, mais celles-ci risquent d être complètement différentes de celles exigées pour l auto-évaluation. Cette dérive peut être évitée, s ils sont correctement aidés par l agence dans leur effort pour développer des capacités d auto-évaluation. Habituellement, l agence fournit les directives pour faciliter le travail des établissements, mais celles-ci diffèrent sensiblement dans les détails. Option 1 : Directives générales Certaines agences d assurance qualité donnent des directives générales sur la manière d organiser l auto-évaluation et le rapport correspondant. Cela est fréquent dans les systèmes où l assurance qualité, interne et externe, est bien implantée et les objectifs institutionnels sont les points de départ de la procédure. Les établissements ont ainsi la liberté de présenter leurs missions et objectifs dans le cadre donné par l agence. Option 2 : Cadre spécifique Quand le profil des établissements correspond à des critères spécifiques, les agences d assurance qualité fournissent des cadres et des directives adaptés qui comportent des lignes directrices détaillées (généralement des guides avec des questions ouvertes et des tableaux à remplir selon des modalités définies). Cette approche a l avantage d aider les établissements à développer des systèmes d information qu ils peuvent utiliser non seulement pour les besoins de l autoévaluation mais aussi pour leur gestion et la prise de décision. Beaucoup d agences d assurance qualité donnent des directives sur le rapport d auto-évaluation, pour aider les établissements à mettre en valeur leur effort d introspection. Toutes les agences insistent sur le fait que le rapport d évaluation ne se réduit pas à une compilation de données relatives aux réalisations et au fonctionnement de l établissement mais qu il doit être analytique, évaluatif et autocritique. Les directives, générales ou détaillées, mettent en avant l approche participative pour garantir la plus large participation de la communauté universitaire à la préparation du rapport. Vous pouvez télécharger les directives des agences d assurance qualité sur leurs sites et les comparer ; cela vous aidera à choisir la stratégie pour préparer les établissements de votre pays à entreprendre une auto-évaluation. On présente ci-après les directives données par deux agences : la première fournit un Livre des références comme outil d aide à l auto-évaluation ; la deuxième donne des lignes directrices générales. 21 Module 3 : Conduire la procédure d assurance qualité externe

128 Encadré 5. La démarche d auto-évaluation : La responsabilité de l établissement (CNE) [France] Conformément au principe de l autonomie des établissements, la responsabilité première en matière de management de la qualité dans l enseignement supérieur incombe à chaque établissement lui-même, ce qui fonde les bases d une responsabilisation du système universitaire dans le cadre national de la qualité. Avant de fusionner dans le cadre de L agence d'évaluation de la recherche et de l'enseignement supérieur (AERES), le Comité national d évaluation avait mis au point un outil le Livre des références (LDR), adaptable à chaque établissement et conçu pour l aider à évaluer ses procédures, ses résultats et ses potentialités. C était un outil respectueux de l autonomie institutionnelle.la conception du LDR en trois chapitres (politique de formation, politique scientifique, management) répondant aux missions fondamentales des institutions universitaires favorisait l exercice, car elle plaçait d emblée l évaluation interne sous l angle stratégique. La méthode, que préconisait le CNE à travers un tel outil, était fondée sur la logique de démonstration et laissait à l établissement toute liberté de s exprimer. Avec ce guide, exploité avec rigueur et pertinence, l établissement était censé faire la démonstration de sa qualité et de l efficacité de son fonctionnement, à partir des critères et des indicateurs de son choix. L établissement était alors en mesure d identifier ses forces, ses faiblesses, ses avancées ; il acquérait une vision globale de son fonctionnement. L auto-évaluation étaitt donc pour lui un véritable outil de mesure et de progrès qui allait lui permettre d'illustrer ses spécificités. La phase d organisation, de mise en œuvre et de rédaction de l évaluation interne se déroulait sur une période de trois à cinq mois. Pendant que l établissement menait son auto-évaluation, le CNE se consacrait à une étude approfondie de celui-ci. Il complétait la documentation déjà réunie par des demandes spécifiques aux instances ministérielles qui disposaient de données sur les établissements. Il se mettait aussi à la disposition de l établissement et pouvait intervenir à sa demande pour l aider à concevoir méthodologiquement son évaluation interne. [ ] Il lui précisait que le dossier devait comporter une note descriptive de la méthode adoptée par l'établissement et nécessairement un exposé qui fait émerger ses stratégies et prospectives, ainsi qu une note descriptive de la méthode adoptée par l établissement. La démarche d auto-évaluation était clôturée par la remise officielle du dossier d évaluation interne (DEI). Le chef de l établissement, accompagné des collaborateurs de son choix, était invité à le présenter au siège du CNE et à le commenter à l équipe d évaluation. Il justifiait ses choix, évoquait les difficultés rencontrées et les apports de la méthode (conception de la démarche, constitution du comité de pilotage, élaboration du DEI) et présentait son diagnostic politique. À ce stade, le président était en mesure d évoquer les thèmes qu il souhaitait voir prioritairement examinés par le CNE. Les dates de l expertise externe étaient arrêtées d un commun accord entre les deux institutions. Le Livre des références développait et organisait les éléments qu un établissement devait être en mesure de rassembler sur son fonctionnement et ses résultats. Il définissait les contours des dispositifs d assurance de la qualité à mettre en place et fondait la réflexion sur une démarche de logique de démonstration qui donnait à l établissement le choix des arguments. Le Livre des références était organisé en trois 22 Module 3 : Conduire la procédure d assurance qualité externe

129 chapitres complémentaires : La politique de formation, la politique scientifique, le management de l établissement au service de ses missions. L exemple suivant constitue un exemple de deux références et des critères qui s y rapportaient, appliquées en matière de management de l établissement au service de ses missions C.I - L exercice de l autonomie L établissement est en situation de remplir ses missions, de réaliser son projet et le contrat qu il a passé avec le ministère. Référence C.I.1 - L établissement, et chacune de ses composantes et services communs, disposent de statuts cohérents : Critère 1. L établissement dispose d un règlement intérieur. Critère 2. Les composantes et services communs disposent de statuts adaptés à la mise en œuvre de la politique de l établissement. Critère 3. L établissement s interroge régulièrement sur l adaptation de ses statuts. Référence C.I.2 - L organisation interne permet un pilotage efficace de l établissement Critère 1. Le président exerce effectivement le pouvoir de gestion. Il prépare le budget. Critère 2. Le président arrête la composition des commissions de spécialistes. Critère 3. Le président pilote le processus d affectation des personnels IATOS au sein de l établissement. L analyse du rapport d évaluation interne. Ce rapport s appuiyait sur le Livre des références. Le cas échéant, le CNE peut accompagner l établissement dans sa démarche. Parallèlement au travail d évaluation interne mené par l établissement, le CNE entendait renforcer son travail d analyse sur les sources d informations extérieures aux établissements (ministères, collectivités, milieux économiques ). Le croisement de ces informations avec celles fournies par le rapport d évaluation interne était l une des méthodes utilisées par le Comité pour définir les problématiques de l évaluation externe. Cette comparaison étaitun moyen de porter un regard critique sur les analyses et démonstrations proposées par l établissement. Source : Site web du CNE Encadré 6. Guide de préparation pour l auto-évaluation des établissements d enseignement supérieur [Nouvelle-Zélande] Directives générales adressées aux établissements d enseignement supérieur : Nouvelle-Zélande Dans le but de présenter le contexte institutionnel, le document principal comprend : l histoire et le profil actuel de l établissement exposés en une page ; une vue d ensemble des structures d organisation et de gestion, avec l organigramme (ou équivalent) ; une vue synthétique de l ensemble des dispositifs et systèmes d assurance qualité de l établissement, y compris l audit situés par rapport à ses statuts, son profil, ses objectifs et ses caractéristiques particulières. Les établissements sont incités à utiliser autant que possible des représentations graphiques, des diagrammes et des organigrammes pour réduire la longueur de l exposé et améliorer sa lisibilité. 23 Module 3 : Conduire la procédure d assurance qualité externe

130 Le document principal peut comporter des annexes avec des données et des informations factuelles non disponibles dans d autres documents (par exemple, des rapports annuels) et des renvois à d autres sections du document ou à d autres documents. L information doit inclure des données comme les diplômes exigés à l entrée, le taux d abandon, le nombre de diplômés et leur insertion professionnelle, la satisfaction des parties prenantes, des indicateurs de performance et d autres informations quantitatives en rapport avec l audit. Les annexes doivent indiquer comment l information est utilisée pour le contrôle d assurance qualité dans l établissement, en donnant des exemples. On peut également citer des exemples d efficacité dans le fonctionnement du système d assurance qualité et des exemples de bonnes pratiques. Source : Site web de NZUAAU Les demandes d information adressées aux établissements différents selon les agences d assurance qualité. Celles-ci demandent des informations qualitatives et quantitatives, mais dans la procédure d assurance qualité la priorité est donnée à l analyse qualitative. Les établissements doivent fournir des données quantitatives nombre d étudiants inscrits, nombre d abandons, durée moyenne des études, nombre de personnels mais ces informations sont surtout utilisées pour valider les conclusions du rapport d auto-évaluation. Cependant, quand la procédure d assurance qualité débouche sur une décision d autorisation de fonctionnement ou de reconnaissance de statut institutionnel, les résultats d analyse des données quantitatives sont pris en compte pour prouver que l établissement ou ses filières remplissent les conditions requises. Certaines agences d assurance qualité demandent que le rapport d auto-évaluation soit rendu public, car elles le considèrent comme un moyen d information des parties prenantes et d échange d informations entre établissements. Dans les pays où les rapports d auto-évaluation restent confidentiels, on soutient que l établissement serait moins disposé à présenter un rapport autocritique, si celui-ci était rendu public. Le choix dépend du contexte national, du but de l assurance qualité, de la tradition de publicité des procédures et de la concurrence entre établissements. Les deux options présentées ci-dessus fournir des directives détaillées avec des formats spécifiques ou fournir des directives générales sont les plus fréquentes. Toutefois, il existe d autres options où l agence d assurance qualité aide l établissement à organiser son auto-analyse selon des modalités adaptées à son niveau de développement. 24 Module 3 : Conduire la procédure d assurance qualité externe

131 Activité 2 Regardez les sites de deux agences d assurance qualité ci-dessous et comparez les options d auto-évaluation proposées aux établissements. Comité national d évaluation, France, Organe d accréditation et d assurance qualité des hautes écoles suisses Le lien entre l auto-évaluation et le système d assurance qualité interne comme l importance accordée à la procédure participative avec implication des composantes de l établissement, font partie de la méthodologie d un grand nombre de systèmes d assurance qualité. Quelle que soit la méthode choisie, l autoévaluation doit couvrir des larges domaines. Ces derniers ont déjà été discutés dans le cadre du module L évaluation externe Après réception du rapport d auto-évaluation de l établissement ou de la filière de formation, l étape suivante concerne l organisation de l évaluation externe, avec le rôle et le choix des évaluateurs, leur formation et la méthodologie à leur donner. Le rôle des évaluateurs externes Comme pour le rapport d auto-évaluation, l agence d assurance qualité doit décider du rôle de l évaluation externe. Dans les systèmes d assurance qualité dont la priorité est le contrôle de la qualité, les évaluateurs doivent analyser, pour l évaluation externe, les données fournies par l établissement ainsi que toute autre information pertinente. Pendant leur visite de l établissement, ils doivent effectuer son évaluation et se prononcer sur la manière dont il répond aux critères de l agence. Les évaluateurs sont recrutés par l agence après consultation de l établissement. Dans les systèmes d assurance qualité dont la priorité est la reddition des comptes ou l assurance publique, les évaluateurs utilisent le rapport d autoévaluation de l établissement, à condition que celui-ci contienne suffisamment de précisions. Cependant, leur responsabilité ne se limite pas à la validation du rapport, ils doivent aussi se prononcer sur la manière dont l établissement remplit les critères ou les conditions fixés par l agence. Dans les systèmes d assurance qualité dont la priorité est l amélioration, les évaluateurs se focalisent sur la validation du rapport d auto-évaluation et l évaluation du plan d amélioration présenté par l établissement ou la filière de formation. 25 Module 3 : Conduire la procédure d assurance qualité externe

132 Ces précisions sont nécessaires pour déterminer le choix du profil des évaluateurs externes, les critères pour leur choix, leur formation et la méthodologie qu on doit leur donner. Constitution de l équipe d évaluateurs La force de l assurance qualité externe réside dans l identification des compétences nécessaires pour assumer la responsabilité de l évaluation et le choix des experts ayant ces compétences, pour constituer les équipes d évaluation. Les agences d assurance qualité identifient des experts qui peuvent agir en tant que pairs externes. Les termes «évaluateurs externes» ou «pairs externes» ont déjà été présentés dans un des précédents chapitres de ce module. Il convient de préciser que ces évaluateurs sont pairs parce qu ils appartiennent à la même discipline ou à la même profession que les évalués, ils partagent donc avec eux le même schéma conceptuel, le même langage et les mêmes catégories. L encadré 7 ci-dessous présente les principes relatifs au choix des experts extérieurs dont s est inspirée l évalaution institutionnelle par le CNE avant sa fusion avec l AERES. Les principes relatifs au choix des évaluateurs s appliquent particulièrement au processus d une évaluation institutionelle qui jette un regard sur l établissement supérieur dans son ensemble, y compris le système de gestion et la recherche. Encadré 7. La constitution du collège d experts : Un choix décisif pour la réussite de l expertise externe (CNE) [France] Le choix de l expert est avant tout une action politique qui engage la qualité de la relation entre le CNE et l établissement, entre le CNE et l expert, entre le CNE et son équipe d évaluation. Le recrutement des experts parmi les pairs constitue l un des fondements du système d évaluation publique du CNE. Les experts sont indépendants dans leur jugement. La mission qu ils remplissent pour le CNE les place en dehors de toute position hiérarchique face à l établissement. Le choix initial d un expert se fait sur différents critères : scientifiques, institutionnels, expériences de l évaluation en France et à l étranger, auxquels s ajoutent des critères déontologiques comme la neutralité de l expert à l égard de l établissement. Pour une plus grande efficacité de l expertise externe, le CNE constitue un groupe d experts dont les compétences et qualités vont pouvoir agir en complémentarité. Il fait intervenir, suivant le domaine ciblé, des membres de la communauté académique (français et étrangers), des étudiants, des hauts fonctionnaires, des représentants qualifiés des milieux industriels, des organismes du secteur public, reconnus et respectés par ceux dont l activité va être évaluée. Le CNE cherche également à associer des experts étrangers et des étudiants, et en cela sa pratique est novatrice, et à respecter la mixité homme/femme. Le recrutement devient définitif à la signature d un contrat d engagement qui lie l expert et le CNE représenté par son président ou son délégué général. Ce contrat précise l'objet de sa mission, les règles déontologiques auxquelles les deux parties s'engagent et fixe le montant de l'indemnité d'expertise. Ces précautions prises pour la constitution du collège d experts sont essentielles au bon déroulement des expertises, car elles sont une première garantie vers l objectivité de l expertise qui doit s affirmer dans la qualité de la rédaction du rapport final. La composition du collège d'experts est communiquée au chef d'établissement, qui a la 26 Module 3 : Conduire la procédure d assurance qualité externe

133 possibilité de demander la récusation d'un expert. Cette demande est examinée par l'équipe d'évaluation. La préparation des expertises : une première appréhension de l établissement La qualité de la communication entre le CNE et les experts garantit la bonne articulation entre l évaluation interne et l évaluation externe. L expert fait partie d une équipe constituée pour une opération spécifique, et le travail qu il accomplit individuellement doit concourir à la qualité de l ensemble de la procédure d évaluation externe. Le CNE les prépare à leur mission en leur fournissant une information de qualité sur l établissement, de même, il s engage à leur communiquer les outils de diagnostic réalisés par les chargés de mission (grille d analyse, lettre de mission, proposition d interlocuteurs à rencontrer sur le terrain). Il leur remet également tous types de documents utiles (chiffres, comptes-rendus, plaquette de présentation, etc.) qui vont leur permettre de connaître l établissement sous toutes ses dimensions : politique, administrative et de gestion, de formation et de recherche. La bonne connaissance de l établissement que l expert acquiert lui donne la possibilité d appréhender celui-ci dans sa globalité, de se faire une idée précise du domaine qui lui est confié par la lettre de mission. Au cours d une première rencontre à caractère «pédagogique», les experts, les membres du Comité et les chargés de mission échangent sur le déroulement de l évaluation externe et confrontent leurs analyses. Les outils de diagnostic réalisés par le CNÉ favorisent l approche collective de l établissement et la répartition des thèmes d expertise. C est là que s amorce une véritable dynamique de groupe. Source : Site web du CNE Au cours de la visite d évaluation, les évaluateurs entrent en interaction avec les composantes de l établissement, négocient, demandent des informations et tirent des conclusions. Tout cela demande des capacités relationnelles notamment, savoir tenir des réunions avec efficacité, maintenir des relations personnelles tout en restant objectif, garder un esprit ouvert lors de la prise de décision. Les évaluateurs peuvent être responsables d un sous-groupe de travail ou travailler indépendamment ou encore assister le président du groupe. Tout cela est fait de manière professionnelle quand les évaluateurs ont la capacité de travailler en équipe ou de diriger une équipe. Il faut également être capable de respecter des calendriers serrés avec des dates limites, d écrire clairement et d enregistrer fidèlement les témoignages des interlocuteurs. On doit choisir des évaluateurs qui apportent à l équipe d évaluation différents types d expertises comme la gestion et les finances, une large connaissance disciplinaire ou la connaissance d un aspect spécifique, important pour l établissement ou la filière de formation. Enfin, les évaluateurs doivent être connus pour l intégrité de leur jugement, car il ne suffit pas que l établissement ait confiance en l expertise des évaluateurs, il doit, par-dessus tout, pouvoir faire confiance aux évaluateurs en leur intégrité. Pour identifier des personnes ayant ces capacités, l agence d assurance qualité compte beaucoup sur des propositions et des moyens informels. Après avoir choisi les évaluateurs, elle doit leur fournir des orientations sur la manière de procéder ou bien organiser une formation. On présente ci-après les pratiques des agences observées dans ce domaine : 27 Module 3 : Conduire la procédure d assurance qualité externe

134 1. Les évaluateurs sont choisis parmi les personnes proposées par les établissements d enseignement supérieur. Certaines agences ont établi des directives pour ces propositions que l établissement doit suivre. 2. Les évaluateurs sont identifiés de manière informelle. Après la première évaluation, seuls les évaluateurs qui ont reçu de bonnes appréciations sont appelés à participer aux nouvelles équipes. 3. L agence met en place un fichier d évaluateurs identifiés. 4. L agence organise un appel à candidatures pour choisir ceux qui pourraient correspondre au profil qu elle a défini. 5. Les évaluateurs potentiels sont appelés à suivre des programmes de formation ; seuls ceux qui achèvent ce programme avec de bons résultats sont intégrés dans les équipes d évaluation. 6. On constitue d abord les groupes d évaluation, ensuite, chaque groupe suit une formation rigoureuse comme c est le cas au Danemark. Encadré 8. Le choix des évaluateurs (HEQC) [Afrique du Sud] Conditions requises pour un expert, candidat auditeur au programme préparatoire : Être disposé et apte à formuler des jugements indépendants et circonstanciés : sur l efficacité du système institutionnel d assurance qualité dans les établissements d enseignement supérieur ; dans les secteurs qui demandent l expertise de spécialiste que le candidat peut avoir. Ces secteurs doivent être définis par accord mutuel entre le candidat et l HEQC. Le candidat doit être titulaire d un diplôme universitaire (pour les évaluateurs universitaires, ce titre doit être de niveau master, voire plus élevé, comme un doctorat). Le candidat doit connaître les principes fondamentaux et les procédures du dispositif d audit de HEQC et être disposé à travailler dans ce cadre. Le candidat doit être capable d assimiler et d analyser de grandes quantités d informations. Le candidat doit avoir le recul, le savoir et l expérience pour formuler des jugements solides, fondés sur des faits en rapport avec la qualité de dispositifs d assurance qualité dans les établissements d enseignement supérieur. Le candidat doit être capable d avoir des échanges à un niveau élevé concernant des démarches stratégiques et opérationnelles dans le contexte de l enseignement supérieur. Conditions requises supplémentaires pour des experts universitaires éxercer à temps plein comme enseignant, chercheur et/ou dans l administration universitaire ; avoir au moins cinq ans d expérience dans l enseignement, la recherche et/ou l administration universitaire ; être titulaire d un diplôme de master au minimum ou d un titre supérieur ; avoir des connaissances et de l expérience sur certains aspects du développement des programmes de formation ; avoir publié des articles dans des revues nationales ou internationales reconnues ou des livres ; 28 Module 3 : Conduire la procédure d assurance qualité externe

135 être reconnu par des responsables administratifs et des directeurs d établissements d enseignement supérieur, des prestataires des formations supérieures ou auprès de leurs pairs dans les domaines disciplinaire ou administratif. Pour être candidat, il est hautement recommandé : d avoir plus de cinq ans d expérience dans l enseignement, la recherche et/ou l administration des établissements d enseignement supérieur ; d avoir déjà collaboré avec l HEQC/CHE (Conseil de l enseignement supérieur) ou dans des procédures similaires ; d avoir été examinateur externe dans l enseignement supérieur ; d avoir des connaissances et de l expérience dans des domaines particuliers comme la planification universitaire, les services aux étudiants, etc. Source : Site web du HEQC Pour le choix des évaluateurs externes, l agence d assurance qualité doit prendre en compte les conditions et les priorités de l évaluation ; elle peut avoir besoin, selon le contexte, de généralistes, de spécialistes ou des deux à la fois. Option 1 : Les évaluateurs spécialistes La définition restrictive de «pairs» ou de «spécialistes» est surtout utilisée dans les évaluations disciplinaires et celles des filières de formation lorsque l objectif principal est le contenu académique. Option 2 : Les évaluateurs généralistes Les agences d assurance qualité chargées d évaluer l assurance qualité de l établissement dans son ensemble utilisent des experts qui, tout en étant spécialistes d un domaine particulier, peuvent servir comme «généralistes». Ces évaluateurs sont aussi appelés généralistes dans le sens où ils ne sont pas spécialistes d une discipline, alors qu ils peuvent être spécialistes de divers aspects de la gestion unviersitaire comme les finances ou la gouvernance. Beaucoup d agences d assurance qualité emploient uniquement des évaluateurs «pairs», spécialistes de disciplines ou généralistes dans le sens déjà mentionné. Selon la nature de la procédure, des suggestions peuvent être faites concernant la participation d autres parties prenantes, autorités publiques, agences de financement, étudiants, employeurs. Certaines agences d assurance qualité font participer, à titre d observateurs, des étudiants, les enseignants-chercheurs de l établissement ou de la filière, ou encore des représentants de la communauté en tant qu observateurs. Pour l accréditation d une filière de formation à finalité professionnelle, on peut faire appel aux étudiants ou aux professionnels de la branche concernée comme on peut faire participer des employeurs à une accréditation institutionnelle. C est donc le but de l assurance qualité qui détermine la définition du «pair», et par conséquent la manière dont les évaluateurs sont choisis. En ce qui concerne la participation des étudiants plus particulièrement, toutes les agences d assurance qualité ne l intègrent pas. Pourtant les étuidants sont les bénéficiaires directs de l enseignement supérieur, et ce sont eux qui connaissent le mieux les services rendus en matière d enseignement. Par voie de conséquence, ils sont une source d informations incontounable pour les évaluateurs externes. Au 29 Module 3 : Conduire la procédure d assurance qualité externe

136 délà de cette évidence, certains codes de bonnes pratiques comme les Références européennes et lignes directrices pour le management de la qualité (2005) proposent d associer les étudiants d une façon plus directe dans les procédures. Les modalités de cette association varient sensiblement entre agences. Encadré 9. Participation des étudiants aux procédures AQE dans les pays d Europe de l est Les ministres de l éducation réunies à Berlin se sont engagés de soutenir et renforcer l assurance qualité au niveau institutionnel, national et Européen. Dans leur communiqué, ils se sont mis d accord sur certains principes directeurs dont certains donnent des objectifs clairs pour la poursuite du processus de Bologne. Les ministres de l éducation se sont mis d accord, entre autres, sur l introduciton systématique de la participation des étudiants dans l évaluation des programmes et/ou des établissements (Communiqué de Berlin, 2003). Toutes les agences d Europe de l est impliquent déjà (ou s engagent à l avenir) des étudiants dans l évaluation et/ou les procesuss d accréditation. Mais cette participation prend différentes formes selon les agences: Une enquête menée en Europe de l est auprès des agences montre que dans sept pays les agences impliqent les étudiants dans leurs activités d évaluation en tant qu informateurs. Six agences, qui impliquent les étudiants dans les auto-évaluations, soulignent le rôle pertinenent des ces derniers dans les procédures d assurance qualité interne des établissments. Trois agences impliquent les étudiants dans la prise de décisions, parfois sans leur donner la capacité de voter. Une agence (AQUIN en Allemagne) implique systématiquement les étudiants en tant que membres des équipes d évaluatuers externes ainsi que dans l ensemble de la procédure d évaluation. Source: Hoffman, Si les compétences des personnes qui constituent les équipes d évaluateurs sont essentielles pour la crédibilité de la procédure, le professionnalisme de l agence d assurance qualité, lors de l organisation et la mise en place de la procédure, l est tout autant pour la réussite de l équipe d évaluateurs. L équipe la mieux qualifiée peut être déstabilisée dans son travail, si l agence ne lui a pas fixé des objectifs clairs et précis. Pour faire face à ces problèmes, les agences ont élaboré des outils pour le choix et la formation d experts compétents. Certaines d entre elles ont mis en place des programmes de formation, d autres se contentent de simples réunions d information avant le démarrage de l évaluation. Dans le module 4, on approfondira les notions de réunion d information et de formation. Certaines agences donnent une rémunération symbolique aux évaluateurs, membres de l équipe d évaluation, et d autres non. D une manière générale, la participation à une équipe d évaluation est considérée comme enrichissante sur le plan professionnel et comme une forme de participation au système d enseignement supérieur du pays. L agence d assurance qualité doit constituer l équipe d évaluateurs à partir de son vivier d experts en pondérant plusieurs éléments. La composition et la taille de l équipe dépend de la nature de l unité à évaluer, sa taille, ses effectifs, son 30 Module 3 : Conduire la procédure d assurance qualité externe

137 financement, etc. Il n y a pas de taille idéale pour l équipe, mais, dans tous les cas, elle doit comprendre le nombre nécessaire d évaluateurs ayant les compétences adéquates pour bien appréhender l unité à évaluer et capables de consacrer le temps nécessaire à son évaluation. Il n est certes pas possible qu un seul évaluateur connaisse tous les aspects du fonctionnement d un établissement ou d un programme de formation. L agence doit donc assurer la composition d une équipe capable de faire une évaluation collective satisfaisante. La complémentarité des compétences des membres de l équipe est une garantie d équité, car le résultat de l évaluation sera le produit d un accord entre plusieurs points de vue. Pour optimiser le résultat du travail collectif de l équipe, l agence doit considérer trois points majeurs : (1) la pertinence de la visite d évaluation sur le plan scientifique et administratif ; (2) les capacités des évaluateurs en matière de rédaction du rapport et d interaction avec les acteurs de l établissement pendant la visite ; (3) les caractéristiques personnelles des experts, nécessaires pour le travail en équipe, et notamment, la capacité de travailler en groupe et d écouter les autres. L agence a besoin de spécialistes disciplinaires pour évaluer les disciplines ou les filières de formation, mais pour l évaluation institutionnelle, elle doit utiliser des évaluateurs qui connaissent les secteurs stratégiques du fonctionnement institutionnel. En plus de ces considérations, il y a deux autres options pour constituer l équipe d évaluation. Option 1 : Évaluateurs nationaux Beaucoup d agences d assurance qualité choisissent des évaluateurs nationaux parce qu ils connaissent le contexte national. Mais ce n est pas toujours une option possible et ce, pour plusieurs raisons : les liens entre les évaluateurs et les évalués peuvent être trop forts quand la taille du système d enseignement supérieur est limitée ; on manque d universitaires de niveau scientifique suffisant pour être crédibles comme évaluateurs ; les établissements d enseignement supérieur, pour diverses raisons, ne peuvent pas faire confiance aux universitaires nationaux. Dans ces conditions, il est nécessaire de faire appel à des experts internationaux pour constituer l équipe d évaluation externe. Option 2 : Évaluateurs internationaux Avec la multiplication des initiatives de coopération régionale entre agences d assurance qualité, la participation d évaluateurs internationaux est considérée comme une bonne pratique pour assurer la comparabilité et l acceptation des résultats d évaluation au niveau international. De plus, la présence internationale apporte une nouvelle perspective dans l assurance qualité du pays et améliore le professionnalisme. Ces aspects seront analysés plus en détail dans le module 4. Après le choix des évaluateurs, les agences d assurance qualité doivent vérifier l éventuelle présence de conflit d intérêts entre les évaluateurs et l établissement à évaluer. L intégrité des évaluateurs peut être reconnue, mais pour assurer l objectivité, certaines agences leur demandent de certifier qu ils ne sont, ou n ont été, ni directement ni indirectement, impliqués dans l établissement concerné, que ce soit par l intermédiaire des parents proches ou en qualité de consultant, d ancien diplômé, de membre de conseil, etc. Sur ce point particulier, il existe deux options : 31 Module 3 : Conduire la procédure d assurance qualité externe

138 Option 1 : Consultation avec les établissements pour la constitution de l équipe d évaluation La consultation peut avoir lieu à différents niveaux. Certaines agences possèdent un vivier ou un fichier d évaluateurs, constitué de personnes nommées par les établissements eux-mêmes. Dans ce cas, l agence est obligée de choisir des évaluateurs parmi les personnes nommées. Dans certains systèmes, l agence d assurance qualité vérifie avec l établissement d enseignement supérieur que celui-ci n a pas d objection contre les évaluateurs choisis. Si l objection est fondée, l agence peut effectuer des changements dans la composition de l équipe tout en se réservant le droit de la décision finale. La consultation avec l établissement pour la constitution de l équipe est considérée comme une bonne pratique pour encourager l esprit d assurance qualité comme un exercice de partenariat fondé sur la confiance mutuelle. Option 2 : Constitution de l équipe d évaluation sans consultation des établissements Quand le but de l assurance qualité est le contrôle de la qualité, l agence décide du choix des évaluateurs externes sans consulter l établissement. Cela peut être nécessaire, en particulier quand l introduction des mécanismes d assurance qualité est récente et l évaluation des établissements vise à garantir la conformité avec les standards de base. Il est, cependant, fortement conseillé de consulter les établissements, car les recommandations des évaluateurs externes ont un rôle important pour l amélioration de l établissement ou de la filière de formation. Si les évalués ne font pas confiance aux évaluateurs ou, pour différentes raisons, ils ne les considèrent pas comme fiables, les avis des évaluateurs seront écartés et, par conséquent, une part importante de leur contribution sera perdue. Encadré 10. La constitution de l équipe d évaluation : Le cas de l évaluation institutionnelle (CONEAU) [Argentine] Désignation des membres responsables au sein de la CONEAU La première étape commence par la désignation, au sein de la CONEAU, des membres responsables de l évaluation. Sont désignés par tirage au sort au moins deux membres de la CONEAU qui seront chargés d analyser et traiter des aspects particuliers de l opération, à savoir, le cadre de l évaluation externe convenu avec l université, les principales dispositions concernant son organisation, les activités support et l accord sur le groupe d évaluateurs externes (pairs), le suivi de la procédure y compris la visite sur site les appréciations portées sur les rapports d évaluation produits par le comité d experts et le rapport final. Définition des profils des évaluateurs et des termes de référence des membres du comité d évaluateurs (pairs) Les membres de la CONEAU désignés comme responsables techniques de l évaluation externe se prononcent sur le profil des évaluateurs, le nombre des membres de chaque équipe et sa composition, le contenu des termes de référence des évaluateurs. Les responsables techniques de la CONEAU élaborent le modèle des termes de référence en concertation avec l équipe des évaluateurs. Dans le fichier d experts de la CONEAU, on choisit les experts dont les caractéristiques sont les mieux adaptées aux profils définis. La CONEAU choisit les évaluateurs et communique, par la suite, à l université, leurs noms et antécédents académiques et professionnels. 32 Module 3 : Conduire la procédure d assurance qualité externe

139 La constitution de l équipe d experts suppose un équilibre dans la composition et le nombre de personnes en fonction de la taille et de la complexité de l établissement à évaluer. Source : Site web de la CONEAU Après s être assurée que l équipe d évaluation n a pas de conflit d intérêts avec l établissement ou la filière de formation à évaluer, l agence consulte l établissement pour fixer le calendrier des visites sur site. Conduire l évaluation (visite sur site) Il appartient à l agence de préciser les lignes directrices de l évaluation externe, de définir le rôle des évaluateurs, car ceux-ci peuvent aborder l évaluation sous des angles différents. L agence doit informer les responsables des établissements ou des filières de formation concernés des conditions de la procédure. L agence doit expliquer clairement ses responsabilités et celles de l établissement, les obligations des évaluateurs et, notamment, leur adhésion aux critères de l agence et leur engagement de confidentialité sur toute information obtenue pendant l évaluation, les activités à exécuter et les rapports à faire pour l agence et l établissement. En règle générale, les agences d assurance qualité donnent aux évaluateurs des lignes directrices détaillées pour assurer la cohérence du travail effectué. Les évaluateurs commencent la procédure d assurance qualité à partir de la remise du rapport d auto-évaluation à l agence. Dans la majorité des cas, ils sont responsables de la préparation de la visite sur site et décident des personnes qu ils souhaitent y rencontrer et des thèmes à discuter. Encadré 11. Les tâches des membres et du responsable du groupe d experts (OAQ) [Suisse] Des contrats sont conclus avec les experts externes pour régler les mandats de droit privé qui leur sont confiés et définir les prestations que l OAQ s attend à les voir effectuer. Les devoirs suivants incombent aux experts : procéder à une lecture approfondie et critique du rapport d auto-évaluation, afin de préparer de façon optimale la visite sur les lieux ; effectuer, en règle générale, deux jours de visite de l unité à accréditer, afin de vérifier l adéquation des prestations effectives aux standards d accréditation. Les experts sont chargés de consigner eux-mêmes par écrit le contenu des entretiens avec les représentants de l unité et de compléter les annexes prévues à cet effet ; à la fin de la visite, présenter des suggestions et des conseils visant à assurer la qualité et à l améliorer ; contribuer à la rédaction du rapport d évaluation externe, placé sous la responsabilité du chef du groupe. Le contenu du rapport doit se fonder sur les faits relevés par les experts lors de la visite et doit être rédigé de façon constructive. Par conséquent, le rapport d évaluation externe doit aussi mettre en évidence les forces et faiblesses de l unité, ainsi que les recommandations d amélioration formulées par les experts lors de leur visite. Sur la base de l ensemble de ces éléments, ce document doit contenir une prise de position du groupe d experts quant à la décision d accréditation. 33 Module 3 : Conduire la procédure d assurance qualité externe

140 Soutien de l OAQ L OAQ assure la continuité des procédures d auto-évaluation et d évaluation externe. Dans le cadre de la visite sur place, le collaborateur de l OAQ qui accompagne le groupe d experts s assure que l évaluation externe a lieu conformément à la procédure. Au moment de la rédaction du rapport, une aide administrative peut être apportée par l OAQ, par exemple pour la mise en forme finale du rapport. Source : Site web de l OAQ L équipe effectue la visite, selon un calendrier convenu avec l établissement, pour valider le rapport d auto-évaluation et mettre en œuvre les missions qui lui ont été assignées par l agence d assurance qualité. La durée de la visite dépend de la taille de l unité à évaluer et du niveau de l évaluation. Pendant la visite, l équipe d évaluation, munie du cadre fourni par l agence d assurance qualité, exécute trois principales activités : la visite des composantes de l établissement toutes les composantes ou certaines seulement sélectionnées par avance, les entretiens avec différentes personnes de l établissement et la vérification des données fournies. La visite des composantes et les échanges avec les responsables et les personnels enrichissent et affinent les informations des évaluateurs sur l établissement. Il existe trois options pour organiser la visite de l établissement : Option 1 : L équipe d évaluation, ou son président, participe à l organisation de la visite Certaines agences d assurance qualité demandent au président du groupe d effectuer une visite préparatoire pour discuter du programme et du contenu les mieux appropriés pour appréhender l établissement ou la filière de formation dans leur réalité. Le président peut effectuer cette visite préliminaire seul ou avec le coordonnateur de l agence. Option 2 : L agence d assurance qualité assure seule l organisation de la visite Souvent, la communication directe entre l équipe d évaluation et l établissement commence avec la visite sur site. Jusque-là, tous les contacts de l établissement avec l équipe d évaluation se font par l intermédiaire de l agence. C est le personnel de l agence qui organise le programme de visite en concertation avec l établissement et le président de l équipe d évaluation. Option 3 : L agence organise la visite suivant les instructions de l équipe d évaluation Il y a une troisième option où l agence organise la visite suivant les instructions de l équipe d évaluation. Après avoir pris connaissance du rapport d auto-évaluation, les évaluateurs informent l agence des personnes qu ils souhaitent rencontrer, des sites à visiter et des données à vérifier. L encadré ci-après présente la visite sur site organisé par la Commission des titres d ingénieurs (CTI) dans le cadre de l habilitation. La CTI dépend du ministère de l'éducation nationale, au titre de ses responsabilités sur l'enseignement technique. Mais sa vocation est interministérielle : sept ministères ont des écoles d'ingénieurs en tutelle. Elle a vocation d'être consultée sur toutes les questions concernant les titres d'ingénieurs diplômés : création d écoles, création de nouvelles spécialités ou options, évolution, toutes modifications ou initiatives significatives, mission de suivi (enquête périodique), retrait d'habilitation. 34 Module 3 : Conduire la procédure d assurance qualité externe

141 Encadré 12. Conduire l évaluation Visite sur site (CTI) [France] La Commission des titres d ingénieur (CTI), est l organisme d évaluation et d habilitation des formations d ingénieurs en France. Elle examine les demandes d habilitation des formations d ingénieurs en France et organise l évaluation périodique des formations. Pour cela, elle a mis en place une prodédure d évaluation externe avec le processus suivant : La réception du dossier d habilitation par tous les rapporteurs constitue le point de départ de la préparation de la mission. Le rapporteur principal et le directeur de l école entrent en contact pour fixer la date et définir le déroulement précis de la visite sur les différents sites d enseignement. Le greffe de la CTI communique au rapporteur principal l historique des missions précédentes, les débats de la Commission ainsi que les habilitations correspondantes. L équipe de direction de l établissement vérifie au moyen du guide d auto-évaluation qu elle a rassemblé les preuves témoignant de son organisation et les a classées de manière à les rendre accessibles lors de la visite des rapporteurs. Déroulement Pour une formation «classique», jusqu à deux spécialités, la mission se déroule sur une journée complète plus, éventuellement, une demi-journée, la veille, pour la préparation ou l examen préalable de dossiers sur place. La visite peut s organiser selon le schéma suivant : Matinée Le directeur de l école présente l établissement, les formations et sa stratégie de développement. Cet exposé peut s effectuer en présence de membres du Conseil d administration ou de l équipe de direction. Il est suivi d un débat avec les rapporteurs. À titre indicatif, l exposé du directeur peut être de l ordre d une heure tandis que deux heures peuvent être consacrées au débat. Pause de midi C est l occasion de rencontrer et d échanger librement avec les partenaires de la formation quelquefois difficilement disponibles à un autre moment. Après-midi poursuite éventuelle de la discussion ; visite de l école et notamment des locaux pédagogiques ; en dehors de la présence de la direction de l école, des rencontres successives sont nécessaires avec quelques enseignants, quelques personnels techniques et administratifs, quelques élèves ingénieurs, des anciens élèves et des industriels ; réunion privée des rapporteurs ; c est à ce moment que les rapporteurs peuvent consulter les différents éléments de preuves complémentaires de l examen du dossier, et confronter leur perception globale de l école. Il y a lieu de prévoir une heure minimum, durée à adapter selon les cas avec le rapporteur principal ; rencontre de fin de mission avec le directeur : courte discussion, demande de documents complémentaires, etc. Le bilan en fin de mission doit permettre de tirer les premières conclusions. Cependant celles-ci n engagent en aucune façon la CTI, notamment les avis rendus et les décisions prises en séance plénière. 35 Module 3 : Conduire la procédure d assurance qualité externe

142 Dans le cas où la formation visitée est une composante d un établissement, il est indispensable que les rapporteurs rencontrent le chef de l établissement (le président de l université si la formation est un institut interne à l université, par exemple), si possible dans un entretien séparé. Dans la mesure où il paraît raisonnable de consacrer au moins deux heures à l examen d une spécialité, une mission limitée à une seule journée ne permet pas d aller au-delà de l examen de deux spécialités d un même établissement. Si l établissement délivre un diplôme dans plus de deux spécialités, la mission doit se dérouler sur deux jours au moins. Source : Site web de la CTI La rédaction du rapport par le groupe d évaluateurs Souvent, un membre du groupe est désigné comme responsable de la rédaction du projet de rapport en collaboration avec les autres. Un représentant de l agence d assurance qualité peut, parfois, assurer la fonction de secrétaire ou de président du groupe et se charger de la préparation du rapport. On a donc deux options : Option 1: L agence d assurance qualité a un rôle direct dans la préparation du projet de rapport Un membre de l agence participe au groupe d évaluateurs en qualité de président, de coordonnateur ou de membre du secrétariat et se charge de la préparation du projet de rapport en concertation avec le groupe. Le choix de cette option dépend de la politique de l agence. On doit prendre en compte la taille du système d enseignement supérieur, la taille de l agence et le volume du travail à faire pour décider s il est possible de faire participer un membre du personnel à chaque équipe d évaluation. En Suisse comme en Argentine, l OAQ et la CONEAU jouent un rôle actif dans la préparation du rapport. Encadré 13. La rédaction du rapport préliminaire et du rapport final par la CONEAU et sa présentation à l établissement évalué [Argentine] Le comité d évaluateurs externes élabore un projet de rapport qui fait l objet d échanges d opinions avec les autorités de l établissement à la fin de la visite sur site. Après la visite, le comité, avec l aide de l équipe technique, dispose d un mois pour préparer son rapport et exploiter les informations recueillies ; le rapport doit être constructif et comporter des observations et des recommandations hiérarchisées. Des corrections ou des développements complémentaires sont demandés aux experts, si nécessaire. Par la suite, les membres de la CONEAU l examinent avant de procéder à la rédaction de la version préliminaire du rapport final qui est envoyé au président de l université pour qu il formule, si nécessaire, ses observations. Source : Site web de la CONEAU Option 2 : L agence d assurance qualité n a pas de rôle direct dans la préparation du projet de rapport Quand le groupe d évaluateurs ou un de ses membres est responsable de la préparation du rapport, aucun membre de l agence ne participe à sa rédaction. Si un membre de l agence participe au groupe à titre de coordonnateur, le règlement de l agence lui interdit de participer à la rédaction. Cette option est adoptée par le Conseil national d évaluation et d accréditation (NAAC) en Inde. Avec 36 Module 3 : Conduire la procédure d assurance qualité externe

143 établissements à couvrir pour l accréditation nationale, l accréditation étant valide pour cinq ans, l agence ne peut avoir un rôle direct dans la rédaction du rapport. La responsabilité incombe donc, globalement, au président du groupe d évaluation et à ses membres. La même option est choisie par certaines agences d accréditation régionales aux États-Unis. Les agents de la Higher Learning Commission de l Association des collèges et universités du Centre-Nord (NCACS) ne participent pas aux équipes d évaluation, contrairement à ceux du Conseil d accréditation des collèges et facultés indépendants (ACICS) qui y participant sauf en ce qui concerne les décisions qui découlent de l évaluation. L ACICS décrit le rôle de ses agents comme suit : «Pendant la visite, le rôle principal du représentant de l agence est de se faire l interprète des critères d accréditation de l ACICS. Il doit donner aux membres du groupe des orientations pour les comprendre et les mettre en pratique et aider les membres du groupe à recueillir des informations. Le représentant de l ACICS ne sera chargé d aucune responsabilité concernant la rédaction d une section du rapport, à l exception des sections concernant sa publication. Le représentant de l ACICS doit également s assurer que tous les secteurs de l établissement ont été correctement évalués par les membres du groupe d évaluateurs.» (ACICS, 2006) Dans le cadre de cette option, il est clair pour les établissements comme pour les évaluateurs externes, que la responsabilité de l évaluation appartient au groupe d évaluateurs. Par ailleurs, il faut rappeler que les membres de l agence sont qualifiés pour les différents aspects de la procédure d assurance qualité, mais qu ils ne remplissent pas les critères pour agir en qualité de pairs. Même si le personnel de l agence peut aider le groupe d évaluation pour les travaux de logistique (secrétariat, etc.), le groupe d évaluateurs reste l unique responsable du contenu du rapport. En règle générale, le groupe de pairs, au cours d une réunion à la fin de la visite sur site, fait part, oralement, à l établissement, des principaux résultats de son évaluation. Ces premières conclusions peuvent donner lieu à un rapport ou un résumé établi par l agence qui souhaite ainsi connaître les réactions de l établissement. Certaines agences limitent les évaluateurs au rôle de rapporteurs. À partir de l analyse du rapport d auto-évaluation et de la visite sur site, les experts produisent des informations, font des observations dans des cadres définis, mais ils ne formulent ni jugements ni recommandations, car l agence a son propre mécanisme d évaluation de leurs observations pour prendre sa décision. Cette méthode contribuerait à réduire les différences de jugements entre groupes d experts, car l agence peut pondérer leurs appréciations au regard des données d établissements ou de filières de formation similaires. Toutefois, on peut considérer que cette méthode est une intrusion directe de l agence dans une procédure où l évaluation par les pairs est centrale. 37 Module 3 : Conduire la procédure d assurance qualité externe

144 5. La prise de décision et le rapport de l agence Quand la procédure d assurance qualité vise uniquement l évaluation d un établissement ou d une filière de formation, sans référence à la conformité aux standards ou aux critères, le rapport du groupe d évaluation externe pourrait être la dernière étape de la procédure ; mais si l agence d assurance qualité doit se prononcer sur le degré de conformité de l établissement aux standards et critères établis, elle produit son propre rapport. Rédaction du rapport par l agence d assurance qualité Les résultats produits par l agence d assurance qualité sont décisifs pour l impact final de la procédure d assurance qualité. Les principales options concernant la rédaction du rapport d évaluation par l agence sont les suivantes : Option 1 : Attribution d un statut juridique Quand le but de l assurance qualité est de certifier que l établissement ou la filière de formation remplit les conditions requises pour obtenir un statut juridique ou une reconnaissance, comme le fait de faire partie de l offre nationale ou l éligibilité au financement public, le résultat peut être un simple «oui/non» ou «accrédité/non accrédité». Le même type de décision est pris dans le cadre des dispositifs d autorisation d ouverture/fonctionnement donnée à des établissements privés. Quand choisir la présentation des résultats en mode binaire (two-point scale outcome)? Quand l assurance qualité doit vérifier le niveau de qualité ou quand il s agit des décisions simples concernant la régulation, l autorisation ou la reconnaissance, on peut choisir le mode de présentation binaire (accrédité/non accrédité). On se prononce sur le respect des conditions de base, sans référence aux différences de niveau de qualité des établissements ou des filières de cette catégorie. On garantit ainsi aux utilisateurs que, d après les résultats de l évaluation externe de l établissement ou de la filière, il (ou elle) est conforme aux requis correspondant au niveau de formation ou au niveau du secteur professionnel concernés. Le besoin d intervention de l État est donc moindre et les étudiants sont assurés que la formation est d un niveau acceptable et correspond à leur demande. Dans les systèmes d enseignement supérieur qui utilisent le système de crédits, ce résultat peut faciliter le transfert des crédits d enseignement entre établissements. C est aussi la première étape pour l accréditation des filières de formation professionnalisées, car pour obtenir l autorisation d exercice de certaines professions, on doit avoir fait des études complètes dans une filière de formation accréditée. Mais les agences d assurance qualité doivent répondre à une multitude d attentes, et pour ce faire, d autres choix sont à envisager. Option 2 : Des résultats sur une échelle multipoint (multi-point scale) Lors de la procédure d assurance qualité, si la question posée est : «Vos résultats sont-ils bons?», le résultat serait une note multipoint, c est-à-dire, une note composée de points obtenus sur plusieurs critères. Elle peut être numérique, littérale ou descriptive. 38 Module 3 : Conduire la procédure d assurance qualité externe

145 Au Royaume-Uni, la campagne d évaluation de la recherche (RAE) par le Conseil de financement de l enseignement supérieur (Higher Education Funding Council- HEFCE) a adopté ce mode de présentation des résultats. Le HEFCE est actuellement à sa quatrième campagne d évaluation. Pour la campagne de 2008, les résultats seront présentés sur cinq niveaux, définis dans l encadré 13. La méthode a subi des modifications mais l évaluation par niveau de qualité demeure le point central de la démarche. L audit institutionnel réalisé par l Agence d assurance qualité britannique (QAA) a emprunté cette méthodologie. Ainsi, les rapports d évaluation institutionnelle incluent une déclaration de l Agence sur le degré de confiance qu elle accorde à la poursuite des efforts d efficacité de l établissement pour l assurance qualité. La QAA suit la même démarche méthodologique pour l évaluation des enseignements, comme le montrent les exemples présentés dans l encadré ci-après. Encadré 14. Rapport des résultats d assurance qualité (QAA) [Royaume-Uni] Évaluation de la recherche Définitions des niveaux de qualité : Quatre étoiles : Qualité de niveau international en termes d originalité, d importance et de rigueur. Trois étoiles : Deux étoiles : Une étoile : Non classé : Qualité excellente, de niveau international en termes d originalité, d importance et de rigueur ; néanmoins, elle ne correspond pas aux standards d excellence les plus élevés. Qualité reconnue au niveau international en termes d originalité, d importance et de rigueur. Qualité reconnue au niveau national en termes d originalité, d importance et de rigueur. Qualité inférieure aux standards des travaux reconnus au niveau national ; ou travaux qui ne correspondent pas à la définition officielle de recherche soumise à évaluation. (Les résultats de la prochaine campagne d évalaution de la recherche qui doit avoir lieu en 2008 seront publiés sous forme de profils classés au lieu du classement sur une échelle en sept points) Évaluation des filières : Angleterre Cette procédure d évaluation a été mise en place en Angleterre depuis 2002, pour le financement direct des formations supérieures dans les collèges d éducation permanente (further education colleges). On formule des appréciations sur les standards académiques, définis par le prestataire de la formation, au regard des benchmarks de la discipline concernée, le niveau du diplôme et les objectifs de la formation ; on évalue l efficacité des contenus et les dispositifs d évaluation par rapport aux objectifs de la formation, et le taux de réussite des étudiants. On évalue également la qualité de l apprentissage et l efficacité de l enseignement, les ressources pédagogiques, le personnel, le soutien aux étudiants. 39 Module 3 : Conduire la procédure d assurance qualité externe

146 Appréciations concernant les standards académiques Les évaluateurs formulent une appréciation globale. En fonction des points exposés cidessous, ils décident si les standards académiques de la formation évaluée sont satisfaisants ou non. Un avis de «confiance» est formulé, si les évaluateurs sont satisfaits des standards actuels et de la perspective de leur maintien dans l avenir ; un avis de «confiance limitée» est prononcé, si les standards actuels sont satisfaisants mais leur maintien dans le futur n est pas assuré ; un avis de «non-confiance» est formulé, si les évaluateurs pensent que le manque de dispositifs appropriés ne permettra pas l amélioration du niveau. Appréciations concernant la qualité de l offre de formation Dans leur rapport sur la qualité de l offre de formation, les évaluateurs classent les caractéristiques de la formation et leurs appréciations dans une des trois catégories suivantes : «louable», «agréée», «défaillante» : L avis classé dans la catégorie «louable» signifie que la formation fonctionne en conformité avec les objectifs d apprentissage visés ; de plus, plusieurs éléments témoignent de l existence de bonnes pratiques. L avis classé dans la catégorie «agréée» signifie que la formation permet la réalisation des objectifs d apprentissage visés, mais des améliorations sont nécessaires pour surmonter certaines faiblesses. Le rapport doit normalement inclure un exposé comprenant la phrase «agréée, mais» dans laquelle seront présentés les domaines qui requièrent des mesures d amélioration ; L avis classé dans la catégorie «défaillante» signifie que la formation ne contribue pas à la réalisation des objectifs d apprentissage visés. Il faut donc procéder d urgence à des améliorations d envergure. Source : Site web de la QAA Quand choisir la présentation des résultats «classés sur une échelle multipoint»? Cette présentation convient lorsque l agence d assurance qualité veut se focaliser sur le niveau de réalisation des résultats. Si le travail de l agence est utilisé par le gouvernement ou par un organisme de financement pour l allocation de subventions, la présentation binaire ne serait pas suffisante. L agence peut alors choisir le mode de présentation où les niveaux de qualité sont exprimés sur une échelle multipoint. Des systèmes d enseignement supérieur de taille importante avec des niveaux de qualité hétérogènes peuvent opter pour ce modèle. Une autre façon de considérer l «échelle multipoint» est d utiliser un mode de présentation binaire tel que «accrédité/non accrédité», en précisant les différentes durées d accréditation. C est un bon moyen pour traiter la diversité des établissements. Si l on constate qu ils sont fiables et capables de garantir la qualité de leur travail, l accréditation pourrait être d une durée plus longue (entre 5 et 10 ans) ; si, en revanche, un contrôle plus strict s avère nécessaire, ils seraient accrédités pour deux ans seulement. 40 Module 3 : Conduire la procédure d assurance qualité externe

147 Option 3 : L accréditation comme processus multiniveau Dans certains systèmes d assurance qualité, l accréditation ne se limite pas à des résultats simples ; on considère qu il s agit d un processus multiniveau qui suit l évolution de l unité concernée. Ainsi, la première accréditation permet à l établissement ou à la filière de formation d obtenir un statut qui peut s améliorer à l occasion du renouvellement, comme c est le cas aux États Unis et aux Philippines. Les niveaux de classement correspondent à différentes durées d accréditation et divers types d avantages. Ce système est souvent mis en œuvre dans les pays où l enseignement supérieur se caractérise par l hétérogénéité des niveaux de qualité. C est aussi un moyen d inciter les établissements à faire des efforts pour atteindre des niveaux de qualité supérieurs. Option 4 : Rapport «seul» Si l exercice d assurance qualité vise à titre principal la manière dont l établissement contrôle ses standards académiques, assure et améliore la qualité de son offre de formation, on peut se contenter d un rapport comme dans le cas d un audit classique. Les objectifs de l établissement ou de la filière de formation sont considérés comme le point de départ, et le rapport explique le degré de réussite de l établissement dans son effort d atteindre les objectifs affichés au moyen des dispositifs mis en place. Quand choisir la présentation des résultats sous forme de rapport «seul»? Quand les procédures de l établissement ou de la filière de formation pour assurer la qualité de son offre sont le point focal de l assurance qualité, l agence peut choisir la procédure d audit donnant lieu à un rapport. En raison de l importance accordée aux procédures internes de l établissement ou de la filière de formation, cette méthode conviendrait aux systèmes développés avec des procédures bien établies, et aux systèmes qui cherchent à renforcer leurs procédures internes. Option 5 : Combinaison des modes de présentation des résultats Le choix de mode de présentation des résultats dans le cadre du rapport n est ni simple ni direct comme les développements précédents pourraient le laisser penser. C est une démarche complexe qui mérite attention, car chaque option s appuie sur des considérations distinctes ; de plus, la différence entre options n est pas toujours évidente. Une agence peut utiliser une combinaison de plusieurs modèles, prendre, par exemple, comme base la présentation binaire de type «accrédité/non accrédité» et ajouter d autres dimensions au résultat. L accréditation de «Badan Akreditasi Nasional Perguruan Tinggi» (BAN-PT) en Indonésie, résulte de la combinaison des modèles 1 et 2. La décision d accréditation officielle de BAN-PT confère un grade sur une échelle de quatre points : grade A à grade D. Le grade A indique que la filière de formation est conforme aux standards internationaux ; le grade B indique qu elle est de bonne qualité ; le grade C indique qu elle remplit les exigences de base ; et le grade D signifie que l accréditation est refusée. En Inde, le Conseil d accréditation (Accreditation Board) du Conseil indien de la recherche en agriculture (Indian Council of Agriculture Research ICAR) présente le résultat d accréditation sur une échelle en trois points : accréditation, accréditation provisoire, refus d accréditation. 41 Module 3 : Conduire la procédure d assurance qualité externe

148 Quand choisir une combinaison des modes de présentation des résultats Les différences de structures, de politiques, de niveau de développement, d acteurs, les évolutions internationales, mais aussi les objectifs propres de l assurance qualité font partie des raisons qui expliquent la variété des combinaisons possibles des différents modes de présentation. Le Conseil national d évaluation et d accréditation (National Assessment and Accreditation Council NAAC) en Inde a choisi une échelle en neuf points, plus un rapport, pour le classement des résultats de son système d assurance qualité. D autres organismes d assurance qualité indiens ont adopté des combinaisons différentes. La Commission nationale d accréditation (National Board of Accreditation NBA) du Conseil panindien pour l enseignement technique (All India Council for Technical Education AICTE) qui accrédite les Écoles d ingénieurs et les filières d études connexes attribuait aux filières de formation des grades sur une échelle en trois points A, B et C. Depuis janvier 2003, elle a adopté un modèle en deux points, «accrédité/non accrédité», pour se conformer au modèle utilisé par des organismes d accréditation au niveau international, en particulier les signataires de l Accord de Washington qui assure la mobilité transfrontalière des ingénieurs. Ses décisions d accréditation ont des périodes de validité entre trois et cinq ans, ce qui ajoute un élément d évaluation supplémentaire du niveau de qualité. La stratégie de présentation des résultats de la procédure d assurance qualité est donc conçue en tenant compte du contexte national, de l objectif général de l assurance qualité et des évolutions internationales. Ces développements conduisent aux observations suivantes : 1. La présentation de la décision d accréditation en mode binaire (accrédité/non accrédité) est utile lorsqu il s agit de décisions simples (éligibilité au financement, attribution d un statut juridique). 2. La présentation des résultats sur une échelle multipoint ou sous forme de labellisation multiniveau (classement à différents niveaux d accréditation) convient aux grands systèmes d enseignement supérieur caractérisés par des différences sensibles de qualité, mais aussi lorsqu il s agit de décisions concernant la mise en place des mesures de financement ou des mesures incitatives fondées sur la qualité. 3. La présentation des résultats dans un seul rapport convient quand l assurance qualité évalue les dispositifs d assurance qualité. Elle peut être également utile pour des systèmes développés dotés des mécanismes internes bien établis. Elle est aussi recommandée aux systèmes qui visent à renforcer leurs dispositifs internes d amélioration de la qualité. 4. La combinaison des modes de présentation des résultats doit être faite en fonction du contexte national et des buts du système d assurance qualité. 42 Module 3 : Conduire la procédure d assurance qualité externe

149 Activité 3 Quelle combinaison des modes de présentation des résultats serait la mieux adaptée à votre contexte national? Que pensez-vous des avantages et des inconvénients d une échelle multipoint? Le rapport d assurance qualité résume les conclusions et recommandations fondées sur l auto-évaluation et la visite sur site. Mais la formulation des conclusions et recommandations peut varier sensiblement selon les pays. Dans certains rapports, on présente seulement les résultats de l analyse, c est-à-dire les jugements des experts sous forme de conclusions et de recommandations. Dans d autres, les jugements des experts sont présentés en détail et situés dans leur contexte ; on expose les raisons justifiant les recommandations, et on peut même ajouter des documents qui soutiennent les conclusions. La forme du rapport reflète des attitudes traditionnelles, dans un pays, sur le besoin d informations pour étayer des jugements, la portée des résultats et le niveau des groupes visés. En général, le rapport destiné aux futurs étudiants, employeurs et autres parties intéressées, doit être différent de celui destiné à la communauté universitaire. La prise de décision par l agence Le rapport comme les recommandations de l équipe d évaluation sont un apport considérable pour les décisions de l agence. Certaines agences prennent en compte seulement le rapport du groupe d évaluation, alors que d autres examinent d autres informations aussi, comme le rapport d auto-évaluation de l établissement. Aux questions : «Quelles informations ont été prises en compte pour la décision sur l assurance qualité?» et «Qui a pris la décision finale?», trois options sont possibles en réponse à chaque question. Option 1 : Prise en compte des recommandations du groupe d évaluation externe seulement On fait l hypothèse que les recommandations du groupe ont été élaborées sur la base d informations pertinentes, par conséquent elles sont suffisantes pour la prise de décision. Option 2 : Prise en compte du rapport du groupe d évaluation externe et du rapport d auto-évaluation de l établissement ou de la filière de formation 43 Module 3 : Conduire la procédure d assurance qualité externe

150 On fait l hypothèse que le rapport d auto-évaluation préparé par l établissement est aussi important que celui qui a été élaboré par le groupe d évaluation externe, par conséquent les deux sont pris en compte par l agence. Option 3 : Prise en compte du rapport du groupe d évaluation externe, du rapport d auto-évaluation et d autres informations pertinentes L agence d assurance qualité a le droit de prendre en considération, en plus des rapports, d autres informations pertinentes telles que des données générales sur l établissement ou le programme d études. Elle peut examiner aussi des données concernant d autres établissements et filières similaires pour contextualiser sa décision. Option 4 : Prise en compte du rapport du groupe d évaluation externe, du rapport d auto-évaluation, d autres informations pertinentes et de la réponse de l établissement Il s agit là d une variante de l option 3, où l on accorde une importance particulière à la réponse de l établissement pour la prise de décision. Ici, la réponse de l établissement est plus qu une réaction (feedback) sur la visite sur site et le groupe d évaluation. Avant la prise de décision, l établissement peut être interrogé sur certains aspects pour étayer la décision finale. Le cas de la Commission des collèges et des universités du Nord-Ouest (North West Commission on Colleges and Universities NWCCU) est présenté ci-après. Encadré 15. Prise de décision par l agence d assurance qualité [États Unis] Quand la Commission doit décider de la candidature d un établissement, qui constitue le premier niveau d accréditation pour un établissement qui cherche à joindre une agence d accréditation régionale aux États-Unis, elle examine : le rapport d auto-évaluation et autres documents concernant l établissement ; le rapport du comité d évaluation ; la réponse écrite de l établissement au rapport du comité d évaluation et aux recommandations confidentielles concernant sa candidature. À la suite de quoi, elle organise une réunion où elle invite le responsable de l établissement à faire une déclaration. Source: Site web de la NWCCU Qui a la responsabilité de la décision finale dans la procédure d assurance qualité? Cela dépend du rôle des évaluateurs, s il se limite à des conseils ou si les évaluateurs peuvent se prononcer sur la qualité. Option 1 : Le groupe d évaluation fait des recommandations, l agence approuve La plupart des agences font confiance à l évaluation des pairs. Comme il été précédemment expliqué, pour certaines même, les recommandations du groupe d évaluateurs est la seule considération prise en compte pour la décision. À la fin de la visite sur site, le groupe d évaluation peut faire part au responsable de l établissement des principales conclusions, oralement, mais il soumet ses recommandations à l agence par écrit. Si l objectivité du groupe et/ou la conduite de la visite ne font pas l objet de contestation de la part de l établissement (à moins que l agence n ait de sérieuses appréhensions), les recommandations du groupe 44 Module 3 : Conduire la procédure d assurance qualité externe

151 sont approuvées par l agence et considérées comme le résultat final de la procédure. Il peut y avoir des mécanismes d appel et une évaluation complémentaire, mais l évaluation du groupe sert de base à la décision de l agence. Pour cette option, on a besoin d évaluateurs compétents, afin que les décisions soient adaptées à la situation, surtout dans les grands systèmes d enseignement supérieur. Cela est important aussi dans les modèles d assurance qualité où le personnel de l agence ne participe pas à la visite sur site. Option 2 : Le groupe d évaluation recommande, l agence décide Ceci est une légère variante de l option 1. Bien que l agence s appuie beaucoup sur l évaluation des pairs, elle prend en considération d autres éléments aussi pour s assurer que l évaluation a été réalisée selon ses principes. L agence examine donc le rapport d évaluation, le rapport d auto-évaluation et la réaction de l établissement sur les résultats de la visite. Si l évaluation a été conforme au cadre de l assurance qualité, l agence prend la décision finale. Option 3 : Le rôle du groupe d évaluation se limite à faire des observations Certaines agences demandent aux évaluateurs de formuler seulement des avis ou de rapporter à l agence leurs impressions sur l établissement (ou la filière de formation) par rapport au cadre d évaluation. L agence, ou la commission ad hoc de l agence, examine les observations du groupe parmi d autres contributions, afin de décider du résultat. L encadré 14 décrit les contributions que l agence peut considérer nécessaire d inclure dans sa décision. Beaucoup d organismes d accréditation aux États-Unis demandent à l établissement de se présenter devant la commission d accréditation pour défendre son cas. Option 4 : Le conseil de l agence fait des recommandations fondées sur le rapport d évaluation, mais c est l autorité publique qui prend la décision. C est le cas du HAC en Hongrie (cf. encadré 3) Après la prise de décision, l étape suivante est l annonce de la décision. La publication ou la confidentialité des décisions, la partie de l évaluation à publier, sont des questions controversées dans plusieurs pays. Il y a des arguments valables en faveur de deux stratégies. Cependant, la tendance dominante est la communication de l information aux parties intéressées. L argument contre la publication des rapports d assurance qualité est qu ils concernent d abord et avant tout les établissements, et beaucoup d établissements craignent qu un rapport critique n ait un impact négatif sur les inscriptions d étudiants ou les allocations de fonds. L argument positif en faveur de la publication, est que les rapports contiennent des informations stratégiques sur la qualité de l enseignement supérieur qui sont hautement intéressantes pour les usagers. À cela s ajoute que la publication est un moyen d engager davantage les établissements à s améliorer pour éviter les retombées négatives des évaluations. Options pour la publication des résultats de l assurance qualité Option 1 : Publication de la décision d accréditation ou d évaluation seulement Seul le résultat final, décision d accréditation ou résultat d évaluation est rendu public. Le rapport, s il y en a un, est réservé à l établissement. 45 Module 3 : Conduire la procédure d assurance qualité externe

152 Option 2 : Publication limitée Sont publiés les parties pertinentes du rapport ou un résumé stratégique. Certaines parties du rapport peuvent être mises à disposition du gouvernement. Option 3 : Publication de la totalité des résultats Toutes les informations sont publiques, y compris le rapport. La publication des résultats de l assurance qualité fait partie des bonnes pratiques des agences d assurance qualité, mais la décision concernant la publication doit tenir compte aussi de l efficacité de la procédure dans le contexte local et national. Le rapprochement et la coopération entre agences d assurance qualité sont des facteurs d incitation pour l adoption des bonnes pratiques. Le Réseau international des agences d assurance qualité dans l enseignement supérieur (International Network of Quality Assurance Agencies in Higher Education INQAAHE) et l Association européenne d assurance qualité dans l enseignement supérieur (European Association for Quality Assurance in Higher Education ENQA) appliquent une politique de publication à plusieurs de leurs membres. L INQAAHE n inclut pas la publication des rapports dans ses lignes directrices, mais elle attend que les agences d assurance qualité aient une politique ouverte d information et de publication des résultats de l évaluation. 6. Les suites données aux résultats de l assurance qualité Les résultats de l assurance qualité peuvent être utilisés dans des buts différents. Leurs effets varient en fonction du statut des établissements, des usagers, de l objectif de la procédure renforcement de la reddition des comptes ou amélioration de la qualité. Option 1 : Le résultat de l assurance qualité est directement associé au financement Quand la reddition des comptes des établissements est une préoccupation majeure, le résultat d assurance qualité peut être associé au financement comme dans le cas du BAN-PT en Indonésie. On considère que ce système est efficace quand le financement est élevé, sans toutefois oublier que ce lien pourrait, aussi conduire à une culture de conformisme où seuls les secteurs susceptibles d attirer des ressources financières supplémentaires feraient l objet d améliorations. Dans plusieurs pays en voie de développement, on est contre cette association car on considère qu elle ne favorise pas la démocratisation, la diversité institutionnelle ou les finalités traditionnelles de l enseignement supérieur. Si on ne finançait que les secteurs qui ont des résultats positifs, l assurance qualité risquerait de devenir une procédure discriminatoire, mettant les établissements «faibles» dans l impossibilité d obtenir les financements nécessaires pour progresser. Cela n exclut pas pour autant la possibilité d associer, à titre d incitation, une part du financement aux résultats d assurance qualité de l établissement. Cela conduit à l option suivante : Option 2 : Le résultat de l assurance qualité est associé à des mesures incitatives La récompense de l excellence et l association des résultats de l assurance qualité au financement de certains projets spécifiques sont considérées comme des éléments de motivation des établissements. La décision du gouvernement de 46 Module 3 : Conduire la procédure d assurance qualité externe

153 Mongolie de donner des bourses uniquement aux étudiants des établissements accrédités, est un bon exemple. Aux États-Unis, où l accréditation est volontaire, mais des millions de dollars venant du financement fédéral et des fonds d aide aux étudiants sont liés à l accréditation, qui, de ce fait, est devenue une procédure quasi obligatoire. Option 3 : Les résultats de l assurance qualité renforcent le prestige de l établissement C est le cas en France et en Inde où la procédure d assurance qualité est volontaire. Dans les pays où les résultats d assurance qualité n entraînent pas de financement direct, les établissements ne connaissent pas de sanctions ou de récompenses immédiates, mais les recommandations de l agence d assurance qualité peuvent contribuer à mettre en place une politique de financement et des projets publics pour l amélioration de l enseignement supérieur. Les effets ne sont pas directs, les bons établissements ne reçoivent pas plus de ressources que les autres, bien au contraire, un plan d amélioration soutenu par l État peut conduire à l augmentation du financement pour aider au renforcement de la qualité dans les établissements qui en ont besoin. 7. Le suivi Après la publication des résultats, l établissement devrait entreprendre les actions nécessaires, préconisées dans les recommandations ou dans les questions soulevées par l évaluation. Des moyens existent (financements, mesures incitatives, sanctions) pour motiver les établissements à mettre en place les résultats de l évaluation. Toutefois, dans les systèmes développés c est l engagement professionnel des établissements qui les incite à mettre en place des actions d amélioration. Trois options sont à prendre en considération dans le cadre de la stratégie de suivi. Option 1 : Le suivi n est pas inclus dans la procédure d évaluation La responsabilité et le rôle officiel de l agence d évaluation prennent fin avec la publication du rapport d évaluation. Les établissements sont responsables des mesures pour la planification et la mise en place du suivi. Les ministères de l Éducation, ou d autres parties prenantes, peuvent aussi réagir en fonction de la nature des recommandations. Encadré 16. Suivi non inclus dans la procédure d assurance qualité [Norvège] Les mandats des comités externes demandent que dans les rapports finaux, on conseille les établissements sur les mesures à introduire pour maintenir les points forts, renforcer les points faibles et répondre aux défis. Il n appartient pas à l agence de contrôler que les établissements suivent les conclusions et recommandations de l évaluation. La responsabilité appartient au ministère et aux établissements, mais l agence demandera d être informée de la mise en place du suivi et de ses résultats. Étant donné ce qui s est passé après l évaluation de l université de Tromso, le ministère demande aux établissements de faire un projet de plan d action dans les six mois qui suivent la présentation (aux établissements) du rapport externe et de le discuter avec le ministre. Source : Hämäläinen et al., Module 3 : Conduire la procédure d assurance qualité externe

154 Option 2 : Le suivi est inclus dans la procédure d assurance qualité Les agences d assurance qualité peuvent construire des dispositifs de suivi de niveau d exigence variable. Certaines demandent aux établissements de s engager dans des actions obligatoires ; d autres se fient à leur «bonne volonté» et à leur engagement professionnel. Encadré 17. Le suivi de l audit de la qualité mis en œuvre par l Agence de la qualité des universités australiennes (AUQA) L Agence de la qualité des universitiés australiennes met en oeuvre une procedure d audit de la qualité dans laquelle les recommandations tiennent une place importante.dix-huit mois après la sortie du rapport d audit, les universités autraliennes doivent obligatoirement soumettre un rapport sur les progrès faits dans la mise en œuvre des recommandations. La procédure est la suivante : Le rapport de progrès est reçu par l AUQA Le resposnable de l audit au sein de l AUQA et le président du comité d évaluateurs externes doivent analyser le rapport de progrès, si possible; AUQA n essaie pas d auditer le rapport de progrès, mais vérifie que le rapport expose clairement comment l université répond aux recommandations faites par les évaluateurs externes, AUQA applique le test suivant : Une personne informée pourrait-elle comprendre si la recommandation et la réponse faite démontrent clairement ce qui devait être fait par l université et si cette dernière a mis en œuvre cette recommendation? Si l AUQA n est pas satisfait du progrès fait par l université, le Directeur exécutif de l Agence écrit au président de l université, indiquant que le rapport de progrès n est pas satisfaisant, donne une date pour la récitifcation nécessaire et indique que l AUQA est prête à discuter de la question. Si le rapport de progrès n est pas rectifié, le Directeur de l Agence fait rapport au Conseil d administraiton de l AUQA et son président écrira au président d université (avec copie au ministre de l éducation) ; un comité sera alors mis en place et un processus de concertation lancé. Le comité de concertation incluera deux membres de l université selectionnés par ellemême, un responsable de l AUQA et l évaluateur externe qui avait été sélectionné par l AUQA pour l audit de l université. Les résultats de la concertation seront rapportés au Conseil d administraton de l AUQA pour la décision finale. Cette décision pourrait être un cours d actions mutuellement décidé, qui serait publié avec le rapport de progrès sur le site web de l agence. La décision pourrait aussi être un désaccord sur le sujet, ce qui amenerait à l élaboration d un rapport au ministre et possilbement à une sanction pour l université. Les rapports de projets donnant satisfaction seront postés sur le site web de l université, avec un lien au site web de l agence. Une analyse des rapports de progrès déposés en 2006 montre que les univesités ont chacune conduit au moins une cinquantaine d actions d amélioration. L AUQA utilise aussi les rapports d audit pour partager les initiatives intéressantes qui méritent une 48 Module 3 : Conduire la procédure d assurance qualité externe

155 diffusion plus large. Pour ce faire, une base de données des «bonnes pratiques» a été créée ; elle est consultable en ligne par les universités qui souhaitent s en inspirer. Source : Stella, Option 3 : Variante de l option 1 La responsabilité du suivi appartient à l établissement accrédité, mais compte tenu de la durée limitée de l accréditation et de l importance du suivi pour le renouvellement de l accréditation, l établissement a tout intérêt à mettre en place un suivi. En effet, l agence peut décider de renouveler l accréditation de l établissement ou de la filière de formation après avoir contrôlé la réalisation des actions préconisées dans les recommandations de l accréditation précédente. Activité 4 Quelles sont selon vous les parties prenantes dans le suivi de l évaluation? Regardez les sites web des pays francophones et trouvez les procédures de suivi proposées. Faites une comparaison des différents modèles et choisissez celui (ou ceux) qui serai(en)t le(s) mieux adapté(s) à votre pays. Expliquez les raisons de ce choix. À mesure que les dispositifs d évaluation se multiplient, la question d un suivi efficace et approprié devient stratégique. Dans ces conditions, le suivi doit faire partie des principes méthodologiques des procédures d évaluation. 49 Module 3 : Conduire la procédure d assurance qualité externe

156 Points à retenir Point 1 : La variété des pratiques d assurance qualité est due aux différences des contextes nationaux De nombreuses différences existent entre les systèmes, les politiques et le niveau de développement de l enseignement supérieur ; en conséquence, les pratiques d assurance qualité différent aussi. Les multiples combinaisons possibles sont conçues en fonction d une variété d objectifs. Tenant compte des contextes nationaux et d autres considérations, les agences d assurance qualité appliquent des politiques adaptées concernant les conditions préalables pour la mise en place des procédures, la définition des critères, les lignes directrices de l auto- évaluation, la conduite de l évaluation externe, l organisation de la formation pour l assurance qualité, la prise de décision, le rapport des résultats et le suivi. Les choix doivent être adaptés au contexte national et aux buts du dispositif d assurance qualité. Point 2 : Les diverses pratiques d assurance qualité comportent des éléments communs, notamment l auto-évaluation et l évaluation par les pairs Même si les pratiques sont différentes, il y a accord sur l essentiel, ce qui garantit la validité du cadre conceptuel de l assurance qualité. Dans la plupart des procédures d assurance qualité, on demande à l établissement ou à la filière de formation de produire des informations conformes à des critères définis et publics, afin de procéder à une analyse critique de l information. Bien que souhaitable, cela n est pas toujours possible, mais il doit rester un objectif à atteindre à moyen ou plus long terme. L information fournie par l établissement est évaluée par une équipe d évaluateurs externes. Les agences d assurance qualité utilisent les recommandations de l équipe de plusieurs façons pour prendre leurs décisions sur l assurance qualité. À l évidence, les diverses options entraînent des effets différents. L analyse des options et des buts auxquels elles correspondent est essentielle pour le choix du modèle le mieux adapté au contexte particulier. Point 3 : La sélection et la formation d experts externes doivent être organisées avec attention, compte tenu de leur rôle stratégique dans la mise en œuvre du modèle d assurance qualité Les équipes d experts (pairs) doivent être composées dans le but de constituer un vaste éventail d expertises. Cela est particulièrement important quand l accréditation est organisée au niveau institutionnel. De plus en plus nombreux sont les pays qui font participer des professionnels dans les équipes d experts. Parmi les bonnes pratiques, on peut citer : la constitution d un fichier d experts qui comprendrait ceux qui ont fait montre de compétence lors de la visite d évaluation ; la remise aux experts d un guide méthodologique pour la visite sur site ; le recueil d informations de manière transparente. Le niveau d autonomie donnée aux experts pour formuler leurs jugements varie d un système à l autre. Dans certains cas, ils sont plutôt libres dans leurs jugements qualitatifs ; dans d autres, ils sont obligés d utiliser des grilles quantitatives prédéfinies. 50 Module 3 : Conduire la procédure d assurance qualité externe

157 Point 4 : Les modes de présentation des résultats : du mode binaire au rapport détaillé avec échelle multipoint Choisir une option de présentation des résultats de l assurance qualité est une question complexe. Les principales options vont de la déclaration du statut attribué «accrédité/non accrédité», aux résultats classés sur une échelle multipoint ou multiprocessus. Quand l objet de l assurance qualité est le contrôle du niveau de qualité, le mode binaire est approprié. On l utilise, généralement, pour la régulation, l approbation ou la reconnaissance, dans la mesure où le résultat certifie que l établissement ou la filière de formation correspond aux requis de base, sans distinguer les différents niveaux de qualité. Dans les grands systèmes d enseignement supérieur où les différences de qualité entre établissements sont sensibles, on devrait opter pour une présentation des résultats sur une échelle multipoint. Une autre façon d utiliser l échelle multipoint consiste à adopter un mode de présentation binaire «accrédité/non accrédité», en précisant la durée de l accréditation. Les résultats peuvent aussi conduire à un processus multiniveau. À la suite de la première accréditation, l établissement ou la filière se voit attribuer un certain statut, qui peut s améliorer lors du renouvellement de son accréditation. Ce mécanisme est adapté aux pays qui ont des niveaux de qualité hétérogènes. Les établissements sont incités à faire des efforts pour atteindre des niveaux de qualité supérieurs. Une autre option est de se limiter au rapport. Si la procédure d assurance qualité est centrée sur le suivi mis en place par l établissement pour améliorer ses standards académiques et la qualité de son offre, le rapport seul est suffisant, comme pour un audit classique. Chaque option est fondée sur des considérations distinctes qui influent sur le choix. Mais les distinctions entre options ne sont pas toujours très nettes. Une agence peut combiner plusieurs options, par exemple choisir le mode binaire «accrédité/non accrédité» et y ajouter d autres éléments. Le choix d une combinaison adéquate est lié au contexte national et aux objectifs de l assurance qualité dans ce contexte. Point 5 : Les résultats de l assurance qualité sont utilisés de multiples façons et leurs effets varient selon les pays Le rapport ou les recommandations du groupe d experts sont un apport important pour la décision de l agence d assurance qualité. Les retombées du rapport des experts ne sont pas les mêmes selon leur rôle dans la procédure, qui peut se limiter à conseiller l agence, ou se prononcer sur la qualité. Certaines agences d assurance qualité se contentent de contrôler le bon déroulement de la visite sur site et considèrent le rapport des experts comme la décision finale. Dans d autres cas, l organisme responsable, l autorité publique, par exemple le ministère de l Éducation ou un organisme ad hoc, examinent les observations et d autres apports pertinents pour décider du résultat. Quand la décision est prise, la publication de la totalité des informations est considérée comme une bonne pratique par les agences d assurance qualité. Toutefois, il convient d établir un équilibre entre le niveau de ce qui sera communiqué au public et l efficacité du processus, en tenant compte des conditions nationales et locales. 51 Module 3 : Conduire la procédure d assurance qualité externe

158 Parmi les effets des résultats de l assurance qualité, le lien avec le financement fait l objet de sérieux débats. Certains soutiennent que le lien avec un financement direct est nécessaire, si l assurance qualité doit avoir un impact significatif sur la qualité de l éducation. D autres affirment que le résultat de l assurance qualité doit entraîner des avantages indirects et des mesures incitatives. Les approches du suivi par les agences d assurance qualité sont variables. Souvent, la responsabilité et le rôle officiel de l agence prennent fin avec la publication du rapport d évaluation. Les établissements sont responsables de la planification et de la mise en place du suivi. Pour certaines agences d assurance qualité, le suivi fait partie de la procédure d assurance qualité ; pour d autres, la responsabilité du suivi incombe à l établissement. Dans le cas de l accréditation, le suivi est une donnée importante pour le renouvellement. L agence peut choisir de contrôler l établissement sur la base des recommandations antérieures et de prendre sa décision en fonction du suivi mis en place. Elle peut donc décider de focaliser son évaluation sur les faiblesses précédemment constatées et la manière dont l établissement a tenté d y remédier. 52 Module 3 : Conduire la procédure d assurance qualité externe

159 Références bibliographiques Accrediting Council for Independent Colleges and Schools (ACICS) Evaluation procedures and guidelines. Disponible sur: 6.pdf El-Khawas, E Accreditation in the United States: Origins, developments and future prospects. Paris: IIEP-UNESCO. Higher Education Funding Council for England (HEFCE) Funding higher education in England: How HEFCE allocates its funds. Bristol: HEFCE. Disponible sur: Hämäläinen, K., Pehu-Voima, S. et Wahlen, S Institutional evaluations in Europe: ENQA workshop reports 1. Helsinki: European Network for Quality Assurance in Higher Education (ENQA). Hoffman, S. 2006, Mapping external quality assurance in Central and Eastern Europe. A comparative survey by the Central and Eastern European Network of Quality Assurance in Higher Education. Occasional Paper 8. Helsinki: ENQA. avaialble at: Kozma, T Accreditation in the higher education system in Hungary: A case study for international comparison. Paris: IIEP-UNESCO. Philippine Accrediting Association of Schools, Colleges and Universities Primer for accreditation. Manila: PAASCU. Stella, A External quality assurance in India: The development of a decade. In: IIEP Newsletter, 23(1), January-March, p Stella, A. 2010, Equity and quality assurance: The case of the Australian Universities Quality Agency, In : Martin, M, Equity and quality assurance : A marriage of two minds. Paris: IIEP-UNESCO. Thune, C «Les systèmes européens de garantie de qualité. Dimensions de l harmonisation et de la différentiation». Gestion de l enseignement supérieur. Vol.10, No.3, p Schenker-Wicki, A «Accréditation et assurance qualité: Le modèle Suisse». Politiques et gestion de l enseignement supérieur. Vol 14, No. 2, p Zorilla, J.F. 1998, «Évaluation de la qualité dans l enseignement supérieur» mexicain. Gestion de l enseignement supérieur, Vol.10. No.3, p Välimaa, J., Aittola, T. et Konttinen, R «Conséquences de l évaluation de la qualité: Le cas de l Université de Jyväskylä». Gestion de l enseignement supérieur, Vol.10, No Module 3 : Conduire la procédure d assurance qualité externe

160 Sites web All India Council for Technical Education (AICTE) [India]: Association des universités et collèges du Canada (AUCC) [Canada]: Accrediting Council for Independent Colleges and Schools (ACICS): Australian Universities Quality Agency (AUQA) [Australia]: Comité National d Évaluation (CNE) [France]: Council on Higher Education (CHE) [Afrique du Sud]: Council on Higher Education Accreditation (CHEA) [États-Unis]: Commission nationale d évaluation et d accréditation universitaire (Comisión Nacional de Evaluación y Acreditación Universitaria- CONEAU) [Argentine]: Commission des Titres de l Ingénieur (CTI) [France]: European Association for Quality Assurance in Higher Education (ENQA): Higher Education Quality Committee (HEQC) [South Africa]: Higher Education Funding Council of England (HEFCE) [Royaume-Uni]: Hong Kong Council for Academic Accreditation (HKCAA) [Hong Kong]: Indian Council of Agricultural Research (ICAR) [India]: International Network for Quality Assurance Agencies in Higher Education (INQAAHE): Lembaga Akreditasi Negara (LAN) [Malaysie]: Middle States Commission on Higher Education (MSCHE) [États-Unis]: National Assessment and Accreditation Council (NAAC) [Inde]: National Board of Accreditation (NBA) [India]: 54 Module 3 : Conduire la procédure d assurance qualité externe

161 New Zealand Universities Academic Audit Unit (NZUAAU) [New Zealand]: North Central Association of Colleges and Schools (NCA-HLC) [États-Unis]: North Central Association of Colleges and Schools Higher Learning Commission (NCA-HLC) [États-Unis]: Northwest Commission on Colleges and Universities (NWCCU) [États-Unis]: Ontario Council on Graduate Studies (OCGS) [Canada]: Organe d accréditation et d assurance qualité des hautes écoles suisses (OAQ) [Suisse]: Quality Assurance Agency (QAA) [Royaume-Uni]: 55 Module 3 : Conduire la procédure d assurance qualité externe

162 Les modules sur l Assurance qualité externe : options pour les gestionnaires de l enseignement supérieur L assurance qualité externe (AQE) constitue aujourd hui l un des volets les plus importants de la politique d enseignement supérieur. De plus en plus de pays se demandent si leurs structures traditionnelles d assurance qualité sont encore valables et si elles ne doivent pas créer de nouveaux mécanismes. Il est important de noter que la mise en place de ces systèmes peut servir différents objectifs (la reddition des comptes, la conformité aux standards, l amélioration de la qualité). Différentes options peuvent répondre à la variété des objectifs mentionnés au sein des systèmes d assurance qualité externe (AQE). Les matériaux développés par l UNESCO à l Institut international pour la planifi cation de l éducation (IIPE) ont pour cible les décideurs et gestionnaires dans les départements gouvernementaux. Ces modules devront apporter un soutien pour leurs décisions sur les systèmes d assurance qualité externe à mettre en place. Ces modules sont basés sur les résultats obtenus par deux projets de recherche de l IIPE, l un sur «les options méthodologiques et organisationnels dans les systèmes d accréditation» et l autre sur «la régulation et l assurance qualité des fournisseurs d enseignement supérieur transfrontaliers». Accessible à tous, ces modules sont conçus pour être employés dans des situations d apprentissage variés, de l étude indépendante à la formation présentielle. Ils peuvent être consultés sur le site web de l IIPE et seront révisés selon besoin. Les usagers sont encouragés à envoyer leurs suggestions et commentaires. Les auteurs Les matériaux ont été préparés par Michaela Martin et Antony Stella. Michaela Martin est Spécialiste du programme à l IIPE, chargée du programme de recherche et de formation sur l assurance qualité externe. Antony Stella est Directeur d audit à l Agence australienne d assurance qualité (AUQA).

163 Assurance Qualité Externe : options pour les gestionnaires de l enseignement supérieur Module 4 Créer et organiser une structure d assurance qualité Institut international de planification de l éducation

164 Assurance Qualité Externe : options pour les gestionnaires de l enseignement supérieur Ces modules ont été préparés par le personnel et des consultants de l IIPE. Ils peuvent être utilisés soit lors d ateliers et activités de groupes, soit individuellement, en tant que matériel d autoformation. L IIPE les utilise également dans le cadre de ses cours à distance. Cette série de modules est disponible à l adresse suivante : D autres séries sont disponibles à la même adresse sur des thèmes liés à la planifi cation et la gestion de l éducation. Nous vous invitons à consulter régulièrement le site de l IIPE pour prendre connaissance des nouvelles publications. Institut international de planifi cation de l éducation (UNESCO) 7-9 rue Eugène Delacroix Paris Tel. : Fax : [email protected] Site web : Ces modules ont été réalisés à l aide du matériel informatique de l IIPE et imprimés dans son atelier d impression. Les désignations employées dans cette publication, comme les matériels qui y sont présentés, ne sauraient en aucune manière être interprétés comme le refl et d un quelconque point de vue de l UNESCO que ce soit sur le statut juridique d un pays, territoire, ville ou région ou de ses autorités ou que ce soit sur ses frontières ou limites. Cote : PRD/47 Crédit photos : IIEP/UNESO Tous droits réservés UNESCO 2011

165 Module 4 TCréer et organiser une structure d assurance qualité Présentation du module 5 Introduction 6 Création d une structure d assurance qualité 8 1. Statut légal de la structure d assurance qualité 8 2. Taille du système d enseignement supérieur Adaptation au contexte national et régional 15 Fonctions d une structure d assurance qualité Définir le champ, la portée et les orientations générales du modèle d assurance qualité Préparer la méthodologie Gérer la procédure Rapport des résultats et diffusion Le développement des compétences 27 Structure de l organisme d assurance qualité Gouvernance et organisation Ressources nécessaires Système d information 39 Crédibilité et reddition des comptes de l organisme d assurance qualité Crédibilité du processus d assurance qualité Reddition des comptes de l organisme d assurance qualité 43 Points à retenir 49 Références bibliographiques 51

166 Liste des abréviations AACCUP ACAAI ACAP ACESAR ACQUIN Agence d accréditation des collèges autorisés et des universités des Philippines (Accrediting Agency of Chartered Colleges and Universities of the Philippines) Agence d'amérique Centrale pour l'accréditation de l'architecture et de la Technologie (Agencia Centroamericana de Acreditación de Programas de Arquitectura y de Ingeniería) [Panama] Agence d'accréditation de Post graduats en Amérique Centrale (Agencia Centroamericana de Acreditación de Postgrados) [Bélize] Agence d Accreditation de l Enseignement Supérieur dans le Secteur Agroalimentaire en Amerique Centrale (Agencia de Acreditacion Centroamericana de la Educación Superior en el Sector Agroalimentario y de Recursos Naturales) [Guatemala] Institut d accréditation, de certification et d assurance qualité (Accreditation, Certification and Quality Assurance Institute) [Allemagne] ACSCU-AA Association des écoles, collèges et universités chrétiens agence d accréditation AERES AQ AUCC AUPRICA AUQA BAN-PT CAMES CCA CdA CHE CHEA CIEP CNAP CNE CNEA CNER CONEAUPA COU CPU CTI Agence d évaluation de la recherche et de l enseignement supérieur [France] Assurance qualité Association des universités et collèges du Canada Association d'universités privées d'amérique centrale (Central America Private Universities Association) Agence pour la qualité des universités australiennes (Australian Universities Quality Agency) Conseil d accréditation pour l enseignement supérieur (National Accreditation Board for Higher Education) [Indonésie] Conseil africain et malgache de l enseignement supérieur Conseil d Accréditation de l Enseignement Supérieur en Amérique Centrale (Consejo Centroamericano de Acreditación) Consejo de Acreditación de El Salvador (Sistema Nacional de Acreditación) Conseil de l enseignement supérieur (Council on Higher Education) [Afrique du Sud] Conseil pour l accréditation dans l enseignement supérieur (Council for Higher Education Accreditation) El Salvador Centre international d'études pédagogiques [France] Chilean National Undergraduate Accreditation Committee (Comisión Nacional de Acreditación de Pregrado) [Chile] Conférence des présidents d université Commission Nationale d Évaluation et Accréditation (Comisión Nacional de Evaluación y Acreditación) [Nicaragua] Comité national d évaluation de la recherche [France] Conseil National d Évaluation et d Accréditation Universitaire (Consejo Nacional de Evaluación y Acreditación Universitaria de Panamá) [Panama] Conseil des universités de l Ontario (Council of Ontario Universities) [Canada] Conférence des présidents d'université Commission des titres d'ingénieur [France] 2 Module 4 : Créer et organiser une structure d assurance qualité

167 ENQA EQAR ESG ESU EUA EURASHE EvaQua MEDA FAAP FAQ FIBAA HEQC HRK IAUP INQAAHE MEDA NAAC NQAAA NQTP OAQ OCGS PAASCU PACU-COA RMEI SINAES ZEVA Association européenne pour le management de la qualité dans l enseignement supérieur ((European Association for Quality Assurance in Higher Education) Répertoire européen des organismes d assurance qualité (European Quality Register) Normes Européennes et Directives pour l Assurance Qualité (European Standards and Guidelines on quality assurance) Association des étudiants européens (European Students Union) Association des Universités Européens (European University Association) L'Association européenne des institutions d'enseignement supérieur (European Association of Institutions in Higher Education) [Belgique] Evaluation de la qualité région MEDA Fédérations des agences d accréditation des Philippines Questions fréquemment posées (frequently asked questions) Fondation pour l accréditation des formations internationales en administration des entreprisesl (Foundation for International Business Administration Accreditation) Comité pour la qualité de l enseignement supérieur (Higher Education Quality Committee) [Afrique du Sud] Conférence des Recteurs Allemands (Hochschulrektorenkonferenz) [Allemagne] Association internationale des présidents d université (International Association of University Presidents) Réseau international des agences d assurance qualité dans l enseignement supérieur (International Network for Quality Assurance Agencies in Higher Education) Coopération de l'union européenne avec les pays méditerranéens Conseil national d évaluation et d accréditation (National Assessment and Accreditation Council) [Inde] Agence nationale d assurance qualité et d accréditation [Égypte] Programme national de formation en assurance qualité (OAQ) Organe d'accréditation et d'assurance qualité des hautes écoles suisses [Suisse] Conseil des études diplômantes de l Ontario (Ontario Council for Graduate Studies) [Canada] Association philippine d accréditation des écoles, collèges et universités (Philippine Accrediting Association of Schools, Colleges and Universities) Association philippine des collèges et universités commission d accréditation Réseau méditerranéen des écoles d ingénieurs [France] System National d Accréditation de l Enseignement Supérieur (National Higher Education Accreditation System) [Costa Rica] Agence Central d Évaluation et d Accreditation (Zentrale Evaluations- und Akkreditierungsagentur Hannover) [Allemagne] 3 Module 4 : Créer et organiser une structure d assurance qualité

168 Liste des encadrés Encadré 1. Statut de la structure d assurance qualité [Cameroun, Canada, Philippines et Égypte] 9 Encadré 2. La Commission des titres d ingénieur (CTI) [France] 11 Encadré 3. Le projet «Évaluation de la qualité région MEDA». Une évaluation pilote : la formation des ingénieurs 11 Encadré 4. Création d une commission d évaluation des structures d enseignement et de recherche au sein du programme Reconnaissance et équivalence de diplômes (RE/CAMES) 15 Encadré 5. Le système d accréditation de l Amérique centrale 16 Encadré 6. Instruments de l accréditation OAQ [Suisse] 22 Encadré 7. Dispositions sur le conflit d intérêts [Australie, Inde] 23 Encadré 8. Conduire l évaluation Visite sur site (CTI) [France] 25 Encadré 9. Comité d appel HEQC [Afrique du Sud] 27 Encadré 10. Composition de la direction d un organisme d assurance qualité 32 Encadré 11. L Agence d'évaluation de la recherche et de l'enseignement supérieur (AERES) [France] (Décret n du 3 novembre 2006) 33 Encadré 12. Ressources nécessaires pour un organisme d assurance qualité dans cinq pays africains 38 Encadré 13. La reddition des comptes des «accréditeurs» : le Conseil pour l accréditation dans l enseignement supérieur (CHEA) 44 Encadré 14. Critères d éligibilité des membres (ENQA) 45 Encadré 15. Répertoire des organismes d assurance qualité externe européens 46 4 Module 4 : Créer et organiser une structure d assurance qualité

169 Présentation du module Bienvenus au module 4 «Créer et organiser une structure d assurance qualité» de notre cours à distance sur l Assurance qualité externe. Objectifs du module Ce module : décrit les choix de statut possibles de la future structure d assurance qualité ; explique les fonctions de base d une structure d assurance qualité et les moyens de soutenir le processus d assurance qualité ; identifie les ressources et compétences nécessaires à l exécution des fonctions décrites ; précise les options pour la gestion et l organisation de la structure ; analyse les différents mécanismes susceptibles d assurer la reddition des comptes d une structure d assurance qualité. À la fin de ce module, vous devriez pouvoir : comparer les choix de statuts possibles d une structure d assurance qualité ; comprendre les fonctions générales que doit assumer une structure d assurance qualité ; identifier les ressources et compétences nécessaires pour créer et gérer une structure d assurance qualité dans votre contexte national ; faire un projet réaliste du mode d organisation et de gestion qui serait efficace dans votre contexte national ; analyser les dispositions directes et indirectes concernant la reddition des comptes dans le cadre de l assurance qualité. Thèmes de réflexion Quelles sont les implications des différents types de statuts sur le fonctionnement d une structure d assurance qualité? Existe-t-il une relation entre les fonctions prioritaires à mettre en œuvre par la structure d assurance qualité de mon pays et son mode d organisation? Quelles sont les ressources et compétences nécessaires pour exécuter ces fonctions? Sont-elles disponibles dans mon pays? Quels modes d organisation et de gestion seraient efficaces dans mon pays? Quels sont les rapports entre le statut et les mécanismes de reddition des comptes? 5 Module 4 : Créer et organiser une structure d assurance qualité

170 Module 4 Créer et organiser une structure d assurance qualité Introduction Ce module présente les choix possibles pour créer, gérer, organiser et contrôler une structure d assurance qualité ainsi que les principales fonctions de celle-ci. Ces choix sont le résultat de l expérience de plusieurs pays. Une structure d assurance qualité peut être créée à l initiative de l État, des établissements d enseignement supérieur ou des groupes privés. La plupart des agences d assurance qualité actuelles ont été créées à l initiative du gouvernement ; et il est donc clair que ces agences exercent des fonctions gouvernementales. Dans certains pays, l accréditation professionnelle s est développée comme mécanisme indépendant du gouvernement et des établissements d enseignement supérieur. Quels que soient le statut et l origine de création de la structure d assurance qualité, il est souhaitable qu elle soit indépendante pour plus de crédibilité et pour des raisons liées à la prise de décision. Cela vaut quel que soit son statut, même dans le cas où elle émane d une initiative gouvernementale. La taille du système concerné, la portée de l assurance qualité, le champ de compétence font partie des éléments à prendre en compte. En règle générale, une structure d assurance qualité est chargée de définir la portée du processus d assurance qualité, de préparer une méthodologie appropriée en concertation avec les établissements d enseignement supérieur et d autres acteurs et d organiser les étapes successives de l évaluation externe. Elle est également responsable de la préparation des guides et autres matériels méthodologiques, de l organisation d ateliers de méthodologie pour les établissements d enseignement supérieur et de sessions de formation pour les évaluateurs. Pour exécuter ces fonctions, elle doit disposer d une équipe de personnes compétentes et s appuyer sur des évaluateurs externes, choisis, le plus souvent, parmi les membres de la communauté académique. Elle doit être dotée des ressources humaines et financières adaptées à champ de compétences et à la taille du système d enseignement supérieur. La structure d assurance qualité suit divers protocoles et clauses de sauvegarde pour établir l objectivité et la fiabilité de la procédure de la qualité et de son résultat. Cela assure sa crédibilité auprès des acteurs concernés. En général, les structures d assurance qualité rendent des comptes à un ou plusieurs acteurs de l enseignement supérieur : les gouvernements, les établissements d enseignement supérieur, la communauté académique et le public. Selon le statut légal de la structure, des mécanismes intégrés la rendent responsable devant son instance de direction. Il existe aussi diverses règles volontaires qui garantissent la reddition des comptes de la structure, comme l adhésion à des réseaux pour la qualité, la réalisation de méta-évaluation. 6 Module 4 : Créer et organiser une structure d assurance qualité

171 Les différentes approches pour créer une structure d assurance qualité, la définition de ses fonctions et attributions, la constitution de l équipe, support nécessaire à sa mise en œuvre, et les moyens d asseoir la crédibilité des procédures et des résultats, seront examinés dans les études de cas présentées dans ce module. Dans les modules 1, 2 et 3, on a présenté le contexte global du scénario d assurance qualité et les choix possibles dont dispose une structure d assurance qualité pour mettre en place la procédure d assurance qualité. Le module 4 est consacré à la création effective et au fonctionnement de la structure support ainsi qu aux différentes étapes de son travail en tant que structure d assurance qualité. Les étapes successives de création d une structure d assurance qualité sont examinées dans les quatre sections qui suivent. La première section examine la création de la structure ; la deuxième étudie les fonctions essentielles et les ressources nécessaires à leur mise en œuvre ; la troisième traite de l organisation et de la gestion de ces fonctions ; enfin, la quatrième et dernière analyse, la question de la reddition des comptes de la structure. 7 Module 4 : Créer et organiser une structure d assurance qualité

172 Création d une structure d assurance qualité Il faut bien prendre en compte le contexte dans lequel la structure d assurance qualité est appelée à travailler, à savoir le niveau de développement du système d enseignement supérieur, sa taille, la portée de l assurance qualité, son champ de compétence et ses objectifs. La plupart de ces aspects ont été examinés dans les modules précédents. Trois autres paramètres seront traités ici : le statut légal de la structure d assurance qualité, la taille de l enseignement supérieur concerné et l adaptation au contexte. 1. Statut légal de la structure d assurance qualité Il existe quatre principaux types de statut légal pour une structure : Organisme d État (ou unité intégrée dans une administration d État, comme le ministère de l Éducation, par exemple ; Organisme paraétatique ou organisme public indépendant ; Organisme appartenant à des établissements d enseignement supérieur ; Organisme appartenant à des groupes privés. Le choix du statut a des conséquences sur l autonomie de la structure. Actuellement, la plupart des structures d agences d assurances qualité, même celles qui ont été créées par l État, revendiquent un certain degré d autonomie. Les structures non étatiques peuvent, bien entendu, prétendre avoir une plus grande indépendance pour la prise de décision. Si la structure d assurance qualité est un organisme d État, des représentants de l État, notamment ceux du ministère de l Éducation, y participent ou en assurent la direction. Si l organisme appartient à des établissements d enseignement supérieur, l assurance qualité dépend de l acceptation volontaire des procédures par les établissements membres. Ces derniers définissent aussi la nature, le cadre et la procédure d assurance qualité. En fin de compte, quand on s interroge sur l indépendance de la structure, la question de savoir de qui on est (in)dépendant se pose. Aussi est-il important de s interroger sur la signification précise du terme. Pense-t-on à l autodétermination de la structure, son autonomie administrative et budgétaire, l objectivité des processus, l indépendance et l intégrité du personnel, etc.? Le statut légal de l organisme d assurance qualité peut faire l objet de débats sur le but de l assurance qualité. Des préoccupations d ordre politique et idéologique rendent, parfois, difficile l identification des problèmes réels. Certains considèrent que le statut d organisme d État comme bureaucratique et que l évaluation de la qualité vise principalement le contrôle. À l opposé, les organismes d assurance qualité qui appartiennent à des établissements d enseignement sont considérés comme des structures internes au système, non bureaucratiques, dont l activité vise l amélioration de la qualité plutôt que le contrôle. Toutefois, il n existe pas de relation simple et directe entre l appartenance de l organisme d assurance qualité et l équilibre entre l amélioration de la qualité et le contrôle. Ainsi, un grand nombre d organismes d État concentrent leur activité sur l amélioration de la qualité, alors que des agences appartenant à des établissements d enseignement 8 Module 4 : Créer et organiser une structure d assurance qualité

173 peuvent avoir comme rôle principal d empêcher l entrée de nouveaux arrivants sur le marché des formations supérieures. Les objectifs et le centre d intérêt ont tendance à être indépendants du statut légal. Le soutien de l État à l effort pour l assurance qualité, sans préjudice pour l autonomie et le mode de fonctionnement, est, à coup sûr, un choix à prendre en considération. Dans les pays qui ont entrepris la réforme de leur système d enseignement supérieur, les initiatives pour créer un système d assurance qualité ayant une grande autonomie, fait partie de la stratégie de la réforme. Dans certains systèmes plus avancés, les établissements d enseignement supérieur ont la capacité de jouer un rôle éminent en fournissant des évaluateurs externes ou en participant aux différentes étapes de la procédure. Ils peuvent donc être en position d influencer d importants développements au sein du système d assurance qualité. Aux États-Unis, par exemple, l accréditation institutionnelle a évolué grâce à l initiative des établissements. Toutefois, dans la plupart des pays, l initiative de création d une structure d assurance qualité est venue de l État, entre autres, parce qu il utilise les résultats de l assurance qualité pour ses décisions, par exemple le financement des formations et des établissements, ce qui contribue en retour à légitimer le processus d assurance qualité. Les différents choix sont illustrés par les exemples suivants : Encadré 1. Statut de la structure d assurance qualité [Cameroun, Canada, Philippines et Égypte] Structure d accréditation intégrée au ministère de l Enseignement supérieur (Cameroun) La Commission nationale de supervision de l enseignement supérieur privé au sein du ministère de l Enseignement supérieur du Cameroun est chargée de l accréditation des établissements privés. Selon le cadre législatif et réglementaire en vigueur, le processus d accréditation comporte quatre étapes, l autorisation de création, l autorisation d ouverture, l agrément (tutorat par un établissement homologué) et l homologation (habilitation de l établissement à délivrer des diplômes nationaux). Le CAMES, lors de la XXIIP ep session ministérielle consacrée à «l enseignement supérieur privé dans les États membres du CAMES : état des lieux et perspectives», a mentionné le cas de la structure et du système d accréditation de l enseignement privé camerounais comme une exception dans un paysage où les mécanismes d habilitation, de suivi et d évaluation des établissements d enseignement supérieur privé font encore défaut «dans presque tous les pays du CAMES». TSource : site web du CAMES Structure d assurance qualité sous forme d association d établissements membres : l Association des universités et collèges du Canada (AUCC) L AUCC est l association nationale des universités et collèges universitaires canadiens publics et privés à but non lucratif, établis en conformité avec les lois provinciales pertinentes et répondant aux exigences de l admission à l Association comme établissement membre. Au Canada, il n y a pas de mécanisme formel d agrément des universités. Le fait d être membre de l AUCC et de posséder une charte provinciale peut être considéré comme étant l équivalent de l agrément. Depuis 2005, les membres de l AUCC sont invités à confirmer tous les cinq ans qu ils continuent de satisfaire aux critères d adhésion à l Association. L AUCC compte actuellement 91 établissements membres. Source : HsiteH web de l AUCC 9 Module 4 : Créer et organiser une structure d assurance qualité

174 Agences d accréditation privées [Philippines] L enseignement supérieur philippin est fortement diversifié ; il comprend des établissements privés catholiques, protestants et des établissements publics. C est un héritage de l histoire coloniale du pays, les structures éducatives ayant été successivement mises en place par les Espagnols, les Américains et enfin par les Philippins. Les structures d accréditation ont été créées pour la première fois en 1951, grâce à l initiative d un groupe d éducateurs appartenant à des établissements d enseignement supérieur privé, convaincus de l importance de la qualité pour l amélioration de l enseignement supérieur. Outre l amélioration de la qualité des établissements, l accréditation devrait servir, d une part, à aider les parents et les futurs étudiants à choisir un établissement de formation, d autre part, à renforcer la coopération interinstitutionnelle. Trois organismes d accréditation ont été créés de 1950 à 1970 : l Association philippine d accréditation des écoles, collèges et universités (PAASCU) ; l Association philippine des collèges et universités commission d accréditation (PACU-COA), et l Association des écoles, collèges et universités chrétiens agence d accréditation (ACSCU-AA), chacune ayant ses propres standards et outils d accréditation. En 1977, on a créé la Fédération des agences d accréditation des Philippines (FAAP), organisme de tutelle et de coordination des trois associations existantes. Une quatrième agence réunissant les collèges et universités d État a également été mise en place. Le système d accréditation philippin bien que compartimenté, n est pas restrictif dans la mesure où certains établissements publics peuvent être membres d une agence d accréditation d établissements confessionnels privés. Agence d accréditation indépendante [Égypte] Le projet d Agence nationale d assurance qualité et d accréditation (NQAAA), qui fait partie du projet pour l amélioration de l enseignement supérieur égyptien, financé par la Banque mondiale, a démarré en Son objectif est d établir un système national pour l amélioration de l enseignement supérieur. Créée avec l aide des consultants britanniques, la NQAAA vise, dans un premier temps, l accréditation des établissements et dans un deuxième temps, celle des programmes de formation. L agence souligne sa totale indépendance vis-à-vis du gouvernement et des autorités gouvernementales. Un projet de loi interdirait même au président de l Égypte d intervenir dans la NQAAA sans référer à l Assemblée nationale. La NQAA est indépendante des fournisseurs de services, à savoir le ministère de l Enseignement supérieur et les établissements d enseignement supérieur. TSource :T Said, 2005 Il existe aussi des organismes créés et gérés par des groupes autres que l État et les établissements d enseignement supérieur, qui exercent des fonctions d assurance qualité dans le domaine des formations à finalité professionnelle. L «accréditation spécialisée» s est développée dans certaines professions qui souhaitent garantir la qualité et la pertinence des cursus de formation ainsi que le niveau de qualification des membres de leur branche professionnelle. Pour ce faire, certains corps professionnels, notamment les associations professionnelles d ingénieurs et les personnels de santé, utilisent l assurance qualité sous forme d attribution de licence d exercice ou d enregistrement. Leurs évaluations visent 10 Module 4 : Créer et organiser une structure d assurance qualité

175 principalement la qualité des diplômés en tant que futurs membres du corps professionnel concerné ; les procédures d accréditation sont conçues et contrôlées par les professionnels en exercice et les décisions engagent les praticiens de la branche professionnelle aux niveaux national et international. L exemple qui suit offre un aperçu des structures et des procédures d assurance qualité mises en place pour protéger un diplôme et une qualification professionnels. Encadré 2. La Commission des titres d ingénieur (CTI) [France] Le titre d ingénieur diplômé est protégé par la loi française. Dans le cadre du processus de Bologne, il confère de plein droit depuis 1999 le grade de Master. La Commission des titres d ingénieur comprend 32 membres, 16 membres issus du monde socio-économique et désignés par des organisations professionnelles, 16 membres issus du secteur académique. Conformément à ses missions, définies par le Code de l Éducation dans les articles L et suivants, la CTI : doit être consultée sur toute question relative aux titres d ingénieur ; examine les demandes d habilitation à délivrer des titres d ingénieur diplômé ; organise l évaluation périodique des formations d ingénieur ; peut intervenir de sa propre initiative pour procéder à une inspection dans un établissement afin de vérifier le contenu et les conditions d organisation de la formation. TSource :T site web de la CTI Les secteurs professionnalisés, traditionnellement bien structurés, qui répondent aux besoins de développement national, peuvent servir comme point de départ pour la mise en place d un système d assurance qualité. Le projet «Évaluation de la qualité région MEDA» mis en œuvre dans la région du Maghreb et présenté ciaprès, en est un exemple pertinent. Encadré 3. Le projet «Évaluation de la qualité région MEDA». Une évaluation pilote : la formation des ingénieurs Le projet EvQua-MEDA a pour objectif de constituer ou de renforcer des systèmes nationaux et/ou régionaux d évaluation de l enseignement supérieur, compte tenu de la progression de l évaluation de la qualité de l enseignement supérieur au niveau international, de la mondialisation et de l éducation transnationale. La réflexion stratégique sur les politiques d évaluation s appuiera sur une évaluation pilote, qui sera l occasion de sensibiliser aux problématiques de la qualité et à la culture d évaluation, de tester la méthodologie pour l adapter aux contextes nationaux, enfin, de procéder à un échange d expérience entre établissements et pays qui se trouvent, dans ce domaine, à des stades divers d avancement. Le secteur retenu pour cette évaluation pilote est celui de la formation des ingénieurs secteur déjà plus ouvert que d autres à l international et aux problématiques de qualité. Le projet inclut 7 pays de la région MEDA et réunit un consortium de 22 membres, dont 14 établissements MEDA comportant des formations d ingénieurs. 11 Module 4 : Créer et organiser une structure d assurance qualité

176 Les pays et établissements suivants sont inclus dans le projet : France (CIEP), Maroc (universités Mohamed V et Hassan II), Algérie (École nationale polytechnique d Alger, université des sciences et de la technologie d Oran), Tunisie (universités de Tunis El Manar et de Sfax), Égypte (universités du Caire et d Assiut), Jordanie (université de Jordanie et Jordan university for science and technology), Liban (université libanaise et université saint-joseph), Syrie (université de Damas et Institut supérieur de sciences appliquées et de technologie). Les autres participants du consortium constitué sont : the European Network for Quality Assurance in Higher Education (ENQA), le Réseau méditerranéen des écoles d ingénieurs (RMEI), la Conférence des présidents d université (CPU) et le Comité national d évaluation (CNE) [France], le Hochschulrektorenkonferenz (HRK), l Akkreditierungs-, Certifizierungs- und Qualitätssicherungs- Institut (ACQUIN) et l université de Kassel [Allemagne]. EvQua-MEDA a commencé en septembre 2003 et s est achevé en mars 2006 ; il comportait à l origine quatre grandes phases : préparation méthodologique et état des lieux ; évaluation interne des formations d ingénieurs ; évaluation externe des formations d ingénieurs ; réflexion stratégique sur les politiques d évaluation. La méthodologie retenue pour l évaluation pilote est dérivée de l expérience européenne, dont elle reprend les principes : indépendance de l instance d évaluation, constituée ici par le groupe de pilotage du projet, auquel incombe la reddition des comptes de la méthodologie, de la désignation des experts et de la validation et publication des rapports d évaluation ; évaluation interne réalisée par l établissement à l aide d un guide d évaluation interne et débouchant sur un rapport d évaluation interne ; évaluation externe par des pairs (peer review), avec une visite de ces experts dans les établissements évalués ; publication du rapport d évaluation. Les 14 établissements du consortium ont un point commun : ils dispensent tous des formations d ingénieurs. Mais ils présentent aussi de nombreuses différences de taille, de nature (universités/instituts/écoles ; établissements privés/publics), de fonction (établissements pluridisciplinaires/spécialisés en ingénierie), ainsi que des différences de pratique et d expérience en matière d évaluation. C est pourquoi il appartient à chacun de définir au préalable les périmètres de cette évaluation : l école ou l institut dans son ensemble, la faculté d ingénieurs, un/des département(s) d ingénierie. Les principaux résultats du projet peuvent se résumer comme suit : élaboration d une méthodologie d évaluation et d un guide d évaluation interne par le groupe de pilotage du projet ; rédaction par des experts des pays MEDA de rapports nationaux sur les systèmes d enseignement supérieur et sur la formation des ingénieurs dans les sept pays MEDA partenaires, suivant une grille de présentation commune ; réalisation par 14 établissements MEDA d une évaluation interne qui a débouché sur la production de rapports d évaluation interne et a fait l objet d un bilan méthodologique ; réalisation d une revue des rapports d évaluation interne ; 12 Module 4 : Créer et organiser une structure d assurance qualité

177 mise en place d un serveur web ( en deux langues (anglais et français) ; démarrage d un travail en réseau, appuyé par trois réunions du consortium, à Paris, Amman et le Caire ; lancement de la réflexion stratégique sur le développement de systèmes d évaluation, en lien avec les autorités nationales des pays impliqués. Source : site web de l EvQuaMeda Les références bibliographiques à la fin de ce module et les activités qui y sont proposées fournissent des informations supplémentaires sur l accréditation professionnelle. En résumé, il existe quatre principaux types de statut légal pour créer une structure d assurance qualité : Option 1 : Création d une structure intégrée dans les services de l État, par exemple sous forme d unité spécialisée au sein du ministère de l Éducation ou de celui de l enseignement supérieur (Cameroun). Option 2 : TCréation d un organisme ayant statut d association : l agence d assurance qualité constituée par les établissements d enseignement supérieur en est un exemple typique (Philippines). Option 3 : Création d un organe de régulation public ou d une structure sous la responsabilité d un organisme public. L État peut prendre l initiative de sa mise en place, mais la structure est indépendante (Égypte). Option 4 : Création d un organisme d assurance qualité particulier pour les établissements et les diplômes d un secteur professionnel comme la Commission des titres d ingénieur en France. Le projet MEDA s inspire de la même logique. Il convient de préciser les raisons du choix de chaque option. Si l organisme d assurance qualité doit avoir un rôle central au sein du système d enseignement supérieur, notamment en matière de reconnaissance de statut pour les établissements et d habilitation des diplômes, il doit être créé par l État et avoir un statut public dont les caractéristiques particulières sont à définir en fonction du contexte. En effet, lorsque les décisions d assurance qualité doivent faciliter la reconnaissance des diplômes et la mobilité des étudiants, il semble opportun que l État décide de la création, de l organisation et du fonctionnement de l organisme d assurance qualité. Cela n est pas contradictoire avec un statut d organisme public indépendant. Toutefois, il existe des agences d assurance qualité, reconnues au niveau national et international qui ne sont pas publiques. C est le cas des agences d accréditation aux États-Unis, dont les décisions conditionnent le droit au financement des étudiants et donc en fin de compte des établissements par l État. Quand le but principal de l assurance qualité est l amélioration de la qualité, le rôle des établissements d enseignement supérieur et leur accord avec le modèle de qualité devient primordial. Enfin, lorsqu il s agit de garantir la qualité des cursus de formation conformément aux normes de certains corps professionnels, l initiative appartient aux associations professionnelles. 13 Module 4 : Créer et organiser une structure d assurance qualité

178 Quelle que soit l option choisie, il est important de préserver l indépendance de la structure d assurance qualité face aux intérêts des différents groupes, ce qu on peut faire en mettant en place un équilibre des pouvoirs (checks and balances system). Aux États-Unis, par exemple, le gouvernement contrôle, par l intermédiaire du département de l éducation, les agences d accréditation régionales ; les universitaires et les représentants des associations professionnelles agissent à titre d évaluateurs externes pour le compte des agences publiques ; les conflits d intérêts sont surveillés. 2. Taille du système d enseignement supérieur L enseignement supérieur d un pays peut comprendre entre quelques unités et plusieurs milliers d établissements. Quand l assurance qualité doit couvrir un grand nombre d établissements et/ou de filières de formation, les politiques et les pratiques doivent être conçues en conséquence, notamment le rôle de l organisme dans les décisions d assurance qualité, la participation de son équipe aux visites sur site, le choix de l unité d évaluation (établissement ou filière de formation), le suivi des résultats et la formation des évaluateurs. Dans les grands systèmes où l équipe de l organisme n a pas la possibilité de participer à toutes les visites sur site, l organisme dépend fortement des évaluateurs externes. Ils sont censés assumer des responsabilités importantes, notamment la rédaction du rapport sur la visite sur site et les recommandations qui en découlent. Dans ces conditions, l organisme doit choisir des évaluateurs suffisamment compétents pour le représenter. L identification d évaluateurs externes compétents est moins difficile dans les grands systèmes, mais, dans tous les cas, l organisme doit les former à son cadre méthodologique et conceptuel, sans oublier les précautions à prendre pour réduire les éventuels désaccords entre différentes équipes d évaluation. L assurance qualité dans les grands systèmes d enseignement supérieur vise le niveau institutionnel, alors que dans les petits systèmes elle se concentre davantage sur les filières de formation. La taille du système a des incidences sur le choix par l organisme d assurance qualité des catégories d établissements ou de filières de formation à soumettre à la procédure, l organisation de la procédure, la portée et l objet du processus et le suivi. On pourrait soutenir qu au sein d un grand système d enseignement supérieur, l organisme d assurance qualité peut se permettre d avoir un personnel plus nombreux. C est le choix adopté par des structures de régulation au sein des grands systèmes, qui ont mandat de couvrir toutes les entités de leur compétence. Les besoins en moyens de l organisme pour sa mise en place et son fonctionnement dépendent aussi de la taille du système. Créer une nouvelle structure dans de tout petits systèmes peut s avérer insuffisamment rentable ; de même, trouver les ressources humaines nécessaires à sa création peut s avérer difficile. Dans ces cas, on peut procéder à la réorganisation des structures existantes et promouvoir des mécanismes internes de gestion de la qualité. Par ailleurs, le recours aux services des réseaux d assurance qualité régionaux ou internationaux peut être un choix opportun. Constituer des groupes d évaluateurs externes dans des petits systèmes peut s avérer difficile. En effet, le vivier d experts reconnus est réduit et des liens forts peuvent exister entre eux, ce qui oblige à définir des politiques de gestion des conflits d intérêts. 14 Module 4 : Créer et organiser une structure d assurance qualité

179 Dans un grand système, le NAAC en Inde, par exemple, peut être sélectif dans le choix des évaluateurs ; ainsi, on ne retient pas pour la constitution de l équipe d évaluation des évaluateurs du même État que celui de l établissement soumis à évaluation. À l évidence, cela n est pas possible dans les cas de la Nouvelle- Zélande, de Singapour ou de Hong Kong. Dans beaucoup de systèmes d enseignement supérieur, la taille (la petite taille en particulier) est une contrainte qui a un impact sur les choix fondamentaux de l assurance qualité, la procédure et le mode de création de la structure d assurance qualité. Lors de la création d une structure d assurance qualité, ces facteurs doivent être considérés avec attention pour faire les bons choix. Lors de la mise en place de la structure d assurance qualité, tous ces aspects doivent être considérés avec attention afin d éviter certains risques. 3. Adaptation au contexte national et régional Le contexte, national et régional, est une autre variable à prendre en compte lors de la création d une structure d assurance qualité. L existence d une structure nationale peut être complémentaire de la création des structures fédératives au niveau régional. Par ailleurs, l absence d organisme d assurance qualité national, notamment en raison de la taille du système, peut être comblée par la création d une structure régionale ou sous-régionale. L exemple du Conseil africain et malgache de l enseignement supérieur (CAMES) en tant que structure fédérative pour 17 pays de la région de l Afrique francophone, a déjà été présenté dans le module 1. Dans la perspective des processus d intégration régionale dans le cadre de l UEMOA et de la CEMAC, et face à l augmentation du nombre des établissements privés, il est fort probable que le CAMES voie son rôle accru par une réponse sous-régionale à la problématique de l assurance qualité. Encadré 4. Création d une commission d évaluation des structures d enseignement et de recherche au sein du programme Reconnaissance et équivalence de diplômes (RE/CAMES) En 2005, le conseil des ministres du CAMES a adopté une résolution relative à la création d une commission d évaluation des structures d enseignement et de recherche au sein du programme Reconnaissance et équivalence de diplômes (RED/CAMES). L objectif de cette résolution est de doter le RED/CAMES de mécanismes permettant de promouvoir et de gérer l assurance qualité et l accréditation, dans l espace africain de l enseignement supérieur. Le constat selon le secrétaire général du CAMES, est qu au cours de la dernière décennie, les évaluations ont été conduites dans l espace académique par différentes structures : la Conférence internationale des moyens de facultés de médecine d expression française, la Conférence des recteurs des universités francophones d Afrique et de l océan Indien. L Agence universitaire de la francophonie et l Union économique et monétaire ouest-africaine ont également contribué à l identification des établissements ayant atteint des normes de qualité pour leur élection en centres d excellence. Avec les réformes, certains pays ont entrepris l institutionnalisation des systèmes d assurance qualité. 15 Module 4 : Créer et organiser une structure d assurance qualité

180 Alarcon, La démarche du CAMES vise, à travers l évaluation, l application d une démarche qualité par les établissements et la promotion d un label. Depuis 1978, l évaluation s applique aux enseignants et chercheurs. Avec la future commission, elle touchera les établissements, structures et équipes de recherche. L évaluation concerne aussi bien l État que les établissements. À cet effet, un projet de label est en vue. Il sera examiné en juillet 2007 par le comité consultatif général et vise à promouvoir l excellence dans les établissements privés d enseignement supérieur. Le label sera attribué à ceux qui rempliront les conditions définies dans un cahier des charges. TSource : Tsite web de LeFaso Le contexte, national et régional, est une autre variable à prendre en compte lors de la création d une structure d assurance qualité. L existence d une structure nationale peut être complémentaire de la création des structures fédératives au niveau régional. Par ailleurs, l absence d organisme d assurance qualité national, notamment en raison de la taille du système, peut être comblée par la création d une structure régionale ou sous-régionale. L Amérique centrale, offre un exemple dans ce sens, et propose une distribution intéressante des responsabilités entre niveau national et sous-régional. Encadré 5. Le système d accréditation de l Amérique centrale Le système d assurance qualité de l Amérique centrale est un système à deux niveaux qui comprend la participation des parties prenantes : universités publiques et privées, ministères de l Éducation et les organismes professionnels de sept pays de la sousrégion : Guatemala, Belize, Honduras, El Salvador, Nicaragua, Costa Rica, et Panama. À un premier niveau, le système comprend le Conseil d accréditation de l Amérique centrale, qui a la responsabilité d élaborer des principes de bonnes pratiques pour les organismes d accréditation œuvrant dans la sous-région. Le Conseil a aussi le rôle de mener des méta-évaluations des agences d accréditation et de leurs procédures, et donne, de ce fait, une reconnaissance aux agences d accréditation. Le deuxième niveau du système comprend les agences d accréditation elles mêmes, qui font l accréditation des universités et de leurs filières d études. Au niveau de l accréditation des filières d études et des établissements, il existe deux types d organismes : d une part les organismes du niveau régional qui sont les agences spécialisées, comme ACAAI, qui accrédite des filières d ingénierie et d architecture (créée en 2006), ACESAR, qui accrédite l agronomie, nutrition, et la gestion des ressources naturelles (2005), ACAP, qui accrédite les troisièmes cycles : doctorats, maîtrises générales et professionnelles (2006), AUPRICA, qui accrédite seulement les universités privées dans leur ensemble (1990). D autre part, il existe des agences d accréditation non spécialisées au niveau national, comme le SINAES (au Costa Rica, 1998) et le CdA (au Salvador, 1998), CONEAUPA (au Panama, 2006) ou encore plus récemment le CNEA (au Nicaragua, 2007). Il faut souligner qu il s agit d un système régional d accréditation qui est très jeune. L organisme principal, le CCA, a été crée seulement en 2003, et la majorité des organismes d accréditation ont été mis en place par la suite. TSource :T Module 4 : Créer et organiser une structure d assurance qualité

181 Activité 1 Consultez le site web des organismes suivants : THUwww.aucc.caUTH THUwww.cti-commission.frUTH Identifiez les corps professionnels qui sont compétents dans les domaines de la certification et de l assurance qualité dans votre pays. Précisez comment ils ont été créés. Si votre pays a besoin d une structure d assurance qualité externe quel statut suggéreriez-vous et pour quelles raisons? Justifiez votre réponse. 17 Module 4 : Créer et organiser une structure d assurance qualité

182 Fonctions d une structure d assurance qualité Quels que soient le statut et les caractéristiques de la structure d assurance qualité, son activité comporte trois principales fonctions, qui sont imbriquées : administration, coordination, et prise de décision. Toute structure d assurance qualité doit assurer des tâches administratives pour mettre en œuvre la procédure d assurance qualité. Ces activités sont liées à la coordination nécessaire pour gérer la procédure jusqu à son achèvement ; les modalités d exécution des tâches administratives et de coordination influent sur le mode de prise de décision. L implication de l équipe de la structure d assurance qualité dans la coordination et la prise de décision varie sensiblement selon la stratégie de la structure (ou de l organisme), comme il a été exposé dans le module 3 Fonctions administratives Au cours des étapes successives du déroulement de la procédure, l équipe de l organisme d assurance qualité doit informer l établissement, constituer la liste des experts, publier les résultats de l assurance qualité. Ces fonctions sont communes à toutes les structures. Leur exécution ne requiert pas un personnel nombreux d un niveau de qualification élevé. Une petite équipe des professionnels compétents peut parfaitement organiser et assumer ces responsabilités. Fonctions de coordination Elles comportent l organisation des activités pour constituer le cadre conceptuel de l organisme, le suivi des phases successives du déroulement de la procédure d assurance qualité, la formation des experts pour l exécution de leur mission, l aide aux établissements lors de la préparation du rapport d auto-évaluation. Parmi ces fonctions, certaines sont essentielles pour la crédibilité de la structure d assurance qualité et, par conséquent, difficiles à assumer. Ainsi, pour la construction du cadre conceptuel et méthodologique, qui peut représenter un défi majeur à l étape du démarrage, l organisme a besoin des personnes ayant les compétences nécessaires. Quant aux autres fonctions, la formation des experts et l aide à l auto-évaluation de l établissement, elles peuvent être exécutées pendant la mise en place de la structure au moyen de quelques ajustements judicieux. Le degré d implication de l organisme dans ces fonctions doit faire l objet d une estimation réaliste qui tient compte de la taille du système d enseignement supérieur et du champ de compétences de la structure d assurance qualité. Ces éléments ont des retombées sur les besoins en personnel, à la fois quantitatifs (nombre d agents) et qualitatifs (profil des personnes recrutées). Nous examinerons cette question plus loin. Quel que soit le degré d implication de la structure d assurance qualité aux fonctions mentionnées, son rôle est fondamental pour la cohérence du cadre conceptuel d assurance qualité. Certains organismes assument pleinement la totalité de ces fonctions, d autres les gèrent par l intermédiaire des structures collectives et des partenariats. 18 Module 4 : Créer et organiser une structure d assurance qualité

183 La prise de décision Outre l implication de l organisme à la prise de décision proprement dite, cette fonction inclut la participation à la visite d évaluation et à la rédaction du rapport des résultats. Le degré d implication dans la prise de décision dépend de la politique de l organisme dans ce domaine. S il a un rôle direct, on doit prévoir les clauses nécessaires pour garantir les résultats de la procédure. Les fonctions d administration et de coordination peuvent être assumées par le personnel technique et administratif de l organisme, mais la reddition des comptes de la prise de décision incombe au conseil ou au groupe de personnalités qualifiées désigné à cet effet. Peu nombreuses sont les structures d assurance qualité dont le personnel assure la totalité des fonctions. Les bonnes pratiques recommandent que les différentes responsabilités soient assumées par des groupes spécifiques en termes de qualification et d origine institutionnelle. En résumé, les fonctions fondamentales d une structure d assurance qualité sont les suivantes : 1. définir le champ, la portée et les orientations générales du modèle d assurance qualité à appliquer ; 2. préparer la méthodologie, les guides et autres manuels de référence qui sont nécessaires à la mise en œuvre de la procédure d assurance qualité ; 3. gérer la procédure ; 4. élaborer le rapport des résultats et en assurer la diffusion ; 5. développer au sein de l enseignement supérieur des compétences pour l assurance qualité. 1. Définir le champ, la portée et les orientations générales du modèle d assurance qualité La définition du champ et de la portée des opérations d assurance qualité est une étape critique pour la réussite du système. Le module 3a mis en évidence la logique des différentes options pour la conduite de la procédure. Il est impératif que l organisme les examine dans le contexte de son activité, afin d optimiser les résultats de ses efforts. Certaines options ont, sans doute, fait déjà l objet de décisions prises à un niveau supérieur, par exemple : si l assurance qualité doit couvrir les établissements publics et/ou privés ; si le but de l assurance qualité doit être davantage le contrôle ou l amélioration de la qualité. Il s agit là des choix qui dépassent les compétences d une structure d assurance qualité ; en revanche, leur mise en œuvre et leurs effets sont sous sa responsabilité. On peut aussi prendre en compte des domaines particuliers de l enseignement supérieur, par exemple : l enseignement supérieur à distance et/ou les formations transnationales ; l évaluation de la formation et/ou de la recherche et/ou des services à la communauté ; la valorisation de la recherche. L enseignement à distance, qui fait partie des activités transnationales des établissements, connaît une évolution notable. Certains organismes d assurance qualité limitent l évaluation aux formations dispensées sur le(s) site (s) universitaire(s) national(aux), d autres ont élaboré des lignes directrices pour intégrer les filières de formation à distance. 19 Module 4 : Créer et organiser une structure d assurance qualité

184 Lors de la création d une structure d assurance qualité, ces questions doivent faire l objet de discussions et d échanges avec des consultants, ou d autres acteurs. Après en avoir décidé, l organisme d assurance qualité peut commencer à les «opérationnaliser». 2. Préparer la méthodologie Les organismes d assurance qualité suivent des approches différentes pour mettre en œuvre leurs fonctions d administration, de coordination et de prise de décision, mais les trois fonctions jouent un rôle essentiel dans la procédure d évaluation et assurent sa cohérence. Il est important que la structure d assurance qualité, surtout à l étape de sa création, mobilise son attention sur l élaboration du cadre d assurance qualité, la conception des standards et des critères, la préparation de la mise en place de la procédure et la diffusion des informations. Standards et critères L accord sur les critères et les standards est une étape importante dans l élaboration de la méthodologie d assurance qualité dont on discutera dans le présent module. Quand l établissement est le point central de l assurance qualité, les standards ou les critères traitent de la qualité de réalisation de ses missions, même si des variations peuvent exister liées au modèle d assurance qualité. Si l unité de l assurance qualité est la filière de formation, les prestations éducatives et la qualité de cette filière particulière deviennent le point central. Il existe des différences entre les organismes d assurance qualité en ce qui concerne les détails relatifs aux standards et les critères qu ils donnent aux établissements, mais, dans tous les cas, les standards et critères doivent leur clarifier la base de l exercice d assurance qualité. D après les lignes directrices de l INQAAHE, l amélioration de la transparence est considérée comme une bonne pratique. Il est ainsi énoncé que l organisme d assurance qualité «doit avoir une documentation claire sur l auto-évaluation et l évaluation externe ; la documentation sur l auto évaluation doit indiquer aux établissements les buts, les procédures et les attentes de contenu en rapport avec la procédure d autoévaluation». L accord sur les standards et les critères nécessite une stratégie diversifiée à plusieurs niveaux. Il faut trouver un équilibre entre les principes d assurance qualité admis au niveau international et les attentes nationales. Dans le module 2, on a présenté les méthodes utilisées dans ce domaine. On peut utiliser plusieurs approches : organiser des ateliers pour élaborer des outils, sensibiliser la communauté universitaire, organiser des débats sur des questions critiques, publier des lignes directrices, des guides et autres matériels méthodologiques destinés aux différents acteurs, former des experts en évaluation, avoir des échanges avec des administrateurs et des hommes politiques pour introduire leurs points de vue dans l assurance qualité. En général, les standards et les critères sont établis par l organisme d assurance qualité seul après quelques consultations avec les parties prenantes. Il serait approprié, voire nécessaire au cours de la conception initiale du plan d assurance qualité, et recommandé par la suite, d adopter une démarche de travail participative aussitôt que possible. Il ne suffit pas de bâtir une bonne méthodologie, celle-ci doit être aussi acceptée par les acteurs de l enseignement supérieur et convenir au contexte national. Faire participer des acteurs clés à son élaboration est un moyen d obtenir l acceptation. 20 Module 4 : Créer et organiser une structure d assurance qualité

185 Il est possible aussi de combiner les travaux approfondis d un petit groupe d experts avec une large consultation nationale, afin qu aucun groupe de participants ne domine la procédure. La consultation des universitaires est, certes, souhaitable, mais dans certains systèmes, elle peut s avérer peu réaliste. Dans les pays où la capacité nationale de contribution aux travaux d assurance qualité est limitée, l assurance qualité doit être mise en place par décision des autorités gouvernementales, institutionnelles ou professionnelles. Cela ne signifie pas pour autant que les parties prenantes ne sont pas consultées, mais leurs opinions doivent se limiter à des aspects bien précis. L étendue de la concertation dépend aussi du but de l assurance qualité : s il s agit d un système centré sur le contrôle de la qualité, la concertation est, en règle générale, plutôt réduite ; si, au contraire, le but principal du dispositif vise l amélioration de la qualité, la concertation est beaucoup plus large. Si c est l assurance publique, on est dans une situation intermédiaire. Procédures L organisme d assurance qualité doit décider du cadre dans lequel s inscrit la procédure d assurance qualité et le diffuser aux parties prenantes, notamment aux établissements d enseignement supérieur. Il est utile de préparer des lignes directrices et, si possible, des guides sur les aspects suivants : la formulation d une demande d évaluation auprès de l organisme d assurance qualité ; les informations à fournir ; les engagements de l établissement lorsqu il entreprend une procédure d assurance qualité ; les engagements de l organisme envers les établissements ; les attentes de l organisme d assurance qualité concernant l autoévaluation de l établissement ; l organisation de l évaluation externe ; la prise de décision ; les suites des décisions prises. 3. Gérer la procédure La réussite de la méthodologie dépend de la bonne qualité de sa mise en œuvre. Il est donc essentiel de mettre en pratique, de manière professionnelle, les actions suivantes : 1. contacts avec les établissements pour les informer sur la procédure d assurance qualité et gestion de l information fournie par l établissement ; 2. sélection et formation des évaluateurs externes ; 3. constitution de l équipe d évaluation et conduite de la visite ; 4. réception des recommandations du groupe d experts. Ces points ont déjà été développés dans le module 3. Dans les pages qui suivent nous allons aborder les aspects opérationnels tels que l élaboration des guides méthodologiques et des lignes directrices, la prise des précautions nécessaires qui permettent à l organisme d assurance qualité de déléguer efficacement ces responsabilités. 21 Module 4 : Créer et organiser une structure d assurance qualité

186 Contacts avec les établissements et gestion de l information L organisme responsable de la procédure d assurance qualité doit maintenir des contacts étroits et continus avec l établissement en évaluation, pour l informer sur la démarche à suivre, le guider au cours de la procédure, faciliter la phase préparatoire, s assurer qu il remplit les requis pour l auto-évaluation. Il doit aussi gérer les informations fournies par l établissement. La réalisation de ces tâches nécessite l élaboration d outils sous forme de livrets et de guides destinés à l équipe de l organisme, aux évaluateurs et aux établissements. Il faut assurer également la tenue régulière des réunions entre les membres de l équipe de l organisme, la compilation des FAQ (questions fréquemment posées) et des réponses correspondantes et des contacts avec l établissement évalué. L organisme doit donc entreprendre les activités suivantes : élaborer un livret qui explique clairement les normes et les procédures établies ; élaborer un guide d auto-évaluation ; identifier les informations nécessaires à l évaluation ; organiser des ateliers pour le personnel des établissements en évaluation. L encadré suivant présente les outils mis en place par l organisme d accréditation suisse OAQ pour la procédure d assurance qualité. Le contenu de chaque rubrique est présenté sur le site web de l organisme. Encadré 6. Instruments de l accréditation OAQ [Suisse] Pour les procédures d accréditation, l OAQ a développé les instruments suivants : TStandards de qualité pour les établissements et les filières d études universitaires. Points de référence. Afin d indiquer de manière transparente les attentes en matière de qualité, chacun des standards a été décrit à l aide de questions et assorti d un point de référence. Guide d auto-évaluation. Directives à l intention des hautes écoles. Outre les éléments nécessaires à la rédaction du rapport d auto-évaluation, ce guide indique de façon détaillée la manière dont les hautes écoles peuvent se préparer à l évaluation externe qui les attend et les informations nécessaires à cet effet. Guide d évaluation externe. Recommandations à l intention des experts. Ce guide donne des recommandations pour l organisation et le déroulement chronologique de la visite sur place ainsi que pour la formulation homogène du rapport final. Accréditation d établissements et de filières d études universitaires privées. Critères pour l examen préalable effectué par l OAQ TSource :T HsiteH web de l OAQ Sélection des évaluateurs externes et constitution du groupe d experts Ce volet a déjà été développé dans le module 3, mais il convient d y ajouter un point particulier sur la formation des experts. 22 Module 4 : Créer et organiser une structure d assurance qualité

187 L organisation d ateliers de formation pour les évaluateurs externes est un bon moyen pour leur transmettre des recommandations sur l organisation de leur mission et les attentes de l organisme d évaluation concernant leur travail. De plus, ces ateliers peuvent aider l organisme à sélectionner les bons évaluateurs. Éliminer les conflits d intérêts Lors de la constitution de l équipe d évaluateurs externes, l organisme doit vérifier l absence de conflit d intérêt avec l établissement ou le programme de formation à évaluer. On entend par «conflit d intérêts», les intérêts privés ou les situations personnelles qui peuvent entrer en conflit avec les devoirs et obligations officiels d une personne. Tout élément qui peut affecter la capacité de l évaluateur à juger objectivement l établissement ou le programme peut être considéré comme une source de conflit d intérêts. Si les évaluateurs doivent être des experts reconnus pour leur intégrité, l organisme, de son côté, doit être garant de leur objectivité et avoir une politique claire sur la question du conflit d intérêts, élément essentiel pour la crédibilité du processus. Certaines agences demandent à l évaluateur de signer une déclaration garantissant qu il n est pas impliqué dans l établissement à évaluer ; son implication pourrait être actuelle ou ancienne, directe ou indirecte, c est-à-dire par l intermédiaire d un parent qui serait (ou aurait été) agent, membre d un conseil, consultant ou ancien étudiant de l établissement. Encadré 7. Australie Dispositions sur le conflit d intérêts [Australie, Inde] Lors de la constitution de l équipe d auditeurs, on interroge les futurs auditeurs et l établissement qui sera soumis à l audit sur l existence éventuelle d affaires susceptibles de provoquer un conflit d intérêts entre l équipe et l établissement. Dans l affirmative, l AUQA peut soit remercier l auditeur concerné, soit le garder, si elle considère que les faits ne justifient pas l existence d un conflit d intérêts. Dans tous les cas, la décision finale de nomination d un auditeur appartient à l AUQA. Si le conflit d intérêts surgit, ou est créé, pendant l audit, l auditeur doit en référer au président du groupe et/ou au représentant de l AUQA membre du groupe. Ce sont eux qui décideront de la solution adéquate en consultation avec le directeur général de l AUQA. TSource T: site web de l AUQA Déclaration commune d absence de conflit d intérêts signée par l évaluateur et l établissement évalué [Inde] UDéclaration d absence de conflit d intérêts faite par les pairs J atteste n avoir pas de conflit d intérêts avec l établissement à évaluer ainsi qu il est précisé ci-après : Je ne suis pas impliqué dans l établissement directement ou indirectement, à travers des parents proches, actuellement ou dans le passé, en qualité d employé ou de membre d un corps officiel, comme consultant ou ancien diplômé. Je ne suis pas du même État que l établissement. Je ne fais pas partie d un établissement concurrent direct de celui en évaluation. Nom et signature du pair 23 Module 4 : Créer et organiser une structure d assurance qualité

188 UDéclaration d absence de conflit d intérêts faite par l établissement Nous attestons que les membres du groupe de pairs n ont pas de conflit d intérêts avec notre établissement, directement ou indirectement à travers des parents proches, actuellement ou dans le passé, en qualité d employé ou de membre d un corps officiel, comme consultant ou comme ancien diplômé. De plus, aucun des membres de l équipe ne sera engagé pour une mission importante au sein de l établissement, au moins pendant un an. Nom et signature du responsable de l établissement TSource T: site web du NAAC L AUQA identifie trois types de conflits : personnels, professionnels, idéologiques. Les conflits personnels incluent l inimitié, les liens amicaux très forts et les liens de parenté avec le responsable ou un des cadres de l établissement. Un autre cas dans cette catégorie peut être la partialité de l évaluateur à l égard de l établissement, due à des événements passés. Cela explique pourquoi les anciens diplômés de l établissement sont écartés comme évaluateurs. Les conflits professionnels sont cités dans les déclarations présentées ci-dessus à savoir, avoir été ou être candidat à un poste de l établissement, être conseiller de haut niveau, examinateur ou consultant de l établissement. Quant au conflit idéologique, il pourrait s agir de l absence d estime pour le style, le type ou d autres caractéristiques de l établissement à évaluer. La plupart des agences d assurance qualité ont adopté des interprétations similaires du conflit d intérêts et s efforcent d éliminer son apparition. Activité 2 Consultez les sites web des agences d assurance qualité et essayez d identifier les politiques sur le «conflit d intérêts». Si les agences d assurance qualité publient sur leurs sites des déclarations d absence de conflit d intérêts à faire signer par les évaluateurs et les établissements évalués, veuillez les télécharger et les comparer. 24 Module 4 : Créer et organiser une structure d assurance qualité

189 Conduire la visite sur site Après la constitution de l équipe d évaluation, l organisme doit consulter l établissement pour organiser la visite sur site. L objectif de cette dernière est le recueil d informations et la validation des données fournies pour aboutir à une appréciation partagée de la qualité de l établissement (ou du programme de formation), conforme au cadre d évaluation de l organisme. Le programme de la visite comporte habituellement trois types d activités : échanges avec les représentants des différentes composantes de l établissement ; visites des principales installations ; contrôle des données. L encadré ci-après présente le programme de la visite sur site de la Commission des titres d ingénieur en France Encadré 8. Conduire l évaluation Visite sur site (CTI) [France] Préparation La réception du dossier d habilitation par tous les rapporteurs constitue le point de départ de la préparation de la mission. Le rapporteur principal et le directeur de l école entrent en contact pour fixer la date et définir le déroulement précis de la visite sur les différents sites d enseignement. Le greffe de la CTI communique au rapporteur principal l historique des missions précédentes, les débats de la Commission ainsi que les habilitations correspondantes. L équipe de direction de l établissement vérifie au moyen du guide d auto-évaluation, qu elle a rassemblé les preuves témoignant de son organisation et les a classées de manière à les rendre accessibles lors de la visite des rapporteurs. Déroulement Pour une formation «classique», jusqu à deux spécialités, la mission se déroule sur une journée complète plus, éventuellement, une demi-journée, la veille, pour la préparation ou l examen préalable de dossiers sur place. La visite peut s organiser selon le schéma suivant : Matinée : Le directeur de l école présente l établissement, les formations et sa stratégie de développement. Cet exposé peut s effectuer en présence de membres du Conseil d administration ou de l équipe de direction. Il est suivi d un débat avec les rapporteurs. À titre indicatif, l exposé du directeur peut être de l ordre d une heure tandis que deux heures peuvent être consacrées au débat. Pause de midi C est l occasion de rencontrer et d échanger librement avec les partenaires de la formation quelquefois difficilement disponibles à un autre moment. Après-midi poursuite éventuelle de la discussion ; visite rapide de l école et notamment des locaux pédagogiques ; 25 Module 4 : Créer et organiser une structure d assurance qualité

190 en dehors de la présence de la direction de l école, des rencontres successives sont nécessaires avec quelques enseignants, quelques personnels techniques et administratifs, quelques élèves ingénieurs, des anciens élèves et des industriels ; réunion privée des rapporteurs : c est à ce moment que les rapporteurs peuvent consulter les différents éléments de preuves complémentaires de l examen du dossier, et confronter leur perception globale de l école. Il y a lieu de prévoir une heure minimum, durée à adapter selon les cas avec le rapporteur principal ; rencontre de fin de mission avec le directeur : courte discussion, demande de documents complémentaires, etc. Le bilan en fin de mission doit permettre de tirer les premières conclusions. Cependant, celles-ci n engagent en aucune façon la CTI, notamment les avis rendus et les décisions prises en séance plénière. Dans le cas où la formation visitée est une composante d un établissement, il est indispensable que les rapporteurs rencontrent le chef de l établissement (le président de l université si la formation est un institut interne de l université, par exemple), si possible dans un entretien séparé. Dans la mesure où il paraît raisonnable de consacrer au moins deux heures à l examen d une spécialité, une mission limitée à une seule journée ne permet pas d aller au-delà de l examen de deux spécialités d un même établissement. Si l établissement délivre un diplôme dans plus de deux spécialités, la mission doit se dérouler sur deux jours au moins. Source : site web de la CTI 4. Rapport des résultats et diffusion Dans le module 3, on a présenté différents types de décisions auxquels les résultats de l assurance qualité peuvent donner lieu. Pour choisir le modèle adéquat de rapport des résultats, l organisme doit prendre en compte plusieurs éléments, à savoir, l utilisation des résultats, la taille du système d enseignement supérieur et les différences de qualité entre établissements (ou filières de formation). Les recommandations ou observations des évaluateurs seront présentées selon le modèle du rapport de l organisme d assurance qualité. Mécanismes d appel La plupart des agences d assurance qualité ont mis en place des mécanismes d appel. Il est très important pour les organismes qui délivrent des accréditations d établissements ou de filières de formation, d avoir des procédures d appel bien définies. Ces procédures contribuent à ce que l organisme d assurance qualité respecte ses propres principes et gère les processus avec professionnalisme. Le document Standards et lignes directrices de l ENQA, destiné à l enseignement supérieur européen, recommande aux agences d assurance qualité d avoir un système d appel qui offre à ceux qui sont en évaluation l occasion d exprimer leurs opinions et de contester les conclusions et décisions de l évaluation. Si l intéressé n est pas satisfait de la décision de l organisme d assurance qualité et souhaite faire appel, il informe l organisme de son intention au bout de quelques jours. L organisme lui transmet alors le formulaire (certaines agences demandent des frais) avec les motifs d appel contre le résultat d assurance qualité. 26 Module 4 : Créer et organiser une structure d assurance qualité

191 Quant au comité d appel, il en existe plusieurs variantes : il peut être indépendant de l agence d assurance qualité ou sous l autorité du ministre chargé de l enseignement supérieur, comme en Norvège. Dans tous les cas, l organisme d assurance qualité doit prévoir une procédure pour la mise en place d un comité d appel. Quelle que soit la variante adoptée, le comité d appel doit être indépendant et faire preuve d équité dans son jugement. Le pouvoir assigné au comité d appel, comme l impact de ses décisions, sont variables. Le comité peut prendre une décision définitive ou communiquer ses recommandations à l organisme pour que celui-ci en tienne compte. Dans tous les cas, l organisme d assurance qualité doit élaborer dès le départ, un mécanisme d appel adapté au contexte et en informer tous ceux qui participent au processus d assurance qualité Encadré 9. Comité d appel HEQC [Afrique du Sud] Un comité d appel (constitué par le responsable du Conseil de l enseignement supérieur (CHE), les représentants du Conseil au sein de l HEQC et des spécialistes cooptés en tant que de besoin) examine l appel. Le HEQC ne recrute pas de nouveaux évaluateurs ; il ne conduit pas non plus d autres visites sur site, mais il concentre son attention sur les procédures suivies lors de la première évaluation. Le comité d appel prend en considération les documents suivants : la demande initiale d évaluation ; le rapport des évaluateurs ; la lettre d appel. La recommandation du comité d appel est adressée au comité d accréditation des prestataires des formations privées de l HEQC en vue de la recommandation finale qui sera examinée par l ensemble de l HEQC. L appelant sera informé du résultat deux mois après avoir soumis la totalité des motifs de l appel. TSource :T site web de la CHE Organe d accréditation et d assurance qualité des hautes écoles suisses (OAQ) On peut faire appel des décisions d accréditation auprès d un conseil d arbitrage indépendant composé de trois membres. Le département de la Justice et de la Police et la Conférence cantonale des départements de justice devront nommer chacun un membre, ces deux membres devant en nommer un troisième. La durée du mandat devra être de quatre ans, renouvelable une fois. On peut faire appel des décisions du conseil d arbitrage auprès de la cour fédérale, par appel administratif. TSource :T Vroeijenstijn, Le développement des compétences L assurance qualité est un exercice rigoureux qui nécessite le développement des compétences à trois niveaux, la structure d assurance qualité, les établissements de formation et les évaluateurs. 27 Module 4 : Créer et organiser une structure d assurance qualité

192 Développement des compétences du personnel de l organisme d assurance qualité Les membres de la structure chargée de l assurance qualité sont responsables du respect des critères professionnels mis en œuvre dans les procédures. Dans certaines structures, ils ont un rôle stratégique dans la construction des processus, des pratiques et des résultats de l assurance qualité. Ils ont donc besoin de formation professionnelle adaptée pour faire face aux évolutions dans leur domaine. Les organismes, conscients de l importance du développement des compétences de leur personnel, utilisent divers moyens : participation des membres de l équipe à des colloques, séminaires et autres manifestations scientifiques dont le sujet est l assurance qualité, visites d études et échanges entre organismes sur les méthodes et pratiques suivies, participation aux réseaux internationaux d assurance qualité et aux manifestations qui offrent l occasion de discuter des questions d intérêt commun. Certaines agences incitent même leur personnel à entreprendre des activités de recherche ou des consultances qui contribuent à leur développement professionnel. Développement des compétences des établissements d enseignement supérieur Dans les systèmes d enseignement supérieur dont les établissements sont d un niveau de qualité sensiblement inégal, le développement des compétences fait partie des fonctions essentielles de l organisme d assurance qualité. Cela est également vrai dans les pays où le système d assurance qualité externe est une notion émergente. L organisme doit alors mettre en place des activités susceptibles de renforcer la capacité des établissements à bénéficier de l assurance qualité. Dans le même esprit, il doit aussi soutenir d autres initiatives concernant la qualité, même si elles ne font pas partie de l exercice d assurance qualité. Le développement des compétences des établissements ne se limite pas à la préparation pour la visite d évaluation, elle inclut plusieurs autres éléments, notamment, l aide à la réalisation d une d auto-évaluation solide et cohérente, la mise en œuvre des actions à la suite des recommandations du rapport d évaluation, la création d un dispositif de suivi, le soutien à la culture de la qualité et la poursuite de son amélioration. Parmi les initiatives des agences pour le développement des capacités des établissements, on peut citer le soutien à la construction des bases de données considérée comme une bonne pratique, le soutien des projets pour l amélioration de la formation à la qualité, la conduite des projets de recherche pour l amélioration de la qualité dans des zones défavorisées, l invitation des personnalités représentatives de leurs établissements aux consultations sur l amélioration de la qualité et le soutien à la mise en réseau des établissements. D autres actions sont également susceptibles de favoriser le développement de la qualité telles que la formation des gestionnaires, celle des coordonnateurs des comités directeurs et des évaluateurs ainsi que la sensibilisation de la communauté universitaire aux questions concernant la qualité. Enfin, la structure responsable de la qualité doit attacher une importance particulière à sa politique de publication, édition des guides, des livrets et d autres ressources méthodologiques. Certaines agences pilotent des projets spécifiques pour aider les établissements à améliorer leur qualité. 28 Module 4 : Créer et organiser une structure d assurance qualité

193 Développement des capacités pour l assurance qualité interne des universités à Oman L enseignement supérieur à Oman s est développé rapidement pendant les années 90 et Le ministère avait mis en place une politique d affiliation qui obligeait les établissements privés à offrir leurs formations conjointement avec une université étrangère reconnue. Pour garantir la qualité des formations locales et étrangères, le ministère a créé en 2001 le Conseil d accréditation d Oman (OAC). Le Conseil organise une procédure d accréditation institutionnelle et de programmes. Pour préparer les établissements locaux à l accréditation, un Plan de Qualité (Quality plan) a été mis en place ; il visait à mettre en place, au sien des établissements, des compétences nécessaires à l assurance qualité interne. Une des stratégies du Plan de Qualité était le développement d un réseau omanais de la qualité. Sous le haut patronage de la ministre, de l enseignement supérieur et avec le soutien du l OAC, un réseau informel d établissements a été créé pour promouvoir le partage sur le plan national des bonnes pratiques en matière d assurance qualité. Le réseau a organisé sa première conférence en octobre Une autre stratégie consistait en la mise en œuvre du programme national de formation en assurance qualité (NQTP cf Le NQTP se compose d une série de modules ayant pour thème : les politiques clés d AQ, les pratiques et instruments. Le choix des thèmes étaient fait à partir d une analyse préalable des besoins en formation. Les formations étaient offertes par les experts de l OAC avec le soutien du Ministère de l enseignement supérieur. Les formations étaient disponibles gratuitement pour les membres du réseau et en plus elles le sont toujours sur le site web de l OAC. Il serait souhaitable qu à l avenir le réseau omanais de la qualité prendra en charge la responsabilité de la formation et utilisera ses experts pour organiser les formations. Il n est surement pas typique pour une agence d assurance qualité d être autant impliquée dans les stratégies d amélioration de la qualité. En effet, en 2006 et 2007, l OAC a consacré la plus grande partie de son temps à développer le système de standards et les stratégies d amélioration de la qualité pendant ce temps, aucune procédure d accréditation n était entamée. Grâce à un retour d information de la part des établissements et du gouvernement, on sait aujourd hui que ce temps de préparation s est finalement avéré utile et nécessaire. Développement des compétences des évaluateurs Il y a au moins trois raisons pour que l organisme d assurance qualité considère cette question avec attention : aider les évaluateurs à accomplir leur mission d une manière claire et sérieuse qui met en valeur la fonction d assurance qualité de l organisme ; guider les évaluateurs dans le cadre conceptuel et méthodologique de l assurance qualité et les faire adhérer aux lignes directrices de l organisme pour qu ils soient capables de le représenter ; atténuer les différences entre équipes d évaluation qui peuvent être un problème majeur pour la crédibilité de la procédure et des résultats. 29 Module 4 : Créer et organiser une structure d assurance qualité

194 Dans le module 3 et dans une des précédentes parties de ce module, on a évoqué les rôles et la responsabilité des évaluateurs. Il suffit donc de rappeler ici que le besoin de développement des compétences des évaluateurs existe à toutes les étapes de la procédure jusqu à la prise de décision, de sorte qu il est dans l intérêt de l organisme d assurance qualité d organiser des formations efficaces ou des rencontres annuelles d information sur les innovations des processus d assurance qualité. Activité 3 Consultez les sites web des agences d assurance qualité et trouvez des cas qui pourraient être soumis à un comité d appel. Comment cette instance pourrait-elle fonctionner dans votre pays? Consultez sur Internet les «bonnes pratiques» de la European Association for Quality Assurance in Higher Education (ENQA) et les activités de la Direction d amélioration de la qualité de l HEQC. Quelles sont les leçons à tirer pour la mise en place d un dispositif d amélioration de la qualité dans votre pays? 30 Module 4 : Créer et organiser une structure d assurance qualité

195 Structure de l organisme d assurance qualité 1. Gouvernance et organisation La gouvernance et l organisation d un organisme d assurance qualité varient en fonction de son statut et des modalités de sa création. En règle générale, il comprend une instance supérieure responsable de la politique et des objectifs et une équipe chargée de les mettre en œuvre. Les membres de la direction peuvent être nommés ou élus selon les statuts en vigueur. L instance dirigeante comprend des représentants des différents secteurs, des établissements d enseignement supérieur, du gouvernement, des employeurs, des corps d État, etc. désignés selon des dispositions précises. Ces personnalités peuvent perdre leur qualité de membre en cas de changement de leur position dans le secteur qu ils représentent. C est le cas, par exemple, d un président d université dont le mandat arrive à expiration. Cependant, dans certaines agences, les membres de la direction ne représentent pas leurs secteurs. Ainsi, en Afrique du Sud, l HEQC est dirigé par un conseil de 13 membres nommés par le Conseil de l enseignement supérieur (CHE) à titre personnel. Les membres du Conseil national d évaluation et d accréditation (NAAC), en Inde, tout en étant nommés à titre d experts en éducation, représentent en fait divers secteurs universités centrales, universités des États, collèges autonomes. Ces personnalités conservent leur qualité de membre aussi longtemps qu ils représentent leur secteur. La composition de l instance de direction est en général un bon indicateur du pouvoir des différents acteurs dans l organisme d assurance qualité. Dans les organismes (ou structures) d État, le représentant de l autorité publique participe en tant que membre de l équipe de direction ou comme président. Certains organismes considèrent qu il est important d inclure dans l instance de direction des représentants des étudiants, des usagers ou de la société civile. Un autre facteur qui influe sur la composition de la direction est l importance accordée à la coopération régionale et la volonté politique de la soutenir. La présence des membres de la communauté internationale dans les organes de direction des agences européennes s est renforcée avec la création de l espace européen de l enseignement supérieur. L importance croissante du dialogue entre pays européens et l internationalisation de l enseignement supérieur ont favorisé la présence accrue d experts internationaux dans les équipes d évaluation. De plus, des experts étrangers siègent aux conseils (ou aux comités) d accréditation des plusieurs pays européens, Allemagne, Autriche, Irlande, la «Foundation for International Business Administration Accreditation» (FIBAA). Le même phénomène est observé dans les pays de la zone Asie-Pacifique comme l Australie, la Nouvelle- Zélande, les pays asiatiques et latino-américains. 31 Module 4 : Créer et organiser une structure d assurance qualité

196 Encadré 10. Composition de la direction d un organisme d assurance qualité Commission nationale d accréditation [Chili] En 1998, le ministère de l Éducation a mis en place une Commission nationale d accréditation (CNAP), chargée de concevoir et de mettre en œuvre un processus d accréditation. La commission comprend 14 membres, nommés par le ministre de l Éducation, ainsi qu une équipe technique chargée de coordonner et de gérer la procédure d accréditation. Une des principales fonctions de la commission concernait la conception d un système d assurance qualité à partir des expériences accumulées. La commission a préparé une proposition qui a donné lieu à un projet de loi pour la création d une structure d assurance qualité, approuvé par le Congrès. La composition de la structure est la suivante : le président de la commission est nommé par le président de la République ; la structure comprend sept membres correspondant aux différentes catégories d établissements d enseignement supérieur : universités publiques et privées, instituts professionnels, centres de formation technique ; deux membres sont nommés par la Commission nationale des sciences et techniques ; le responsable du département de l Enseignement supérieur au ministère de l Éducation est membre de la commission; l ensemble des membres décident de la nomination de deux autres personnalités, représentant les employeurs et les syndicats professionnels ; deux étudiants sont nommés par des organisations estudiantines suivant les dispositions de la loi ; la commission nomme un secrétaire général, responsable de l équipe technique, qui peut se prononcer, mais il n a pas droit de vote. Tous les membres de la commission sont nommés à titre personnel pour une durée de quatre ans indépendamment de tout changement de leur statut institutionnel et de leur position actuelle. Cette instance de direction est responsable de la politique de l organisme, des décisions d accréditation, de l approbation, de la reconnaissance et de la supervision des organismes d assurance qualité chargés d accréditer les programmes de formation et les programmes de formation doctorale. TSource :T Lemaître, 2005 L instance de direction a la responsabilité de la politique, du fonctionnement et des décisions prises. Elle peut déléguer certaines de ses attributions au directeur de l organisme, qu elle a en règle générale nommé, mais elle reste toujours responsable des décisions prises. Le directeur de l organisme assure le fonctionnement courant de la structure et en informe régulièrement l instance de direction. Toute prise de décision et tout changement majeur requièrent son approbation. Les responsabilités fondamentales de l organisme, à savoir, les décisions sur l assurance qualité et la crédibilité des procédures, font partie des compétences de l instance dirigeante qui doit assurer que les résultats de l assurance qualité 32 Module 4 : Créer et organiser une structure d assurance qualité

197 sont fondés sur des jugements approfondis et indépendants. Elle doit suivre la performance de l organisme et orienter son développement. Les membres de l instance de direction peuvent participer à des commissions ad hoc. Ils peuvent aussi participer à des manifestations sur l assurance qualité, conseiller le personnel de l organisme en leur qualité de spécialiste ou travailler avec les membres de l équipe à l occasion des contributions diverses. Dans l encadré suivant, on présente le décret portant création de l Agence d évaluation de la recherche et de l enseignement supérieur (AERES) en France. Cette agence regroupe l ancien Comité national d évaluation des établissements d enseignement supérieur (CNE) et le Comité national d évaluation de la recherche (CNER). Encadré 11. L Agence d'évaluation de la recherche et de l'enseignement supérieur (AERES) [France] (Décret n du 3 novembre 2006) Le conseil de l'agence Le conseil assure la cohérence des procédures d'évaluation mises en œuvre dans les sections de l'agence. À ce titre, il précise, pour chaque section, le cadre, les objectifs, les critères et les modalités de déroulement de la procédure d'évaluation. Il veille à ce que les critères et les procédures mis en œuvre par l'agence prennent en compte la diversité de nature et de mission des structures et des formations évaluées ainsi que la diversité des champs disciplinaires. Il fixe également les conditions dans lesquelles sont réalisées les évaluations conduites à la demande des ministres compétents en matière d'enseignement supérieur et de recherche. Les membres du conseil ainsi que son président sont nommés par décret pris sur le rapport du ministre chargé de la recherche et du ministre chargé de l'enseignement supérieur. Les membres mentionnés au 2 de l'article L du code de la recherche sont choisis parmi les candidats proposés par les présidents ou directeurs des établissements publics d'enseignement supérieur, des établissements publics ayant une mission statutaire de recherche ainsi que des fondations d'utilité publique mentionnées à l'article L du Code de la recherche qui réalisent des travaux de recherche. Chaque établissement ou organisme peut proposer un candidat. Les établissements et organismes employant plus de mille agents peuvent en proposer deux. Les membres mentionnés au 3 de l'article L précité sont choisis parmi les candidats proposés par les instances d'évaluation mentionnées au premier alinéa de l'article L du Code de l'éducation et à l'article L du Code de la recherche et par les autres instances d'évaluation instituées dans les établissements publics ayant une mission statutaire de recherche et les fondations mentionnées à l'alinéa précédent. L'instance d'évaluation de chaque établissement ou organisme, ainsi que la Commission des titres d'ingénieurs et la Commission d'évaluation des formations et diplômes de gestion, peuvent proposer un candidat. Les instances d'évaluation des établissements et des organismes employant plus de mille agents peuvent en 33 Module 4 : Créer et organiser une structure d assurance qualité

198 proposer deux. Le Conseil national des universités ou le Comité national de la recherche scientifique peuvent proposer chacun trois noms. Le mandat des membres du conseil est incompatible avec la fonction de président ou de directeur d'établissement ou d'organisme d'enseignement supérieur ou de recherche ainsi qu'avec la qualité de président de section du Conseil national des universités ou du Comité national de la recherche scientifique ou de toute autre instance d'évaluation mentionnée à l'article L du Code de la recherche, ainsi que de membre du Conseil national de l'enseignement supérieur et de la recherche et du Conseil supérieur de la recherche et de la technologie. Les personnes exerçant l'une des fonctions mentionnées à l'alinéa précédent ne peuvent être nommées au conseil de l'agence que si elles cessent ces fonctions à compter de leur installation. Les membres du conseil sont nommés pour une durée de quatre ans renouvelable une fois. En cas de vacance d'un siège, pour quelque cause que ce soit, un autre membre est nommé dans les mêmes conditions pour la durée du mandat restant à courir. Lors de la constitution initiale du conseil, un tirage au sort désigne douze membres dont le premier mandat est porté à six ans. Le conseil de l'agence délibère sur : 1. une charte de l'évaluation définissant les mesures propres à garantir la qualité, la transparence et la publicité des procédures d'évaluation et de notation ; 2. la politique de coopération européenne et internationale ; 3. la désignation des directeurs de section sur proposition du président de l'agence ; 4. un programme pluriannuel d'évaluation compatible avec les échéances des procédures de contractualisation des établissements avec l'état ; 5. la validation des avis des sections et des rapports de synthèse préparés par les sections au vu des rapports des comités d'évaluation (le conseil peut confier la validation de ces avis et rapports à des formations spécialisées constituées en son sein pour chaque section et composées d'au moins cinq membres) ; 6. le rapport annuel prévu à l'article L du Code de la recherche ; 7. les conditions générales de recrutement, d'emploi et de rémunération du personnel contractuel de l'agence ; 8. le règlement intérieur de l'agence ; 9. le conseil arrête, sur proposition du président, l'organisation et le règlement des services et sections de l'agence. Le président de l'agence Le président du conseil dirige l'agence. Il a autorité sur les personnels de l'agence. Il nomme le secrétaire général chargé de l'organisation administrative de l'agence à qui il peut déléguer sa signature pour tous les actes relatifs au fonctionnement de l'agence et à l'exercice de ses missions. Il est ordonnateur des dépenses. Sans préjudice du contrôle exercé par la Cour des comptes, dans les conditions prévues par le code des juridictions financières, l'agence n'est pas soumise au contrôle financier prévu au décret du 27 janvier 2005 susvisé. 34 Module 4 : Créer et organiser une structure d assurance qualité

199 Le président peut déléguer sa signature aux directeurs de section pour les affaires relevant de leur compétence. Le président de l'agence établit une liste des personnalités, françaises ou étrangères, parmi lesquelles sont choisis les membres des comités d'évaluation prévus à l'article 12 sur proposition : 1. des membres du conseil et des directeurs des sections ; 2. des présidents ou directeurs des établissements ou organismes mentionnés au deuxième alinéa de l'article 2 ; 3. des présidents des instances d'évaluation mentionnées au troisième alinéa de l'article 2. Leur inscription sur la liste est valable pour une durée de quatre ans renouvelable. Le nom et le curriculum vitae des experts figurant sur la liste sont rendus publics. Les sections de l'agence Les sections prévues à l'article L du code de la recherche sont : 1. La section des établissements, compétente, d'une part, pour l'évaluation des établissements et organismes mentionnés au 1 de l'article L du Code de la recherche et, d'autre part, pour valider les procédures d'évaluation des personnels de ces établissements et organismes et préparer un avis sur les conditions dans lesquelles elles sont mises en œuvre. 2. La section des unités, compétente pour l'évaluation des activités des unités de recherche des établissements et organismes mentionnés au 1 du présent article. Elle conduit l'évaluation soit directement, soit en s'appuyant sur les établissements et organismes selon les procédures qu'elle a validées. 3. La section des formations, compétente pour l'évaluation des formations et des diplômes. Lorsque la loi ou le règlement attribue à une instance la compétence pour procéder à l'évaluation de certaines formations ou diplômes, cette section peut préparer un avis sur la qualité des procédures mises en œuvre. Chaque section est dirigée par un directeur nommé pour un mandat de quatre ans renouvelable. Le directeur désigne les membres composant chaque comité d'évaluation ainsi que son président. Le directeur organise le travail de la section, notamment en ce qui concerne l'élaboration des rapports de synthèse et la proposition, le cas échéant, d'une notation établie sur la base d'une analyse multicritère au vu des rapports des comités d'évaluation. Il réunit à cet effet les présidents des comités d'évaluation par groupes thématiques. Il signe les rapports de synthèse et les adresse au conseil de l'agence. Les comités d'évaluation de l'agence Les comités d'évaluation établissent les rapports d'évaluation. Ils peuvent, pour les nécessités de l'évaluation, se faire communiquer tous documents, quel qu'en soit le support, et en obtenir la copie. Ils procèdent, pour les évaluations relevant de la section des établissements et de la section des unités, à des investigations sur place. 35 Module 4 : Créer et organiser une structure d assurance qualité

200 Les projets de rapport d'évaluation sont communiqués aux structures évaluées pour qu'elles formulent leurs observations. Pour l'évaluation des unités de recherche, chaque comité d'évaluation est constitué, après consultation des établissements en cause qui font notamment part de leurs observations sur d'éventuels conflits d intérêts, d'une part, d'au moins six membres nommés dans les conditions prévues à l'article 10 parmi lesquels est nommé le président du comité et, d'autre part, d'un représentant de l'instance d'évaluation des personnels de chaque établissement dont relève l'unité évaluée, sur proposition de cette instance. Le directeur de la section adresse aux comités une lettre de mission, après consultation des établissements de rattachement. Règles de déontologie de l'agence Les membres du conseil de l'agence, les membres du personnel de celle-ci et les experts désignés par elle ne peuvent participer aux délibérations ni à la rédaction de rapports relatifs à la structure évaluée, s'ils appartiennent à celle-ci. Ils déclarent les fonctions qu'ils occupent ou ont occupées pendant les cinq dernières années, les mandats et les intérêts qu'ils détiennent ou ont détenus au cours de la même période dans les établissements ou organismes qui ont vocation à faire l'objet d'évaluations conduites par l'agence. Ces déclarations sont faites au président de son conseil. Les membres et agents de l'agence, ainsi que les experts désignés par elle, sont astreints au secret professionnel pour les informations dont ils ont pu avoir connaissance dans l'exercice de leurs fonctions. Source : site web de Legifrance La complexité de l organisation dépend des activités de l organisme. La division interne des responsabilités peut correspondre aux différentes fonctions, administration générale, formation des évaluateurs, aide aux établissements, relations extérieures, conduite des visites sur site, documentation, gestion du système d information et autres activités. La division interne du travail de l organisme peut correspondre aussi aux principales fonctions du processus d assurance qualité ou encore être le résultat d une combinaison des activités majeures de l organisme. On peut envisager de créer une section spécialisée chargée de leur gestion. Dans certains cas, le personnel assume des tâches spécifiques, dans d autres, il intervient dans toutes les activités. Certains organismes d assurance qualité ont créé des divisions spécialisées responsables des établissements situés dans certaines régions ou des établissements d un type particulier. Ainsi, une unité peut s occuper d un établissement particulier ou d une catégorie d établissements (des IUFM, par exemple). Si l organisme effectue différents types d évaluation, la division du travail et la répartition des responsabilités peuvent se faire en fonction des différents types d évaluation (par exemple, l évaluation des cursus de formation sera confiée à X et l évaluation institutionnelle à Y). On a la possibilité de combiner plusieurs approches, mais il appartient à l organisme de trouver celle qui lui convient le mieux. 36 Module 4 : Créer et organiser une structure d assurance qualité

201 2. Ressources nécessaires Le domaine des ressources financières mérite une attention particulière. Tout dispositif d assurance qualité comprend trois postes de dépenses : les dépenses liées à l administration des procédures qui incluent les frais de fonctionnement de l organisme (salaires du personnel compris,) les équipements, le matériel, etc. ; les dépenses liées à l auto-évaluation des établissements ; elles sont en partie prises en charge par l établissement évalué mais elles intègrent aussi des frais générés par l activité de formation mise en œuvre sous la responsabilité de l organisme d assurance qualité ; les dépenses liées à l évaluation externe ; elles couvrent les indemnités des évaluateurs externes, bien que tous les organismes ne rémunèrent pas leurs évaluateurs, leurs frais de déplacement et de subsistance, et d autres types de dépenses. Les organismes d assurance qualité sous tutelle de l État sont financés par l État. Dans certains pays, les organismes d assurance qualité reçoivent des fonds publics en contrepartie des frais occasionnés par les procédures d accréditation. Si l organisme appartient à des établissements d enseignement supérieur, ce sont ces derniers eux qui supportent les coûts. Les organismes d assurance qualité qui ne dépendent ni de l État ni des établissements (c est le cas de nombreuses agences internationales qui fonctionnent comme des ONG), sont financés par les revenus de leurs évaluations, les établissements payant les frais pour l évaluation en vue de leur accréditation. Compte tenu des développements précédents, on a trois types de financement possibles : financement public : dans les systèmes créés par l État, celui-ci assure au moins le financement initial et, en principe, une partie des frais de fonctionnement ; financement par les contributions des établissements adhérents : ceux-ci paient pour les services reçus et leurs contributions couvrent, en principe, toutes les dépenses liées aux évaluations externes et aux activités de formation ; financement par les revenus des services fournis aux établissements ou aux organisations (conférences, ateliers, consultances, etc.), autres que ceux qui demandent leur accréditation. Les ressources de la structure d assurance qualité tant humaines que matérielles peuvent varier énormément, allant de deux agents à plein temps pour huit universités à vingt agents à plein temps pour établissements. Aux Philippines, par exemple, chaque agence d accréditation a un secrétariat dirigé par un cadre supérieur. Le personnel du secrétariat de PAASCU est le plus nombreux parce que l organisme est responsable d un grand nombre d établissements ; il y avait, en 2006, 410 établissements membres et 27 programmes d accréditation académique mis en place. L AACCUP, de son côté, a 48 établissements membres seulement, et un petit nombre de programmes d accréditation, le personnel de son secrétariat est donc plus réduit. 37 Module 4 : Créer et organiser une structure d assurance qualité

202 Le financement peut varier de quelques milliers à plus d un million de dollars US par an. Les variations ne sont pas toujours liées à la taille de l organisme ; elles dépendent aussi de la structure des salaires et du volume des activités, celui-ci étant fonction du degré d implication de l organisme dans le processus d assurance qualité. Les compétences des agents doivent être à la hauteur du rôle que l organisme souhaite jouer dans le processus d assurance qualité. Dans certaines agences, les membres du personnel participent activement à l évaluation, ils rédigent les rapports, animent les programmes de formation des évaluateurs et aident les établissements en qualité d experts. Ces organismes ont besoin, au moins au niveau des cadres supérieurs, de personnes expérimentées et compétentes, reconnues par la communauté universitaire. Autrement, si l organisme accrédite des filières, il devra choisir des spécialistes des domaines concernés. Enfin, si le travail du personnel se limite aux tâches administratives, son profil et ses compétences doivent être définis en conséquence. La structure d assurance qualité doit définir sa demande de ressources humaines et financières en tenant compte du nombre et de l étendue des activités qu elle doit prendre en charge. Elle doit estimer ses besoins en ressources humaines en termes de personnels propres et d évaluateurs externes, sans oublier que la formation de ces derniers peut être une activité consommatrice de ressources. À l étape initiale, un organisme a besoin de moyens pour organiser des consultations nationales pour développer une méthodologie basée sur un large consensus. Quand la méthodologie est bien établie, ce sont les activités d évaluation et de formation qui demandent des moyens. Beaucoup d organismes font payer les activités d évaluation aux établissements. Encadré 12. Ressources nécessaires pour un organisme d assurance qualité dans cinq pays africains Une étude comparative de cinq pays de l Afrique anglophone (Cameroun, Ghana Nigeria, Afrique du Sud et Tanzanie) ayant mis en place une structure pour l assurance qualité, montre que le coût annuel pour une agence d assurance qualité dans les cinq pays analysés varie entre dollars des États-Unis ($EU) au Cameroun et 2,3 millions $EU en Afrique du Sud. Si on exclut l Afrique du sud, le coût moyen des quatre restants est de $EU par an. On estime aussi le coût pour une accréditation de programme en moyenne à $EU. Le coût d une accréditation institutionnelle est estimé à $EU par visite. En plus du coût direct des processus d assurance qualité (fonctionnement de l agence et honoraires des experts), il faut tenir compte des coûts cachés. En font partie les coûts de la préparation ou du suivi au sein des établissements avant et après la visite des pairs. Les universités de l Afrique du Sud et de la Tanzanie se sont plaintes du coût important des activités internes liées à l assurance qualité qui sont estimées à $EU par établissement en Afrique du sud et à $EU en Tanzanie. Par exemple, à l université de Rhodes en Afrique du Sud, le processus d évaluation s est allongé sur une durée de 18 mois, et il a impliqué 450 personnes (enseignants et étudiants). Il est donc réaliste de prévoir un coût annuel de $EU pour un système d assurance qualité qui couvre une dizaine d établissements. Cela comprend $EU pour le fonctionnement annuel de l agence et $EU pour les procédures à mettre en place au sein des établissements. 38 Module 4 : Créer et organiser une structure d assurance qualité

203 2005/ 2006 Coût de visite d accréditation ou d audit pour l agence nationale Accréditation de programme (moyenne) Coût total de fonctionnement pour l agence Honoraires pour experts visiteurs Contribution financière des établissement s pour une accréditation ou un audit Cameroun NA NA $ NA Aucune Ghana 6 000$ 6 000$ $ 240$ Varie avec la Nigéria 3 000$- Afrique du Sud 5 000$ Tanzanie 5 000$- taille $ $ 350$ Frais de NA NA $ $ NA séjour Droits variables $ $ 300$ Droits demandés Coûts aux établissements pour une accréditation ou un audit (autoévaluation et visite des pairs) * TSource :T Materu, 2007 *Fondé sur l estimation des coûts directs par un établissement (sauf salaires du personnel administratif ou enseignants pour le temps passé). 3. Système d information Les résultats d assurance qualité sont valides pour une période de temps déterminée. Les organismes d assurance qualité conservent des dossiers avec les rapports d auto-évaluation, les recommandations des équipes d évaluation, la décision de l organisme, la réponse éventuelle et/ou l appel éventuel de l établissement. L organisme doit conserver aussi les données fournies par l établissement, l information examinée par les évaluateurs, les justificatifs de sa décision et les informations sur le suivi de l établissement pendant la période de validité de la décision. Cette documentation doit être bien organisée, au cas où la décision de l organisme serait contestée ou aurait des conséquences graves pour l établissement ou la filière de formation. Le traitement des données est une des fonctions support essentielles de l évaluation. Un autre type d information fait l objet de préoccupation de certaines agences, il s agit du système d information public sur les résultats d assurance qualité Certains organismes, en plus du système d information support de l évaluation, mettent à la disposition du public une grande quantité d informations pour s assurer de la qualité, de la fiabilité et de la validité des données produites et utilisées pendant la procédure. Certaines informations contenues dans les rapports institutionnels peuvent alimenter des bases de données nationales ou inversement, des données issues des bases d information nationales peuvent être utilisées pour mieux analyser ou vérifier les données de l établissement. Cependant, il est à noter que les établissements d enseignement supérieur veulent fournir des informations consistantes uniquement pour l évaluation. Certaines de ces informations sont sensibles, voire stratégiques ; elles ne doivent servir qu aux besoins de l évaluation mais en aucun cas être publiées. Sur ce point particulier, l organisme doit avoir une politique claire sur les informations destinées à la publication et celles qui ne seront utilisées que pour l évaluation. 39 Module 4 : Créer et organiser une structure d assurance qualité

204 Il y a de bonnes raisons pour séparer les informations pour l évaluation de celles qui sont destinées à être publiées : la précision, la fiabilité et la validité des informations diffusées au public devraient figurer parmi les conditions requises pour l accréditation, mais on ne devrait jamais les confondre avec les informations nécessaires pour la prise de décision sur l accréditation. Ce principe est valable même dans le cas où certaines données sont communes. Dans ce sens, tous les systèmes d enseignement supérieur devraient préciser les données qui sont destinées à alimenter leur système d information public. Il appartient aux établissements de les fournir. L organisme d assurance qualité doit informer les usagers sur les procédures et critères utilisés, conformément aux principes prévus dans son statut. Il est de sa compétence de fournir aux acteurs concernés des informations fiables sur les résultats de l assurance qualité d où l importance de la bonne gestion des données. En règle générale, les organismes éditent des répertoires et des guides détaillés, certains ont même des services spécialisés pour répondre aux questions des usagers ; ainsi, sur leurs sites web, des sections sont dédiées à la diffusion de l information et aux questions du public. Ces dispositifs font partie de la politique de communication de l organisme. L organisme d assurance qualité peut aussi être amené à traiter des informations relatives au contrôle ou au suivi des établissements. S agissant du contrôle, des rapports peuvent être établis sur les progrès de l établissement, les actions entreprises et les changements intervenus au cours de la période de validité de la décision d assurance qualité. Si, par exemple, l établissement opère des changements à son fonctionnement, il doit en informer l organisme d assurance qualité car celui-ci, au vu des changements réalisés, peut reconsidérer la validité de sa décision. Divers autres événements peuvent se produire également, par exemple un scandale qui affecte la qualité des formations de l établissement ; quelqu un peut dénoncer l établissement qui aurait donné de fausses informations pour obtenir une décision favorable... Les cas qu on vient de citer sont quelques exemples pour montrer que l organisme d assurance qualité a tout intérêt à mettre en place un système d information qui permette la disponibilité et l accessibilité des données. La gestion de l information requiert des personnels qualifiés, spécialistes de ces domaines. La constitution et l actualisation régulière d un fichier d évaluateurs contenant des informations détaillées sur leurs caractéristiques et antécédents est une autre tâche importante. Les données enregistrées doivent inclure des informations personnelles et professionnelles, les formations suivies, le nombre de participations à des visites d évaluation, le nombre d établissements ou de programmes de formation évalués, l évaluation de leur prestation au cours des visites sur site. L organisme peut avoir besoin d un grand nombre d informations pour constituer ses équipes d évaluation de façon équilibrée. Cela est valable surtout pour des systèmes d enseignement supérieur grands et diversifiés où l on a besoin d un vivier important d évaluateurs externes afin de pouvoir choisir des experts d origine géographique, institutionnelle, de discipline, de sexe et de religion, différents. Il faut éviter d utiliser certains évaluateurs trop souvent et d autres pas assez, d où l importance d un fichier bien actualisé. Certains organismes publient toutes ces informations sur leur site web ou dans leurs répertoires, ce qui contribue à éviter les mauvaises interprétations et les fausses informations. La performance des évaluateurs doit faire l objet de suivi dont les 40 Module 4 : Créer et organiser une structure d assurance qualité

205 résultats doivent être enregistrés dans le fichier. Si, par exemple, un évaluateur ne s est pas montré digne de confiance et si l organisme décide de ne plus faire appel à lui (elle), il est recommandé d enregistrer l information sans pour autant la rendre publique. Cela évitera des problèmes ultérieurement, dus au fait que les défaillances de l évaluateur n avaient pas été enregistrées. Avec le temps, l organisme améliore ses méthodes, révise sa politique, développe de nouvelles pratiques ; les usagers doivent être tenus informés de ces évolutions. En règle générale, les organismes d assurance qualité informent le public par les moyens de communication traditionnels et/ou par des médias modernes, sites web, publipostage, lettres d information, publicité dans les journaux, annonces dans les mass media, entretiens à l occasion des forums sur l enseignement supérieur. TActivité 4T Réfléchissez sur le mode de gouvernance et d organisation qui serait efficace pour la structure d assurance qualité de votre pays. 41 Module 4 : Créer et organiser une structure d assurance qualité

206 Crédibilité et reddition des comptes de l organisme d assurance qualité Les organismes d assurance qualité doivent prouver que le processus mis en place atteint ses objectifs avec efficacité. À cette fin, ils doivent rendre des comptes aux acteurs du système. Ils doivent leur prouver que le processus est crédible et garantit des résultats objectifs. 1. Crédibilité du processus d assurance qualité La crédibilité du processus d assurance qualité est le résultat de plusieurs facteurs : clarté des politiques suivies, pertinence du cadre d assurance qualité, transparence des procédures, intégrité des personnes impliquées et impact sur le système. Pour assurer la crédibilité, l organisme a besoin de la participation des établissements à la définition des normes et critères d assurance qualité, du soutien des acteurs concernés, des méthodes et des outils pour l évaluation, des politiques et des pratiques transparentes, des procédures rigoureuses et des conditions pour l amélioration du professionnalisme. Dans les systèmes dont le centre de préoccupation est le contrôle de la qualité, l organisme peut faire d autres choix qui visent l élimination des prestations de qualité insuffisante. L environnement national peut, par exemple, n être pas favorable à la tenue de consultations sur les critères, si le résultat de l assurance qualité doit être utilisé pour fermer des établissements de qualité médiocre. Mais, avec un bon dispositif d appel, l organisme peut assurer la crédibilité à travers l application des procédures claires, transparentes et rigoureusement appliquées. Beaucoup de formation et de travail avec les établissements peuvent contribuer à construire de bons soutiens pour l organisme. Si l organisme ne réussit pas à obtenir le consensus des établissements, il peut, au moins, écouter ceux qui se prononcent sur la procédure. Un cadre conceptuel solide et réactif est un élément essentiel. L adaptabilité fait, certes, partie du processus d évolution d un organisme nouvellement créé, mais trop de changements conduiront à la perte de confiance des établissements à l égard de l organisme d assurance qualité. Le cadre doit être sensible au contexte local et, en même temps, suivre les évolutions internationales des éléments clés. Tout cela peut être accompli si l organisme se fixe des objectifs d action clairs sur une période de cinq à sept ans. En revanche, le manque de clarté du cadre conceptuel et méthodologique conduira l organisme à vouloir atteindre des objectifs parfois contradictoires à travers la même procédure. Beaucoup de questions sur la crédibilité concernent les personnes responsables de la mise en place du cadre d assurance qualité. On doit donc choisir des experts connus pour leur intégrité, car il ne suffit pas que l établissement fasse confiance à l expertise des évaluateurs, elle doit surtout faire confiance aux évaluateurs. La qualification et les capacités des personnes responsables de la constitution des équipes d évaluation sont cruciales pour la crédibilité du processus. Toutefois, le professionnalisme avec lequel la procédure d accréditation a été planifiée et mise 42 Module 4 : Créer et organiser une structure d assurance qualité

207 en œuvre est d une importance égale, car l équipe la plus qualifiée peut échouer dans son travail si l organisme ne sait pas ce qu il veut. Avant toute chose, l établissement devrait pouvoir faire confiance aux évaluateurs. Ils doivent avoir un comportement professionnel dans leur approche de l assurance qualité. L organisme d assurance qualité a un rôle significatif dans l amélioration du professionnalisme des évaluateurs. La composition de l équipe mérite également attention. Un seul évaluateur ne peut connaître l ensemble du fonctionnement d un établissement d enseignement supérieur ou d une filière de formation. La perception individuelle de la qualité est influencée par quantité d éléments qui dépassent le contrôle de l organisme et la formation des évaluateurs, si rigoureuse soit-elle, ne peut empêcher cela. L organisme doit donc assurer la participation des compétences diverses pour aboutir à un résultat d évaluation équilibré. Il a déjà été mentionné dans une des précédentes parties de ce module qu il est nécessaire de réfléchir sur la question du conflit d intérêts afin de garantir l objectivité des jugements. Considérer les établissements d enseignement supérieur comme des partenaires à part entière contribue à asseoir la crédibilité de l organisme. Dans certains pays, les établissements ne participent pas à la constitution de l équipe d évaluation. Pourtant, la consultation des établissements fait partie des bonnes pratiques, l assurance qualité étant ainsi organisée en partenariat. Le recueil des réactions des établissements et des participants à la procédure d assurance qualité contribue à améliorer les pratiques des organismes. Prévoir des mécanismes de recours justes et clairs est une autre mesure pour assurer la crédibilité et la responsabilité de l organisme. En bref, le renforcement de la crédibilité et l acceptation du processus d assurance qualité passent par les dispositions suivantes : établir des objectifs et un cadre d assurance qualité clairs, et les respecter ; adopter des dispositions pour garantir l objectivité ; considérer les établissements d enseignement supérieur comme des partenaires à part entière ; gagner la confiance des acteurs du système. Il existe aussi des mécanismes pour assurer la reddition des comptes de l organisme d assurance qualité. Certains exemples sur la reddition des comptes des organismes seront présentés dans les pages suivantes. 2. Reddition des comptes de l organisme d assurance qualité Le statut de l organisme n est pas sans effet sur la reddition des comptes. S il est sous tutelle de l État, celui-ci peut instituer divers mécanismes de contrôle, par exemple un représentant de l État peut être membre de l instance de direction ou président de l organisme, ou l organisme doit remettre un rapport annuel sur sa performance. Si l agence appartient à des établissements d enseignement supérieur, elle est responsable auprès d eux. Il existe plusieurs possibilités des mesures de contrôle de la reddition des comptes de l organisme. Certains cas seront présentés dans la suite de l exposé. Option 1 : Contrôles intégrés dans le fonctionnement de l organisme Beaucoup de contrôles intégrés garantissent la participation des parties prenantes dans l organisation et le contrôle du processus d assurance qualité. La 43 Module 4 : Créer et organiser une structure d assurance qualité

208 représentation des parties prenantes, en particulier celles du monde académique, dans les organes de direction, est un moyen de s assurer de la reddition des comptes de l organisme. Certaines agences incluent dans leurs organes de direction des représentants du public, d autres, des représentants des usagers. En règle générale, les projets et rapports annuels sont soumis aux organes de direction, parfois, ils sont même publiés, ce qui assure la transparence et la reddition des comptes. La présence d experts internationaux dans les organes de direction est un autre moyen de garantir une politique claire et la bonne tenue des procédures. Toutes ces pratiques dépendent du statut de l organisme d assurance qualité. Pour citer quelques exemples, en Indonésie, le BAN-PT, organisme public, soumet à l État un rapport annuel et son plan d activité dépend du budget annuel alloué par l État. Le Conseil des études du 3 ème cycle de l Ontario (Ontario Council for Graduate Studies OCGS), créé par les universités de la province de l Ontario, doit remettre au Conseil des universités de l Ontario (COU) un rapport annuel sur l exécution de ses activités. Option 2 : Organisme de tutelle chargé du contrôle de la reddition des comptes La demande de reconnaissance par un établissement de tutelle peut être une mesure de reddition des comptes. Les agences d accréditation régionales aux États-Unis créées par des établissements d enseignement supérieur, demandent leur reconnaissance par le Conseil pour l accréditation dans l enseignement supérieur (Council for Higher Education Accreditation CHEA), ou par le département de l Éducation des États-Unis. La demande de reconnaissance est volontaire, mais les fonds fédéraux notamment les aides aux étudiants, vont aux établissements accrédités par des agences reconnues. Les agences qui font la demande de reconnaissance auprès du CHEA doivent prouver qu elles remplissent les critères établis par ce dernier. La demande de reconnaissance est évaluée de la même manière que la demande d accréditation des établissements c'est-à-dire, par une auto-évaluation et une évaluation externe. Cette procédure organisée tous les six ans comporte des sessions ouvertes au public. En Australie, l AUQA est responsable des audits administratifs auxquels sont soumis tous les cinq ans les autorités d accréditation de l État et des territoires. Le département compétent est responsable des actions engagées à la suite du rapport d audit. L audit de l AUQA sert de contrôle de la reddition des comptes des autorités d accréditation. Encadré 13. La reddition des comptes des «accréditeurs» : le Conseil pour l accréditation dans l enseignement supérieur (CHEA) Le CHEA perpétue une longue tradition d après laquelle la reconnaissance des organismes d accréditation est une stratégie essentielle pour assurer la qualité, la reddition des comptes et l amélioration de l enseignement supérieur. La reconnaissance par le CHEA atteste que les standards et les procédures des organismes d accréditation sont cohérents avec les attentes du CHEA en matière de qualité, d amélioration et de reddition des comptes. Le CHEA reconnaît des organismes d accréditation régionaux, nationaux, spécialisés et professionnels. 44 Module 4 : Créer et organiser une structure d assurance qualité

209 La reconnaissance des organismes d accréditation par le CHEA a trois principaux objectifs : FAIRE AVANCER LA QUALITÉ ACADÉMIQUE PROUVER LA RESPONSABILITÉ : Confirmer que l organisme d accréditation a des standards qui garantissent la reddition des comptes grâce à la communication claire et cohérente aux usagers et à la communauté de l enseignement supérieur de ses résultats et de ses efforts. La reddition des comptes inclut aussi l engagement de l agence d accréditation à faire participer les usagers à la prise de décision pour l accréditation. ENCOURAGER LES CHANGEMENTS JUSTIFIÉS ET LES AMÉLIORATIONS NÉCESSAIRES TSource :T site web du CHEA Option 3 : Adhésion volontaire aux critères et standards des réseaux d assurance qualité régionaux Les organismes d assurance qualité peuvent se mettre volontairement en réseau et suivre des principes et des pratiques convenues d un commun accord. Si le contrôle de la reddition des comptes n est pas la raison majeure d adhésion à un réseau, l adoption des standards et des critères communs garantit la reddition des comptes de l organisme. Les bonnes pratiques développées par l ENQA en sont des exemples. L encadré 13 présente les critères d éligibilité des membres de l ENQA ; ces critères correspondent également à un code de bonnes pratiques en assurance qualité externe en Europe. De plus, l ENQA a développé des Lignes directrices pour l examen des agences d assurance qualité dans l espace européen d enseignement supérieur (Guidelines for external reviews of quality assurance agencies in the European Higher Education Area, sans date) qui présentent le corps de procédures à suivre pour devenir membre de l Association. Encadré 14. Critères d éligibilité des membres (ENQA) Peuvent devenir membres de plein droit, toutes les agences d assurance qualité œuvrant dans le domaine de l enseignement supérieur, situées dans un pays faisant partie de l espace européen d enseignement supérieur et ayant conduit des activités d évaluation depuis au moins deux ans. Avant d être accepté en tant que membre, une agence candidate doit soumettre la preuve au Conseil d administration de l ENQA qu elle remplit les huit critères mentionnés ci-dessous. Par voie de conséquence, l agence candidate remplira aussi les exigences stipulées dans les Lignes Directrices et Standards pour le management de la qualité dans l espace européen pour l enseignement supérieur (ESG) que les ministres européens ont adopté à Bergen en Le Conseil d administration de l ENQA pourra modifier les détails de la procédure s il le souhaite. Chaque critère est suivi de directives (en italiques) qui donnent des informations supplémentaires concernant les bonnes pratiques et qui expliquent, dans certains cas, la signification et l importance du critère. Même si les Lignes Directrices ne font pas partie des critères, ils doivent être considérés comme un ensemble. Critère de l ENQA 1 : Activités (ESG 3.1, 3.3) Critère de l ENQA 2 : Statut officiel (ESG 3.2) Critère de l ENQA 3 : Ressources (ESG 3.4) Critère de l ENQA 4 : Mission (ESG 3.5) 45 Module 4 : Créer et organiser une structure d assurance qualité

210 Critère de l ENQA 5 : Indépendance (ESG 3.6) Critère de l ENQA 6 : Critères et processus d AQE utilisés par les membres (ESG 3.7) Critère de l ENQA 7 : Procédures de reddition des comptes (ESG 3.8) Critère de l ENQA 8 : Autres Source: Site web de l Association européenne de l assurance qualité dans l enseignement supérieur (ENQA). Le réseau international des agences d assurance qualité (INQAAHE) a également développé des lignes directrices relatives aux bonnes pratiques (good practice guidelines, GGP disponible à : 39/guidelines-of-good-practice-51) qui servent de cadre de référence pour les membres de ce réseau. On peut devenir membre de l INQAAHE sans évaluation préalable, mais les membres du réseau qui se sont soumis à l évaluation faite à partir des GGP peuvent recevoir un label certifiant qu ils opèrent en conformité avec les lignes directrices. Cette information sera publiée sur le site web de l INQAAHE. Option 4: Évaluation périodique des organismes Les bonnes pratiques des organismes d assurance qualité préconisent l usage de la métaévaluation ou «de l évaluation de l évaluation» pour garantir la reddition des comptes. Les agences européennes d assurance qualité doivent être évaluées tous les cinq ans. Certaines agences conduisent des études d impact, des évaluations ou des révisions à mi-parcours qui contribuent à mesurer le degré de réalisation de leurs objectifs. D autres agences invitent des experts internationaux comme observateurs lors des visites d évaluation. Le HEQC en Afrique du Sud a un Groupe de Référence international constitué de trois membres, qui a un rôle d observatoire pour son développement. L AUQA, le CNE au Chili, l Agence centrale d évaluation et d accréditation à Hanovre (ZEVA), le Centre d évaluation danois, le Conseil d accréditation hongrois ont été évalués. Option 5: Constitution d un répertoire des organismes d assurance qualité Cette option a été mise en pratique en 2008 sous la forme d une association à but non-lucratif intitulé «Répertoire des organismes d assurance qualité externe européens». L encadré précise les grandes lignes de cette opération. Encadré 15. Répertoire des organismes d assurance qualité externe européens Le Répertoire européen des organismes d assurance qualité externe (European Quality Assurancez Register EQAR) a été crée par l ENQA, l association des étudiants européens (ESU), l association européennes des universités (EUA) et l association européenne des établissements d enseignement supérieur (EURASHE) pour une plus grande transparence de l assurance qualité pratiquée dans l enseignement supérieur à travers l Europe. EQAR publie et gère ce Répertoire d organismes d assurance qualité qui ont apporté la preuve de leur conformité significative avec les références et lignes directrices pour le management de la qualité dans l espace européen de l enseignement (ESG). Le 46 Module 4 : Créer et organiser une structure d assurance qualité

211 Répertoire apporte donc des informations claires et fiables sur les agences d assurance qualité qui travaillent en Europe. En 2003, les Ministres responsables de l enseignement supérieur des pays signataires du processus de Bologne avaient demandé à l ENQA de développer, en coopération avec ESU, EUA et EURASHE (Groupe E4), un ensemble de standards, procédures et directives pour l assurance qualité (Communiqué de Berlin). Se basant sur ce mandat, pendant deux ans, le Groupe E4 a développé les ESGs qui maintenant forment un consensus européen de principes et de références pour l assurance qualité dans l enseignement supérieur. Les ESGs sont censés être applicables à l ensemble des établissements d enseignement supérieur et agences d assurance qualité en Europe, indépendamment de leur structure, fonction, taille, et du système national dans lequel ils sont situés. Organisées en trois parties, elles couvrent les différents niveaux de l assurance qualité Partie 1 : Assurance qualité interne des établissements d enseignement supérieur Partie 2 : Assurance qualité externe de l enseignement supérieur Partie 3 : Assurance qualité des agences Les parties 2 et 3 sont les chapitres les plus pertinents pour les organismes d assurance qualité et forment donc la base pour l évaluation menant à l inclusion dans le Répertoire. Le Répertoire répond à l intérêt des établissements d enseignement supérieur et des gouvernements de pouvoir identifier des organismes d assurance qualité crédibles et professionnels qui travaillent en Europe. L intérêt est avant tout motivé par la question complexe de la reconnaissance des diplômes étrangers. Les procédures de reconnaissance devront être renforcées, jusqu'aux prestataires de formation dont la qualité doit être garantie par des agences reconnues. Par ailleurs, il devient de plus en plus possible pour les établissements d enseignement supérieur de s adresser à des agences internationales pour demander une expertise d assurance qualité. Dans cette perspective, un répertoire fiable qui identifie les agences professionnelles est un outil d aide pour les établissements Le comité européen pour la constitution du Répertoire décide des inscriptions. Le comité utilisera comme premier critère pour l inscription au répertoire, la conformité de l agence aux Références et Lignes Directrices des agences d assurance qualité externe. D autres critères seront établis afin de prendre en compte la diversité des systèmes d enseignement supérieur. Source : ENQA, 2005 ; site web : Répertoire des organismes d assurance qualité externe européens (EQAR) Les options présentées, examinées dans le contexte de chaque pays, doivent aider à faire des choix utiles pour créer, gérer, organiser et contrôler une structure d assurance qualité. 47 Module 4 : Créer et organiser une structure d assurance qualité

212 TActivité 5T Quelles sont les dispositions en vigueur sur la reddition des comptes directe ou indirecte en matière d assurance qualité dans votre pays? Réfléchissez sur les dispositions concernant la reddition des comptes de l organisme d assurance qualité, susceptibles de fonctionner efficacement dans votre contexte national. 48 Module 4 : Créer et organiser une structure d assurance qualité

213 Points à retenir Point 1 : L organisme d assurance qualité doit être indépendant de l État et des établissements d enseignement supérieur L indépendance de l organisme d assurance qualité fait partie des bonnes pratiques. L organisme peut avoir un statut privé ou semi-autonome ce qui contribuera à lui faire gagner la confiance de la communauté académique. L organisme peut avoir un statut indépendant ou fonctionner comme structure intermédiaire entre l État et l enseignement supérieur. L organisme avec un statut intermédiaire peut devenir progressivement indépendant et jouer un rôle nouveau sans négliger la coopération avec les services de l État qui est toujours importante. Point 2 : L organisme d assurance qualité ne doit pas interférer dans la procédure d évaluation par les pairs malgré son rôle essentiel dans le processus Le rôle de l organisme d assurance qualité peut être seulement administratif ou plus stratégique. L organisme construit la méthodologie et met en place les procédures d assurance qualité ; il planifie et organise le processus ; il choisit et forme, ou informe, l équipe des évaluateurs externes. Parfois, dans le souci d assurer la comparabilité des processus, un de ses membres participe à la visite sur site. À leur création, les organismes d assurance qualité ont souvent un rôle administratif ; après avoir gagné leur légitimité au sein du système, ils commencent à jouer un rôle plus essentiel. Cependant, pour des raisons de transparence, il faut toujours veiller à distinguer clairement le rôle de l organisme de celui de l équipe des évaluateurs externes, seule responsable du jugement professionnel. Point 3 : Établir la confiance est un point essentiel à l étape de création de l organisme La transparence assure la confiance. Elle existe, quand, par exemple, l établissement peut se prononcer sur la composition de l équipe d évaluation et s opposer à la nomination d évaluateurs en cas de conflit d intérêts. L établissement doit aussi pouvoir faire des commentaires sur le rapport d évaluation. La diffusion d informations sur les outils d assurance qualité et la publication du rapport d évaluation contribuent à améliorer la transparence. Dans le même esprit, la publication, sur Internet ou dans des journaux professionnels, des rapports d assurance qualité, des critères et des lignes directrices utilisées pour les évaluations et les classements, sont des bonnes pratiques. Point 4 : La création d un système d assurance qualité externe (AQE) a besoin d expertise ; la gestion du système nécessite des ressources considérables Créer et gérer un système d assurance qualité externe demande des ressources humaines et financières substantielles. On a besoin d experts spécialisés pour développer et opérationnaliser un modèle de qualité et élaborer l information nécessaire à toutes les étapes du processus. Les organismes doivent aider au développement des compétences des établissements dans le domaine de l auto- 49 Module 4 : Créer et organiser une structure d assurance qualité

214 évaluation et former des équipes d évaluateurs. Ces opérations demandent du temps et des ressources. Point 5 : L assurance qualité doit améliorer la qualité sur le long terme L assurance qualité n est pas un but en soi. L existence des mécanismes d assurance qualité n implique pas automatiquement que la qualité de l enseignement supérieur ait atteint un niveau satisfaisant. L organisme d assurance qualité doit toujours être au service de la qualité des établissements et des filières de formation. Bref, la qualité du système d assurance qualité est jugée à l aune de la qualité que celui-ci contribue à promouvoir dans l enseignement supérieur. 50 Module 4 : Créer et organiser une structure d assurance qualité

215 Références bibliographiques Arcelo, A.A In pursuit of continuing quality in higher education through accreditation: the Philippine experience. Paris: IIEP-UNESCO. Alarcon, F The Central American Quality Assurance System. Papier presenté à l International «DIES Expert Workshop Enhancing Quality Across Borders - Regional Cooperation in Quality Assurance in Higher Education» organisé par HRK et DAAD, Bonn Juin El-Khawas, E Accreditation in the United States: origins, developments and future prospects. Paris: IIEP-UNESCO. ENQA Références et lignes directrices pour le management de la qualité dans l espace européen de l enseignement supérieur. Traduction proposée par le CNE, Janvier 2006, disponible au site web du CNE: ENQA (sans date), Guidelines for external reviews of quality assurance agencies in the European Higher Education Area, Bruxelles : DG Education et Culture de la Commission européenne. Lemaître, M.J Between privatization and state control: Chile s experience of regulating a widely privatized system through quality assurance. Papier presenté au Forum sur les politiques éducatives de l IIPE sur l Accréditation et le marché global de l enseignement supérieur, Paris, France, Juin, Materu, P Higher education quality assurance in Sub-Saharan Africa. Status, challenges, opportunities and promising practices. World Bank Working Paper no Washington D.C.: World Bank. Ottenwalter, M.O Évaluation des formations d ingénieurs: L exemple du projet EvQua-MEDA. Sèvres: CIEP. Revelo Revelo, J.; Augusto Hernandez, C The national accreditation system in Columbia: experiences from the National Council of Accreditation (CNA). Paris: IIEP-UNESCO. Said, M Quality assurance in massive and diversifying systems: The Indian experience. Papier presenté au Forum sur les politiques éducatives de l IIPE sur l Accréditation et le marché global de l enseignement supérieur, Paris, France, Juin, Stella, A External quality assurance in Indian higher education: Case study on the National Assessment and Accreditation Council (NAAC). Paris: IIEP-UNESCO Vroeijenstijn, T Similarities and differences in accreditation: Looking for a common framework. Papier presenté à l atelier sur la création du Consortium européen pour l accréditation, La Haye, Juin Téléchargé le 10 août 2006 depuis le site web: 51 Module 4 : Créer et organiser une structure d assurance qualité

216 Sites web Agence d Assurance Qualité (Quality Assurance Agency QAA) [Royaume-Uni]: Agence pour la qualité des universités australiennes (Australian Universities Quality Agency AUQA) [Australie]: Association des universités et collèges du Canada (AUCC) [Canada]: Association européenne pour la garantie de la qualité dans l enseignement supérieur (European Association for Quality Assurance in Higher Education ENQA): Commission des titres d ingénieur (CTI) [France]: Conseil Africain et Malgache pour l Enseignement Supérieur (CAMES): Conseil des études post-licence de l Ontario (Ontario Council for Graduate Studies OCGS) [Canada]: Conseil national d accréditation pour l enseignement supérieur (Badan Akreditasi Nasional Perguruan Tinggi BAN-PT) [Indonésie]: Conseil national d évaluation et d accréditation (National Assessment and Accreditation Council NAAC) [Inde]: Conseil des universités de l Ontario (Council of Ontario Universities COU) [Canada]: Conseil de l enseignement supérieur (Council on Higher Education CHE) [Afrique du Sud]: Conseil pour l accréditation dans l enseignement supérieur (Council for Higher Education Accreditation CHEA) [États-Unis]: Foundation for International Business Administration Accreditation (FIBAA): LeFaso [Burkina Faso]: Légifrance [France]: National Assessment and Accreditation Council (NAAC) [Inde]: Organe d accréditation et d assurance qualité des hautes écoles suisses (OAQ) [Suisse]: Philippine Accreditation Association of Schools, Colleges and Universities (PAASCU) [Philippines]: Projet EvQua MEDA: Réseau international des agences d assurance qualité dans l enseignement supérieur (International Network for Quality Assurance Agencies in Higher Education INQAAHE): 52 Module 4 : Créer et organiser une structure d assurance qualité

217 Les modules sur l Assurance qualité externe : options pour les gestionnaires de l enseignement supérieur L assurance qualité externe (AQE) constitue aujourd hui l un des volets les plus importants de la politique d enseignement supérieur. De plus en plus de pays se demandent si leurs structures traditionnelles d assurance qualité sont encore valables et si elles ne doivent pas créer de nouveaux mécanismes. Il est important de noter que la mise en place de ces systèmes peut servir différents objectifs (la reddition des comptes, la conformité aux standards, l amélioration de la qualité). Différentes options peuvent répondre à la variété des objectifs mentionnés au sein des systèmes d assurance qualité externe (AQE). Les matériaux développés par l UNESCO à l Institut international pour la planifi cation de l éducation (IIPE) ont pour cible les décideurs et gestionnaires dans les départements gouvernementaux. Ces modules devront apporter un soutien pour leurs décisions sur les systèmes d assurance qualité externe à mettre en place. Ces modules sont basés sur les résultats obtenus par deux projets de recherche de l IIPE, l un sur «les options méthodologiques et organisationnels dans les systèmes d accréditation» et l autre sur «la régulation et l assurance qualité des fournisseurs d enseignement supérieur transfrontaliers». Accessible à tous, ces modules sont conçus pour être employés dans des situations d apprentissage variés, de l étude indépendante à la formation présentielle. Ils peuvent être consultés sur le site web de l IIPE et seront révisés selon besoin. Les usagers sont encouragés à envoyer leurs suggestions et commentaires. Les auteurs Les matériaux ont été préparés par Michaela Martin et Antony Stella. Michaela Martin est Spécialiste du programme à l IIPE, chargée du programme de recherche et de formation sur l assurance qualité externe. Antony Stella est Directeur d audit à l Agence australienne d assurance qualité (AUQA).

218 Assurance Qualité Externe : options pour les gestionnaires de l enseignement supérieur Module 5 Réglementer et assurer la qualité des prestataires transfrontaliers Institut international de planification de l éducation

219 Assurance Qualité Externe : options pour les gestionnaires de l enseignement supérieur Ces modules ont été préparés par le personnel et des consultants de l IIPE. Ils peuvent être utilisés soit lors d ateliers et activités de groupes, soit individuellement, en tant que matériel d autoformation. L IIPE les utilise également dans le cadre de ses cours à distance. Cette série de modules est disponible à l adresse suivante : D autres séries sont disponibles à la même adresse sur des thèmes liés à la planifi cation et la gestion de l éducation. Nous vous invitons à consulter régulièrement le site de l IIPE pour prendre connaissance des nouvelles publications. Institut international de planifi cation de l éducation (UNESCO) 7-9 rue Eugène Delacroix Paris Tel. : Fax : [email protected] Site web : Ces modules ont été réalisés à l aide du matériel informatique de l IIPE et imprimés dans son atelier d impression. Les désignations employées dans cette publication, comme les matériels qui y sont présentés, ne sauraient en aucune manière être interprétés comme le refl et d un quelconque point de vue de l UNESCO que ce soit sur le statut juridique d un pays, territoire, ville ou région ou de ses autorités ou que ce soit sur ses frontières ou limites. Cote : PRD/47 Crédit photos : IIEP/UNESO Tous droits réservés UNESCO 2011

220 MODULE 5 Réglementer et assurer la qualité des prestataires transfrontaliers Présentation du module 4 Définir les prestataires transfrontaliers 6 1. Quels sont les défis de l offre transfrontalière à but lucratif pour les pays en développement? 14 Options pour la régulation de l enseignement supérieur transfrontalier Quelles sont les approches de base pour la régulation de l offre transfrontalière? Régimes de régulation pour les campus satellites Cadres régulateurs pour les cursus franchisés et dispositions sur le jumelage et les filières d études conjointes 29 Options pour les systèmes d assurance qualité externe pour l enseignement supérieur transfrontalier 37 Systèmes de régulation, systèmes d assurance qualité et objectifs de politique nationale 44 Cadres internationaux pour la régulation et l assurance qualité de l enseignement supérieur transfrontalier 46 Points à retenir 49 Références bibliographiques 52 1 Module 5 : Réglementer et assurer la qualité des prestataires transfrontaliers

221 Liste des abréviations ACE AUQA CEPES CHE CHEA CHED CONEAU CSE DECS DoE GATS HEQC KCCT LAI MOEST MRT&T OCDE PSGs SAQA OMC UNESCO Conseil américain pour l éducation (American Council on Education) [États Unis] l'agence de la Qualité des Universités Australiennes (Australian Universities Quality Agency) [Australie] Centre Européen pour l'enseignement Supérieur de l UNESCO [Roumanie] Commission de l enseignement supérieur (Commission on Higher Education) [Kenya] Conseil pour l accréditation d éducation supérieur (Council for Higher Education Accreditation) [États Unis] Commission pour le développement de l enseignement supérieur (Commission on Higher Education Development) [Philippines] Commission nationale d évaluation et d accréditation universitaire (Comisión Nacional de Evaluación y Acreditación Universitaria) [Argentine] Conseil Supérieur de l Education (Consejo Superior de Educación) [Colombie] Département de l éducation, culture et sports (Department of Education, Culture and Sports) [Philippines] Département de l Éducation (Department of Education), Afrique du Sud Accord général sur le commerce des services (General Agreement on Trade in Services) Comité pour la qualité de l enseignement supérieur (Higher Education Quality Committee) [Afrique du Sud] Collège de technologie de la communication du Kenya [Kenya] Lettre d autorisation intérimaire (Letter of Interim Authorization) [Kenya] Ministère de l éducation, science et technologie [Kenya] Ministère de la Recherche, de la Formation technique et de la Technologie [Kenya] Organisation de coopération et de développement économiques [France] Politiques, normes et directives (policies, standards and guidelines) Autorité sud-africaine des diplômes (South African Qualifications Authority) [Afrique du Sud] Organisation mondiale du commerce (World Trade Organisation WTO) Organisation des Nations Unies pour l éducation, la science et la culture [France] 2 Module 5 : Réglementer et assurer la qualité des prestataires transfrontaliers

222 Liste des tableaux et encadrés Tableau 1. Typologie de la mobilité des prestataires transfrontaliers 8 Tableau 2. Typologie de mobilité de filière transfrontalière 9 Encadré 1. Enseignement supérieur présentiel transfrontalier 10 Encadré 2. Filières d enseignement supérieur virtuel transfrontalières 12 Encadré 3. Université virtuelle africaine 13 Encadré 4. L enseignement transfrontalier au Sénégal 13 Tableau 3. Cadres régulateurs nationaux de l enseignement supérieur transfrontalier 18 Encadré 5. Conditions d enregistrement au Kenya 20 Encadré 6. L octroi d autorisation sous forme de processus continu au Chili 22 Encadré 7. Conditions requises pour l octroi d autorisation en Argentine 23 Encadré 8. Encadré 9. Législation spéciale pour la protection du titre «université» en Afrique du Sud et aux Philippines 25 Législation sur les prestataires d universités à but lucratif en Argentine 26 Encadré 10. Limites imposées à la prise de participation aux Philippines 27 Encadré 11. Règles pour la création de nouvelles filières d études aux Philippines 30 Encadré 12. Encouragement direct de l enseignement franchisé à Oman 31 Encadré 13. Absence de régulation pour les universités publiques autorisées au Kenya 32 Encadré 14. Régulation modérée pour l enseignement franchisé à Hong Kong 33 Encadré 15. Régulation stricte pour l enseignement franchisé aux Philippines et en Afrique du Sud 34 Encadré 16. Les régimes de taxation et les régulations de change dans la fédération de Russie et aux Philippines 34 Encadré 17. Donner aux étudiants les moyens de s informer sur les prestataires d enseignement supérieur (Afrique du Sud) 35 Encadré 18. Accréditation institutionnelle au Kenya 37 Encadré 19. L audit institutionnel en Afrique du Sud 39 Encadré 20. Accréditation des filières en Afrique du Sud 40 Encadré 21. Informer le public sur le statut de l établissement et des filières, au Kenya et au Chili 42 Encadré 22. Systèmes libéraux à Oman, au Kenya et dans la fédération de Russie 45 Encadré 23. Développement des Lignes directrices OCDE/UNESCO pour des prestations de qualité dans l'enseignement supérieur transfrontalier 47 Encadré 24. Conditions que doivent remplir les pays pour bénéficier de l enseignement supérieur transnational 48 3 Module 5 : Réglementer et assurer la qualité des prestataires transfrontaliers

223 Présentation du module Bienvenus au module 5 «Réglementer et assurer la qualité des prestataires transfrontaliers» de notre cours à distance sur l Assurance qualité externe. Objectifs du module Ce module a comme objectif de vous présenter : les formes particulières d enseignement supérieur transfrontalier dans les pays en développement et les défis qui se posent à ces pays ; les différentes approches et instruments pour la régulation de l enseignement supérieur transfrontalier ; des approches et des instruments pour l assurance qualité externe de l enseignement supérieur transfrontalier ; et les raisonnements et objectifs des politiques et leur relation avec les différents types de régulation et d assurance qualité. À la fin de ce module, vous devriez pouvoir : apprécier les différentes options pour les systèmes de régulation et d assurance qualité des prestataires d enseignement supérieur transfrontalier ; catégoriser les différents types de prestataires transfrontaliers ; établir la relation entre ces options et les raisonnements et objectifs politiques ; évaluer l applicabilité des options disponibles pour la régulation et l assurance qualité de l enseignement transfrontalier dans votre pays. Thèmes de réflexion Quels sont les défis posés par l enseignement supérieur transfrontalier à mon pays? Comment les prestataires transfrontaliers peuvent-ils contribuer au développement national et aux objectifs politiques pertinents de l enseignement supérieur? Quels sont la régulation et le système d assurance qualité pour l enseignement supérieur transfrontalier dans mon pays? Cette régulation et le système d assurance qualité sont-ils en cohérence avec les objectifs politiques nationaux? 4 Module 5 : Réglementer et assurer la qualité des prestataires transfrontaliers

224 Module 5 Réglementer et assurer la qualité des prestataires transfrontaliers Définir les prestataires transfrontaliers 1. Introduction Dans le monde entier, la mondialisation exerce une influence croissante sur les systèmes d enseignement supérieur. Dans un monde toujours plus ouvert, les étudiants et les personnels, la recherche comme la formation, sont de plus en plus en contact avec des valeurs, des cultures, des idées et des modes de pensée différents. Dans l enseignement supérieur, la mondialisation se traduit donc par le développement de la mobilité académique des étudiants, un accroissement du nombre d étudiants étrangers sur le campus, la collaboration avec des partenaires étrangers, le recrutement de personnel étranger, l enseignement et les programmes internationaux. Dans beaucoup de pays, la demande d enseignement supérieur a entraîné une croissance des effectifs d un niveau inconnu jusque-là. Certains pays voudraient utiliser les infrastructures d enseignement supérieur d autres pays pour satisfaire leurs besoins éducatifs à court terme. Le rapport sur la «Mobilité des étudiants au niveau mondial en 2025» (2007), préparé par IDP Education Australia, prévoyait que la demande d éducation internationale passerait de 2,2 millions d étudiants internationaux en 2005, à 3,7 millions en On pense que la mobilité étudiante ne sera pas suffisante pour satisfaire la demande croissante d enseignement supérieur dans les pays fortement peuplés et de manière plus générale, la forme d enseignement résidentielle classique ne peut plus satisfaire à elle seule la demande. Plusieurs expériences sont actuellement en cours ; elles concernent des prestataires et des collaborations de type nouveau au sein des pays, mais surtout entre les pays. Ce module examine la question de régulation et d assurance qualité des prestataires d enseignement supérieur transfrontaliers, sous l angle du pays d accueil. Les pays d envoi, comme les pays d accueil, sont responsables à cet égard. Toutefois, le pays d accueil est sans aucun doute celui qui doit s assurer que l offre transfrontalière correspond à ses standards et objectifs éducatifs pour le développement national. Dans la première partie de ce module, on présentera une typologie des prestataires et de l offre d enseignement supérieur en termes de filières et de mobilité institutionnelle (FMI). Dans le Chapitre 2, on exposera des options et des outils pour la régulation de l activité des prestataires transfrontaliers au moyen de mesures législatives. Le Chapitre 3 traitera de l assurance qualité externe (AQE) en tant qu instrument majeur pour réglementer les services des prestataires 6 Module 5 : Réglementer et assurer la qualité des prestataires transfrontaliers

225 transfrontaliers. Du fait que la régulation, comme l assurance qualité, ne peuvent pas être mises en place indépendamment d une réflexion politique plus large, on établira leurs relations dans le Chapitre 4. Enfin, le Chapitre 5 examinera les cadres internationaux susceptibles de guider les politiques nationales d offre d enseignement supérieur transfrontalier. 2. Qu est-ce que l enseignement supérieur transfrontalier ou transnational? L «enseignement transnational» est défini dans le Code de bonnes pratiques pour la prestation d un enseignement transnational, document commun de l UNESCO et du Conseil de l Europe, comme suit : «Tous les types de filières de formation supérieure, de cursus d études ou de services éducatifs, y compris la formation à distance dont les apprenants se trouvent dans un pays différent du pays d implantation de l établissement dispensateur. Ces filières peuvent faire partie du système éducatif d un État différent de celui où le système éducatif opère, ou bien, n appartenir à aucun système éducatif national.» (UNESCO et Conseil de l Europe, 2001) L enseignement supérieur se caractérise par une tradition de liens internationaux, parce que la science, la recherche, la communauté scientifique interagissent naturellement à travers les frontières. Toutefois, le niveau actuel de mobilité internationale des étudiants, des filières de formation, des établissements est un phénomène nouveau. De plus, les liens traditionnels au niveau international avaient surtout des buts scientifiques et culturels, alors qu à présent, l enseignement transfrontalier a, pour une bonne part, des objectifs commerciaux. Là où la coopération académique implique des pays développés et des pays en développement, il s est produit un changement d orientation vers «l aide au commerce» (OCDE, 2004a). En effet, au sein de l Organisation mondiale du commerce (OMC), l intégration des «services éducatifs» dans le cadre de l Accord général sur le commerce des services (GATS) est en cours depuis quelques années déjà. Cela fait de l enseignement supérieur un service commercial potentiel. Le GATS distingue quatre types d offres de services éducatifs au niveau international. Type 1 : Offre transfrontalière (formation à distance, établissements d enseignement virtuels, ingénierie éducative et formation professionnelle dispensées à travers des technologies de l information et de la communication) ; Type 2 : Études à l étranger (étudiants faisant leurs études à l étranger) ; Type 3 : Présence commerciale (cf. universités privées, campus satellite, entreprises d enseignement des langues étrangères, entreprises de formation privées) ou mobilité de filière, ou mobilité institutionnelle ; Type 4 : Présence de personnes physiques (universitaires, enseignants, chercheurs travaillant à l étranger). Dans le type 3, «présence commerciale», ce ne sont pas les consommateurs (étudiants) qui franchissent la frontière mais les services. Dans ce cas, l investissement étranger conduit à la mise en place de campus satellites (campus 7 Module 5 : Réglementer et assurer la qualité des prestataires transfrontaliers

226 séparé de celui de l établissement principal), d établissements d enseignement étrangers ou de filières franchisées (mobilité de filière et mobilité institutionnelle). L offre de formation de type 3 représente, actuellement, le principal défi pour la régulation et l assurance qualité dans les pays d accueil, parce qu elle soulève des questions sur la reconnaissance des diplômes et des établissements. De plus, elle pose des problèmes de qualité et de pertinence par rapport au développement national. 3. Quels sont les prestataires d enseignement supérieur transfrontalier? Le commerce dans l enseignement supérieur inclut l offre de filières d études, mais aussi d autres services annexes comme les tests éducatifs, les services des examens ou l enseignement multimédia. Ces services sont offerts parfois par des prestataires d enseignement supérieur traditionnels ou, souvent, par des prestataires nouveaux comme les prestataires qui offrent un enseignement à distance. Machado Dos Santos (2002) et Knight (2006a) incluent dans ces prestataires : des entreprises publiques en bourse 1 (ayant un portefeuille public) ; des universités appartenant à des sociétés multinationales, quand cellesci créent leur propre branche de formation pour leurs agents ou pour d autres 2 ; des prestataires privés, à but lucratif, qui fonctionnent au niveau transfrontalier ; des entreprises de publicité et de médias ; des services éducatifs et des courtiers. Concernant les secteurs public et privé, on peut distinguer les prestataires suivants : des consortiums régionaux et internationaux ; des initiatives d universités virtuelles nationales ou en réseau ; des universités traditionnelles nationales. Dans le tableau 1 sont classées les formes ou types de mobilité. Tableau 1. Typologie de la mobilité des prestataires transfrontaliers Catégorie Campus satellite Description de formes ou de types de mobilité Le prestataire du pays A crée un campus satellite dans le pays B pour proposer des cours et des filières de formation aux étudiants du pays B ; ces cours et filières peuvent inclure des étudiants du pays A venant suivre un semestre ou des cours à l étranger. Le diplôme est délivré par le prestataire du pays A. Établissement Le prestataire étranger A (université traditionnelle, société 1. Comme Apollo (États-Unis), Informatics (Singapour) et Aptech (Inde). 2. Comme Motorola et Toyota. 8 Module 5 : Réglementer et assurer la qualité des prestataires transfrontaliers

227 indépendant Acquisition/fusion Centre d études/site de formation commerciale, alliance/réseau), crée dans le pays B une annexe d établissement d enseignement supérieur qui propose des cours/filières de formation et des diplômes. Un prestataire étranger A acquiert une part ou 100 % d un établissement d enseignement supérieur national (souvent privé) dans le pays B. Le prestataire étranger A crée des centres d études dans le pays B pour dispenser des cours de soutien aux étudiants. Les centres d études peuvent être indépendants ou fonctionner en collaboration avec les prestataires locaux du pays B. Consortium/réseaux Différents types de prestataires, «publics ou privés», «traditionnels ou nouveaux», venant de plusieurs pays, collaborent dans le cadre des partenariats innovateurs pour créer des réseaux/établissements qui proposent des cours et des filières de formation dans leurs pays et dans les pays étrangers sous forme d enseignement à distance ou d enseignement présentiel. Université virtuelle Source : Knight, 2006a Un prestataire propose aux étudiants de différents pays des crédits de formation et des filières diplômantes à distance, mais qui n incluent pas, en général, d enseignement présentiel. Le tableau 2 distingue six catégories d offres de formation transfrontalière en termes de mobilité de filière. Tableau 2. Typologie de mobilité de filière transfrontalière Catégorie Franchise Jumelage Double diplôme/codiplôme Description de formes ou de types de mobilité Arrangement par lequel, un prestataire du pays d origine A autorise un prestataire du pays B de proposer des cours, des filières de formation ou des services dans le pays B ou dans d autres pays. Le diplôme est délivré par le prestataire du pays d origine A. Il s agit d un arrangement commercial habituel entre organismes à but lucratif. Il s agit d une situation où un prestataire du pays A collabore avec un prestataire du pays B pour développer un système articulé qui permet aux étudiants de suivre des cours dans le pays B ou dans le pays d origine A. Un seul diplôme est délivré par le prestataire du pays d origine. Le jumelage peut avoir un statut commercial ou non. Il s agit d un arrangement selon lequel des prestataires de différents pays collaborent pour proposer une filière de formation où l étudiant reçoit un diplôme de chaque prestataire ou un codiplôme des prestataires collaborateurs. Normalement, cela se produit dans le cas d échanges universitaires. 9 Module 5 : Réglementer et assurer la qualité des prestataires transfrontaliers

228 Articulation Validation Enseignement virtuel/à distance Source : Knight, 2006a Différents types d articulation entre prestataires de différents pays permettent aux étudiants d obtenir des crédits de cours, de filières proposées/dispensées par des prestataires collaborateurs. Concernant la validation, il existe des arrangements entre prestataires de différents pays qui permettent au prestataire B du pays d accueil de délivrer un diplôme du prestataire A du pays d origine. Il s agit d arrangements où les prestataires offrent des cours/filières à des étudiants de différents pays, à distance ou en ligne. Dans certains cas, ces cours peuvent comprendre du soutien présentiel au travers des études à domicile ou des centres de soutien. La recherche de l IIPE, menée par Michaela Martin (2007) dans sept pays (Argentine, Chili, Kenya, Oman, Philippines, Fédération de Russie et Afrique du Sud), sur l identification, la répartition géographique, la régulation et l assurance qualité des prestataires d enseignement supérieur transfrontaliers a produit des conclusions sur la mobilité de filières. Ces conclusions sont exposées dans les encadrés 1 et 2 ; elles sont applicables à l offre d enseignement supérieur de type virtuel ou présentiel. Encadré 1. Enseignement supérieur présentiel transfrontalier Les campus satellites et les établissements appartenant à des établissements industriels et commerciaux sont la partie la plus visible de l enseignement supérieur transfrontalier, mais les formes les plus répandues de ce type d enseignement se trouvent au niveau des filières d études. Les filières faisant partie de l offre commerciale d enseignement supérieur transfrontalier peuvent être classées dans les catégories suivantes : filières franchisées : l université étrangère vend une partie du programme de formation ou le programme entier, le matériel de formation associé ou un plan méthodologique, et/ou est chargée d un ou plusieurs éléments de la mise en œuvre de la formation, de l évaluation ou de la certification du programme entier ou d une partie de celui-ci (en particulier dans le cas des filières d études dont les premières années sont organisées dans le pays d accueil). filières cogérées ou jumelées : le fonctionnement de la filière de formation (transfert des crédits), l évaluation et la certification sont partagées entre l université mère et l université étrangère, mais les étudiants obtiennent leur diplôme des deux universités. validation : des établissements d un pays étranger prestataire créent des cours au sein d un établissement d enseignement supérieur national de niveau équivalent, ce qui leur permet de délivrer leur diplôme. Dans les pays des études de cas, les filières jumelées ou cogérées couvrent des réalités très différentes ; seuls des pays comme Oman, qui encourage directement ce type d offre, ont des informations détaillées sur ces filières. Le Chili rappelle que plusieurs filières jumelées sont organisées sous la «tutelle académique» d une université nationale reconnue, mais souvent, elles ne sont ni équivalentes à celles 10 Module 5 : Réglementer et assurer la qualité des prestataires transfrontaliers

229 proposées dans le pays d origine ni reconnues par ce dernier. Dans certains cas, les étudiants doivent aller dans l établissement prestataire pour une période donnée. Au Chili, la plupart des filières jumelées (32 sur 45) étaient de niveau master, sept seulement étaient de niveau certificat, et les autres étaient de niveau doctorat. Les filières diplômantes cogérées où deux établissements d enseignement supérieur se sont engagés à reconnaître un double diplôme, étaient considérées par les auteurs des études de cas comme les plus fiables du point de vue de la qualité. Les filières dispensées font partie des domaines de spécialisation professionnelle du secteur des services : informatique, technologie de l information, études de commerce et d administration, droit et comptabilité. La part la plus importante de l enseignement supérieur transfrontalier se concentre dans les filières du secteur non universitaire, qui propose des formations supérieures professionnelles pour des techniciens de niveau intermédiaire, c'est-à-dire le certificat. Un autre pôle de concentration est la filière MBA ou d autres cours professionnels, spécialisés, de niveau post licence. Les filières d enseignement supérieur transfrontalier sont payantes et orientées vers le marché, préparant, en général, aux emplois du secteur privé. Plusieurs auteurs soulignent que l offre de filières transfrontalière n est pas nécessairement liée aux besoins de main-d œuvre nationaux, tels qu ils sont perçus par les autorités publiques. Dans la fédération de Russie, par exemple, on a souligné le fait qu il y a eu une surproduction de MBA par rapport à la capacité d absorption du secteur privé émergeant. Le problème réside dans l offre excessive de MBA dont la plupart sont de qualité médiocre. En Afrique du Sud, les prestataires privés proposent ces filières surtout dans les domaines à faible coût, qui sont déjà couverts par l offre publique ; ils n offrent donc rien de complémentaire par rapport au système public. En 2003, à Oman, 19 % seulement des inscriptions du secteur transfrontalier concernaient la médecine, les sciences de l ingénieur et les sciences ; les autres étaient en sciences humaines et sociales, avec 21 % en informatique. Les filières d enseignement supérieur transfrontalier sont souvent proposées sous forme de filières dont les premières années sont organisées dans le pays d accueil ; elles offrent des opportunités de poursuite d études pour obtenir un diplôme dans un établissement à l étranger. Dans les pays où le marché de l emploi est limité, alors qu il y a davantage de possibilités dans le pays d origine du prestataire étranger, l enseignement supérieur transfrontalier peut offrir des opportunités attractives d emploi à l étranger. Ainsi, les filières qui donnent accès aux marchés de l emploi étrangers, sont très demandées. On dit qu en Afrique du Sud, les opportunités créées par la portabilité des diplômes obtenus dans des campus satellites, sont importantes pour les étudiants sud-africains blancs, particulièrement intéressés par une émigration en Australie, au Royaume-Uni ou aux Pays-Bas. Les études de cas ont fait parfois mention des accords financiers qui régissent le fonctionnement des filières franchisées. Il est à noter que, d après l étude de cas sur la filière MBA dans la fédération de Russie, basée à Moscou et cogérée par l Académie d économie nationale de l université de Kingston, on prévoit que 40 % du revenu généré retourne à l École de gestion de l université de Kingston. À Oman, dans une filière proposée par le Collège d études financières et bancaires, en association avec une université britannique, celle-ci perçoit 70 % des frais de scolarité, alors que l établissement national en perçoit 30 %. Ces quelques chiffres montrent qu il y a des intérêts financiers considérables pour les établissements d enseignement supérieur étrangers. Source : Martin, Module 5 : Réglementer et assurer la qualité des prestataires transfrontaliers

230 Encadré 2. Filières d enseignement supérieur virtuel transfrontalières L enseignement supérieur virtuel transfrontalier (e-learning) est accessible et proposé dans tous les pays des études de cas, tout simplement parce que dans tous les pays étudiés, l accès aux prestataires d Internet augmente. Cependant, les informations sur l offre de formation et son utilisation sont très dispersées parce que les étudiants peuvent s inscrire à des cours proposés à l étranger sans en informer les autorités nationales. Ces dernières s efforcent d obtenir des données plus détaillées sur le profil des étudiants qui suivent des études proposées par les universités nationales dans le cadre de l enseignement à distance. Les autorités nationales reçoivent des informations sur les prestataires d enseignement virtuel transfrontaliers, quand les étudiants cherchent à obtenir la reconnaissance ou l équivalence de leur diplôme obtenu par l enseignement virtuel. Dans ce cas, les études de cas font état de différents dispositifs : les décisions concernant la reconnaissance sont sous la responsabilité du ministère de l Éducation, ou d un organisme national d assurance qualité, ou, moins souvent, d une université nationale, comme au Chili. Cela est dû à la tradition d une forte autonomie académique où les autorités nationales n ont pas le droit de se prononcer sur la définition des filières académiques. Source : Martin, 2007 Une analyse des liens existants montre que des alliances stratégiques se sont forgées au-delà du clivage «public/privé» au sein de l enseignement supérieur. Il existe des liens entre des entreprises privées et des établissements d enseignement supérieur publics ou privés. Souvent, une entreprise transfrontalière ou une université publique ou privée, fonctionnent avec des prestataires nationaux privés. L enseignement transfrontalier se trouve principalement dans les pays qui ont un nombre élevé d étudiants anglophones, la majorité des prestataires venant d Australie, du Royaume-Uni et des États-Unis. De plus, l anglais est considéré comme un atout complémentaire sur le marché de l emploi national et international. Des pays d Asie de l Est et du Moyen-Orient sont très concernés par cette offre transfrontalière. Des pays d autres régions reçoivent également de l enseignement supérieur transfrontalier. L Espagne est devenue prestataire en Amérique latine ; en effet, les universités espagnoles proposent souvent des cursus franchisés avec des universités latino-américaines. La plus grande partie de l offre transfrontalière se trouve dans les pays qui ont un secteur d enseignement supérieur privé relativement important et des frais de scolarité élevés. Ainsi, le coût de l enseignement supérieur transfrontalier à but lucratif n est souvent pas plus élevé que celui de l offre traditionnelle. Enfin, on peut penser que la demande dans les pays à revenu moyen permettra à l enseignement supérieur privé à but lucratif de s y installer plus facilement. L enseignement supérieur transfrontalier n implique pas un courant d offre de formation à sens unique, des pays du Nord vers les pays du Sud, car les établissements des pays en développement exportent aussi de l enseignement supérieur vers les pays voisins, l enseignement supérieur transfrontalier devenant ainsi un flux de services multidirectionnel. L enseignement transfrontalier dans les pays d Afrique francophone Il existe peu d informations sur l enseignement transfrontalier dans les pays francophones, en particulier dans ceux de l Afrique francophone. Les quelques 12 Module 5 : Réglementer et assurer la qualité des prestataires transfrontaliers

231 informations et données existantes sont dispersées entre les sites web institutionnels, les quotidiens ou les livres et journaux à caractère scientifique. Une vue d ensemble de l offre transnationale en Afrique francophone révèle cependant un foisonnement d activités et l augmentation du nombre de filières et de prestataires de formation. Dans l encadré 3 ci-dessous, on présente le cas de l Université virtuelle africaine. Encadré 3. Université virtuelle africaine L Université virtuelle africaine (UVA) créée par la Banque mondiale, a pour objectif de mettre en place, dans les pays de l'afrique subsaharienne, un enseignement à distance utilisant la transmission par satellite, orienté, pour l'essentiel, vers les formations scientifiques et techniques, qu'il s'agisse de formation initiale ou de formation continue. Ce projet vise a compléter le système éducatif africain qui doit tout à la fois, faire face à un afflux grandissant d'étudiants et permettre de rénover les capacités universitaires actuelles qui ont souvent un déficit de matériel et d'enseignants. D après les chiffres de l université, depuis sa création en 1997, étudiants auraient achevé un cours d une durée de six mois. L UVA concerne 27 pays africains. Grâce à son partenariat récent avec l Agence universitaire de la francophonie (AUF), l UVA vise à devenir un prestataire clé pour l enseignement à distance dans les pays francophones du continent. L UVA a ouvert des centres d apprentissage du français dans des universités partenaires du Bénin, Burkina Faso, Burundi, Cameroun, Congo, Djibouti, Guinée, Guinée-Bissau, Madagascar, Mali, Mauritanie, Niger, Rwanda et Sénégal. L UVA a lancé également plusieurs initiatives pour le développement des capacités dans les pays francophones du continent. Selon son site web, sa mission à long terme est d établir une «communauté de pratiques» parmi les établissements africains qui participent à l enseignement à distance. Source : site web de l UVA Un autre exemple sur l enseignement supérieur transfrontalier dans l Afrique francophone est celui du Sénégal, qu on présente ci-après. Encadré 4. L enseignement transfrontalier au Sénégal Le président du Sénégal a lancé une ambitieuse stratégie décennale avec l objectif de soutenir le secteur émergent des technologies de l information de son pays et maximiser sa compétitivité à long terme sur les marchés régionaux et internationaux. Un des objectifs clé de la stratégie appelée «Sénégal 2015» est d attirer des compagnies étrangères et des institutions pour maximiser l investissement étranger et développer la capacité d enseignement supérieur national. Pendant les cinq dernières années, le gouvernement sénégalais a particulièrement insisté sur l importance d attirer des investissements et de l expertise étrangers dans le domaine des TIC et celui des technologies connexes. La dépense de l État pour l enseignement supérieur, exprimée en proportion du PNB, a crû régulièrement 13 Module 5 : Réglementer et assurer la qualité des prestataires transfrontaliers

232 passant de 3,4 % en 2000 à 5,6 % en 2004 ; on a aussi créé le ministère de la Technologie pour l Éducation pour mettre en œuvre un projet en huit points pour l enseignement supérieur. Parallèlement, le Sénégal a réussi à développer une des plus larges infrastructures de télécommunications en Afrique, et se situer ainsi, d après le rapport de la Banque mondiale de 2002, juste derrière l Afrique du Sud. Actuellement, un nombre d institutions étrangères, françaises et américaines principalement, fonctionnent au Sénégal ; elles ont en cours des projets transnationaux à grande échelle, bien que, pour le moment, l offre de formation semble être concentrée à Dakar. Le premier «campus numérique» s y est ouvert en 2000, et le Sénégal est considéré comme un des pays d accueil le plus actifs pour accueillir les deux principaux prestataires français d enseignement à distance. L Institut panafricain de coopération économique (IPCE) et l université américaine de Suffolk sont d autres prestataires d enseignement supérieur transfrontalier au Sénégal. L université Cheikh Antar Diop (UCAD) est un membre actif de CAERENAD, un consortium d enseignement à distance ; l Université virtuelle africaine (UVA) va ouvrir à Dakar un nouveau centre d enseignement à distance et d apprentissage en ligne pour proposer des cours de formation du personnel dans ce type de secteur. Jusqu à présent, la capacité du Sénégal à exporter des formations supérieures dans d autres pays était limitée, mais le gouvernement a annoncé son ambition d étendre son influence sur le développement des cours en ligne et la diffusion des matériels d enseignement à distance. Récemment, le président du Sénégal a lancé le projet de l Université pour le Futur Africain (UFA), une université virtuelle qui transmettra par satellite à toute la sous-région, des cours de niveau doctorat des universités américaines. L École supérieure multinationale de télécommunications (ESMT) est une institution intergouvernementale soutenue par le gouvernement sénégalais, qui offre une formation avancée en technologies d information et de communication à toute l Afrique francophone. L UCAD relie le Sénégal au SYFED (Système francophone d édition et de diffusion), un réseau électronique multimédia qui relie les centres en ligne des universités de onze pays francophones. Les établissements sénégalais, en particulier l UCAD, ont contribué activement à la diffusion en ligne de la recherche africaine par l intermédiaire du SYFED. 4. Quels sont les défis de l offre transfrontalière à but lucratif pour les pays en développement? L offre d enseignement supérieur transfrontalière crée des opportunités et des défis pour les systèmes d enseignement supérieur, les communautés scientifiques concernées et les pays en général. Dans beaucoup de pays en développement, l État ne peut pas satisfaire la demande sociale d éducation, et encore moins en restant axé uniquement sur le système présentiel. Dans cette situation, l offre privée serait un moyen d élargir l accès à l enseignement supérieur. De plus, les prestataires étrangers peuvent apporter de nouvelles pratiques éducatives, des opportunités d échange en matière d apprentissage, introduire l internationalisation des filières de formation. Ils peuvent offrir des nouvelles filières qui n existent pas encore dans le pays ou compléter les filières de formation existantes. Grâce à une collaboration directe entre établissements d enseignement supérieur, les possibilités de transfert de connaissances et de pratiques nouvelles peuvent être considérables. 14 Module 5 : Réglementer et assurer la qualité des prestataires transfrontaliers

233 Mais il existe aussi beaucoup de craintes concernant l enseignement supérieur transfrontalier. Elles sont exprimées à haute voix par les prestataires d enseignement supérieur nationaux. Une des inquiétudes majeures à propos de l offre transfrontalière concerne le défi qu elle représente pour les standards de qualité, et les droits du consommateur dans les pays dont la capacité administrative est faible et qui n ont pas de système d assurance qualité. Des problèmes peuvent ainsi surgir, à cause d établissements d enseignement supérieur non reconnus, non soumis à la régulation officielle et au système de contrôle d assurance qualité de leur pays ou du pays d accueil. La protection des consommateurs est un autre sujet d inquiétude au niveau national. Cela est lié à ce qu on appelle «les usines à diplômes» ou «les prestataires peu scrupuleux» qui proposent des services de formation frauduleux. De plus, l offre transfrontalière n est pas stable : quand elle n est plus rentable, elle peut être suspendue du jour au lendemain, abandonnant ainsi les étudiants sans possibilité d obtenir leur diplôme. De fausses informations peuvent aussi être données sur les études et les diplômes proposés. Actuellement, les défis sont sérieux dans les pays en développement où la demande sociale d enseignement supérieur est élevée et continue de croître. Dans plusieurs pays en développement, la population jeune et en nombre croissant, demandera de plus en plus, dans les années qui viennent, de poursuivre des études supérieures. Les systèmes d enseignement supérieur sont encore fragiles : ils souffrent du manque d enseignants qualifiés, de la «fuite des cerveaux» et du manque de financement suffisant. La capacité de l administration publique de piloter et de gérer les systèmes d enseignement supérieur est souvent assez faible. De plus, les systèmes d information sont souvent insuffisamment développés tant au niveau des établissements qu au niveau du système. Au problème posé par l assurance qualité de l enseignement supérieur transfrontalier, s ajoute la possibilité d effets négatifs sur l équité. En effet, les frais de scolarité pourraient être prohibitifs, l accès à l enseignement supérieur transfrontalier étant, dès lors, réservé aux classes sociales privilégiées. L offre de formation transfrontalière serait concentrée dans les grands centres urbains, ce qui exacerberait les iniquités créées dans le pays par l offre inégale existante. Enfin, l État pourrait être tenté de réduire davantage les dépenses consacrées à l enseignement supérieur, tablant sur le fait que le marché peut en supporter une partie plus importante. Dans beaucoup de pays en développement, les établissements publics sont payants. L enseignement supérieur occidental peut être perçu comme offrant un avantage comparatif sur le marché de l emploi national ou international. À présent, les autorités nationales sont sous pression pour accepter des prestataires étrangers. Cela est dû à des taux de participation relativement bas, à l intention de s associer à l économie mondiale du savoir et à la pression politique créée par une demande sociale croissante de poursuite d études supérieures. Les campus satellites et l enseignement supérieur franchisé sont souvent perçus positivement, parce qu ils proposent des formations supérieures dans le pays, réduisant ainsi le risque de fuite des cerveaux. En effet, le problème de fuite des cerveaux est particulièrement aigu quand les étudiants résident pendant longtemps dans un autre pays. Toutes ces raisons font que les pays en développement sont particulièrement ouverts aux prestataires extérieurs. 15 Module 5 : Réglementer et assurer la qualité des prestataires transfrontaliers

234 La recherche de l IIPE à partir des études de cas, visait à évaluer l impact de l offre d enseignement supérieur transfrontalier sur le système d enseignement supérieur national, avec l intention d éclairer les débats, souvent très animés, sur sa contribution au système national. Les gouvernements ont souvent tendance à accueillir l enseignement supérieur transfrontalier parce qu il propose de nouvelles, et souvent innovantes, opportunités d études supérieures. De plus, il élargit l accès aux études supérieures, alors qu il représente un moindre risque pour la fuite des cerveaux. Toutefois, les établissements d enseignement supérieur publics tendent à considérer la nouvelle offre comme une menace. Activité 1 Utilisez les typologies exposées ci-dessus sur la mobilité institutionnelle et la mobilité de filière pour préparer une liste des prestataires transfrontaliers qui fonctionnent dans votre pays. Quelles sont les sources d information officielles, disponibles, qui permettent de le faire? Établissez une liste des défis créés dans votre pays par ces prestataires transfrontaliers. Établissez une liste des freins au développement de l enseignement supérieur transfrontalier, dans votre pays. 16 Module 5 : Réglementer et assurer la qualité des prestataires transfrontaliers

235 Options pour la régulation de l enseignement supérieur transfrontalier 1. Quelles sont les approches de base pour la régulation de l offre transfrontalière? Quand on essaie d aborder les problèmes liés à l enseignement supérieur transfrontalier, il est nécessaire de préciser son champ et son rôle dans un pays donné, à un moment donné. Pour certains pays, l enseignement supérieur transfrontalier répond à la demande de poursuite d études non satisfaite par l offre de formation nationale, en termes d inscription ou de domaines de connaissance. Il peut aussi apporter des nouvelles approches pédagogiques qui contribuent à moderniser et à rénover l enseignement supérieur national, à travers l utilisation de nouvelles technologies et de méthodes d enseignement. Pour d autres pays, il ne représente pas grand-chose. Ainsi, l enseignement supérieur transfrontalier peut s introduire dans un pays où la demande de poursuite d études supérieures est déjà satisfaite ou dans des régions déjà couvertes par l enseignement supérieur national. Il peut apporter «plus ou moins la même chose» avec un coût plus élevé, en faisant payer des frais de scolarité élèves, voire proposer un service de qualité inférieure à celle des prestations de l offre nationale. Les pays utilisent différentes approches visant à réguler le commerce international d enseignement supérieur. Ces approches sont souvent liées de manière plus générale aux politiques commerciales des pays et à la faveur dont bénéficie l approche libérale du commerce dans un pays donné. Une approche extrême peut être celle du «laisser-faire», c'est-à-dire l absence de régulation, les pays ignorant tout simplement l existence des prestataires d enseignement supérieur transfrontalier et ne reconnaissant pas leurs diplômes dans le domaine de l emploi public. Cette approche est souvent adoptée par défaut. Elle est possible lorsque l offre transfrontalière est relativement réduite et ne correspond pas à une forte demande. Il se peut aussi qu il soit politiquement difficile de définir une politique et une régulation au niveau national. Parfois, l approche du «laisser-faire» peut être utilisée quand les pays décident que l enseignement supérieur transfrontalier n est pas nécessairement mauvais, ils ne prennent donc pas de mesures à son encontre. Dans ce cas, la reconnaissance des diplômes n est pas un problème, parce que les prestataires d enseignement supérieur transfrontalier proposent des diplômes dans des domaines non réglementés où la reconnaissance n est pas nécessaire. Cette approche est la stratégie la plus probable ; quand les pays n ont pas de régulation sur l enseignement supérieur national, il serait alors difficile d en imposer une aux étrangers, même si les gouvernements le souhaitent, ce qui est peu souvent le cas. 17 Module 5 : Réglementer et assurer la qualité des prestataires transfrontaliers

236 Une deuxième approche pourrait être qualifiée d «approche de régulation» ; les pays acceptent le fonctionnement des prestataires internationaux dans le pays, mais ils essaient de le contrôler, afin de garantir un niveau de qualité minimale, dans l intérêt des étudiants ou au regard des intérêts nationaux, par exemple le développement national ou la protection du système national d enseignement supérieur. L approche de régulation comprend plusieurs sous-options qui vont du régime libéral au régime strictement régulé. Verbik et Jokivirta (2005) distinguent les approches suivantes (voir tableau 3.) : absence de régulation (laisser-faire) ; système libéral ; système modérément libéral ; régulations très restrictives. Les pays changent de catégorie, passant d un système libéral à restrictif et d un système restrictif à libéral. Cela pourrait être le résultat d une correction de l approche «par défaut» ou d un changement de politique (parfois extérieur au secteur de l éducation), qui entraîne une nouvelle approche de l enseignement supérieur transfrontalier. Tableau 3. Cadres régulateurs nationaux de l enseignement supérieur transfrontalier Modèle Pas de régulation Libéral Modérément libéral Régulation Il n existe pas de régulation spéciale ou de contrôle des prestataires étrangers ; ceux-ci sont libres d opérer sans demander l autorisation du pays d accueil. Les prestataires étrangers doivent satisfaire à certaines conditions minimales avant de commencer à fonctionner (p.ex. reconnaissance officielle dans leur pays d origine). Le pays d accueil est activement impliqué dans la procédure d autorisation et, dans certains cas, d accréditation des prestataires transnationaux. D après ce modèle, les établissements étrangers doivent obtenir l accréditation ou une autre autorisation officielle du pays d accueil (cf. ministère de l Éducation) avant de commencer à fonctionner. Cette catégorie est composite, allant de l enregistrement obligatoire à l évaluation formelle des critères académiques. Les conditions requises sont en général simples. Très restrictif Le gouvernement, ou une autre instance responsable de l enseignement supérieur, impose aux prestataires étrangers des conditions strictes. Ces établissements peuvent être obligés d établir une présence physique dans le pays (p.ex., l offre franchisée n est pas autorisée), seuls les établissements ou les filières accrédités par l agence d assurance qualité du pays d accueil sont autorisés ; les prestataires étrangers doivent changer leurs programmes de formation pour s aligner sur l offre de formation nationale. Source : Verbik et Jokivirta, Module 5 : Réglementer et assurer la qualité des prestataires transfrontaliers

237 Ces quatre approches représentent les grandes lignes d action et plusieurs options relatives à la régulation y sont liées. L option «pas de régulation», favorise beaucoup le développement de l enseignement supérieur transfrontalier dans un pays, probablement pour des raisons d élargissement d accès. Cette option ne requiert pas la mise en place ou le développement de nouvelles structures administratives chargées de l évaluation de la qualité, du contrôle et/ou de l information du public. Toutefois, il s agit d une option à risque, parce que les autorités publiques seront privées d information sur une partie de l offre de formation de leur enseignement supérieur, ou sur la manière dont l enseignement supérieur transfrontalier agit ou interagit avec le système public. Elles perdront ainsi le contrôle sur une partie, souvent importante, de l offre de formation supérieure de leur pays. Une approche de régulation, plus interventionniste, offre la possibilité de créer une base d information sur l offre d enseignement supérieur transfrontalier et de la piloter en cohérence avec les objectifs de politique nationale. Un régime de régulation modérément libéral permet d aligner les prestataires d enseignement supérieur transfrontalier sur les conditions de qualité nationales. Cela est particulièrement valable quand tous les prestataires nationaux, publics et privés, sont sous le même régime d assurance qualité. Dans ce cas, une saine concurrence et un échange de bonnes pratiques peuvent s établir entre les prestataires. Un régime de régulation strict pourrait restreindre l établissement des prestataires d enseignement supérieur transfrontalier, ceux-ci trouvant difficile de s installer et de se développer dans un tel cadre régulateur. Une législation spécifique pour les prestataires d enseignement supérieur transfrontalier? Une des questions essentielles qu un pays doit aborder en relation avec la régulation des prestataires transfrontaliers est de savoir si la réglementation en vigueur pour les prestataires privés peut s appliquer aux prestataires d enseignement supérieur transfrontalier. On doit se demander si les défis particuliers créés par les prestataires transnationaux requièrent une régulation spécifique qui doit faire l objet de lois particulières. Malgré l offre croissante d enseignement supérieur transfrontalier, beaucoup de pays n ont pas encore établi de législation spécifique sur les prestataires transfrontaliers, ou bien, ils ont décidé qu il était inutile, ou superflu de le faire. La régulation concernant les prestataires nationaux peut suffire, si elle est appliquée de manière efficace. Dans ce cas, il est entendu que les prestataires d enseignement supérieur transfrontalier doivent suivre la régulation qui s applique à l enseignement supérieur privé du pays. Certains pays se contentent d insérer dans leur législation sur l enseignement supérieur privé, une référence concernant les prestataires transnationaux. Cette référence indique que les prestataires d enseignement supérieur transfrontalier doivent suivre le même cadre réglementaire. Cependant, il est devenu de plus en plus courant que les pays adoptent une législation spécifique pour les prestataires transnationaux. Cette législation peut viser des prestataires à but non lucratif, ou à but lucratif, des universités appartenant à des sociétés privées, des campus satellites ou l enseignement franchisé. Ces questions seront analysées ci-après. 19 Module 5 : Réglementer et assurer la qualité des prestataires transfrontaliers

238 2. Régimes de régulation pour les campus satellites Les régulations sur les campus satellites sont bien établies. Ces campus sont traités, en général, comme les prestataires privés nationaux. Certains pays demandent aux prestataires d enseignement supérieur transfrontaliers de se soumettre à deux procédures distinctes, applicables aux prestataires privés : l enregistrement et la procédure d autorisation. Les prestataires d enseignement supérieur à but lucratif doivent habituellement être enregistrés par une autorité compétente en matière de commerce, par exemple une chambre de commerce. Souvent, les campus satellites doivent se soumettre à une procédure d autorisation où l on évalue la capacité académique, financière et de gestion du prestataire à proposer une filière de formation. L enregistrement a habituellement lieu auprès d une autorité nationale chargée des entreprises privées : c est le cas au Kenya, par exemple (voir l encadré 5). Encadré 5. Conditions d enregistrement au Kenya Les conditions de création d une université privée, comme précisé dans la loi sur les universités, titre 210B (création d université privée : standardisation, accréditation et contrôle) sont exposées dans la Partie III du règlement des universités de Les mêmes sont valables pour les campus satellites des universités étrangères. Ces conditions sont les suivantes : faire une demande écrite à la Commission de l enseignement supérieur (CHE) en utilisant le formulaire ACC/CHE 3 ; présenter une proposition écrite où l on précise le nom proposé, l implantation, les références scientifiques, les buts et objectifs, la forme de gouvernance, les filières de formation proposées, les ressources en enseignants ainsi qu un calendrier indiquant le programme des activités pour les trois premières années ; acquitter les frais de candidature en 2002, en vertu de l avis légal numéro 160, ils sont passés de mille (Ksh ) à cinquante mille (Ksh ) shillings kenyans ; acquitter les frais pour toutes les activités conduisant à l octroi d une charte ils comprennent l évaluation des filières de formation, les inspections, la publication d une lettre d autorité intérimaire, l évaluation du projet de charte et son attribution. (Les frais ont été révisés en 2002 en vertu de l avis légal numéro 160.) Plusieurs organismes participent à la procédure d enregistrement, notamment le Ministère de la Recherche, de la Formation technique et de la Technologie (MRT&T) ce ministère a fusionné avec le Ministère de l Éducation pour former le MOEST et le greffe des sociétés de commerce qui enregistre les prestataires commerciaux transnationaux d enseignement supérieur non universitaire. Il est à noter que certains établissements d enseignement postsecondaire publics qui collaborent avec des prestataires commerciaux transnationaux, comme le Collège de technologie de la communication du Kenya (KCCT), sont enregistrés en tant que sociétés de commerce. Le MOEST enregistre les établissements d enseignement supérieur en vertu de la Partie IV, titre 211 de la loi sur l éducation. Cette partie traite de l enregistrement des écoles non subventionnées. Dans la section 14, la demande adressée au ministère chargé de l éducation figure parmi les conditions requises pour l enregistrement. Dans 20 Module 5 : Réglementer et assurer la qualité des prestataires transfrontaliers

239 la section 17, il est précisé que «le ministre peut imposer des règles concernant les écoles non subventionnées». Cela est plutôt vague, mais le Guide d Inspection des établissements éducatifs précise les conditions de base pour la création d une école qui sont fondamentalement les mêmes que celles exigées pour l enregistrement. Ces conditions sont les suivantes : avoir un gestionnaire officiel ; avoir des infrastructures appropriées ; avoir un personnel enseignant qualifié en nombre suffisant ; avoir un rapport d inspection établi par les inspecteurs des écoles et l officier de la Santé Publique ; faire une demande au Ministre de l Éducation. Après l enregistrement de l établissement par le ministère compétent, il lui est demandé d obtenir auprès de l autorité de la ville une licence commerciale annuelle. L établissement présente les documents de son enregistrement et paie les frais légaux au bureau de licences qui délivrera sa licence. Cela implique qu un établissement ne puisse pas obtenir de licence avant d avoir été enregistré. Les conditions requises pour l enregistrement en vertu de la loi sur les sociétés de commerce incluent : avoir un nom de société ; une recherche, payante, doit être faite pour s assurer que le nom proposé n est pas déjà utilisé par une autre société commerciale ; faire une demande au greffe des sociétés commerciales indiquant le type d activité commerciale traitée par la future société et donner les noms et l identification de ses directeurs ; acquitter les frais de demande d enregistrement. Source : Kaberia, 2007 L octroi d autorisation : Acte unique ou processus continu L octroi d autorisation peut revêtir la forme d un acte unique ou d un processus continu. Dans certains pays, les établissements sont obligés de se soumettre à une procédure à deux étapes pour obtenir un statut d «autonomie». La seconde étape intervient cinq ou six ans après la première. La raison sous-jacente est que la capacité d un établissement d enseignement supérieur à mettre en place un projet ne peut être évaluée que sur la base des résultats obtenus. L Afrique du Sud, par exemple, a créé des conditions spécifiques pour la procédure d enregistrement des prestataires d enseignement supérieur transfrontalier ; il s agit d un contrôle annuel. Chaque année, les prestataires d enseignement supérieur transfrontalier doivent recueillir des données sur le nombre d enseignants et d étudiants, les diplômes, les filières proposées et la réussite des étudiants, pour les soumettre au département de l Éducation nationale (DoE) qui les utilise pour suivre l évolution et la performance du prestataire d enseignement supérieur transfrontalier. Au Chili, pendant la période d observation, les établissements doivent présenter chaque année, des rapports contenant des informations sur les étudiants et le personnel. Trois visites d évaluation externe au moins, sont effectuées et les étudiants des différentes filières sont évalués. 21 Module 5 : Réglementer et assurer la qualité des prestataires transfrontaliers

240 Encadré 6. L octroi d autorisation sous forme de processus continu au Chili La loi chilienne reconnaît les filiales des établissements étrangers en tant qu établissements nouveaux, assujettis à la régulation applicable aux nouveaux établissements nationaux. Par conséquent, si un prestataire étranger souhaite s établir au Chili, il doit se soumettre à la procédure d autorisation et au contrôle du Conseil supérieur de l éducation (Consejo Superior de Educación) pendant une période de six à onze ans. En effet, entre 1980 et 1990, le nombre d établissements a augmenté de manière spectaculaire, mais la régulation était laissée au marché qui, incapable de traiter des questions relative à la qualité, n a pas réussi à réglementer l offre d enseignement supérieur privé. En conséquence, le même gouvernement militaire, néolibéral, qui avait dérégulé le système, a décidé qu un système d autorisation de fonctionnement était nécessaire. En mars 1990, une loi organique a créé une nouvelle agence publique appelée Conseil supérieur de l éducation (Consejo Superior de Educación CSE), responsable de l octroi d autorisation à tout nouvel établissement privé, université privée ou institut professionnel, et du contrôle de son fonctionnement, afin de s assurer qu il remplit les engagements pris dans le cadre de son projet institutionnel initial. Le Conseil est présidé par le ministre de l Éducation et composé de huit universitaires nommés par différents établissements. Ce dispositif impose des conditions strictes à tout nouvel établissement d enseignement supérieur : L établissement doit obtenir une autorisation initiale ; celle-ci inclut la garantie de l établissement qu il dispose des ressources suffisantes pour développer son projet. Après l obtention de l autorisation, il doit se soumettre à une supervision pendant six ans ; la durée de cette période peut être prorogée de cinq ans. Pendant la période de contrôle, le CSE doit faire un rapport annuel, basé sur l évaluation de toutes les variables pertinentes liées au fonctionnement de l établissement (enseignement, gestion, finances, ressources documentaires, infrastructures, etc.). Pour ce faire, le Conseil demande à l établissement un rapport d auto-évaluation, fait évaluer l établissement par des évaluateurs externes, contrôle les tests et les examens et peut même évaluer directement les étudiants d une filière donnée. Chaque année, il prépare «un programme d action» qui identifie les forces et les faiblesses de l établissement et précise les actions nécessaires. Pendant cette période probatoire, si le CSE considère que l établissement ne se conforme pas à ses demandes ou qu il ne fonctionne pas conformément aux standards de qualité et à sa mission déclarée, il peut l empêcher d inscrire de nouveaux étudiants ou lui retirer l autorisation de fonctionnement. À la fin de la période probatoire, le CSE doit certifier l autonomie de l établissement, ou, s il considère que son développement n est pas satisfaisant, retirer l autorisation et le fermer. Depuis 1990, le CSE a fermé 11 universités et 19 instituts professionnels ; il a octroyé l autonomie à 33 établissements dont 24 universités. Le même processus s applique aux nouvelles filières que ces établissements souhaitent ouvrir. Tout changement dans le projet initial et tout nouveau développement doivent être rapportés au CSE. 22 Module 5 : Réglementer et assurer la qualité des prestataires transfrontaliers

241 Pendant ce temps, l établissement d enseignement supérieur qui demande l autorisation de fonctionnement doit fournir les informations demandées qui se rapportent à «toutes les variables pertinentes liées à son développement : variables d enseignement, didactiques, techniques, pédagogiques ainsi que les ressources économiques et financières nécessaires pour délivrer les diplômes universitaires et professionnels qu il entend proposer» (LOCE, 1990, art.39) Source : Lemaître, 2007 C est cette procédure qui s applique aussi aux prestataires d enseignement supérieur transfrontalier au Chili. L octroi d autorisation peut être organisé sur la base de différents critères. Ceux-ci se réfèrent le plus souvent à la viabilité académique, administrative, financière du projet de l établissement soumis à l autorité publique chargée de la procédure. Les critères utilisés par l agence nationale en Argentine sont exposés dans l encadré 7. Encadré 7. Conditions requises pour l octroi d autorisation en Argentine Pour ce qui concerne les universités privées et, par extension, les universités étrangères, la Commission nationale d évaluation et d accréditation universitaire (CONEAU) évalue la consistance du projet institutionnel et la capacité de l établissement à fonctionner comme université. Dans le cadre de cette analyse, on examine la raison d être de chaque établissement ainsi que les raisons de sa création et de son développement. Cette analyse obéit aussi aux principes d éthique et de responsabilité, car le traitement des données soumises et les stratégies de développement de l établissement sont confidentiels. L évaluation est confiée à des experts respectueux de la déontologie de l évaluation et familiers des sujets spécifiques à analyser ; ils se conforment aux règlements en cours et respectent l origine et le projet de chaque établissement. Ils évaluent la conformité de l établissement aux conditions académiques établies. Les principaux aspects examinés dans le rapport publié par la CONEAU sont les suivants : Responsabilité morale, financière et économique des membres d associations ou de fondations promotrices d universités nouvelles On doit garantir ce qui suit : absence de violation de la législation en vigueur, absence de disqualification et preuve d une situation financière et économique saine pour assurer le fonctionnement correct de l établissement proposé. Sont pris également en considération les résultats académiques, éducatifs et culturels de l établissement demandeur et de ses membres. Ces derniers doivent avoir de l expérience en matière d enseignement et de recherche universitaires mais aussi dans le domaine de la gestion des établissements d enseignement et de recherche. De plus, la transparence du projet et sa reconnaissance par les autorités concernées (provinces, Etat fédéral) doivent être garanties. Il s agit de l image publique de l établissement au sein de la communauté nationale et de ses relations avec d autres organismes nationaux, publics ou privés, entre autres. Viabilité du projet institutionnel et académique et conformité aux principes et régulations de la loi sur l enseignement supérieur Il est nécessaire que la nature de l entreprise, son public cible, le type et la portée des engagements présentés dans son projet, en bref, les lignes directrices fondamentales 23 Module 5 : Réglementer et assurer la qualité des prestataires transfrontaliers

242 de son évolution à court, moyen et long terme, ainsi que sa contribution particulière à l éducation et au développement social soient clairement définis, et compatibles avec la loi sur l enseignement supérieur ; ils devraient être inclus dans les missions et objectifs du futur établissement. Pour garantir les résultats, le plan de développement matériel et celui des ressources humaines et financières, des structures organisationnelles et de gestion, doivent être cohérents. Les missions et objectifs de l établissement doivent être conformes aux obligations fondamentales établies par l article 28 de la loi sur l enseignement supérieur et aux conditions générales de fonctionnement de l article 33. Le projet doit comporter l organigramme des structures institutionnelles responsables de l organisation et de l exécution des processus universitaires, de la liberté académique et de l autonomie des organes académiques qui composent l établissement. Le niveau académique du personnel enseignant initial et ses antécédents en matière de recherche scientifique et d enseignement universitaire Le personnel académique doit être formé, avoir de l expérience en rapport avec le projet de l université, et de bons résultats en matière d enseignement et de recherche. Le personnel doit être en nombre suffisant et avoir le dévouement, la formation et le niveau scientifique nécessaires pour assurer le démarrage et le fonctionnement de l établissement. Ce dernier doit assurer la participation effective du personnel enseignant proposé et avoir un plan de développement adapté pour réaliser, pendant les premières années de son fonctionnement, les engagements pris dans le projet. Il doit aussi avoir des procédures d évaluation de la performance des enseignants, et utiliser les résultats pour leur promotion et amélioration. Qualité et promotion des projets d enseignement et de recherche Les filières de formation doivent respecter les standards actuels des disciplines et professions respectives et être en cohérence avec les profils recherchés pour ses futurs étudiants diplômés. Le projet doit présenter en détail les procédures d admission et l évaluation de la performance académique des étudiants. Les enseignants-chercheurs doivent avoir un niveau académique adapté pour le développement des projets de cours, de filières, d enseignement et de recherche. La création de centres, d instituts ou de groupes de recherche, l appui à la recherche, le lancement et le développement d autres activités et services doivent être inclus dans les plans ; les liens de ces activités avec les filières d enseignement doivent être clairs. Leurs responsables doivent avoir des diplômes correspondant à leurs tâches ; les projets doivent avoir des perspectives réalistes d obtention de financements. Moyens économiques, équipements et infrastructures nécessaires à l amélioration de la performance de l enseignement, de la recherche et des fonctions d extension de l université Les ressources de l établissement, en particulier les constructions, l équipement et les bibliothèques doivent être adaptées pour le démarrage et la poursuite des activités pendant la période spécifiée. L établissement doit disposer de moyens sûrs lors de son ouverture. Dans tous les cas, son projet doit comporter un plan détaillé d investissement et de maintenance ainsi qu un plan de financement pérenne pour faire face à ces exigences. Relations internationales et possibilités d accords avec des centres de recherche étrangers Des liens officiels avec des universités nationales et étrangères et des centres de recherche sont des appuis particulièrement importants en matière académique, 24 Module 5 : Réglementer et assurer la qualité des prestataires transfrontaliers

243 scientifique ou financière. Les succès et bénéfices attendus de ces échanges sont aussi importants pour les filières d enseignement et la recherche future. Si l établissement étranger est accrédité dans son pays d origine ou l est par des organismes internationaux, c est un élément supplémentaire à évaluer, mais ça ne signifie pas pour autant que l établissement est exempté de la procédure d accréditation établie par la loi. Les principaux critères de la CONEAU pour évaluer les projets institutionnels des universités étrangères concernent la qualité et la consistance du projet local, les caractéristiques de l université étrangère demandeuse et le lien réel entre le projet local et le siège. Si l université étrangère est accréditée, c est une donnée supplémentaire à ajouter à son évaluation générale, sans être décisive pour autant. L État argentin a le pouvoir de mettre en œuvre sa propre méthode d évaluation et d accréditation. Source : Villanueva, 2007 Protéger le titre «université» Beaucoup de pays ont créé une législation spéciale ou des règlements pour protéger le titre «université». Bien que cela ne s applique pas spécialement à l enseignement supérieur transnational, les prestataires privés ont tendance à appeler leurs établissements «universités» ou «académies», en raison du prestige de ces titres. Les disciplines et le niveau des filières proposées sont souvent protégés par la loi. En Afrique du Sud, une législation spéciale a été adoptée pour protéger le titre «université», car avec le niveau élevé de privatisation, plusieurs établissements d enseignement supérieur privé ont utilisé le label abusivement. Aux Philippines, une université doit proposer des filières d études en quatre ans, des cursus de niveau post licence et des filières ayant obtenu un niveau supérieur d accréditation (niveau 3 d accréditation sur 4 niveaux existants au maximum). Encadré 8. Législation spéciale pour la protection du titre «université» en Afrique du Sud et aux Philippines S établir comme université en Afrique du Sud En 1999, le département de l Éducation en Afrique du Sud a réglementé l appellation des établissements privés. Aucun de ces derniers n était autorisé à s appeler université ou technikon en dépit de l ambition de plusieurs d entre eux d utiliser ce titre. De plus en plus, les établissements d enseignement supérieur cherchaient à proposer des filières pré-licence ainsi que des filières post-licence jusqu au niveau du doctorat. En 2002, le Conseil de l enseignement supérieur a été appelé pour faire des recommandations sur la nomenclature des établissements d enseignement supérieur ; celle-ci aura été rendue officielle en Source : Naidoo et Singh, 2007 Créer une «université» aux Philippines La demande d enregistrement et d autorisation auprès de la Commission pour la sécurité des échanges doit être approuvée par la Commission de l enseignement supérieur (CHED). Si un établissement d enseignement supérieur veut être enregistré comme «université», il doit répondre à certains critères : 1) offre des filières de formation en quatre ans dans les domaines des arts, des sciences fondamentales et des mathématiques, et des sciences sociales, trois cursus 25 Module 5 : Réglementer et assurer la qualité des prestataires transfrontaliers

244 professionnels et deux cursus post licence conduisant au doctorat ; 2) niveau III d accréditation pour au moins quatre filières pré-licence dont une dans le domaine artistique, une dans le domaine des sciences et deux filières post licence ; 3) répartition budgétaire adéquate pour la recherche ; 4) dispositions relatives aux autres activités et/ou aux activités au profit de la communauté et domaines d expertise ; 5) conditions requises pour le personnel enseignant : 50 % au moins du personnel doit être à temps complet, 35 % au moins doivent être titulaires d un master dans leurs spécialités respectives, dont 70 % sur un poste à temps complet, et 20 % au moins titulaires d un doctorat dans leurs spécialités respectives dont 50 % sur un poste à temps complet ; 6) équipements documentaires adéquats ; etc. Source : Tayag, 2007 Une législation spéciale pour l enseignement supérieur à but lucratif? Les pays peuvent instaurer des conditions générales dans le domaine de l enseignement supérieur à but lucratif. Dans certains pays, l éducation supérieure déclarée à but lucratif peut tout simplement n être pas autorisée par la loi. Toutefois, il s agit d une contrainte légale imposée à tous les prestataires privés, mais comme beaucoup de prestataires d enseignement supérieur transnational ont des établissements payants, ils sont particulièrement concernés. En Argentine, les universités à but lucratif ne sont pas autorisées à fonctionner ni à délivrer de diplômes. Mais, elles peuvent fonctionner comme établissements qui ne délivrent pas de diplômes, tels les instituts professionnels supérieurs, ou proposer de la formation professionnelle continue. Encadré 9. Législation sur les prestataires d universités à but lucratif en Argentine Le Chapitre 5 de la loi sur l enseignement supérieur traite spécialement de la régulation des universités privées : les articles de cette section précisent les termes et les procédures concernant leur création et leur fonctionnement. Les établissements universitaires privés doivent être à but non lucratif et obtenir une autorisation provisoire du pouvoir exécutif national avec un rapport favorable obtenu au préalable de la CONEAU (articles 62 et 63). Après l autorisation temporaire et la satisfaction aux conditions requises, ils obtiennent une reconnaissance définitive (article 65). Le pouvoir exécutif a autorité pour continuer de contrôler leur fonctionnement et s assurer ainsi qu ils se conforment aux objectifs déclarés et respectent les dispositions qui autorisent leur fonctionnement. Les établissements qui fonctionnent sans l autorisation ne peuvent pas utiliser le titre «université» ni délivrer de diplômes (article 68). Source : Villanueva, 2007 Limites liées à la prise de participation L éducation est un domaine socialement sensible. Dans beaucoup de pays, il existe un consensus sur le besoin de contrôle national des prestataires en éducation. Pour cette raison, certains pays ont introduit des limites relatives à la part de propriété (ou enjeu d équité) qu un prestataire étranger peut posséder dans une entreprise éducative. Ces restrictions sont établies pour que la propriété de la société n échappe pas aux nationaux et que ceux-ci puissent la contrôler. 26 Module 5 : Réglementer et assurer la qualité des prestataires transfrontaliers

245 Encadré 10. Limites imposées à la prise de participation aux Philippines On demande à tous les établissements, à but lucratif et non lucratif, de se faire enregistrer auprès des instances gouvernementales appropriées. Les sociétés commerciales financières et non financières, les sociétés en partenariat, doivent se faire enregistrer auprès de la Commission des échanges, les propriétaires individuels auprès du Bureau de la régulation du commerce et de la protection du consommateur du département du Commerce et de l Industrie, et les coopératives, auprès de l Autorité pour le développement des coopératives. La nouvelle Constitution des Philippines (1987) précise que : Aucun étranger, aucune entreprise, association, aucun consortium, aucune corporation ou toute autre forme d organisation commerciale, qui n est pas tenu par des ressortissants des Philippines et qui détient plus de quarante pour cent (40 %) du capital d entreprise doit commercer ou engager aucune activité économique aux Philippines (article 4). De plus, la Constitution stipule que les établissements éducatifs, autres que ceux créés par des groupes religieux et des missions, doivent appartenir uniquement aux citoyens des Philippines ou à des corporations ou des associations ; 60 % du capital au moins doivent appartenir à des citoyens philippins. Le Congrès peut demander un partenariat philippin plus équitable dans tous les établissements éducatifs (article 14, section 4). Il s ensuit que dans un arrangement de type «à risques partagés» (joint venture), l établissement éducatif étranger peut être propriétaire jusqu à 40 % du capital, mais en aucun cas un ressortissant étranger ne peut participer au Conseil des directeurs ni avoir une participation quelconque dans la gestion ou dans l administration de l école. Les agents, courtiers, facilitateurs et parties tierces qui agissent en qualité d intermédiaires entre les établissements prestataires et les clients ou récipiendaires des accords et/ou des services, ne participent pas à l offre de services éducatifs. Cependant, ils doivent se faire enregistrer et être autorisés à fonctionner. Avec la loi sur l investissement étranger de 1991, la participation des capitaux étrangers jusqu à 100 % est permise dans tous les domaines, à l exception de ceux spécifiés dans la Constitution ou dans des lois spéciales, notamment l éducation, car ils sont réservés aux citoyens philippins. Dans ce cas, la participation des capitaux étrangers ne peut excéder 40 %. L éducation figure dans la «liste négative» de l investissement étranger qui comprend des activités et/ou des domaines d investissement où la participation des fonds étrangers est limitée par la Constitution et des lois spéciales (dans le cas de l éducation, la limite est fixée à 40 %). Source : Tayag, 2007 Régulation en matière de langue d enseignement Dans certains pays, la langue d enseignement peut être un autre domaine socialement sensible, en raison de la relation entre la langue et le projet de construction d une identité nationale. L emploi d une langue d enseignement différente de la langue nationale (comme l anglais) apporte des gains éducatifs (capacité linguistique, ouverture culturelle). La Malaisie est un pays qui, pendant longtemps, a insisté sur l emploi de la langue nationale (le malais) comme la seule langue d enseignement dans le secteur public, mais cela représente davantage 27 Module 5 : Réglementer et assurer la qualité des prestataires transfrontaliers

246 l exception que la règle. En effet, la plupart des pays réservent un bon accueil à l offre éducative dans une langue de communication internationale. Conditions spécifiques pour une contribution à des objectifs politiques particuliers L histoire de certains pays peut être à l origine de sensibilités nationales particulières qui conduisent à établir des conditions spécifiques formelles. En Afrique du Sud, par exemple, où l apartheid avait créé un système d enseignement supérieur fortement segmenté, la régulation actuelle sur les prestataires d enseignement supérieur transnational demande que les prestataires privés et transfrontaliers signent une déclaration de non-discrimination relative aux étudiants et aux personnels. Ils doivent aussi déclarer leur intention de contribuer à faire avancer le programme pour le redressement et l équité. Comment peut-on rendre plus efficaces les cadres régulateurs sur les campus satellites? L exposé sur les instruments de régulation montre que les procédures d obtention par des prestataires d enseignement supérieur privés d une autorisation pour un nouvel établissement, bien que relativement lourdes et longues, sont bien établies. Pour l enregistrement, les prestataires d enseignement supérieur transnational choisiront toujours la voie la moins contraignante. Ainsi, ils préféreront se faire enregistrer comme entreprises et proposer des filières de formation qui ne conduisent pas à des diplômes nationaux, ce qui ne les empêchera pas de délivrer des diplômes de leur établissement d origine. Puisqu ils forment des étudiants destinés à travailler dans le secteur privé ou à l étranger, on considère souvent que la reconnaissance du diplôme n est pas essentielle. Pour sauvegarder la validité des diplômes nationaux, les outils régulateurs doivent préciser que seuls les établissements autorisés peuvent délivrer des diplômes reconnus. Les développements ci-dessus sur les conditions d obtention de l autorisation traitent avant tout de l ouverture d un nouvel établissement, mais ce sont ces mêmes règles qui s appliquent à l enseignement supérieur transfrontalier. Quand les prestataires d enseignement supérieur transnational souhaitent fonctionner sans avoir à se soumettre aux procédures officielles de reconnaissance, ils peuvent se faire enregistrer auprès d agences nationales qui ne demandent pas d autorisation. Cela est possible dans le secteur non universitaire dans certains pays. Pour éviter que les prestataires d enseignement supérieur transnational ne choisissent la voie d enregistrement la moins contraignante, il serait important que les dispositions sur l autorisation concernent aussi bien le secteur universitaire que le secteur non universitaire. S il existe plusieurs agences nationales, elles doivent se coordonner pour garantir que, dans les cas d ouverture d un campus satellite ou d un nouvel établissement, aucun prestataire d enseignement supérieur transfrontalier n échappe à la régulation. La régulation doit garantir que les dispositions sur la limitation de prise de participation ne seront pas contournées par la création de sociétés-écrans (umbrella firms). Cela vaut également pour les universités internationales appartenant à des entreprises, qui achètent la majorité du capital d un établissement privé qui a reçu l autorisation, pour transformer ensuite les filières dudit établissement sans avoir à demander d autorisation. La régulation doit donc 28 Module 5 : Réglementer et assurer la qualité des prestataires transfrontaliers

247 inclure le contrôle continu du fonctionnement des établissements existants et de leurs filières. Il est aussi à noter, qu une régulation efficace ne s applique pas seulement aux prestataires transnationaux. Il est important d avoir en place un cadre régulateur qui s applique aux prestataires nationaux comme aux prestataires étrangers. La régulation n est pas seulement nécessaire parce que certains établissements peuvent être achetés par des étrangers, elle est nécessaire parce que la qualité de tous les établissements, nationaux et étrangers, publics et privés, est importante. Activité 2 Quelle est le cadre régulateur actuel sur la mobilité institutionnelle (absence de régulation, libéral, modérément réglementé ou restrictif) dans votre pays? Quelles en sont les raisons? A-t-on adopté une législation spécifique pour réglementer les établissements transfrontaliers notamment en matière de politique linguistique, d enjeux d équité, etc.? Quel est l intérêt de mettre en place une législation pour l enseignement supérieur transfrontalier? 3. Cadres régulateurs pour les cursus franchisés et dispositions sur le jumelage et les filières d études conjointes Dans la plupart des systèmes d enseignement supérieur, les cursus franchisés et les filières d études conjointes sont les formes les plus communes de présence commerciale de l offre transfrontalière. Ici, les cadres régulateurs pour la création de nouvelles filières d études se réfèrent aux cadres généraux. Ils peuvent aussi se référer aux régulations qui régissent les dispositions spécifiques sur le jumelage et la franchise. Conditions générales d ouverture de nouvelles filières d études Le cadre régulateur général pour les nouvelles filières d études est sensiblement différent selon les pays. Dans beaucoup d entre eux, les universités autorisées (chartered universities) n ont pas besoin de se soumettre au processus d approbation du ministère ou de l organisme national compétent pour la création de nouvelles filières d études. Mais de plus en plus, une instance officielle (ministère ou organisme régulateur) demande que certaines filières soient soumises à la procédure d autorisation. Dans la plupart des pays occidentaux anglophones et certains pays latino-américains, les universités autorisées ou 29 Module 5 : Réglementer et assurer la qualité des prestataires transfrontaliers

248 reconnues peuvent ouvrir de nouvelles filières sans autorisation publique supplémentaire. Mais l autorisation des pouvoirs publics est nécessaire pour l ouverture de nouvelles filières dans le secteur non universitaire. Dans beaucoup de régions, une instance ministérielle ou un organisme régulateur participe, d une manière ou d une autre, à l autorisation d ouverture d une nouvelle filière. Mais les règles varient sensiblement en fonction du niveau et du type de la nouvelle filière. L encadré 11 présente les conditions générales requises pour la création de nouvelles filières d études au sein des établissements d enseignement supérieur privé aux Philippines. Cet exemple montre qu il existe déjà un cadre national régulateur qui vérifie que les conditions minimales d ouverture d une filière sont en place. Ce cadre est complété par une régulation particulière de l enseignement supérieur transfrontalier qui est abordé dans l encadré 15. Encadré 11. Règles pour la création de nouvelles filières d études aux Philippines L octroi d autorisation par l État comprend deux niveaux : 1) l étape du permis ; 2) l étape de la reconnaissance (DECS, 1992). L étape du permis : Elle suit la demande d ouverture de l école. Cette demande doit être faite au plus tard, au début de l année scolaire qui précède l année scolaire d ouverture souhaitée de la nouvelle filière. Le permis donne à l école l autorisation de faire fonctionner un ou des cursus d études spécifique(s) pour une période de temps donnée. Il est valide seulement pour une filière spécifique qui fonctionne sur l année scolaire et peut être supprimé, s il y a une raison. Les étudiants inscrits ont les mêmes droits et avantages que ceux inscrits dans des filières reconnues. L étape de la reconnaissance : Elle suit la demande du permis. On doit faire la demande au plus tard à la fin du mois de janvier de l année scolaire qui précède l année d obtention du diplôme par la première promotion d étudiants inscrits dans cette filière, c est-à-dire la troisième année scolaire pour les filières en 4 ans ; la quatrième année scolaire pour les filières en 5 ans. Le certificat de reconnaissance doit être délivré au début de la dernière année d études de la filière. Les effets du certificat de reconnaissance sont les suivants : Le certificat de reconnaissance est toujours valide, à moins qu il ne soit révoqué pour une raison quelconque, à l issue d une procédure régulière. Ainsi, après la reconnaissance, l établissement peut ouvrir la filière, à moins qu un dérapage ne soit découvert par le suivi ou l évaluation. Le permis et la reconnaissance sont accordés aux filières qui sont conformes aux conditions minimales requises et aux standards établis par la Commission de l enseignement supérieur (CHED) dans sa politique, ses standards et ses lignes directrices (policies, standards, guidelines PSGs) concernant les filières académiques. Ces PSGs prescrivent des programmes de formation minimaux, des intrants, des processus et des méthodes pour chaque filière. La Commission de l enseignement supérieur a publié des PSGs concernant plus de 40 filières de formation. Ils ont été élaborés par 10 commissions techniques, composées d experts, d enseignants de disciplines, ainsi que des représentants de la Commission de régulation professionnelle dans les commissions techniques compétentes pour les filières conduisant à des examens d exercice professionnel. Source : Tayag, Module 5 : Réglementer et assurer la qualité des prestataires transfrontaliers

249 Politiques en matière d enseignement franchisé En plus des conditions générales, les pays ont développé des politiques différentes en matière d enseignement franchisé. Ces politiques sont liées aux objectifs plus larges de politique de l enseignement supérieur. Elles englobent les politiques générales sur l enseignement supérieur transnational et incluent les trois grandes options qui suivent : encouragement direct ; absence de régulation (ou laisser-faire) ; approche de régulation. Encouragement direct de l enseignement franchisé L encouragement direct peut être obtenu quand les gouvernements mettent en place des mesures incitatives, en général financières, pour le développement de l enseignement franchisé, comme c est le cas à Oman. Dans ce pays, la demande sociale et économique d enseignement supérieur a augmenté rapidement, en particulier au cours des dix dernières années. En effet, les programmes de développement mis en œuvre au cours des 30 dernières années ont conduit à une croissance rapide du nombre d étudiants qui, à la fin de l enseignement secondaire, demandent à poursuivre des études supérieures. Mais la capacité du système d enseignement supérieur ne s est pas suffisamment développée pour satisfaire cette demande. En réponse à ce défi, le gouvernement d Oman a choisi d encourager l ouverture d établissements privés (universités et collèges). Pour garantir la qualité des filières de formation dispensées par ces établissements, ceux-ci doivent être affiliés à des universités étrangères bien connues. Encadré 12. Encouragement direct de l enseignement franchisé à Oman Oman poursuit une démarche qui encourage directement l enseignement supérieur franchisé au sein du secteur d enseignement supérieur privé. Pour la création et l offre de formation supérieure privée, les conditions d octroi d autorisation obligent ces universités et collèges nationaux à avoir «un accord d affiliation académique» avec «des établissements d enseignement supérieur reconnus et accrédités» à l étranger. Oman cherche à construire des alliances entre des établissements étrangers renommés et des établissements nationaux privés pour élargir rapidement l offre locale d enseignement supérieur de «qualité». Le ministère de l Enseignement supérieur d Oman a défini un accord standard d affiliation académique qui précise les services et les modes de coopération entre les établissements d enseignement supérieur nationaux et étrangers. Les systèmes d enseignement, les filières de formation proposées, les méthodes d évaluation et les diplômes, sont définis par l université affiliée. Il est à noter que le sultanat d Oman a formulé comme condition explicite que les établissements étrangers qui participent à l accord de franchise accueillent dans les établissements d origine des étudiants venant des campus satellites ou de l enseignement franchisé. Source : Martin, Module 5 : Réglementer et assurer la qualité des prestataires transfrontaliers

250 Absence de régulation pour l enseignement franchisé La deuxième option est, l «absence de régulation». Cela est souvent un choix par défaut dans des pays où le statut d université confère automatiquement le droit de créer de nouvelles filières d études. Dans ce contexte, c est l université elle-même qui est responsable de l assurance qualité de ses filières. C est le cas au Kenya, où, sous le statut d université autorisée, les universités publiques n ont pas besoin d obtenir l approbation pour les nouvelles filières, y compris les filières franchisées (voir encadré 13). Encadré 13. Absence de régulation pour les universités publiques autorisées au Kenya La collaboration entre toute université publique et un prestataire d éducation transnational commence par la signature d un protocole d accord entre les établissements concernés. Les lois qui créent les universités publiques autorisent la collaboration entre les universités et d autres établissements ou organismes, dans le but de promouvoir les objectifs des universités. Dans ces conditions, il appartient à l université nationale qui collabore, notamment à son conseil, de s assurer que les prestations éducatives proposées sont de bonne qualité et que l établissement avec lequel elle collabore, est accrédité et/ou reconnu dans son pays d origine. Source : Kaberia, 2007 Régulation pour l enseignement franchisé Les pays qui décident d adopter une position active sur l enseignement franchisé, choisissent l approche de régulation. La plupart d entre eux mettent en place une régulation en deux étapes : lors de la création des structures à risque partagé (joint venture) entre établissements nationaux et étrangers, et au moyen d un système de contrôle continu. Cette approche est efficace quand il existe une régulation adéquate pour les prestataires nationaux, puisque la franchise fonctionne par leur intermédiaire. Quand l enseignement franchisé existant donne l impression d être de qualité médiocre, les pays peuvent décider de lui appliquer une régulation modérée ou plus stricte. Hong Kong a adopté une régulation modérée (voir encadré 14). Les prestataires d enseignement supérieur transnational doivent se faire enregistrer auprès des autorités nationales et fournir des informations sur les filières. En Afrique du Sud et aux Philippines, une régulation stricte a été adoptée. Dans ces pays, les prestataires d enseignement supérieur transnational sont soumis à la régulation nationale d assurance qualité (voir encadré 15). 32 Module 5 : Réglementer et assurer la qualité des prestataires transfrontaliers

251 Encadré 14. Régulation modérée pour l enseignement franchisé à Hong Kong Le gouvernement de Hong Kong réglemente l offre étrangère par l ordonnance sur l enseignement supérieur et professionnel étranger de Le gouvernement évoque les raisons suivantes : L objectif de la législation est de protéger les consommateurs de Hong Kong contre la commercialisation des filières d études étrangères médiocres. Elle contribue ainsi à confirmer la réputation de Hong Kong d être une communauté attachée aux standards académiques et professionnels fiables, internationalement reconnus. Cet objectif est atteint par un système d enregistrement et de contrôle des annonces, du financement et de l utilisation de locaux. L Ordonnance est un modèle de transparence en matière de régulation, et un inventaire utile des éléments qui composent l enseignement transnational. On demande aux prestataires étrangers de soumettre des informations détaillées sur divers aspects de leur offre de formation. Les cursus de formation sont répertoriés sur le site web du gouvernement et une documentation détaillée est accessible au Bureau d enregistrement de Hong Kong. Des détails opérationnels sont demandés sur le contenu du cursus (buts et objectifs, structure et contenus, ainsi que toute adaptation spéciale pour Hong Kong) ; les méthodes d enseignement ; les prérequis des étudiants (critères d admission, y compris la maîtrise des langues, l évaluation du cursus et le système de pondération, des détails sur les évaluateurs) ; les personnels participants (diplômes et expérience), l équipement et le soutien proposé à Hong Kong (salles de classe, bibliothèque, laboratoires d informatique). Les responsabilités respectives du prestataire national et du prestataire étranger doivent être précisées pour les activités suivantes : publicité et commercialisation ; admission ; inscription; encaissement des frais de scolarité des étudiants ; recrutement des tuteurs locaux ; installation et contrôle des tuteurs locaux ; soutien aux étudiants ; organisation des examens et système de notation ; feedback des étudiants. On doit fournir un descriptif des procédures d assurance qualité. Les prestataires doivent soumettre un rapport annuel avec des chiffres détaillés sur le nombre d étudiants inscrits, le nombre de diplômés ainsi que toute modification du cursus. L ordonnance sert de système d enregistrement et source d informations pour les futurs étudiants. Elle ne garantit pas la qualité. Comme d autres législations relatives à la protection des consommateurs, l Ordonnance comporte l avertissement «au risque de l acheteur» : «Les consommateurs nationaux sont avertis du fait que l enregistrement ou la dispense d enregistrement ne confèrent au cursus étranger aucun statut particulier ni reconnaissance d équivalence avec un diplôme national.» Source : Gouvernement de Hong Kong SAR, Module 5 : Réglementer et assurer la qualité des prestataires transfrontaliers

252 Encadré 15. Régulation stricte pour l enseignement franchisé aux Philippines et en Afrique du Sud Aux Philippines comme en Afrique du Sud, l enseignement franchisé est réglementé. En Afrique du Sud, depuis 2002, l enseignement franchisé est interdit, si le prestataire étranger n a pas de représentation nationale par l intermédiaire d un campus satellite. En effet, un grand nombre de filières franchisées de qualité médiocre avaient fait leur apparition et il était difficile de s assurer que les consommateurs étaient correctement informés sur leur qualité et leur statut d accréditation. Des témoignages récents en Afrique du Sud font état de filières de MBA dont l assurance qualité a été certifiée dans leur pays d origine mais qui n ont pas reçu l accréditation en Afrique du Sud. La raison est que ces filières ont été évaluées dans leur pays d origine à partir de données sur papier, sans visite du site pour contrôler les conditions effectives de leur mise en œuvre. Aux Philippines, dans le cadre des filières jumelées ou franchisées, on exige que les établissements partenaires remplissent des conditions spécifiques de qualité. La Commission de l enseignement supérieur, l organisme régulateur philippin chargé de la régulation de l enseignement supérieur, pose comme condition que seuls les établissements d enseignement supérieur reconnus par elle, avec des filières ayant obtenu le permis et la reconnaissance, peuvent être jumelés avec un établissement d enseignement supérieur étranger reconnu et accrédité. Un prestataire étranger ne peut proposer une filière que si elle est accréditée dans son pays d origine ou par l intermédiaire d un établissement d enseignement supérieur national partenaire qui a reçu une accréditation de niveau II par des accréditeurs privés nationaux. De plus, les établissements doivent établir un protocole d accord conforme au modèle préparé par la Commission de l enseignement supérieur. Source : Martin, 2007 Régime de taxation et régulation de change En plus de l autorisation et d autres conditions de régulation, les pays peuvent adopter des régulations spécifiques en matière de taxes et de change. Ces régulations font généralement partie des politiques économiques sur l investissement étranger, le commerce étranger et la législation relative au régime de taxation et aux revenus étrangers. Encadré 16. Les régimes de taxation et les régulations de change dans la fédération de Russie et aux Philippines Les Philippines ont mis en place un régime de taxation plutôt favorable pour les prestataires de formation, y compris les opérateurs transfrontaliers. Le revenu des établissements éducatifs à but non lucratif est exonéré d impôt sur le revenu et la propriété, ainsi que de taxes douanières. Les établissements à but lucratif peuvent profiter aussi, dans certaines limites, d exonération d impôts et de taxes, mais leurs profits sont imposés. Dans la fédération de Russie, les accords de coopération entre établissements d enseignement supérieur nationaux et étrangers rencontrent des problèmes liés à la législation sur les devises, le régime d imposition et la loi sur le commerce étranger. Les paiements directs d un partenaire russe pour les prestations d une université étrangère (prestations d enseignement, droit d usage de contenus ou de méthodes d enseignement) qui entraînent des sorties de capitaux, doivent recevoir une 34 Module 5 : Réglementer et assurer la qualité des prestataires transfrontaliers

253 autorisation spéciale de la Banque centrale de Russie, tâche longue et complexe. Il faut aussi prouver que la prestation, y compris la concession de propriété intellectuelle, qui est à l origine de la sortie du capital, a été soumise à la TVA. Les accords de coopération entre la fédération de Russie et des universités étrangères doivent être confirmés par les banques concernées. Lorsqu un transfert bancaire dépasse la somme de $, il faut obtenir une autorisation spéciale du ministère des Finances russe. Source : Martin, 2007 Comment peut-on rendre la régulation pour l enseignement supérieur franchisé plus efficace? Les accords pour la franchise et le jumelage se font souvent dans un cadre de régulation peu précis qu on a souvent l occasion de contourner. Pour être efficace, la régulation pour l enseignement franchisé doit s appliquer sur l ensemble de l enseignement supérieur, secteur universitaire et non universitaire. Les prestataires d enseignement supérieur transfrontaliers collaborent souvent avec des établissements d enseignement supérieur nationaux qui n ont pas besoin d autorisation pour ouvrir de nouvelles filières. Lorsqu une grande partie de l enseignement supérieur est soumise à régulation, ces derniers peuvent vendre des filières de formation dans le cadre de l offre non diplômante. Dans ce cas, le diplôme n aura pas la reconnaissance nationale, puisque le prestataire est enregistré comme entreprise commerciale. Il est très important que les gouvernements nationaux informent le public sur les filières d enseignement supérieur reconnues. Beaucoup de gouvernements publient ce genre d informations. Ils peuvent le faire sur les sites web du ministère de l Éducation ou par l intermédiaire d organismes régulateurs chargés de la reconnaissance des filières et des diplômes. Les futurs étudiants doivent pouvoir y trouver si un établissement ou une filière d études qui les intéresse est reconnu(e) par les autorités nationales. Certains pays font un effort particulier pour informer le public sur la disponibilité de telles informations. Ils organisent pour les élèves du second cycle de l enseignement secondaire des programmes de sensibilisation sur les moyens de trouver des informations sur ce qui est officiellement reconnu et ce qui n est pas. Encadré 17. Donner aux étudiants les moyens de s informer sur les prestataires d enseignement supérieur (Afrique du Sud) En Afrique du Sud, comme dans beaucoup de pays en développement, la libéralisation de l enseignement supérieur a progressé. Les étudiants qui entrent dans l enseignement supérieur considèrent le diplôme étranger comme un «ticket» de mobilité pour les marchés de l emploi des pays industrialisés. Le choix d un établissement ou d une filière médiocre ou non autorisé(e), signifie non seulement une forte déception pour l étudiant, mais peut-être aussi, des effets dévastateurs sur la survie de sa famille, car souvent les familles font des emprunts pour payer les frais de scolarité. En Afrique du Sud, les étudiants sont recrutés principalement par annonces publicitaires dans les médias, en particulier dans les journaux. Souvent, ces annonces ne comportent pas suffisamment d informations pertinentes sur le niveau de l établissement ou sur son enregistrement auprès des autorités compétentes, le 35 Module 5 : Réglementer et assurer la qualité des prestataires transfrontaliers

254 département de l Éducation nationale (DoE) et l Autorité sud-africaine des diplômes (SAQA). Il arrive aussi que les établissements donnent aux étudiants délibérément des informations trompeuses. À la suite de nombreuses plaintes de futurs étudiants et du public, le Comité pour la qualité de l enseignement supérieur (HEQC) a lancé en janvier 2002, une campagne d information. Cette campagne visait à informer le public et les futurs étudiants pour qu ils puissent se protéger des prestataires illégaux et sans scrupules. On espérait aussi que les gens apprendraient à identifier les prestataires d éducation légaux et illégaux. La campagne d information nationale a été menée à travers les médias (radio et presse écrite) et visait les primo entrants. (Pour voir la campagne d information vous pouvez aller sur le site : Pendant deux mois, on a examiné et analysé les annonces des établissements ; durant cette période la publicité frauduleuse a diminué. Quant aux établissements frauduleux qui continuaient de fonctionner, ils ont reçu l ordre d arrêter. Après la campagne d information, les étudiants étaient plus conscients de la différence entre prestataires d enseignement supérieur légaux et illégaux. Pourtant, les étudiants comme le public, ne comprennent pas encore la notion d accréditation et d assurance qualité, ce qui montre qu il reste beaucoup à faire, en particulier dans le domaine de la formation des étudiants sur la qualité et leur participation dans l assurance qualité au niveau institutionnel. Le HEQC contrôle les annonces publicitaires. Pour ce faire, il a développé de bons guides pratiques et protocoles. Des ateliers ont été organisés pour aider les établissements légaux à améliorer leur pratique éthique en matière de publicité, et la SAQA a établi des protocoles relatifs aux annonces publicitaires, en particulier l utilisation du logo de la SAQA. Le HEQC est en train d évaluer la campagne actuelle d information et projette de développer une nouvelle approche pour l information sur la qualité et la responsabilisation des étudiants. Source : Naidoo, 2004 Activité 3 Quelle est la régulation pour l enseignement supérieur franchisé dans votre pays (encouragement direct, absence de régulation, régulation)? Quelles sont les raisons de ce régime à votre avis? S il y a une régulation, que couvre-t-elle? Est-elle suffisante? S il n existe pas de régulation, de quoi a-t-on besoin pour répondre aux défis posés par l enseignement supérieur franchisé? 36 Module 5 : Réglementer et assurer la qualité des prestataires transfrontaliers

255 Options pour les systèmes d assurance qualité externe pour l enseignement supérieur transfrontalier Dans les modules 1 à 4, on a montré que les systèmes d assurance qualité externe ont des portées et des modes de fonctionnement différents. La plupart des systèmes actuels d assurance qualité externe ont été établis pour traiter des problèmes internes, liés à la diversification des établissements et des filières. En d autres termes, ils ont été créés pour s attaquer à la prolifération des filières d enseignement supérieur privé de qualité médiocre. Le phénomène d enseignement supérieur transfrontalier est encore relativement nouveau et souvent marginal, seul un petit nombre d agences d assurance qualité le traite directement par des approches spécifiques. 1. Accréditation institutionnelle de l offre d enseignement supérieur transnational Beaucoup de pays ont créé des agences d assurance qualité responsables de l accréditation institutionnelle et de l audit. Comme il a été exposé dans les modules 1 et 2, l accréditation et l audit sont souvent des procédures non obligatoires établies principalement pour stimuler l amélioration de la qualité plutôt que pour faire respecter des standards minimaux. Là où l accréditation institutionnelle est obligatoire, elle s applique souvent aux seules universités privées, comme au Kenya. Dans ce contexte, elle s applique à toutes les universités appartenant à des entreprises (corporate universities) si elles délivrent des diplômes. Elle couvre donc des campus satellites nationaux ou d autres formes d offre transfrontalière. L accréditation institutionnelle telle qu elle est appliquée au Kenya, est obligatoire pour les universités privées qui ont une autorisation de fonctionnement intérimaire. Mais la durée allouée aux établissements pour remplir les conditions requises n est pas précisée. Encadré 18. Accréditation institutionnelle au Kenya Le processus d accréditation de la Commission de l enseignement supérieur (CHE) prévoit les étapes suivantes : 1. Demande de création d une université privée. La demande doit être faite en remplissant le formulaire ACC/CHE 3. Le formulaire rempli doit être retourné avec les frais attachés à la demande et une proposition où l on expose en détail l origine historique, la mission, le projet de l établissement, le nom proposé, l implantation géographique, le profil académique, les buts et objectifs, la forme de gouvernance, les filières de formation, les ressources, et le plan de création de la future université. 2. Évaluation de la proposition et des éléments qui y sont contenus. Cela se traduit par l évaluation des documents, des visites sur le site de la future université et l organisation des réunions entre la Commission et les demandeurs ou leurs représentants. 37 Module 5 : Réglementer et assurer la qualité des prestataires transfrontaliers

256 3. Délivrance d une lettre d autorisation intérimaire (LAI), quand la CHE a constaté que la future université a pris les dispositions nécessaires pour commencer un enseignement de niveau universitaire. Le président de la Commission délivre à l établissement une LAI ; cette lettre est la reconnaissance par le gouvernement que l établissement a la capacité de proposer une formation de niveau universitaire. C est aussi une indication que l établissement s achemine vers l accréditation complète. 4. Préparation des documents institutionnels légaux. À la délivrance d une LAI, l établissement commence à mobiliser des ressources pour préparer l octroi d une charte 3 ; il développe ses filières de formation et son infrastructure. Pendant cette période, la Commission guide l établissement pour la préparation des documents légaux nécessaires, la charte et les statuts. L établissement garde la LAI jusqu à ce qu il remplisse toutes les conditions requises pour l octroi d une charte. La durée de cette procédure n est pas précisée, car elle dépend principalement de la vitesse à laquelle l établissement mobilise ses ressources. La Commission se considère comme partenaire de l établissement en l aidant, par les lettres d autorité intérimaire, à obtenir une accréditation complète, mais certains établissements prennent un peu trop de temps. La Commission projette d organiser des réunions consultatives avec les établissements concernés pour parvenir à une durée de fonctionnement avec une LAI, raisonnable. 5. Inspection finale. Quand la future université considère qu elle a tout ce qui est nécessaire pour devenir une université autonome,, elle prépare un rapport d évaluation interne. La Commission examine le rapport sérieusement, et si elle est convaincue que l établissement est prêt, elle organise une inspection finale. Si l inspection révèle que l établissement est prêt à devenir une université de plein exercice, la Commission recommande au gouvernement de lui octroyer la charte. À cette occasion, la Commission prépare un rapport d accréditation de l établissement. 6. Octroi de la charte. Seul le chef de l État peut octroyer une charte. Au cours de la cérémonie de remise de la charte, l établissement reçoit le rapport d accréditation préparé par la Commission. Les symboles de l autorité, le logo officiel, le bâton de commandement et le sceau, sont remis à cette occasion. Source : Kaberia, 2007 On se rend compte de plus en plus que l assurance qualité doit s appliquer aussi bien aux établissements publics qu aux établissements privés. On peut, en effet, supposer que les deux secteurs contribuent aux objectifs nationaux de développement social, économique et culturel. Cela signifie que les standards et processus de deux secteurs de l enseignement supérieur doivent être évalués de la même manière. Cette hypothèse a conduit, en Afrique du Sud, à la création d un système d audit institutionnel. La régulation sud-africaine précise que les établissements d enseignement supérieur transnational devraient être audités avec l agence d assurance qualité externe du pays d exportation. Si l accréditation institutionnelle doit être obligatoire ou volontaire est une question qui mérite d être débattue. L accréditation volontaire est plus fréquente, au moins au niveau institutionnel. À l évidence, elle est plus facilement acceptée 3. Dans le monde anglophone les universités publiques reçoivent une charte qui les autorise à délivrer des diplômes. 38 Module 5 : Réglementer et assurer la qualité des prestataires transfrontaliers

257 par la communauté universitaire. Toutefois, lorsque la majorité des établissements auront obtenu l accréditation volontaire, on s attend à ce qu elle devienne quasi obligatoire. L accréditation volontaire peut être liée à des mesures incitatives ou à des avantages suffisamment attractifs pour les établissements accrédités. Mais si un problème immédiat concernant l offre de qualité médiocre doit être résolu, un plan d accréditation obligatoire peut être plus efficace à court terme. L Afrique du Sud a opté pour cette dernière solution, au vu de la prolifération des prestataires privés de qualité médiocre, après l installation d un régime libéral pendant la période qui a suivi l apartheid. Encadré 19. L audit institutionnel en Afrique du Sud Le système d audit institutionnel fonctionne sur un cycle de six ans pendant lequel tous les établissements d enseignement supérieur doivent être audités au moins une fois. Le point central de l audit est l efficacité de gestion des systèmes de qualité internes concernant les trois missions fondamentales de l enseignement supérieur, à savoir l enseignement, la recherche et l engagement à l égard de la communauté. L audit suit une méthodologie standard d après laquelle les établissements préparent un dossier d auto-évaluation en rapport avec les 19 domaines répertoriés, spécifiés par le Comité pour la qualité de l enseignement supérieur (HEQC). Une visite sur site par un groupe de pairs et d experts est organisée pour valider le rapport d autoévaluation de l établissement. On analyse attentivement les documents concernant la qualité. Sur la base de l évaluation du groupe de pairs et d experts, le HECQ publie un rapport sur l établissement qui comprend des éloges pour les bonnes pratiques et les innovations et des recommandations pour les domaines qui ont besoin d amélioration. Un sommaire du rapport est publié. On demande à l établissement de soumettre un plan d amélioration fondé sur les recommandations et un rapport d avancement à miparcours sur la mise en œuvre du plan d amélioration. L audit n est pas utilisé pour classer les établissements et n a pas de conséquences financières ou autres. Il concerne avant tout le développement de la qualité et l amélioration. Pour les établissements étrangers, assujettis à l audit institutionnel ou à d autres dispositifs sur la qualité dans leur pays d origine, le HEQC s arrange avec l agence d assurance qualité du pays d origine pour organiser, lorsque c est possible, une visite d audit conjointe. Dans ce cas, les auditeurs sud-africains et les cadres du HEQC participent au groupe d audit mis en place par l agence d assurance qualité du pays d origine. Le dossier d auto-évaluation préparé par l établissement étranger pour l audit devra répondre aux critères d appréciation de l HEQC et à d autres demandes. Cette disposition vise à épargner à l établissement étranger la charge de deux visites d audits séparées. Le HEQC a un accord de coopération avec l Agence de qualité des universités australiennes (AUQA) pour les universités australiennes qui proposent des filières de formation supérieure en Afrique du Sud. Actuellement, il est en train de préparer un accord similaire pour les universités du Royaume-Uni qui fonctionnent en Afrique du Sud. Les accords précédents couvrent aussi des domaines plus larges de coopération entre le HEQC et les agences homologues d autres pays, pour accroître le partage des bonnes pratiques, entreprendre des recherches communes et des projets de développement, et échanger des informations pertinentes sur les moyens susceptibles de contribuer à une régulation internationale plus efficace pour l offre transnationale. À ce jour, on n a pas organisé d audit des prestataires transnationaux et il reste à voir comment on peut rendre ce type d accords de coopération aussi efficace que possible. Source : Naidoo et Singh, Module 5 : Réglementer et assurer la qualité des prestataires transfrontaliers

258 2. Accréditation des filières d enseignement supérieur transnational L accréditation des filières d études est souvent volontaire. Elle ne couvre pas nécessairement les filières publiques et privées ni les deux secteurs, universitaire et non universitaire, parce que beaucoup de filières franchisées ne sont soumises à aucune procédure d accréditation. Ici encore, l Afrique du Sud est une exception à la règle. En effet, dans ce pays, toutes les filières doivent être accréditées selon les standards de l Autorité sud-africaine des diplômes (South African Qualification Authority). Encadré 20. Accréditation des filières en Afrique du Sud Dans un contexte où l offre de formation supérieure est de qualité largement inégale, et la sensibilisation des étudiants aux questions de qualité est inégalement développée, le Comité pour la qualité de l enseignement supérieur (HEQC) a donné la priorité à la protection des étudiants contre les filières de qualité médiocre et au maintien de la crédibilité, non négociable, des diplômes. Dans le nouveau cadre d accréditation des filières mis en vigueur en 2005, le HEQC utilise un processus rigoureux en deux étapes qui accorde l accréditation aux seules filières qui correspondent à des standards minimaux, comme précisé dans les 18 critères d accréditation. L accréditation sera accordée à une filière pour une période de temps précise, après que l évaluation de HEQC a montré qu elle atteint ou dépasse le seuil minimal de qualité éducative. L intérêt se porte aux nouvelles filières, depuis l étape de candidature jusqu à la finalisation de l accréditation complète. Compte tenu du volume des filières d enseignement supérieur existantes dans le système, des ressources limitées et de la capacité disponible pour le renouvellement de toutes les accréditations, le HEQC projette d examiner les filières de formation existantes en combinant des évaluations nationales et l octroi d auto-accréditation aux établissements ; les deux modes envisagés sont exposés ci-après. Les établissements d enseignement supérieur sud-africains qui proposent des filières à l étranger sont soumis au programme d accréditation de l HEQC pour toutes leurs filières académiques, nationales et transfrontalières. De plus, ils doivent se soumettre au système de qualité des pays d accueil. Le HEQC projette de coopérer avec les agences d assurance qualité nationales dans les pays où les établissements d enseignement supérieur sud-africains sont présents et de partager avec elles des informations pertinentes concernant la qualité, afin de garantir que les établissements sud-africains respectent la qualité quand ils deviennent transfrontaliers. Les établissements étrangers qui proposent des filières d enseignement supérieur en Afrique du Sud, y compris ceux qui sont soumis aux conditions requises pour l accréditation d autres agences nationales, régionales ou internationales, sont soumis aux conditions d accréditation des filières de l HEQC. De plus, ces établissements doivent satisfaire aux conditions d enregistrement du département de l Éducation nationale (DoE) et aux conditions d enregistrement des diplômes de la SAQA. Source : Naidoo et Singh, Module 5 : Réglementer et assurer la qualité des prestataires transfrontaliers

259 Comment peut-on rendre l accréditation plus efficace? Seuls quelques systèmes d enseignement supérieur ont actuellement une approche globale de l assurance qualité, qui inclut l assurance qualité de l enseignement supérieur transnational. Dans beaucoup de pays, les prestataires d enseignement supérieur transnational peuvent éviter facilement les procédures d accréditation. De plus, ces procédures peuvent être lourdes, longues et onéreuses. Quand les conditions d autorisation institutionnelle et d accréditation sont obligatoires, les prestataires d enseignement supérieur transnational peuvent tenter d avoir accès aux marchés au moyen de la franchise. Ils peuvent aussi prendre des participations dans les établissements existants ou implanter leurs filières d enseignement supérieur transnational dans les segments du système où l accréditation n est pas obligatoire. Il est donc important pour les systèmes d assurance qualité de prendre en compte les conditions de l offre d enseignement supérieur dans le pays. Ils doivent aussi être attentifs aux questions de qualité qui semblent les plus importantes au niveau institutionnel et au niveau des filières de formation. Il est à noter que les dispositifs obligatoires d assurance qualité ne sont que des cadres d action, mais il est important de les respecter. Beaucoup de pays ont créé des cadres régulateurs, mais en pratique, il existe encore un grand nombre d établissements d enseignement supérieur et de filières non reconnu(e)s et non accrédité(e)s. Dans des pays vastes, le respect de la régulation et l assurance qualité obligatoire exigent une volonté politique forte et des compétences administratives pour conduire des plans d assurance qualité au niveau décentralisé. Les systèmes d accréditation volontaires utilisent en général des mesures incitatives, notamment le prestige, certains avantages financiers tels que l accès aux fonds pour le développement, les bourses et les prêts aux étudiants, et un niveau d autonomie plus important. Ces incitations doivent être suffisamment fortes pour que les prestataires d enseignement supérieur transnational acceptent de se soumettre à l accréditation. Cela vaut en particulier pour les incitations financières. Proposer des aides et des bourses pour les étudiants inscrits dans des établissements d enseignement supérieur accrédités, peut être une forte incitation à demander l accréditation pour tous les prestataires, publics et privés. Ce système est pratiqué aux États-Unis. Une autre incitation forte pour les établissements d enseignement supérieur est la publication, par les autorités nationales, des informations sur le statut d assurance qualité de tous les établissements d enseignement supérieur. Concernant les prestataires d enseignement supérieur transnational, leur statut d accréditation, dans le cadre de l enseignement supérieur transnational dans leur pays d origine et dans le pays d accueil, devrait être rendu plus accessible. Ceux qui sont responsables des décisions pour les filières d études devraient prendre en considération la disponibilité de ces informations. 41 Module 5 : Réglementer et assurer la qualité des prestataires transfrontaliers

260 Encadré 21. Informer le public sur le statut de l établissement et des filières, au Kenya et au Chili Kenya De temps en temps, la Commission pour l enseignement supérieur publie dans la presse écrite nationale des informations sur les universités reconnues et accréditées. La Commission a une brochure, distribuée au public gratuitement, avec des informations sur les universités reconnues. La Commission a mis aussi sur son site web des informations pour le public. Depuis 2002, la Commission organise une exposition annuelle pour les universités reconnues et accréditées. Au cours de cette exposition, le public est informé sur le statut d accréditation des établissements universitaires privés nationaux. La Commission prépare actuellement un annuaire des établissements d enseignement postsecondaire dans le pays. Cela est considéré comme le premier pas vers l accréditation des établissements postsecondaires ou la validation de certains de leurs cursus. On espère que l accréditation et/ou la validation rendraient les étudiants diplômés de l établissement éligibles pour entrer à l université ou encore, que l établissement serait autorisé à proposer des filières de niveau universitaire. Chili Source : Kaberia, 2007 Le ministère de l Éducation chilien travaille actuellement sur l amélioration du système d information public, susceptible de répondre à trois besoins différents : information nécessaire pour la prise de décisions politiques ; informations pour la gestion des établissements et l assurance qualité ; information publique pour toutes les parties intéressées. Le troisième aspect est le plus pertinent dans ce contexte ; les efforts ont été principalement orientés vers les établissements d enseignement supérieur pour déterminer les données qu ils sont prêts à partager, et créer des systèmes d information institutionnels organisés sur une base commune. En même temps, le ministère travaille avec des consultants externes sur un observatoire de l emploi, pour déterminer le niveau d emploi des diplômés issus des filières professionnelles et techniques, leur niveau de revenu et la relation entre le nombre d années d études, le type de diplôme, le taux d emploi et le niveau de revenu. Cette information est publiée et complète les informations données par les établissements. On a aussi entrepris des travaux pour éliminer la publicité mensongère et les annonces frauduleuses des établissements, mais l opération est encore à l étape initiale, sauf dans le cas des établissements ou des filières qui participent à la procédure d accréditation décrite plus haut. On s attend à ce que la publication d informations pertinentes ait un impact sur le système, non seulement en termes de régulation (offrir aux établissements des mesures incitatives pour améliorer les domaines pour lesquels on publie des indicateurs), mais aussi en termes pédagogiques, en rendant les acteurs plus attentifs à certaines variables et moins dépendants de la publicité et des annonces commerciales. Source : Lemaître, Module 5 : Réglementer et assurer la qualité des prestataires transfrontaliers

261 Activité 4 Votre pays a-t-il un système d assurance qualité spécifique pour l enseignement supérieur transfrontalier au niveau des établissements et des filières? Existe-t-il une source d information publique où les étudiants peuvent se renseigner sur l offre transfrontalière (établissement ou filière), si elle est reconnue, autorisée à fonctionner et/ou a reçu le label d assurance qualité par les autorités nationales? 43 Module 5 : Réglementer et assurer la qualité des prestataires transfrontaliers

262 Systèmes de régulation, systèmes d assurance qualité et objectifs de politique nationale L enseignement transnational est une réalité à multiples facettes qui pose de nombreux défis politiques aux pays en développement. Les pays sont concernés par l enseignement supérieur transfrontalier à des degrés divers. Cela dépend des conditions socio-économiques nationales, du développement et du fonctionnement du système d enseignement supérieur national. Les conditions principales sont : le développement général et la politique économique des pays ; les initiatives existantes pour l intégration régionale et les accords commerciaux ; le pouvoir d achat, les systèmes de frais de scolarité et de soutien aux étudiants nationaux ; le développement du système d enseignement supérieur national ; et, en particulier ; la capacité des systèmes d enseignement supérieur de satisfaire la demande sociale du point de vue qualitatif et quantitatif. Ces facteurs nationaux conduisent à des raisonnements politiques différents quand il s agit de l internationalisation de l enseignement supérieur. Larsen et Vicent-Lancrin, (2002) ont souligné quatre raisons politiques majeures, susceptibles de sous-tendre les politiques d internationalisation de l enseignement supérieur. Elles incluent : l entente mutuelle sur des objectifs politiques, culturels, académiques et d aide au développement ; l immigration de main-d œuvre qualifiée qui vise à attirer des étudiants étrangers sur des secteurs scientifiques particuliers, considérés comme stratégiques pour le développement national ; la génération de revenus ; le développement national des compétences. Du point de vue des pays d accueil qui sont souvent des pays en développement ou des pays émergents, le développement national des compétences est sans aucun doute la raison politique majeure, car souvent les systèmes d enseignement supérieur ne sont pas en mesure de satisfaire la demande sociale. À cela s ajoute l existence possible de lacunes qualitatives dans l offre de formation. D autres raisons politiques sont : la création de meilleures opportunités de mobilité pour les étudiants et les professionnels ; l extension de la couverture pour répondre à la demande de poursuite d études non satisfaite ; l amélioration des stratégies pédagogiques. En plus des raisons politiques générales, les pays doivent faire des choix de base et se demander : 44 Module 5 : Réglementer et assurer la qualité des prestataires transfrontaliers

263 si le gouvernement peut agir comme régulateur et/ou (principal) prestataire d enseignement supérieur ; si l enseignement supérieur transnational doit être invité ou toléré pour ensuite faire partie ou non de l offre d enseignement supérieur officiellement reconnue ; si la mobilité des établissements et filières sera l option d enseignement supérieur transnational choisie au lieu de la mobilité des étudiants ; enfin, quels systèmes de régulation et d assurance qualité sont les mieux adaptés au contexte national et aux objectifs politiques. Les systèmes de régulation et d assurance qualité sont donc des instruments de politique qui doivent être cohérents avec les objectifs de politique générale. Ainsi, ils peuvent viser à élargir l accès, à combler les lacunes qualitatives dans l offre d enseignement supérieur ou à protéger un système d enseignement supérieur national, encore fragile, d une concurrence perçue comme injuste. Toutefois, on doit reconnaître que les systèmes de régulation et d assurance qualité ne représentent qu un type d instruments de politique. Les bourses, les visas, la politique d émigration en sont d autres (OCDE, 2004a). Une analyse de la relation entre les objectifs de politique générale et les réponses en termes de régulation, est présentée ci-dessous. Encadré 22. Systèmes libéraux à Oman, au Kenya et dans la fédération de Russie Le système de régulation sur l enseignement supérieur transnational établi à Oman montre clairement que la raison de politique générale qui guide ce système est le développement des compétences à travers l expansion de l offre d enseignement supérieur qui passe par l élargissement d accès à l enseignement supérieur. Cet objectif est poursuivi à travers le développement du secteur d enseignement supérieur privé national censé conclure des accords d affiliation avec des prestataires internationaux. L élargissement de l accès à une population très jeune, en croissance rapide, dont actuellement un tiers seulement peut être accueilli dans les établissements publics, est une raison valable pour encourager un système de régulation. Cela explique aussi le soutien généreux du gouvernement d Oman au secteur privé national. Le Kenya et la fédération de Russie sont confrontés à des situations semblables d insuffisance de la capacité d accueil nationale pour répondre à la demande sociale d enseignement supérieur. Au Kenya, le secteur non universitaire est sous-développé, alors que le marché de l emploi a besoin de main-d œuvre de niveau intermédiaire pour le secteur des services, en particulier dans les domaines des technologies de l information et de la comptabilité. L énorme demande d enseignement supérieur, met la fédération de Russie dans une situation semblable d insuffisance dans la capacité d accueil nationale pour la satisfaire. De plus, il faut combler les lacunes qualitatives dans l offre de formation. Les deux pays utilisent des systèmes libéraux ou modérément régulateurs pour leurs prestataires transnationaux, ce qui laisse à ces derniers un grand espace pour se développer et fonctionner au sein du système d enseignement supérieur national. Source : Martin, Module 5 : Réglementer et assurer la qualité des prestataires transfrontaliers

264 Cadres internationaux pour la régulation et l assurance qualité de l enseignement supérieur transfrontalier Ce module s est intéressé au pays importateur seulement, en termes de politique et de réponse de régulation. Toutefois, les pays d «envoi» ont aussi des enjeux dans l enseignement supérieur transfrontalier. Ils peuvent avoir des objectifs politiques qui vont au-delà de celui d engranger des revenus. Ces objectifs peuvent être l attraction de main-d œuvre qualifiée et l amélioration de leur image et de leur statut international dans d autres pays, à travers des contacts et des liens établis par l enseignement supérieur transnational. C est pour cela que beaucoup de pays d envoi considèrent qu ils sont responsables de la qualité de l enseignement supérieur que leurs établissements exportent. Pour cette raison, ils insistent pour que leur enseignement supérieur transnational soit régulé et obéisse aux principes de qualité de la même façon que leur enseignement supérieur national. La responsabilité de l enseignement supérieur transnational est donc internationale. En effet, les organismes internationaux comme le Conseil de l Europe en coopération avec l UNESCO et le CEPES en 2001, puis l UNESCO en coopération avec l OCDE en 2005, ont entrepris d établir des lignes directrices pour l offre d enseignement supérieur transnational. Les «Lignes directrices UNESCO/OCDE pour des prestations de qualité dans l'enseignement supérieur transfrontalier destinées à garantir la qualité dans l enseignement supérieur transnational» visent à soutenir et à encourager la coopération internationale et la compréhension de l importance de la qualité dans l enseignement supérieur transfrontalier. Ces organismes cherchent à protéger les étudiants et autres parties intéressées des prestataires malhonnêtes, et à encourager le développement de l enseignement supérieur transfrontalier de qualité qui répond aux besoins humains, sociaux, économiques et culturels. Une de leurs fonctions majeures pour assurer la qualité et la pertinence de l enseignement supérieur transfrontalier, est l amélioration de la responsabilité dans le cadre des partenariats, le partage, le dialogue, la confiance mutuelle et le respect entre pays d envoi et pays d accueil. 46 Module 5 : Réglementer et assurer la qualité des prestataires transfrontaliers

265 Encadré 23. Développement des Lignes directrices OCDE/UNESCO pour des prestations de qualité dans l'enseignement supérieur transfrontalier L'UNESCO et l'ocde, dans leurs Lignes directrices, encouragent les pouvoirs publics et les autres acteurs concernés tels que les établissements d'enseignement supérieur, les associations d'étudiants, les organismes d'assurance qualité et d'homologation ainsi que les organismes de reconnaissance académique et professionnelle à prendre des mesures en s'inspirant des trois grands principes suivants : Confiance et respect mutuels entre les pays et reconnaissance de l'utilité de la collaboration internationale dans l'enseignement supérieur. Reconnaissance de l'importance de la souveraineté nationale en ce qui concerne les systèmes d'enseignement supérieur et de la diversité de ces systèmes. Reconnaissance du rôle que joue l'enseignement supérieur comme moyen d'expression de la diversité linguistique et culturelle d'un pays et aussi comme instrument du développement économique et de la cohésion sociale. Ces Lignes directrices sont conçues pour faciliter l'accès des étudiants à des informations fiables sur les activités d'enseignement supérieur proposées dans d'autres pays que le leur ou dans leur pays, par des fournisseurs étrangers. Les pouvoirs publics et les autres acteurs concernés sont invités à assurer la transparence des titres et diplômes et à apporter des précisions sur les procédures de reconnaissance de ces documents à l'échelle internationale. (.) Dans ces Lignes directrices, il est spécifiquement recommandé: Aux gouvernements d'établir des systèmes exhaustifs d'assurance qualité et d'homologation des activités transfrontalières d'enseignement supérieur, reconnaissant que ces deux aspects impliquent à la fois les pays d'origine et d'accueil. Aux établissements/producteurs d'enseignement supérieur de s'assurer que les formations dispensées aussi bien à l'intérieur qu'à l'extérieur des frontières nationales sont de qualité comparable et qu'elles tiennent aussi compte des sensibilités culturelles et linguistiques du pays d'accueil. Aux associations étudiantes de participer activement, en tant que partenaires, à l'échelle internationale, nationale et des établissements, à la création, au suivi et à l'enrichissement d'une offre transfrontalière d'enseignement supérieur de qualité. Source : site web de l OCDE L internationalisation et le commerce de l enseignement supérieur peuvent se faire au bénéfice mutuel des pays d envoi et des pays d accueil. Mais certaines conditions doivent être remplies pour que le pays d accueil récolte tous les bénéfices possibles (OCDE, 2004a). Hugonnier (2005) a identifié huit conditions principales. Elles sont présentées dans l encadré Module 5 : Réglementer et assurer la qualité des prestataires transfrontaliers

266 Encadré 24. Conditions que doivent remplir les pays pour bénéficier de l enseignement supérieur transnational L offre étrangère répond aux besoins (besoins économiques, sociaux et culturels) du pays importateur (condition de pertinence) ; les apprenants sont protégés de l offre et des diplômes de qualité médiocre (condition de qualité) ; les diplômes sont valides au niveau international (condition d utilité) ; le risque d instabilité et de discontinuité du système éducatif du pays d accueil est limité (condition de souveraineté) ; la coopération internationale entre les agences d assurance qualité et d accréditation est renforcée (condition de coopération) ; l existence des systèmes d assurance qualité et d accréditation forts ; dans le cas contraire, leur développement doit être soutenu (condition de développement des compétences) ; le risque de fuite des cerveaux est minimisé (condition de fuite des cerveaux) ; l écart entre les pays les moins développés et les pays en développement est atténué grâce à l aide au développement appropriée pour l éducation (condition d écart en éducation). Source : Hugonnier, 2005 À moins que toutes ces conditions soient remplies, des questions peuvent se poser sur les bénéfices des pays d accueil, lorsqu ils entreprennent d internationaliser davantage leur enseignement supérieur en élargissant l importation des services d enseignement supérieur. Cela vaut surtout pour les pays en développement. Les lignes directrices sont disponibles sur le site suivant : Activité 5 En tant que gestionnaire ou décideur, que pouvez-vous apprendre des lignes directrices sur l enseignement supérieur transfrontalier de l UNESCO/OCDE? 48 Module 5 : Réglementer et assurer la qualité des prestataires transfrontaliers

267 Points à retenir Point 1 : La responsabilité de l assurance qualité pour l enseignement supérieur transfrontalier appartient au pays d accueil, en coordination, éventuellement, avec le pays d «envoi». Beaucoup de pays ont des systèmes modérément restrictifs pour les prestataires transfrontaliers. Les prestataires étrangers doivent simplement remplir des conditions minimales, notamment avoir la reconnaissance officielle dans leur pays d origine, avant de commencer à fonctionner. Cependant, ce type de système peut s avérer insuffisant à garantir la conformité de l offre étrangère au système de qualité national. Le principe de base est que la responsabilité principale pour toute offre d enseignement supérieur appartient au pays d accueil. L assurance qualité pour l offre d enseignement supérieur transfrontalière peut être organisée en collaboration avec le pays d envoi. Elle peut donc prendre en compte l information en provenance du système d assurance qualité du pays d envoi pour éviter de répéter les efforts. Toutefois, les conditions nationales de qualité doivent être respectées. Point 2 : Il est nécessaire d avoir un système d information complet, fiable et actualisé et un système de contrôle pour l offre d enseignement supérieur transnational. Beaucoup de pays n ont pas de système centralisé de collecte de données et de contrôle pour les prestataires d enseignement supérieur transnational. Pour avoir un tableau de la situation, ils doivent rassembler des informations de sources différentes, afin d obtenir une image approximative de l offre ; de plus, celle-ci change constamment. L information peut être repérée à travers les annonces parues dans la presse, les médias ou les annuaires éducatifs privés. Dans la plupart des pays examinés dans les études de cas, des informations non centralisées sont disponibles sur des filières d études conjointes ou l enseignement à distance. Bien qu il soit difficile d avoir un plan pour le segment d enseignement supérieur transnational, il est nécessaire qu il soit contrôlé sur la base des questions suivantes : quels sont les prestataires? quel est leur impact sur le système national? comment évoluent-ils? Point 3 : Il est nécessaire de renforcer les dispositifs de protection des consommateurs à travers l information publique sur le statut des prestataires d enseignement supérieur transnational. Les étudiants doivent avoir accès à l information sur la reconnaissance et l accréditation par le pays d accueil comme par le pays d origine, pour qu ils puissent choisir en connaissance de cause. Ils doivent aussi être informés sur l existence éventuelle des prestataires frauduleux et la manière de se renseigner sur le statut du prestataire transfrontalier. En Afrique du Sud cela se fait au niveau du second cycle de l enseignement secondaire. Enfin, il est important, de réglementer la publicité commerciale pour garantir la validité de l information. 49 Module 5 : Réglementer et assurer la qualité des prestataires transfrontaliers

268 Point 4 : Une meilleure collaboration est nécessaire entre les agences gouvernementales chargées des différentes étapes de régulation et d assurance qualité. Souvent, les dispositifs de régulation et d assurance qualité sont en place. Cependant, ils sont faibles parce qu ils sont fragmentés et il n y a pas de collaboration entre les départements ministériels. Dans beaucoup de cas, les procédures d enregistrement et d autorisation de fonctionnement ne sont pas articulées parce que les autorités publiques manquent de système de coordination. Ainsi, les prestataires transfrontaliers peuvent réussir à contourner le cadre régulateur national, parce que la répartition des responsabilités entre les organismes publics compétents pour le secteur technique et professionnel et ceux compétents pour l enseignement supérieur n est pas claire. Il existe aussi des zones de flou, comme les filières diplômantes dont les premières années sont organisées dans le pays d accueil et les formations de courte durée. Point 5 : Il est nécessaire que les politiques de régulation qui ont une portée large et une vision à long terme (l enseignement supérieur est souvent réticent à traiter ce défi) soient articulées avec des objectifs politiques à long terme (qualité et équité). Beaucoup de pays n ont pas de cadre régulateur pour l offre d enseignement supérieur transfrontalier. Ils utilisent simplement celui établi pour le secteur d enseignement supérieur privé. Dans les pays qui disposent d un tel cadre, les systèmes de régulation et les politiques d assurance qualité sont souvent définis au coup par coup pour traiter des problèmes spécifiques. Ceci ne donne pas une vision claire de ce que l offre transfrontalière peut apporter au système. Il semble que les systèmes d enseignement supérieur soient quelque peu réticents à traiter les défis de politique posés par l offre d enseignement supérieur transfrontalier. Il est donc nécessaire de mettre en place des politiques de régulation ayant une portée large. Les questions de qualité et d équité, en particulier, doivent être abordées. La politique doit avoir une vision à long terme et évoluer en conformité avec d autres objectifs nationaux pour le développement de l enseignement supérieur. Les pays doivent définir les champs où les prestataires d enseignement supérieur transnational sont nécessaires pour le développement des ressources humaines. Ils devraient alors identifier des prestataires d enseignement supérieur transfrontalier adéquats et trouver comment ceux-ci peuvent dispenser l enseignement supérieur transfrontalier dont le pays a besoin. Point 6 : Il est nécessaire, au niveau des filières, d avoir des systèmes incitatifs forts liés à l accréditation volontaire pour le contrôle de qualité de l enseignement supérieur franchisé. Dans beaucoup de pays, les procédures d autorisation sont assez bien développées et constituent un filtre efficace contre l offre de qualité médiocre. Les autres dispositifs volontaire d assurance qualité, cependant, n arrivent pas à couvrir toute l offre d enseignement supérieur Cela signifie que les prestataires d enseignement supérieur transnational ont une grande latitude pour contourner les dispositifs nationaux d assurance qualité, en particulier au niveau des filières. L enseignement supérieur franchisé est implanté dans des établissements qui ont reçu l autorisation de fonctionnement, l accréditation restant volontaire. Quand les systèmes d assurance qualité sont volontaires, il est nécessaire de les rattacher à des systèmes d incitation forts pour encourager les prestataires d enseignement supérieur transnational à demander l accréditation. 50 Module 5 : Réglementer et assurer la qualité des prestataires transfrontaliers

269 Point 7 : Il est nécessaire de mettre les prestataires publics et privés sur un pied d égalité. Dans le passé, beaucoup de systèmes d assurance qualité avaient pour cible l offre croissante d enseignement supérieur privé dont la qualité posait des problèmes. Plus récemment, les pays ont reconnu qu il y a aussi des problèmes de qualité à traiter dans le secteur public. De plus, les frontières entre le public et le privé se sont quelque peu brouillées. Les établissements publics comme les établissements privés devraient atteindre les objectifs de la même politique. Pour cette raison, les dispositifs d assurance qualité, de plus en plus, couvrent l offre de formation supérieure publique et privée. 51 Module 5 : Réglementer et assurer la qualité des prestataires transfrontaliers

270 Références bibliographiques Association internationale des universités (ensemble avec CHEA et ACE). Un enseignement supérieur de qualité au-delà des frontières : comment identifier et élaborer de bonnes pratiques? Disponible sous : f.pdf Barblan, A «L offre internationale d enseignement supérieur : les universités ont-elles besoin d AGCS?» Politiques et gestion de l enseignement supérieur, Vol 14, No 3, p Department of Education, Culture and Sports Manual of Regulations for Private Schools. Manila, Philippines: DECS. Gouvernement de Hong Kong SAR Non-Local Higher and Professional Education (Regulation) Ordinance. Available at: Hugonnier, B The UNESCO/OECD guidelines on quality provision in crossborder higher education: What do they bring to international co-operation? Paper presented at the IIEP Policy Forum, Paris, France, June IDP Global student mobility: An Australian perspective five years on. Canberra: IDP Australia, disponible sur: Jokivirta, l. 2005, Cross-border higher education in francophone Africa. Part 1 and 2. Observatory on Borderless Higher Education. Kaberia, F Regulation and quality assurance for transnational (commercial) providers in Kenya. In: Martin, M Cross-border higher education: regulation, quality assurance and impact. (vol.2). Paris: IIEP-UNESCO. Knight, J. 2006a. Commercial cross-border education: implications for financing higher education. In: Higher education in the world The financing of universities (GUNI Series on the Social Commitment of Universities 1). (p ) New York: Palgrave. Knight J. 2006b Higher Education Crossing Borders: A Guide to the Implications of the General Agreement on Trade in Services (GATS) for Cross-border Education. Rapport préparé pour le Commonwealth of Learning et l UNESCO. unesdoc.unesco.org/images/0014/001473/147363e.pdf Larsen, K. et Vincent-Lancrin, S «Le commerce international de services d éducation : Est-il bon? Est-il mauvais?» Politiques et gestion de l enseignement supérieur, Vol.14, No 3, p Lemaître, M.J Transnational higher education in Chile: A new development (p ). In: Martin, M Cross-border higher education: regulation, quality assurance and impact (vol.2) Paris: IIEP-UNESCO. 52 Module 5 : Réglementer et assurer la qualité des prestataires transfrontaliers

271 Machado Dos Santos, S Regulation and quality assurance in transnational education. In: Tertiary education and management, 8(2), Martin, M The cross-border challenge in higher education in seven developing countries. (p.7-56) In: Martin, M Cross-border higher education: Regulation, quality assurance and impact (vol.2) Paris: IIEP-UNESCO. Naidoo, P Student quality literacy and empowerment. Paper presented at the Second Global Forum on International Quality Assurance, Accreditation and the Recognition of Qualifications, UNESCO, Paris, France, June, Naidoo, P.; Singh, M National regulation of transnational higher education: South African Case study. In: Martin, M Cross-border higher education: Regulation, quality assurance and impact. (vol.2). Paris: IIEP-UNESCO. Organisation de coopération et de développement économiques (OCDE) «Internationalisation croissante de l enseignement post-secondaire» Analyse des politiques d éducation 2002, chapitre 4. Paris: OCDE. Organisation de coopération et de développement économiques (OCDE). 2004a. Enseignement supérieur: Internationalisation et commerce. Paris: OCDE. Organisation de coopération et de développement économiques (OCDE). 2004b. Qualité et reconnaissance des diplômes de l enseignement supérieur: Un défi international. Paris: OCDE. Shahabudin, S.A Regulation of cross-border education in Malaysia. Paper presented at the IIEP Policy Forum, Paris, France, June, Tayag, J Transnational commercial provision of higher education: Philippines case (pp ). In: Martin, M Cross-border higher education: Regulation, quality assurance and impact (vol.2). Paris: IIEP-UNESCO. Van Damme, D «Tendances et modèles de l assurance internationale de la qualité de l enseignement supérieur en relation avec le commerce des services d éducation». Politiques et gestion de l enseignement supérieur, Vol.14, No.3, p Verbik, L.; Jokivirta, L National regulatory frameworks for transnational higher education: Models and trends, Part 1. Briefing Note 22. The Observatory on Borderless Higher Education, February. Villanueva, E Transnational commercial provision of higher education. Argentina case. In: Martin, M Cross-border higher education: Regulation, quality assurance and impact. (2 vol.) Paris: IIEP-UNESCO. UNESCO, Conseil de l Europe Code de bonnes pratiques pour la prestation d un enseignement transfrontalier. Disponible sur le site web du Conseil de l Europe: practice_fr.asp 53 Module 5 : Réglementer et assurer la qualité des prestataires transfrontaliers

272 UNESCO Rapport de synthèse sur les tendances et les développements dans l enseignement supérieur depuis la Conférence mondiale pour l Enseignement Supérieur ( ). Paris: UNESCO. UNESCO L enseignement supérieur dans une société mondialisée. Document cadre de l UNESCO. Paris: UNESCO. UNESCO Lignes directrices pour des prestations de qualité dans l enseignement supérieur transfrontalier. Disponible sous : unesdoc.unesco.org/images/0014/001433/143349f.pdf Sites web Association internationale des universités (IAU): Observatory on Borderless Higher Education (OBHE): Organisation de coopération et de développement économiques (OECD) : Organisation mondiale du commerce (OMC): Université virtuelle africaine (UVA): 54 Module 5 : Réglementer et assurer la qualité des prestataires transfrontaliers

273 Les modules sur l Assurance qualité externe : options pour les gestionnaires de l enseignement supérieur L assurance qualité externe (AQE) constitue aujourd hui l un des volets les plus importants de la politique d enseignement supérieur. De plus en plus de pays se demandent si leurs structures traditionnelles d assurance qualité sont encore valables et si elles ne doivent pas créer de nouveaux mécanismes. Il est important de noter que la mise en place de ces systèmes peut servir différents objectifs (la reddition des comptes, la conformité aux standards, l amélioration de la qualité). Différentes options peuvent répondre à la variété des objectifs mentionnés au sein des systèmes d assurance qualité externe (AQE). Les matériaux développés par l UNESCO à l Institut international pour la planifi cation de l éducation (IIPE) ont pour cible les décideurs et gestionnaires dans les départements gouvernementaux. Ces modules devront apporter un soutien pour leurs décisions sur les systèmes d assurance qualité externe à mettre en place. Ces modules sont basés sur les résultats obtenus par deux projets de recherche de l IIPE, l un sur «les options méthodologiques et organisationnels dans les systèmes d accréditation» et l autre sur «la régulation et l assurance qualité des fournisseurs d enseignement supérieur transfrontaliers». Accessible à tous, ces modules sont conçus pour être employés dans des situations d apprentissage variés, de l étude indépendante à la formation présentielle. Ils peuvent être consultés sur le site web de l IIPE et seront révisés selon besoin. Les usagers sont encouragés à envoyer leurs suggestions et commentaires. Les auteurs Les matériaux ont été préparés par Michaela Martin et Antony Stella. Michaela Martin est Spécialiste du programme à l IIPE, chargée du programme de recherche et de formation sur l assurance qualité externe. Antony Stella est Directeur d audit à l Agence australienne d assurance qualité (AUQA).