Région nord pas-de-calais

Aeres 2010 Analyses régionales des évaluations réalisées entre 2007 et 2010 Région nord pas-de-calais Académie de lille

Introduction L AERES est un acteur récent du paysage français de l enseignement supérieur et de la recherche. S il traduit bien entendu la volonté du législateur de doter le pays d un outil d évaluation capable d éclairer les décideurs de toutes natures (directions d établissements et d organismes en contrepartie d une autonomie toujours renforcée, mais aussi ministères), son originalité provient surtout de ses grands principes fondateurs : évaluation de toutes les structures à la même aune, évaluation intégrant formation, recherche et gouvernance, évaluation transparente jusqu à la publicité de tous ses rapports permettant à chaque structure de se situer sur le plan national et international. L agence a conduit, depuis le printemps 2007, l évaluation des formations et diplômes, des unités de recherche et des établissements en suivant le rythme des vagues contractuelles 1 du ministère de l Enseignement supérieur et de la Recherche. 10 000 évaluations ont été menées à bien en moins de 4 années. Cette activité d évaluation s est accompagnée d une réflexion de l AERES sur ses méthodes. Leur inscription dans une démarche qualité a conduit l agence à appliquer «les références et lignes directrices pour l assurance qualité dans l espace européen de l enseignement supérieur» et à fournir un cadre pérenne pour apprécier régulièrement leur adéquation avec les besoins des différentes parties prenantes. Notre récente reconduction de l agence comme membre de plein droit de l ENQA 2 en témoigne. Des règles claires de déontologie ont aussi été édictées et leur application a été vérifiée avec vigilance. Elles ont été récemment saluées par l Académie des Sciences 3. Ce travail est une étude régionale, académie par académie, des résultats des évaluations conduites entre 2007 et 2010 des établissements d enseignement supérieur, en termes de recherche et valorisation, d offre de formation et de vie étudiante, de relations extérieures et internationales et enfin de gouvernance. Il s est intéressé, aux seules universités (à quelques exceptions près), car l évaluation des écoles participant à un pôle d enseignement supérieur et de recherche (PRES) n a débuté que plus tardivement. L analyse de l évaluation des écoles sera partie intégrante des versions ultérieures. Enfin, tous les organismes de recherche, au premier rang desquels le CNRS, n étant pas encore évalués, leur analyse sera incluse dans la prochaine édition. 1 L AERES cale son calendrier sur celui des vagues contractuelles de la direction générale de l enseignement supérieur et de l insertion professionnelle qui concernent 90 % des structures évaluées par l AERES. Cela permet à ces structures comme au Ministère de disposer de l évaluation au moment de la discussion contractuelle. L AERES a de ce fait évalué un quart de la France chaque année. 2 European Association for Quality Assurance in Higher Education. 3 L évaluation individuelle des chercheurs et des enseignants chercheurs en sciences exactes et expérimentales, rapport de l Académie des Sciences du 8 juillet 2009, page 13. 2 AERES 2010 Analyses régionales des évaluations réalisées entre 2007 et 2010

Il s agit d une œuvre collective qui montre tout l intérêt d avoir rassemblé en un lieu unique l ensemble des acteurs de l évaluation institutionnelle. Si tout le personnel de l agence y a contribué et il convient de souligner ici le travail que cela représente elle n aurait pu voir le jour sans la complémentarité des approches et les allers-retours entre les différents secteurs de l agence. Elle a été réalisée à partir des rapports, des analyses et des synthèses votées par le conseil de l agence. La présentation de cette étude adopte le plan suivant : pour chaque académie étudiée, le rapport débute par une analyse globale du site. Cette présentation est accompagnée d une synthèse de l évaluation de chaque université, incluant ses points forts, ses points faibles et ses axes d amélioration. Les indicateurs de chaque université figurent à la suite. Une troisième partie est consacrée à un examen de «l offre licences» au sein de l académie. Enfin, le rapport analyse les activités de recherche et de l enseignement adossé à la recherche (masters et écoles doctorales) dans les trois grands domaines : sciences et technologies - sciences de la vie, de la santé et de l écologie - sciences humaines et sociales. Cette dernière analyse permet d estimer l interaction entre recherche et enseignement au niveau du master et du doctorat. Ce premier tour de France a bien sûr ses limites. D abord, notre méthodologie s est affinée au cours de ces 4 années. De plus, au cours de la campagne 2007 (correspondant à la vague B de contractualisation), l évaluation des unités de recherche a été effectuée pour la dernière fois par les organismes de recherche et la mission scientifique, technique et pédagogique du Ministère de la recherche. Les points de méthodologie sont détaillés d une part dans les textes dévolus à l évolution des procédures d évaluation des formations, des unités de recherche et des établissements et d autre part brièvement rappelés dans le texte, quand cela a été jugé nécessaire. L absence d étude, couplée aux universités, des écoles et des organismes de recherche limite la portée de l analyse de la politique de site, bien que leurs rôles respectifs soient rappelés dans l analyse globale du site en début de chapitre et dans celle des unités de recherche. Enfin, le décalage des évaluations dans le temps pourrait pénaliser les établissements étudiés en 2007. Cette étude régionale présente, pour la première fois, une analyse de l évaluation «intégrée» de l offre de formation et des activités de recherche des universités regroupées au sein de leur académie. Plutôt que d énumérer toutes les unités de recherche et l offre de formation adossée à la recherche, nous avons détaillé celles qui ont paru aux experts les plus dynamiques et innovantes, particulièrement lorsqu elles sont associées à des masters et des écoles doctorales de qualité définissant des pôles d excellence où la fertilisation croisée entre enseignement et recherche n est pas un vain mot. Jean-François Dhainaut Président de l'aeres AERES 2010 Analyses régionales des évaluations réalisées entre 2007 et 2010 3

Réflexions méthodologiques Les principes généraux de l évaluation L agence a mis en place une méthodologie, adoptée par son conseil, qui est déclinée pour chaque objet évalué. Avant d en revoir plus précisément l évolution, respectivement, pour la recherche, les formations et les établissements, il convient d en rappeler les principales caractéristiques. L agence a souhaité tirer parti de la présence en un même lieu d évaluations de formation, d unité de recherche et d établissement. Elle a ainsi fait le choix d articuler l ensemble de ses processus de manière à réaliser une évaluation intégrée : l évaluation des formations d enseignement supérieur et, tout spécialement du doctorat, nécessite la connaissance de la qualité de leur adossement à la recherche ; l évaluation des établissements est menée de façon plus pertinente, si elle prend en compte les évaluations de l offre de formation et des unités de recherche. Dans cette perspective, l évaluation est organisée en trois phases successives : unité de recherche, puis formations (licence, master, écoles doctorales) et enfin établissements. Dans tous les cas, l évaluation est organisée en trois temps : préparation, expertise, restitution et élaboration du rapport. Lors de chaque campagne les entités concernées 1 préparent un dossier dont les modalités ont fait l objet d une discussion avec l ensemble des parties prenantes. Il comporte des éléments de bilan et d autoévaluation ainsi que des éléments prospectifs. Dans le domaine de la recherche, la partie autoévaluation encore peu développée se présente sous forme d une auto-analyse. Pour les formations et les établissements, ces dossiers sont complétés par les retours d évaluation des unités de recherche. L expertise se déroule sur le site de l entité évaluée à l exception des licences et master où l expertise est réalisée à l agence et sur dossier. L expertise est collégiale, réalisée par des pairs mais aussi des représentants de la société civile et des étudiants en fonction de la nature de l objet évalué 2. Chaque rapport d évaluation adressé au(x) responsable(s) des entités évaluées pour lui (leur) permettre de faire ses (leurs) observations à l AERES. Celles-ci sont annexées au rapport et en font partie intégrante. L agence procède à des notations pour les formations et les unités de recherche. Le rapport, avec les notes le cas échéant, accompagné des observations est transmis aux responsables des entités évaluées, aux parties prenantes concernées et publié sur le site web de l AERES. À l issue de chaque campagne, l agence organise des retours d expérience. En quatre ans, à la lumière notamment de ces retours, l agence a fait évoluer ses processus. 3 Évolution de l évaluation des unités de recherche Investie de l évaluation de toutes les unités de recherche françaises, l agence a été confrontée à un ensemble de défis de grande ampleur : la diversité des objets à évaluer, la nécessaire évolution des pratiques antérieures d évaluation et de leur rendu en tenant compte de celles des autres pays, les attentes des différentes parties prenantes Ces défis ont imposé de mettre au point des outils méthodologiques adaptables à la grande variété de situations et permettant une restitution de l évaluation qui satisfasse toutes les parties prenantes. 1 L AERES évalue un quart de la France chaque année en fonction des zones de contractualisation du MESER. 2 L AERES dispose d un vivier de 10 000 experts proposés par les membres du conseil de l agence et l ensemble des parties prenantes hors ministères. 3 Afin de faciliter la lecture, et retrouver plus aisément les particularités de chaque campagne, il est fait mention de la vague (B, C, A, D) en haut de chaque fiche d établissement et une cartouche placée en début de chaque académie fait un bref rappel de la méthodologie employée. 4 AERES 2010 Analyses régionales des évaluations réalisées entre 2007 et 2010

Réflexions méthodologiques L AERES a établi un cadre de l évaluation qui s est à la fois simplifié et enrichi au fur et à mesure des retours d expérience. C est ainsi que l agence s est imposée sur le terrain par : une concertation avec les parties prenantes encadrant l évaluation, une indépendance vis-à-vis d elles lors de l évaluation, une capacité d adaptation à toutes les situations de recherche, une méthodologie claire, transparente et acceptée, une publication des rapports et des observations des structures évaluées sur le site de l agence, un traitement vigilant des conflits d intérêt. Au cours des trois campagnes d évaluation, plus de 2 000 unités de recherche ont été évaluées et l agence est sollicitée pour étendre son périmètre en direction des autres ministères et vers des objets assez différents des unités de recherche classiques (CIC 1, TGIR 2 ). Parallèlement à l augmentation de son périmètre, l agence doit développer des synthèses géographiques ou thématiques utiles à la communauté nationale voire internationale. Un dossier d évaluation unique, affiné en concertation avec les parties prenantes Dès la première campagne d évaluation, l AERES a lancé une concertation avec les représentants de toutes les parties prenantes simplifiant de manière significative les procédures pour les unités de recherche. Ce travail commun a permis d élaborer un document «le dossier unique d évaluation» qui devait être jugé comme pertinent par tous les opérateurs de la recherche quels que soient leurs domaines d activité et leurs missions. Une mise à jour du «dossier unique» est effectuée annuellement en tenant compte des souhaits et de l expérience des acteurs. Des rencontres avec les organismes de recherche, la commission recherche de la CPU et les présidences et directions d un grand nombre d établissements et organismes sont organisées de manière périodique. Un travail en commun avec des représentants du secteur Ingénierie a permis d aboutir à des recommandations communes et d affiner les items de la grille multicritères d évaluation. Il est tenu compte aussi de documents issus des milieux professionnels comme celui du groupe EREFIN par exemple. La prise en compte des budgets complets des laboratoires en recherche finalisée a conduit à demander dans tous les dossiers une description globale du potentiel financier d une unité et à insister, dans la discussion avec les responsables de l unité, sur l adéquation de ses moyens et de ses objectifs. La liste des productions a été élargie de manière à inclure tous les types de recherche. Il est essentiel que la perception des experts ne soit pas limitée à la seule production académique, mais inclue les autres types de production et de diffusion de la connaissance. Une égalité de traitement de toutes les unités, gage d équité et outil stratégique Par suite de la diversité de leurs organismes de tutelle et parfois au sein d un même organisme de recherche, les pratiques d évaluation étaient extrêmement variées. Certaines unités bénéficiaient d une visite sur site, d autres d une évaluation sur dossier, d autres ignoraient les modalités de leur évaluation. Toutes les unités sont maintenant évaluées selon les mêmes procédures quels que soient leur statut ou leur tutelle. Le changement est particulièrement significatif pour les équipes d accueil universitaires, soit plus de 1 100 unités de recherche, qui sont maintenant intégrées dans un seul et même dispositif d évaluation identique à celui des autres unités de recherche. Certains domaines, comme le droit ou les lettres ne disposaient quasiment pas de données d évaluation. Ce traitement exhaustif des unités de recherche permet une vision à différentes échelles plus large que celle de l unité de recherche proprement dite. Ainsi la situation d une discipline sur un site donné est maintenant accessible, car toute l activité de recherche est évaluée à un instant donné, sur un site donné et avec une méthodologie cohérente. Des synthèses, disponibles dans les rapports annuels de l agence, ont ainsi été faites à partir de l évaluation des unités de recherche à l échelle des régions (ou académies pour la région francilienne). Conformément à ses valeurs, l AERES a fait le choix d une transparence totale du processus, dans le respect des personnes, des règles de déontologie et de confidentialité des débats. Elle garde confidentielles les données potentiellement valorisables en mettant en œuvre des procédures spécifiques et connues. Cette transparence se décline concrètement dans l explicitation de toutes les procédures, la publicité des rapports incluant les observations en retour, la diffusion des listes d experts Une méthodologie dont toutes les étapes sont explicitées, innovante dans le paysage français de la recherche La section des unités a édité des documents précisant les différentes étapes de l évaluation des unités de recherche : préparation, visite, rédaction et notation. 1 Centre d Investigation Clinique. 2 Très Grande Infrastructure de Recherche. AERES 2010 Analyses régionales des évaluations réalisées entre 2007 et 2010 5

Ces documents passés au crible de l assurance qualité sont disponibles sur le site web de l agence. Ils assurent l homogénéité des procédures dans les différents champs d intervention de l agence. L AERES a introduit en France ou généralisé des outils d évaluation peu usités dans notre pays. Un benchmarking international montre la convergence des approches de l évaluation développées en Grande Bretagne et aux Pays Bas sur un certain nombre de points : analyse SWOT 1, évaluation de l impact, rapport d évaluation par les pairs, usage critique de la bibliométrie, notation multicritérisée L agence a choisi de privilégier l appréciation par les pairs par rapport à une approche purement bibliométrique, appréciation qui s adapte mieux à tous les domaines d activité. Alors que, dans le secteur de la biologie, les outils bibliométriques sont très généralement utilisés, d autres indicateurs comme les invitations à des conférences internationales majeures ou la publication d ouvrages faisant référence sont mieux pris en compte en informatique ou en littérature par exemple. La pratique de l AERES s est adaptée aux références de chaque communauté. Tant les dossiers demandés que le déroulé des visites font une place de plus en plus affirmée à l autoévaluation. L extraction des productions les plus significatives de chaque unité ou équipe de recherche et surtout l analyse SWOT imposent une démarche de sélection et un travail d analyse interne à l unité en évaluation. La restitution des évaluations (forme et contenu du rapport) a aussi été progressivement adaptée de manière à mieux mettre en évidence les messages à faire passer. Le contenu des rapports, initialement libre, a été cadré depuis 2009 dans une maquette reprenant les rubriques de la notation multicritère. Un représentant de chaque instance d évaluation des chercheurs et enseignants-chercheurs impliqués dans l unité de recherche appartient en tant qu expert au comité qui visite l unité. Les enseignants-chercheurs, représentés par le membre désigné par le CNU 2, sont donc maintenant traités sur un pied d égalité avec les chercheurs des organismes. L articulation avec le CNU, inexistante jusqu ici dans les visites aux unités de recherche, devrait permettre la prise en compte de toutes les missions des enseignants-chercheurs dans les différentes évaluations. Le passage de la note globale à une notation multicritère permet d affiner le rendu de l évaluation La question de savoir si l AERES devait noter ou non les unités de recherche et les équipes a été discutée au sein de l agence et de son conseil dès 2007. La notation des unités du meilleur (A+) au moins bon (C) est un outil largement adopté en Europe et réclamé par les parties prenantes. La notation de l AERES est établie de manière collégiale par un panel regroupant les présidents de comités d experts d un même champ disciplinaire. Initialement seule une note globale était attribuée aux unités, mais les limites de l exercice sont apparues et, dès la seconde vague d évaluation, l introduction d une note multicritérisée, palliant au moins partiellement le caractère réducteur de la note globale, s est imposée. Les quatre critères pris en compte résultent d un processus bottom-up dans lequel des représentants de chaque communauté ont identifié quatre critères, puis ont confronté leurs conclusions dans des panels de plus en plus larges, pour finalement aboutir à un ensemble de 4 items consensuels. Le référentiel de notation a été testé au cours de la campagne 2009-2010 et son usage est maintenant généralisé. L agence ne peut se désintéresser des conditions de l usage de la notation par les différents acteurs et rappelle régulièrement que la note ne peut être utilisée seule et que son interprétation nécessite la lecture attentive du rapport. Les listes de publications dans le domaine des sciences humaines et sociales La nécessité de publier les référentiels servant à l évaluation a conduit à lever certaines indéterminations. Si les listes de revues «académiques» ne posent pas de réel problème dans les secteurs des sciences et technologies et des sciences de la vie, il n en est pas de même dans celui des sciences humaines et sociales (SHS) où il n existe pas de consensus sur la qualité des revues, ni, a fortiori, sur une échelle de qualité relative. Un travail de catégorisation est encore en cours, notamment pour classer les différents types d ouvrage : collectifs ou individuels, de recherche ou grand public et les contributions particulières, comme les rapports de fouilles ou les catalogues d exposition. L essentiel du travail dans le domaine a porté sur la classification des revues et la façon de les prendre en compte. L agence a choisi de s appuyer sur le travail préalable des communautés qui s étaient déjà organisées en ce sens. Dans les domaines où elles existaient, elle a adopté les listes communes CoNRS-CNU. 1 Strengths, Weaknesses, Opportunities and Threats. 2 Conseil National des Universités. 6 AERES 2010 Analyses régionales des évaluations réalisées entre 2007 et 2010

Réflexions méthodologiques Quand un tel travail n existait pas, elle a constitué des groupes associant des représentants des instances d évaluation sus-décrites et des experts choisis pour leur notoriété et leurs compétences dans le champ considéré. Les listes de revues sont mises à jour annuellement par ces groupes. Un traitement vigilant des conflits d intérêts Ayant fait le choix de s appuyer sur l évaluation par les pairs, l agence se devait d être particulièrement vigilante sur la prévention, la détection et le traitement des conflits/communautés d intérêts (voir page 14). Les membres des comités évaluant les unités de recherche s engagent à respecter la déontologie et la méthodologie de l agence. Dans quelques cas critiques, en particulier dans des domaines de recherche appliquée de forte compétition, l agence discute avec les évalués pour trouver les modes d évaluation et d expression du rapport respectant la confidentialité d une manière qui satisfasse les exigences des laboratoires et des organismes concernés. Quelques pistes d amélioration pour la prochaine série d évaluations L effort vers la simplification des procédures est indispensable à la fois pour un allégement de la charge des évalués et des experts et pour lutter contre leur saturation qui représente une véritable menace. La capitalisation de l expérience et des résultats obtenus offre un double avantage. Elle permet de simplifier et d améliorer le travail d évaluation en le concentrant sur l appréciation du différentiel par rapport à la dernière évaluation. Il convient aussi d achever le travail initié sur la notation multicritérisée. Une fois les quatre axes de l analyse stabilisés, il faut maintenant expliciter l échelle utilisée souvent tacitement par les experts et spécifier les indicateurs de référence pour les échelles de notation. Il faudra enfin préciser les modalités de mise à jour de ces référentiels qui ont vocation à évoluer rapidement pour prendre en compte le mimétisme de toute communauté qui s adapte rapidement aux références de son milieu et font perdre aux indicateurs leur pertinence. Des synthèses à différents niveaux replaçant les unités dans leur contexte soit local, soit national, et de plus proposant une lecture plus rapide des principaux résultats de l évaluation sont maintenant accessibles à partir de l information contenue dans les rapports d évaluation. Afin de rendre cette analyse plus aisée, il convient d organiser la collecte de ces informations en base de données. Une analyse approfondie et imaginative des fonctions possibles de cette structuration est indispensable pour que la richesse de l information contenue dans ces rapports ne soit pas perdue. Et motrice dans le concert international Actuellement, l évaluation de la recherche est un domaine qui évolue dans certains pays (Grande-Bretagne, Pays-Bas, Allemagne ) ou se développe rapidement (Japon, Espagne,). Les échanges avec les agences travaillant dans le même domaine que l AERES montrent des convergences d approche et des questions partagées. Cette similitude des questionnements constitue une opportunité dont il faut que l agence se saisisse pour progresser vers une harmonisation européenne : un cadre commun, accepté par tous, est en effet un signe concret d une vision partagée sur la qualité du travail d évaluation et un facteur de simplification tant pour les experts que pour les utilisateurs des évaluations. C est aussi une étape indispensable à l établissement d accords utiles entre agences de différents pays. Compte tenu des convergences mentionnées, l AERES proposera des actions européennes : adoption d une même échelle de notation : la notation sur 4 niveaux (A+, A, B, C) utilisée jusqu ici en France pourrait évoluer vers la notation sur 5 niveaux beaucoup plus largement répandue en Europe. Ceci doit être accompagné d une réflexion partagée sur les définitions de ces niveaux et sur les critères d accès aux différentes catégories correspondantes, et notamment le travail par percentile ou la définition de quotas ; adoption de l auto-analyse SWOT, déjà très pratiquée en Espagne ou en Belgique et même notée aux Pays-Bas ; et adoption d une même grille multicritérisée (3 critères en Angleterre, 4 en France). Un travail collaboratif avec les autres agences européennes serait en particulier utile pour aboutir à des référentiels communs, par exemple sur la manière de prendre en compte l impact des recherches ou encore sur la façon d intégrer la diffusion/transfert des connaissances 1. Tous les pays partagent la même difficulté à propos de la prise en compte des productions dans le domaine des SHS. L un des verrous de cette question tient à l inexistence de bases de données acceptées par les acteurs de ce domaine. L AERES et les agences européennes travailleront sur la constitution d une ou plusieurs bases de données de production/publications qui satisfassent aux exigences du milieu et à l impératif de qualité. 1 Plus précisément, le champ couvert par le concept d'"outreach" AERES 2010 Analyses régionales des évaluations réalisées entre 2007 et 2010 7

Résumé des modalités d évaluation des unités de recherche L évaluation des unités de recherche (UR) au cours des campagnes 2007-2010 est basée sur quelques principes qui ont servi de base à la 1 re campagne, puis tout au long des exercices suivants : l unicité d approche pour toutes les unités quels que soient leur statut et leur domaine d activité, l adaptation aux missions de l unité et aux conditions de mise en œuvre de la recherche, la collégialité de l expertise et le rejet d une approche algorithmique basée sur des indicateurs, la prise en compte systématique des observations des évalués avant la finalisation du rapport. Globalement l organisation générale est demeurée inchangée avec quatre phases : préparation, visite sur site, rédaction du rapport et notation. Le retour d expérience a amené une amélioration progressive des modalités pratiques de l évaluation lors des campagnes successives : Lors de la campagne d évaluation 2007, l évaluation des UR relevant de la vague B a été effectuée par les organismes de recherche et la mission scientifique, technique et pédagogique du Ministère de la Recherche. Pour la 1 re vague d évaluation organisée par l agence (campagne 2008, vague C), l évaluation a été menée sur la base de deux documents de référence : le carnet de visite des UR et une grille d évaluation servant de base à la notation. Le dossier demandé aux UR dit «dossier unique» a été adopté par tous. Sous l autorité du directeur, le délégué scientifique constitue un comité d au moins 6 experts incluant le président (le nombre est fonction de la multidisciplinarité et de la taille de l UR) et d un représentant de l instance d évaluation des personnels de chaque établissement dont relève l UR. Le président est responsable du déroulement de la visite et de la rédaction du projet de rapport qui est validé par le directeur et envoyé à l UR. À l issue des visites sur site, des panels disciplinaires constitués des présidents des comités ayant évalué les unités d un même champ disciplinaire attribuent une note globale à chaque unité. Les observations en retour des unités étaient majoritairement arrivées après la phase de notation. Pour la campagne 2009 (vague D), le processus de notation a été sensiblement amélioré. La note globale a été enrichie d une notation «multicritérisée» sur 4 items (production, attractivité, vie de l unité et projet scientifique). Le calendrier des visites a été resserré de manière à ce que les unités disposent d un délai de 15 jours pour formuler leurs observations et que l ensemble soit disponible pour les membres des panels de notation. Cette procédure évite les erreurs factuelles et permet une meilleure prise en compte du point de vue des évalués. La prise en compte explicite de la recherche finalisée a été améliorée en transformant la notion de «publiants» traditionnellement utilisée dans le milieu académique en «produisants en recherche et valorisation». Pour la campagne 2010 (vague A), les rapports des UR ont été organisés de manière plus structurée, afin que la grille proposée pour la notation transparaisse dans le rapport, rendant plus facile sa lecture. L évaluation des structures fédératives de recherche a été limitée à celles qui mutualisaient des moyens importants. L accent a aussi été mis sur la phase de préparation de la visite : les experts rédigent leurs questions relatives à l unité en amont de la visite sur site, ce qui leur permet une discussion plus en profondeur dès le début de celle-ci. Le temps ainsi libéré est mis à profit pour entamer la rédaction d un prérapport lors de la dernière partie de la visite. La discussion collective de ce document permet d une part d améliorer le caractère collégial de l évaluation et d autre part autorise une délivrance plus rapide, nécessaire pour la prise en compte des observations des UR pour la notation. Des modifications de l organisation des évaluations ont été introduites au cours de cette campagne par suite du processus d évaluation intégrée qui couple les évaluations menées à différents niveaux. Cette méthode impose que toutes les unités d une même région soient évaluées avant leurs établissements-support. Il en résulte une concentration des dates de visite qui a conduit à constituer des comités qui évaluent tout un champ scientifique, par exemple la chimie ou le droit sur un site donné. L avantage d homogénéité qui en résulte a paru suffisamment convaincant pour que la méthode soit étendue aux autres domaines. Tableau récapitulatif des principales modifications méthodologiques dans l évaluation des unités de recherche Préparation Visite Rédaction Vague B Évaluation par les organismes de recherche et la MSTP Vague C (2007-2008) Grille 15 points 5 niveaux Vague D (2008-2009) Intégration de la grille dans le rapport Passage des «publiants» aux «produisants» Vague A (2009-2010) Auto-analyse SWOT Cadrage structures fédératives Évaluations groupées par domaine et site (chimie et droit) Cadrage rapport Rédaction sur site Notation Globale Globale + multicritérisée Globale + multicritérisée Observations avant la notation 8 AERES 2010 Analyses régionales des évaluations réalisées entre 2007 et 2010

Réflexions méthodologiques Signification de l échelle de notation multicritères Les unités de recherche font l'objet d'une notation sur 4 critères détaillés ci-dessous, puis d'une note globale. Ces éléments de méthode ont été élaborés et testés au cours de la campagne 2009. Ils ont été mis en œuvre pour la campagne 2010 (vague A). La réflexion sur ce sujet se poursuit. Production A+ Leadership international. La production de cette unité est au meilleur niveau international. C est une référence incontournable dans son domaine. Plusieurs de ses productions ont été distinguées par des invitations à des conférences majeures, des prix, une valorisation significative. A Production visible internationalement. La production de cette unité est excellente dans le paysage national. Elle est bien visible au niveau international (sans atteindre les positions de leader des unités A+). Bien inscrite dans des actions internationales, elle a apporté plusieurs contributions très importantes. B Importance nationale. La production de cette unité est solide. Elle contribue significativement à la production de connaissances mais sa visibilité internationale reste limitée. C La production de cette unité doit être notablement améliorée pour atteindre la qualité attendue d unités disposant de moyens et de missions analogues. Attractivité, impact socioculturel et économique A+ Visibilité internationale. L unité est attractive au niveau mondial. Elle attire des chercheurs étrangers de haut niveau et accueille de nombreux docs et post-docs avec leur financement. Elle est leader dans des programmes internationaux. Ses actions ont un retentissement mondial. A Visibilité nationale. L unité attire des chercheurs français de bon niveau et accueille des docs et post-docs de la France entière. Elle participe à des actions européennes et est leader d actions nationales (GDR, réseaux,). Ses actions ont un retentissement national. B Visibilité limitée. L unité a un impact essentiellement régional. Elle participe à des réseaux nationaux mais pas en position de leader. Son recrutement de personnels permanents et non permanents (docs et post-docs) est très majoritairement d origine locale. C Impact insuffisant. L impact et la visibilité de cette unité restent limités au niveau local. Stratégie et vie de l unité A+ Excellente tant dans l animation et la gouvernance qu en ce qui concerne la promotion/ émergence de jeunes équipes ou la prise maîtrisée de risques. Tous les aspects de la vie de l unité (séminaires, site web, stratégie d affectation des moyens humains, techniques et financiers ) sont bien pris en compte. A L unité a bien mis en œuvre la grande majorité des éléments mentionnés en A+, mais certains d entre eux sont insuffisamment déployés. B L unité devrait à améliorer notablement sa prise en compte, dans le champ du critère (animation, gouvernance ), de plusieurs domaines qui sont inexistants ou mal adaptés. L unité doit sérieusement développer ses outils de vie collective. C Des problèmes importants doivent être résolus pour permettre à cette unité de se développer et de mettre en œuvre des projets compétitifs. Appréciation du projet A+ Excellent projet, novateur, présentant un bon dosage de prise de risque et de mise en œuvre des compétences et originalités de l équipe/unité. A Très bon projet, mais manquant un peu d ambition, de prise de risque ou ayant fait l objet d enjeux moins importants que la catégorie A+. B Projet pouvant présenter un intérêt au niveau national, mais insuffisamment construit ou manquant d ambition ou dont la faisabilité et/ou l intérêt fait l objet de critiques de la part du comité d experts. Le projet devrait être retravaillé avant mise en œuvre. C Projet manquant d ambition ou dont la faisabilité ou l intérêt fait l objet de critiques importantes de la part du comité d experts. Note globale La note globale intègre les appréciations des experts sur les différents critères. Elle accorde une place prépondérante à la production de l unité et à son impact. Elle examine ces éléments en tenant compte des conditions dans lesquelles la recherche a été effectuée, c est-à-dire des objectifs et missions impartis à l unité ainsi que des moyens qui lui ont été attribués ou qu elle a réussi à mobiliser. A+ Unité de très haut niveau, sa visibilité internationale est incontestable, son impact majeur. A Unité de haute qualité à la production remarquable et constituant un élément important du paysage français de la recherche. B Bonne unité mais qui doit améliorer sa qualité dans les domaines précisés par la note multicritérisée et détaillés dans le rapport. C Unité qui doit améliorer sa qualité de manière importante pour accéder au niveau d excellence attendu. Des changements majeurs sont attendus dans un ou plusieurs domaines précisés dans le rapport. AERES 2010 Analyses régionales des évaluations réalisées entre 2007 et 2010 9

Évaluation et évolution de l offre de formation des universités Entre fin 2007 et juillet 2010, l AERES a évalué la totalité des formations de licence, de master et des écoles doctorales (LMD). En fait c est un apprentissage mutuel de l agence et des établissements qui s est mis en place tout au long des quatre campagnes d évaluation. Dès la mise en œuvre du LMD, les «maquettes» définies par le ministère avaient disparu. Avec l apparition de l AERES dans le paysage de l enseignement supérieur, l évaluation elle-même était à repenser. Puisque l on ne jugeait plus par rapport à une maquette préexistante, il fallait définir ce qu était une «bonne» formation et établir une méthodologie de l évaluation. En se plaçant du point de vue de l étudiant et de la société, une «bonne» formation est une formation qui permet à ceux qui l ont suivie de s insérer dans la société ou de poursuivre plus avant les études qu ils ont choisies. Pour cela il faut, entre autres, que les responsables de la formation aient défini les objectifs, les aient traduit en méthodes et moyens pédagogiques et aient mis en place les procédures de contrôle des connaissances et des compétences attendues. Résumé de l évolution de la méthodologie d évaluation des formations LMD Le principe général de l évaluation par l AERES est l évaluation par les pairs, réunis en comité d experts de façon à assurer une collégialité de l expertise. Depuis quatre ans, les méthodologies d évaluations des licences, des masters et des écoles doctorales ont évolué à la fois pour se conformer à ce principe et pour tenir compte des retours d expérience après chaque campagne d évaluation. Dès 2007, pour la vague B, l évaluation des écoles doctorales (ED) s est faite par des comités d experts avec visite sur site. C est d ailleurs une novation de l AERES par comparaison aux pratiques antérieures d évaluation uniquement sur dossier. L évaluation a lieu par site (PRES le plus souvent). Les experts du comité (quatre à cinq par comité) préparent l évaluation en amont de la visite en remplissant les fiches d expertises. Lors de la visite, ils comparent leurs avis avant le début des auditions pour à la fois harmoniser les points de vue et voir les points à approfondir. La visite dure trois heures pour chaque ED. Une première heure est consacrée à l audition du directeur de l ED devant les membres de son conseil et à une discussion avec le comité, une deuxième heure permet d auditionner, à huis clos, les représentants des doctorants, librement désignés par ceux-ci lors de réunions préalables. Enfin une audition à huis clos du directeur permet au comité d affiner sa connaissance du fonctionnement de l ED et des problèmes éventuellement rencontrés avec ses tutelles ou ses laboratoires. L évaluation des licences et masters des vagues B et C s est déroulée en 2008. Les licences sont évaluées par établissement par un comité d experts qui se réunit deux fois à l AERES. Une première réunion permet de former les experts, de présenter la méthodologie et de répartir les mentions à évaluer entre les experts. Ceux-ci transmettent ensuite leurs évaluations au président du comité qui en fait la synthèse. L ensemble des évaluations mention par mention, la synthèse du président sur l offre licence de l établissement sont collégialement discutés et adoptés lors de la deuxième réunion dite de restitution. Ce comité note aussi la politique globale de l établissement selon quatre critères (le pilotage, la qualité des formations, l aide à la réussite et l insertion) et résume cette politique par une note globale. Pour ces deux premières vagues B et C la notation est sur trois niveaux de C à A. Le caractère massif de l offre master, de 300 à 600 mentions et de 1300 à 2300 spécialités selon les vagues, a conduit à une évaluation par double expertise sans réunion d un comité. Chaque dossier de mention, incluant toutes les spécialités, est envoyé à deux experts. Les deux expertises sont ensuite confrontées par un délégué scientifique qui en déduit l évaluation des spécialités et de la mention. Les mentions et les spécialités sont, comme les licences, notées sur trois niveaux de C à A. L évaluation des écoles doctorales de la vague C s est effectuée en 2008 suivant le même protocole que la vague B. Pour ces deux premières vagues les ED n ont pas été notées par l AERES. En 2009, Les évaluations des licences et des masters de la vague D ont suivi les mêmes processus que pour les deux vagues précédentes. Mais la notation aussi bien pour les masters que pour les licences s est effectuée sur quatre niveaux de C à A+. A+ Signifie que cette formation est excellente et répond très bien à tous les critères d évaluation. A Signifie que cette formation est très bonne et satisfait aux différents critères d évaluation sans point faible rédhibitoire, mais ne comporte pas suffisamment de points forts remarquables. B Signifie que cette formation se justifie, bien qu elle ne réponde pas de façon satisfaisante aux critères d évaluation, car elle présente des points faibles importants qui devront impérativement être corrigés. 10 AERES 2010 Analyses régionales des évaluations réalisées entre 2007 et 2010

Réflexions méthodologiques Cette définition d une «bonne» formation à partir du devenir des étudiants, insertion ou poursuite d études choisies (et non subies), a des conséquences. Elle implique une évaluation sur résultats, et non une évaluation de conformité à un programme, une évaluation a posteriori et non a priori. C est une évolution importante car à la création de l AERES, les données relatives à chaque cursus sur l insertion et encore plus sur les poursuites d études, étaient parcellaires, voire inexistantes (en dehors des filières professionnelles). Il a donc été choisi d évaluer à la fois les résultats et les moyens mis en œuvre pour les atteindre. L AERES a défini des fiches d évaluation pour chaque niveau L, M, et D, en mixant les deux approches : l évaluation des moyens pour la réussite et pour l insertion mis en œuvre par l établissement et celle de la cohérence du programme pédagogique et du devenir des étudiants. La transparence de toutes les procédures d évaluation de l AERES implique la publication des fiches d évaluation de l agence chaque année. Mais, au-delà du principe de transparence, c est aussi un travail d accompagnement des établissements dans l appropriation de leur offre de formation qui s est produit. On peut distinguer schématiquement trois temps dans ces quatre années. Le premier temps rassemble les deux premières campagnes d évaluation, correspondant aux vagues B et C de contractualisation, C Signifie que soit cette formation ne répond pas aux critères d évaluation et présente trop de points rédhibitoires, soit cette formation est à reconsidérer compte tenu de l existence de formations similaires de meilleure qualité et plus attractives sur le même site. L évolution en 2009 a porté aussi sur l évaluation des écoles doctorales. Le processus d évaluation avec visite, jugé satisfaisant, est resté inchangé, mais une notation globale et multicritères a été introduite. Les ED sont jugées sur quatre critères ; la qualité de l adossement scientifique, le fonctionnement de l ED, la qualité de l encadrement et des conditions de déroulement des thèses ; le suivi et l insertion des docteurs. Les notes de C à A+ sur ces quatre critères conduisent à une note globale sur la même échelle de notation. A+ Signifie que l ED répond de façon très satisfaisante à tous les critères d évaluation. A Signifie soit que l ED répond très bien ou bien aux critères d évaluation ; soit que l ED répond de façon satisfaisante ou très satisfaisante sur la plupart des critères d évaluation, mais présente un nombre restreint de points faibles qui doivent être corrigés pour rejoindre la catégorie des ED d excellence ; soit que les différents critères d évaluation sont globalement très bons sans point faible rédhibitoire, mais pas suffisamment de points forts remarquables pour compenser réellement ses quelques points faibles mineurs. B Signifie soit que l ED répond assez bien ou moyennement aux critères d évaluation ; soit que l ED répond de façon satisfaisante ou très satisfaisante sur plusieurs critères d évaluation, mais présente un nombre restreint de points faibles importants qui doivent être corrigés impérativement ; soit que l existence de cette ED est tout à fait justifiée, mais elle présente des points faibles importants qui doivent être impérativement corrigé ; soit que, sur les différents critères d évaluation, les résultats sont globalement moyens ou bons, sans points faibles totalement rédhibitoires, mais les points forts ne sont pas suffisamment nombreux. C Signifie que soit l ED répond de façon insatisfaisante aux critères d évaluation ; soit que l ED présente trop de points rédhibitoires ; soit que l ED ne présente pas ponctuellement d aspects totalement rédhibitoires, mais ne répond que très médiocrement à de trop nombreux critères d évaluation ; soit que l existence de cette ED n est pas justifiée au niveau local ou régional en raison de l existence d ED similaires, plus attractives ou mieux adossées à la recherche, sur le même site ou sur un site voisin. En 2010, pour les formations (vague A), les processus d évaluation des licences et des ED sont restés inchangés par rapport à l année précédente. Le changement a concerné l évaluation des masters. Si la méthode de double expertise en aveugle pour l évaluation des masters était satisfaisante, elle n assurait pas cependant la collégialité de la décision finale. À partir de 2010, une méthodologie semblable à celle des licences, mais plus complexe, a été mise en place. L évaluation a lieu pour un site (une académie par exemple) et par des comités disciplinaires selon les grandes disciplines (sciences et technologies - sciences de la vie de la santé et de l écologie droit, économie et gestion sciences sociales et humanités). Chaque comité fonctionne avec deux réunions comme expliqué pour les licences. Chaque président de comité prépare une synthèse pour le site et pour la grande discipline. Une synthèse globale pour le site, pour toutes les disciplines, déclinée ensuite par établissement est réalisée par la déléguée scientifique chargée du processus Master. Les mentions et les spécialités sont notées séparément sur les quatre niveaux de notation de C à A+. AERES 2010 Analyses régionales des évaluations réalisées entre 2007 et 2010 11

effectuées successivement la première année. Une partie des questions posées dans les fiches d évaluation a paru surprenante aux établissements et en a même déstabilisé certains. Par exemple, les questions sur le devenir des étudiants, diplôme par diplôme pour les cursus généraux, ou encore les questions sur les moyens mis en œuvre pour développer les compétences transversales des étudiants et l évaluation de l acquisition de ces compétences. Ces questions devaient être posées, mais ne pouvaient que rester sans réponse pour nombre de cursus et d établissements de ces deux premières campagnes, ou comporter des informations très fragmentaires. La notion de politique de formation et de pilotage de ces établissements est apparue souvent très ténue dans sa réalité. À partir de la troisième campagne correspondant à la vague D, l AERES a conseillé aux établissements de pratiquer une autoévaluation de chacune des formations proposées à l évaluation. À défaut d avoir défini leurs propres fiches et critères d autoévaluation, les établissements pouvaient utiliser celles de l AERES. Les retours positifs des établissements de cette campagne qui ont effectué cette autoévaluation ont conduit l agence à rendre cette autoévaluation obligatoire à partir de la campagne suivante correspondant à la vague A. L AERES évalue alors chaque formation à partir de trois documents : le dossier de présentation de la formation avec ses indicateurs (le plan ayant été défini conjointement par l agence et le ministère), la fiche RNCP (Répertoire National des Compétences Professionnelles) de la formation et enfin l autoévaluation du dossier. Bien sûr, quelques inévitables incompréhensions ont conduit des établissements à transmettre l autoévaluation réalisée par le porteur de projet et non par l établissement lui-même. Mais pour l essentiel, la réalisation par la direction (CEVU, CA ) de chaque université de l autoévaluation de ses formations a produit une amélioration très sensible de la qualité et de la pertinence des dossiers présentés. Les établissements se sont progressivement approprié leur offre de formation, tel est le bilan de ces 4 campagnes d évaluation des formations. L autoévaluation a conduit certains soit à refaire les dossiers, soit à faire profondément évoluer une formation, soit à la supprimer sans attendre de l AERES une évaluation négative et du ministère une décision de refus. Pour l agence, l évaluation des plus de 6 000 spécialités de masters et de plus de 1 500 mentions de licence pour toute la France est un travail considérable, malgré l amélioration très sensible de la qualité des dossiers qui allège un peu le travail des experts. Rappelons-nous que les établissements de la campagne 2007 (vague B) avaient préparé les dossiers de leurs formations avant même la mise en place de l AERES, et que c est en trois campagnes seulement que cette évolution s est produite. Quel chemin reste-t-il à parcourir, avec quels changements, pour atteindre une véritable autonomie des établissements? Les changements doivent venir des trois partenaires : les établissements, le ministère et l AERES. Pour les établissements, il reste à améliorer les liens entre les équipes pédagogiques et la direction des établissements ; et pour cela à clarifier le rôle des départements et des composantes. Lors des évaluations, toutes les situations sont rencontrées : celles d offres de formation principalement pilotées par les composantes ou par les départements avec, dans les deux cas, des liens très variables avec la politique de formation de l établissement. Si le rôle de la direction des établissements s est accru, il appartient à chacun d entre eux (car ce n est pas à l AERES de définir un modèle) de simplifier la procédure pour améliorer l échange d informations. L AERES pourra progressivement simplifier ses procédures d évaluation des formations, au fur et à mesure que les établissements maîtriseront leur autoévaluation et en tireront les nécessaires conséquences. Évolution de l évaluation des établissements d enseignement supérieur et de recherche L évaluation des établissements a largement précédé la création de l AERES avec la mise en place du Comité National d Évaluation en 1984. Le premier défi de l Agence a été de passer à une évaluation de grande échelle en s astreignant à évaluer tous les établissements d une même vague contractuelle. En juin 2007, pas en encore dotée de locaux, l AERES a réalisé ses premières évaluations en se limitant aux universités de la vague en cours, soit une trentaine, sur la base d une procédure simplifiée et d un nombre limité d indicateurs. 12 AERES 2010 Analyses régionales des évaluations réalisées entre 2007 et 2010