Évaluation des établissements, des unités de recherche et des formations de la vague C. Réunion des chefs d'établissement.

Transcription

1 Évaluation des établissements, des unités de recherche et des formations de la vague C Réunion des chefs d'établissement de la vague C 7 novembre 2007

2 Vous trouverez dans ce dossier un texte présentant les prinicipes organisateurs et le périmètre d'intervention de l'agence d'évaluation de la recherche et de l'enseignement supérieur et des documents plus spécifiquement destinés à l'évaluation des établissements, des unités de recherche et des écoles doctorales. Ces documents vous sont donnés à titre d'information et sont susceptibles d'être modifiés et/ou complétés après le retour d'expérience de la vague B. D'autres sont en cours d'élaboration, notamment ceux concernant l'évaluation de l'offre de formation de niveau master et licence. Ils vous seront adressés, après leur validation par le Conseil de l'agence. 1

3 AGENCE D EVALUATION DE LA RECHERCHE ET DE L ENSEIGNEMENT SUPERIEUR - AERES - Les principes organisateurs et le périmètre d intervention de l Agence d évaluation de la recherche et de l enseignement supérieur (AERES) L Agence d évaluation de la recherche et de l enseignement supérieur (AERES) est créée pour doter le système français de recherche et d enseignement supérieur de l instrument qui lui manquait dans un contexte international et européen marqué par les préoccupations d évaluation de la qualité. L AERES embrasse dans son action, à travers les trois sections qui la constituent (section d évaluation des établissements, section d évaluation des unités de recherche, section d évaluation des formations), l activité de recherche et l activité d enseignement supérieur tant ces deux champs sont, aujourd hui, étroitement liés. Ses domaines d intervention et ses méthodes d évaluation traduisent la volonté d offrir une perception plus intégrée entre établissements d enseignement supérieur et établissements de recherche, entre activités de formation et activités de recherche et entre milieux académiques et environnements économiques et sociétaux. L évaluation constitue, en effet, pour la recherche comme pour l enseignement supérieur, la clef de voûte de la reconnaissance de leur qualité lorsqu elle existe et le cercle vertueux de l amélioration de leur efficacité. C est pourquoi il convient de la mettre en œuvre en prenant en compte les différentes dimensions des objets qui en constituent le champ et de s attacher à en saisir la cohérence d ensemble. À cette fin et dans l objectif de promouvoir les meilleurs standards internationaux, l AERES est adossée à cinq grands principes : indépendance, légitimité, transparence, pluralité et efficacité. Une agence indépendante Le statut de l AERES est celui d une autorité administrative indépendante qui établit ses avis d évaluation à l abri de tous types de pressions. Elle définit ses critères et ses méthodes dans le cadre fixé par la loi et le règlement. Dans ce cadre, si les pouvoirs publics demeurent garants des divers objectifs fixés aux dispositifs et activités évalués, l Agence définit les moyens appropriés pour apprécier la qualité des activités au regard de la diversité des objectifs à atteindre. L Agence évalue, elle ne décide pas. Les décisions de reconnaissance et de financement demeurent pleinement de la compétence de l État qui, s il prend en compte les résultats de l évaluation, reste maître de ses décisions. Le statut de l Agence lui permet, au niveau national comme au niveau international, de répondre à des demandes particulières d évaluation concernant l ensemble de ses champs de compétences. Une agence légitime L Agence fonde sa légitimité originelle, notamment, sur la publication des caractéristiques professionnelles des membres de son Conseil et de ses viviers d experts. La communauté scientifique et universitaire nationale et internationale et l ensemble des partenaires intéressés par la recherche et l innovation et par les formations supérieures doivent, dans leur diversité, pouvoir se reconnaître dans ces caractéristiques. 2

4 Une agence transparente dans ses démarches d évaluation Les critères et les méthodologies de l évaluation sont rendus publics. C est la première condition de la transparence. En second lieu, quel que soit l objet de l évaluation et quelle que soit la méthodologie utilisée, le rapport de synthèse de l évaluation n est validé qu après avoir permis à la structure évaluée de faire valoir ses observations. C est la deuxième condition de la transparence. Enfin, les rapports de l Agence, accompagnés de leurs éventuelles recommandations et des observations de la structure évaluée, sont rendus publics sur le site de l Agence. C est la troisième condition de la transparence. Une agence pluraliste Cette caractéristique pluraliste de l Agence doit se retrouver dans la variété des domaines et des méthodes qui sont au cœur de ses activités d évaluation. D abord dans la variété des champs scientifiques et des débats, voire des controverses, qui accompagnent nécessairement le progrès des connaissances. Ensuite, dans la variété des offres de formation et de recherche comme dans celle des demandes de la société à la science et à la formation. Enfin, dans la variété des méthodes utilisées en fonction des "objets" évalués : établissements, unités de recherche, cursus de formation Une agence efficace Quel que soit "l objet" évalué, le Conseil de l Agence assure la cohérence d ensemble autour des principes généraux qui garantissent la qualité, la transparence et la publicité des évaluations et des procédures. Lorsque la loi ou le règlement ont créé des instances spécifiques d évaluation, tout particulièrement pour les personnels et pour les formations et diplômes, l Agence ne recommence pas ce travail. En revanche, elle est habilitée à formuler des avis sur les procédures mises en œuvre par ces instances d évaluation. Mieux, pour assurer la nécessaire relation entre l évaluation des personnels et celle des unités dont ils font partie, l Agence associe, à l évaluation des unités, des représentants des instances chargées d évaluer les personnels concernés (chercheurs et enseignants-chercheurs). Il s agit, en effet, de situer l activité des acteurs par rapport au contexte dans lequel ils exercent leurs activités. Dans le même esprit, les évaluations conduites au sein d un organisme de recherche ou d un établissement d enseignement supérieur prennent en compte les stratégies définies par ces établissements et organismes et leurs attentes. Enfin, au sein même de l Agence, un travail conjoint entre les sections est organisé pour éviter une parcellisation des évaluations et donc pour les situer clairement dans leur contexte. Cette démarche à visée intégrative permet de mieux saisir, par exemple, les liens entre recherche, offre de formation et environnement économique et social des établissements. Elle conduit l Agence à installer et à animer des zones de coopération avec les divers acteurs institutionnels concernés par cette démarche intégrative. Les domaines d intervention de l agence et ses repères pour agir Les établissements d enseignement supérieur et les organismes de recherche ont, chacun, pour une part qui leur est propre et pour une part qui leur est en partage, la responsabilité de la recherche. Leurs unités sont engagées dans la formation à et par la recherche dans les écoles doctorales. Cette responsabilité commune fonde l originalité d une démarche qui associe formation et recherche. C est pourquoi l implication des établissements d enseignement supérieur et des organismes réclame de prendre en compte, pour l évaluation, à la fois leur spécificité et les activités scientifiques qu ils ont en partage. 3

5 L enseignement supérieur et ses étudiants L enseignement supérieur c est d abord les étudiants. C est à eux que tient une grande part de l organisation universitaire. C est pourquoi l Agence porte une attention toute particulière à la politique conduite par les établissements d enseignement supérieur en direction des étudiants. Cette politique n est pas observée comme la seule association d une politique des formations et d une politique sociale. Elle est appréhendée comme un processus qui va de l accueil à l insertion, en passant par les conditions de vie, de l évaluation de l enseignement à son amélioration, de la mise en œuvre des conditions de la mobilité européenne et internationale à l ouverture aux autres cultures, de la diffusion des valeurs académiques à la connaissance des perspectives scientifiques et économiques L enseignement supérieur et ses établissements L enseignement supérieur se déploie dans un cadre où la diversité des établissements s accompagne de la diversité des compétences qui y sont attachées. Aussi, les exigences de l évaluation doivent s appliquer en prenant en compte, simultanément, non seulement la qualité des contributions dans le domaine de la recherche mais aussi la qualité des contributions dans le domaine des formations et la qualité du lien qui les unit. C est, en effet, la qualité de ces contributions plus que leur nature qui traduit la réalité de l établissement. Ainsi chaque établissement peut développer sa stratégie spécifique en fonction de ses forces et de son environnement. L évaluation se donne alors pour principal objectif de qualifier les voies empruntées par l établissement pour définir et conduire sa stratégie et en apprécier les résultats. L enseignement supérieur et ses formations Le processus de Bologne a conduit la France et ses partenaires européens à repenser l offre de formation de leurs établissements d enseignement supérieur pour favoriser, dans l espace européen, la mobilité de leurs étudiants par la reconnaissance multilatérale d un système de crédits. Toutes les formations jusqu au niveau master sont ainsi concernées par cette nouvelle démarche. Leur évaluation, au-delà de la nécessaire appréciation de leur pertinence scientifique et professionnelle, doit donc prendre en compte le degré de préoccupation internationale qu elles traduisent dans leur demande de reconnaissance et dans leur mise en œuvre, principalement au niveau master. Dans la même veine, en ouvrant la possibilité d ajustement aux pratiques d évaluation des travaux de recherche de ses éventuels partenaires, la France, par les textes pris en 2005 sur les cotutelles de thèses et le partenariat international de diplôme, se donne les moyens de pénétrer l espace international de recherche et de formation. L évaluation doit donc s efforcer d apprécier, en ces matières, les résultats obtenus par les établissements. La mobilité des étudiants, le nombre et la qualité des cotutelles de thèse, ou encore l accroissement des copublications internationales constituent, par exemple, autant d indicateurs pertinents de la qualité de ces résultats. Enfin, la qualité des formations doctorales est appréciée, au-delà de ses résultats académiques et de son impact international, à travers les stratégies et dispositifs déployés pour favoriser la reconnaissance des docteurs par les milieux économiques. La recherche, ses établissements et leurs unités Le lien fondamental et étroit qui associe recherche et enseignement supérieur dans une organisation fondée, en France, sur une distinction entre organismes de recherche et universités, implique une approche intégrée de l évaluation des unités de recherche. Dans tous les domaines couverts par les pratiques de recherche, l évaluation vise à apprécier, naturellement et d abord, et à l aune internationale, la qualité des projets, des bilans et le niveau des résultats produits par les unités. Mais elle vise aussi à apprécier l engagement des établissements et de leurs unités dans la diffusion et le transfert des connaissances aussi bien dans l enseignement que dans le monde économique ou encore, plus largement au niveau de la société, à travers les réseaux de diffusion de la culture scientifique et technique. 4

6 Il s agit donc, toutes choses égales par ailleurs, de conduire, dans le cadre des standards internationaux et dans le respect de la diversité de leurs objets d étude et de leur finalité, une évaluation des unités de recherche, quelles que soient leur nature et leur origine ou leur rattachement institutionnel, selon des méthodes et des principes similaires. De ce point de vue, le comité de visite, déjà très largement pratiqué avec succès dans plusieurs dispositifs d évaluation, constitue pour l AERES l instrument privilégié et commun, cette fois-ci, à toutes les unités de recherche. C est donc au moyen de ces comités, formés d experts de haut niveau, que l AERES fonde sa pratique intégrée de l évaluation de la recherche. Pour conclure L Agence conduit une évaluation réfléchie qui tient compte de la diversité des établissements, d enseignement supérieur et de recherche, de leurs environnements, de leurs missions et des tâches qui en découlent. Elle s attache, dans ce cadre, à apprécier, dans une perspective comparative, la qualité des contributions des différents acteurs quelle que soit la nature ou l origine de ces contributions. 5

7 6

8 Repères pour l évaluation des établissements d enseignement supérieur Les objectifs L AERES conduit une évaluation qui tient compte de la diversité des établissements d enseignement supérieur et qui s inscrit dans une démarche visant à favoriser leur évolution. L instauration d une évaluation périodique, en phase avec le calendrier contractuel, doit encourager les établissements à adopter des procédures permanentes d évaluation interne susceptibles de leur permettre de mieux maîtriser leur pilotage et d améliorer ainsi leur fonctionnement. L AERES a aussi pour vocation, en livrant publiquement les résultats de ses expertises, de fournir aux établissements, à leur tutelle et plus largement à l environnement économique, social et culturel les informations utiles pour favoriser leurs prises de décisions. La méthode L AERES conduit ses évaluations selon les principes conformes aux orientations européennes : évaluation interne, évaluation externe, rapport public et évaluation par les pairs. L établissement doit être en mesure, lors de la venue du comité de visite, de présenter ses objectifs, les stratégies mises en œuvre pour les atteindre et les résultats obtenus. Le processus d évaluation externe (analyse de données sur les établissements, visite sur le terrain, conduite des entretiens, rédaction du rapport d évaluation) se déroule sous la responsabilité du président du comité de visite. Ce comité est composé d experts choisis à partir d un vivier rendu public et selon des critères qui en garantissent la légitimité. Le dernier mot du rapport, dans le cadre de la procédure contradictoire, appartient au chef de l établissement évalué qui peut s exprimer en toute liberté sur le rapport. Les modalités et les champs d intervention L évaluation d un établissement repose sur l analyse des stratégies qu il met en œuvre pour atteindre ses objectifs. Cette analyse se fonde sur un petit nombre de mesures et d indicateurs qui rendent compte des résultats des différentes actions de l établissement au tiple niveau local, national et international. C est pourquoi il convient de repérer la nature et la qualité de ces stratégies dans plusieurs domaines : la recherche, la formation, la valorisation, les relations avec l environnement, les relations internationales et la politique étudiante. La cohérence d ensemble est appréciée au niveau du gouvernement de l établissement et à travers les principes de gestion qui en découlent. L évaluation de chacune de ces stratégies doit favoriser les comparaisons intra- et interétablissements et donc conduire à la fois à une saine émulation et à une logique d amélioration continue. 7

9 La stratégie en matière de recherche Elle s apprécie à travers le mode de gestion des ressources humaines dans les domaines du recrutement, de la promotion, de l affectation des emplois vacants et créés. Il s agit d analyser, par exemple, le niveau de recrutement externe des enseignants-chercheurs et le nombre de post-doctorants entrants et sortants au regard des intentions de l établissement en matière de recherche. On observera de la même façon le mode de répartition des emplois et des personnels IATOS entre les différentes fonctions impliquées par les activités de recherche. Par ailleurs, on appréhendera précisément les modalités et les finalités de l utilisation des crédits globalisés placés sous la seule responsabilité de l établissement. On appréciera la nature et la qualité des dispositifs décisionnels mis en place par l établissement pour définir, orienter, promouvoir sa politique de recherche avec ses différents partenaires locaux, nationaux et internationaux. On appréciera également la nature et la qualité de son appartenance à des réseaux de recherche et de valorisation économique. On appréciera aussi les orientations et les résultats liés aux interactions éventuelles entre champs thématiques et disciplinaires. La stratégie en matière de formation Elle s apprécie à travers le rapport entre l offre de formation, l ensemble des ressources humaines disponibles et les objectifs clairement identifiés. Elle s apprécie à travers le rapport entre les formations professionnelles et la nature de l environnement économique, social et culturel, à travers le rapport entre les formations dites courtes et les formations dites longues et à travers le rapport entre les formations technologiques et les formations générales. Elle s apprécie aussi à travers le niveau de pluridisciplinarité lié à l existence et à la qualité des disciplines présentes dans l établissement. Enfin, et sans clore le champ d investigation, la stratégie en matière de formation s apprécie à travers l existence ou non des évaluations systématiques des enseignements, à travers l utilisation du supplément au diplôme et à travers la hauteur et la qualité de l offre d enseignement dans le cadre de la formation tout au long de la vie. L ensemble doit être rapporté au suivi de l insertion professionnelle et à ses outils de mesure. La stratégie en matière de valorisation Elle s apprécie à travers les opérations de transfert de technologies ou de savoirs en direction des différents secteurs économiques privés et publics. Elle s apprécie aussi dans le cadre de la prise de brevets, dans celui de la création de jeunes entreprises, dans la promotion de nouveaux métiers et dans les actions de diffusion de la culture scientifique et technique. Elle s apprécie également à travers la politique d ouverture pratiquée à l égard des enseignants et parents d élèves du second degré, dans le but, notamment, de revaloriser les formations et les carrières scientifiques mais aussi de faire connaître celles de lettres et de sciences humaines et sociales. La stratégie en matière de relations avec l environnement local, national, international Elle s apprécie à travers la nature et la profondeur des coopérations conduites avec d autres établissements académiques et avec le tissu industriel local (par exemple, la participation de ce dernier à l élaboration de certaines formations et sa capacité à accueillir et à insérer les étudiants diplômés). Elle s apprécie aussi, dans le cas où l établissement dispose d implantations périphériques, par le niveau d irrigation des milieux économiques, culturels et sociaux locaux, de même que par la pertinence ou non des formations implantées dans ces sites délocalisés. Ce dernier repère permet tout autant d apprécier la politique de l établissement que de qualifier celle des collectivités concernées. 8

10 Elle s apprécie aussi à travers la capacité de l établissement à répondre à des besoins économiques locaux (transfert de technologies, formation continue en direction ou à la demande des PME et PMI locales ), nationaux ou à une logique de valorisation internationale (comme, par exemple, la participation à de grands consortiums). La stratégie en matière de relations internationales Elle s apprécie à travers le ou les dispositifs mis en œuvre pour rassembler et capitaliser des relations nouées par des individus, des laboratoires ou des composantes de l université. Elle s apprécie par le niveau de mobilité entrante et sortante des étudiants et des enseignants-chercheurs. Elle s apprécie encore à travers le nombre, le niveau et la qualité des diplômes conduits en partenariat international. Elle s apprécie aussi par le nombre, le niveau et la qualité des cotutelles de thèses et des copublications européennes et internationales. La stratégie en matière de politique étudiante Elle s apprécie à travers la qualité des dispositifs mis en place pour l accueil des étudiants français et étrangers. Cet accueil recouvre tous les aspects de la vie étudiante : depuis l aide au logement, l offre culturelle et sportive, la prévention sanitaire et sociale jusqu aux dispositifs d orientation, l accès aux bibliothèques et à l information et la participation à l évaluation des enseignements dans le cadre de l évolution des formations. Le gouvernement et la gestion de l établissement Le pilotage de l établissement s apprécie à travers les modes de préparation des décisions, le degré de participation des composantes à la définition et à la promotion d une politique d établissement (par exemple, la gestion des ressources humaines, la stratégie de recherche, la stratégie de formation, la politique étudiante, les relations internationales ). Il s analyse aussi à travers l existence et la pertinence des outils utilisés pour le contrôle de gestion, la gestion prévisionnelle des emplois, le suivi des heures complémentaires et des emplois contractuels, le suivi budgétaire Il s apprécie également à travers la participation et l implication des partenaires de l établissement, plus particulièrement des partenaires locaux et régionaux. Il s apprécie encore par l existence ou non d un dispositif d évaluation propre à l établissement pour les missions principales qui sont les siennes. Il s analyse aussi à travers la capacité de l établissement à construire une programmation pluriannuelle de ses activités et de leur support logistique, en tenant compte d un nécessaire soutenabilité budgétaire, lequel constitue un des principes de base de la loi organique relative aux lois de finances. 9

11 Guide de l'évaluation externe des établissements Fiche 1 : La stratégie scientifique et de valorisation de la recherche Il s agit pour l expert d évaluer la stratégie scientifique de l établissement et non la qualité des résultats des unités. Cette dernière évaluation est menée par la section 2 et ses résultats enrichiront l évaluation des établissements. Les éléments structurants de la stratégie scientifique 1. La gestion des ressources humaines au service de la politique scientifique Le recrutement des personnels : Les mesures : Conditions de la définition des profils (recherche, enseignement, ), mécanismes du recrutement (local, national, international, information donnée aux commissions de spécialistes sur la politique de l établissement), règles de publication des emplois, actions menées pour rendre attractifs les emplois proposés, articulation avec les grands organismes. Les règles d'interprétation : elles peuvent être variables selon les disciplines, en fonction de leurs besoins (innovation, renforcement de compétences existantes ). Les redéploiements de postes Les mesures : Les nombres de postes redéployés par disciplines (et dans le temps), articulation avec les grands organismes. Les règles d'interprétation : Il est nécessaire de prendre du recul et faire un bilan global, sur l ensemble des disciplines de l établissement pour connaître la réalité des redéploiements, ou de savoir reconnaître et analyser «l endogamie» 2. L'utilisation des crédits mutualisés de la recherche (BQR, PPF «président», collectivités, prélèvements sur les contrats, preciput ) Les mesures : le montant, la répartition, les critères et les modalités d affectation, l articulation avec les grands organismes. Les règles d'interprétation : Par exemple, il n'y a pas une manière unique de répartir le BQR. Il convient d interpréter les répartitions entre les diverses entités faites par l établissement : conforter des équipes déjà bien dotées pour répondre à des priorités scientifiques, soutenir des jeunes équipes développant des thématiques scientifiques émergentes. L'évaluateur doit se poser la question de l'opportunité des choix. 3. La prise en compte de la logique des financements incitatifs sur projets Les mesures : veille scientifique et économique au sein de l établissement, maîtrise des logiques de projets, appui technique à la gestion des appels d offres, articulation avec les grands organismes, nombre de contrats européens, nombre de contrats internationaux dont l établissement est établissement principal. Les règles d'interprétation : cohérence et logique des projets au regard des priorités définis par l établissement et de la capacité à les réaliser. 4. La valorisation de la production scientifique et le transfert technologique Les mesures : diffusion de la culture scientifique (règles éditoriales de publication, existence d'une charte, connaissance du nombre et de la nature des publications produites dans l'établissement), les brevets déposés (nombre, nature, ), les relations avec les grands organismes de recherche et le milieu socio-économique (recrutement des docteurs dans les deux secteurs), contrats (contenu des conventions, PV de réunions de conseil scientifique,...), structures de transfert (incubateurs, filiales start-up, SAIC), articulation avec les grands organismes... Les règles d'interprétation : rapport coût/efficacité, reconnaissance. 10

12 Fiche 2 : La stratégie en matière de formation Il s agit pour l expert d évaluer la stratégie de l établissement en matière de formation et non de procéder è l évaluation des programmes. Cette dernière évaluation est menée par la section 3 et ses résultats enrichiront l évaluation des établissements. 1. L élaboration de la carte des formations Mesure : Modalités de constitution l offre de formation initiale et continue : critères d arbitrage de quels critères pour la création d une formation, les niveaux de régulations (départements, composantes, CEVU, CA, ministère). Constitution des équipes pédagogiques : degré de mixité (disciplinaire, entre fondamental et appliqué, entre académiques et monde socio-économique) Promotion des formations de l établissement : relation lycées, qualité de l information (sites web, ) Règles d interprétation : analyse des circuits de décision, type de régulation (vertical, horizontal), conséquence sur l innovation, sur la pluridisciplinarité, évolutions des effectifs selon les différents niveaux (LMD). 2. La prise en compte de la dimension professionnelle de la formation Les formations professionnelles Mesure : nombre de filières professionnelles, typologie (préparation aux concours, formation à des métiers), l intégration des filières professionnelles à l offre de formation (IUT, BTS, ) et niveau (L et M) ; intégration de la formation continue aux formations (VAE, formation continue, apprentissage sont-ils des instruments dans la stratégie de reprise d étude de l université?); Existence d un observatoire. Règles d interprétation : adaptation de la composition des équipes d enseignants (mixité, liens avec le milieu professionnel) ; lisibilité du parcours, des sorties possibles ; prise en compte des résultats de l observatoire dans la définition ou la correction de la stratégie. L insertion professionnelle Mesures : Existence d un observatoire, mise en place de plates-formes d insertion professionnelle, connaissance de l insertion professionnelle des étudiants sortants (service dédié à l insertion?) Règles d interprétation : mise en place d une approche par compétence? Prise en compte des résultats de l observatoire dans la définition ou la correction de la stratégie ; connaissance du niveau d insertion (type de fonction, rémunération, lieu d exercice, ) La formation doctorale Mesures : Les missions confiées aux ED, relations des ED entre elles, avec les labos, avec d autres établissements (cotutelles de thèse), avec le monde socio-économique. Les stratégies de formation dans les écoles doctorales. Col Règles d interprétation : valeur ajoutée des enseignements de l ED par rapport aux enseignements disciplinaires, confrontation avec d autres champs disciplinaires, d autres méthodes, confrontation avec le monde socio-économique dans une perspective d insertion professionnelle. Place de l ED dans l organisation universitaire. 3. L internationalisation des formations Mesure : Participation au processus de Bologne (ECTS, supplément au diplôme, mobilité, aides à la mobilité) ; partenariats et conventions avec les établissements étrangers, enseignements délocalisés ; enseignements des langues étrangères ; doubles diplômes. Règles d interprétation : pérennité des échanges, logique par rapport aux axes scientifiques de l établissement ; Politique concertée avec les autres établissements du site, avec la Région, les collectivités en général? 4. La préoccupation pour l assurance qualité de la pédagogie et des formations : Mesure : Dispositifs de contrôle de la conformité des formations par rapport aux modalités votées en conseil, des conditions de réalisation des enseignements et des modalités de contrôle des connaissances (qualité, régularité des procédures). Dispositif d évaluation des enseignements. Règles d interprétation : Existence et diffusion d une charte des examens ; quelle est la valeur ajoutée de l établissement ; l évaluation des enseignements est-elle connue, diffusée, dans quelles conditions? Est-elle prise en compte pour les ajustements éventuels? 11

13 Fiche 3 : La vie de l étudiant 1. Le soutien des étudiants Soutien pédagogique Mesure : orientation active, dispositifs de tutorat, orientation et réorientation interne et externe, mise en place des équipes pédagogiques ; mise à disposition de ressources pédagogiques adéquates ; accès aux ressources documentaires (heures d ouverture du SCD), formation à la recherche documentaire. Règles d interprétation : bilan et analyse des différents dispositifs pour en mesurer l efficacité, baisse du taux d absentéisme, augmentation des taux de réussite, Soutien social*, médical* Mesure : relations de l établissement avec le CROUS (logement, aides financières), organisation de la prévention, du suivi médical et sanitaire, accompagnement des étudiants handicapés. Règles d interprétation : conventions avec les partenaires ; moyens humains, moyens techniques, aménagement des locaux, des horaires, des calendriers, 2. Le sentiment d appartenance* à l université Vie culturelle et sportive Mesure : soutien aux associations (financier, locaux, formations) ; nombre de manifestations ; partenariat avec les collectivités, les autres universités ; participation à des réseaux (culturels et sportifs). Règles d interprétation : participation de la communauté aux manifestations ; formalisation des partenariats (conventions?) Participation à la vie institutionnelle de l établissement Mesure : assiduité des étudiants et des IATOS aux conseils ; organisation de formations pour les étudiants ; prise en compte sous quelque forme que ce soit de la participation des étudiants, existence d une vice-présidence étudiante, d une charge de mission ; gestion de services par les étudiants. Règles d interprétation : taux de participation aux élections, participation réelle aux décisions (prise en compte de l avis des étudiants?) * Les questions de suivi sanitaire et social, sentiment d appartenance à l établissement, vie culturelle et sportive valent aussi pour les personnels de l université (personnels administratifs et techniques notamment) 12

14 Fiche 4 : La stratégie en matière de relations internationales 1. Politique concertée, discutée ou somme des politiques de composantes, des laboratoires. Mesure : Existe-t-il une politique concertée des relations internationales ou la politique n est-elle que la somme des politiques des composantes ou des laboratoires? La politique des relations internationales est-elle en harmonie avec les autres établissements du site, avec les collectivités locales? Règles d interprétation : pays cibles, priorités d intervention, thématiques de recherche privilégiées, conventions avec les autres établissements et les collectivités locales en matière de relations internationales, connaissance au niveau central des activités à l international des enseignants-chercheurs, des IATOS, des étudiants. 2. Les échanges Mesure : état de la mobilité entrante et sortante des étudiants, enseignants et administratifs ; existence d un service des RI, bureau/structure d aide à la mobilité ; existence de moyens pour l aide (cours de langue, etc.). Règles d interprétation : les retombées sur l établissement des échanges, conséquence sur la réussite et l insertion des étudiants ayant été en mobilité? Quelle mesure de l efficacité des systèmes d aide à la mobilité (évaluation en interne?) 3. Les diplômes en partenariat international Mesure : Investissement de l établissement dans l élaboration de ce type de diplômes Règles d interprétation : Quel impact sur la poursuite des études et sur l insertion professionnelle? 4. Les co-tutelles de thèse et les co-publications européennes et internationales Mesure : Nombre de co-tutelles, avec quels partenaires? Implication des laboratoires dans cette politique de cotutelles et de co-publications? Règles d interprétation : Quel impact sur l insertion professionnelle? 13

15 Fiche 5 : Les relations extérieures Entre établissements universitaires et EPST, milieux économiques 1. Le rôle de l établissement dans la politique de site Mesure : Existe-t-il une stratégie à l échelle du site? Existe-t-il un PRES et quelle est l implication de l établissement dans le projet de PRES? Règles d interprétation : membre fondateur ou non? mobilisation de toute l université, quel vote? Ambition des objectifs du PRES? Les enjeux pour l établissement 2. Les relations avec les EPST Mesure : Modalités et dispositifs de coopération sur les emplois, les finances et le matériel (locaux) Règles d interprétation : PV de CS et CA, congés thématiques? 3. Les relations avec les collectivités (CR, CG, communautés urbaines, mairies) Mesure : CPER, participation de l établissement au CS du CR, participation des extérieurs aux conseils des universités (taux d absentéisme). Formalisation des relations par des contrats, des conventions? Implication des partenaires en recherche, formation, RI, échanges étudiants? Appui des collectivités aux antennes délocalisées? Règles d interprétation : 4. Les relations avec les milieux économiques Mesure : Les relations avec le milieu socio-économique permettent-elles à l établissement d élaborer une stratégie d adaptation des formations aux métiers existants et émergeants. Participation du milieu à la conception et à la mise en œuvre de l offre de formation (nombre de PAST). Capacité de l établissement à collaborer avec le milieu socio-économique et la participation de ce milieu à l offre de formation. 14

16 Fiche 6 : Le gouvernement et la gestion Il s agit ici pour l expert non pas d évaluer le gouvernement et la gestion en tant que tels (l évaluation de l AERES n est pas un contrôle) mais bien d analyser si l organisation de l établissement garantit la réalisation du projet d établissement. 1. Gouvernance Mesure : Composition et modes de désignation des VP et de l équipe présidentielle. Activités des conseils (assiduité des membres, fréquence des réunions, participation des membres extérieurs). Existence d indicateurs pour le pilotage. Relations entre centre et composantes (réunion des directeurs UFR), politique des services communs. Relations avec l environnement (politique de communication, organisation et maîtrise de la communication interne et externe de coopération) Règles d interprétation : lisibilité des orientations stratégiques, diffusion de ces orientations dans l établissement dans son ensemble ; mise en œuvre des orientations dans les services 2. La politique de ressources humaines au service de la stratégie d établissement 1 La politique des emplois Mesure : la logique de l organigramme et l organisation du recrutement (titulaires, contractuels, ), de la gestion et de la répartition des emplois ; la gestion prévisionnelle des emplois et des compétences (GPEC) : mise en place de fiches de poste, de systèmes d analyses des besoins et des moyens à moyen voire long terme ; organisation du temps de travail (politique des heures complémentaires, dispositifs d analyse des coûts). Règles d interprétation : connaissance et diffusion de l organigramme ; pertinence des fiches de poste ; utilisation des travaux de prospective de gestion des emplois. Analyse des HC (proportion enseignants titulaires /formateurs extérieurs variable selon les disciplines et les caractéristiques de la formation) L investissement dans la formation continue des personnels Mesure : programmes de formation continue des personnels administratifs. Règles d interprétation : anticipation des besoins de nouvelles compétences ; rôle effectif de la formation continue dans la stratégie RH 3. La politique financière Mesure : l organisation de la fonction financière (services financiers/agence comptable). Construction budgétaire (le budget établi comme la somme des budgets des composantes ou budget qui rend compte des priorités des établissements) ; suivi budgétaire, contrôle de gestion Connaissance des réserves et méthode des reports Origine des financements (État, collectivités, frais d inscription des étudiants, ressources propres, filiales, contrats, ) et leurs proportions Règles d interprétation : la logique de l organisation des fonctions finances et comptabilité ; maîtrise budgétaire ; logique d utilisation des DBM Stratégie de développement des ressources propres 4. La politique patrimoniale Mesure : existence et organisation des services dédiés à la gestion du patrimoine et à la sécurité des locaux ; nature des ressources dédiées au patrimoine (État exclusivement, participation des collectivités, ressources propres?) Répartition des locaux entre recherche, enseignements et administration, entre les laboratoires, les UFR et les services. Stratégie de développement et d adaptation du patrimoine. Prise en compte des normes de sécurité. Règles d interprétation : maîtrise d ouvrage, capacité de proposition et de gestion au niveau CPER. 1 Cf. aussi la GRH dans les parties stratégie en recherche et en matière de formation 15

17 Évaluation des établissements Vague C Procédure transitoire 1 Composition des comités de visite : Désignation du délégué scientifique responsable et du chargé de projet (AERES) Désignation du président du comité et des experts, parmi : universitaires ayant exercé ces responsabilités universitaires étrangers industriels secrétaires généraux d académie étudiants 2 Information du président de l université ^ 3 - Documentation remise aux membres du comité Dossier AERES : textes réglementaires principes organisateurs repères pour l évaluation des établissements guide de l évaluation Dossier établissement : auto-évaluation (bilan du quadriennal ) CPER indicateurs contrat établissement indicateurs DEPP indicateurs financiers indicateurs recherche évaluation des unités (section 2) évaluation des formations (section 3)? 4 Réunion du comité de visite Cette réunion a pour but de : vérifier l information des experts préciser les objectifs de la visite répartir les rôles et responsabilités de chacun 16

18 5 Organisation de la visite en concertation avec le président de l université détermination des dates (3 jours) planification des rencontres avec : équipes présidentielles secrétariat général responsables des composantes et des services centraux ou généraux responsables d équipes de recherche et d équipes pédagogiques étudiants personnalités extérieures (collectivités ) 6 Documents susceptibles d être demandés à l établissement par le comité projet d établissement organigramme de l établissement tout indicateur de pilotage accès à l intranet de l établissement (PV Conseils ) 7 Visite du comité (3 jours) Elle est initiée par une présentation de l université par son président. Elle se poursuit par des rencontres individuelles en l absence du président et des réunions de conclusions. 8 A l issue de la visite et dans la semaine rédaction par les experts de leur contribution 9 Réunion de restitution bilan comité de visite, chargé de projet, délégué scientifique, directeur : confrontation des analyses thématiques préparation du rapport de visite rédigé par le président de comité 10 Le rapport de visite : Plan : brève présentation analyse de la politique menée en matière de recherche, formation, valorisation, relations à l environnement, relations internationales, politique étudiante, gouvernement et gestion conclusion, points forts, points faibles, recommandations 11 Le rapport d évaluation analyse du rapport de visite et complément d information des délégués scientifiques et des chargés de projet rédaction du rapport d évaluation : Directeur, délégués scientifiques, délégué administratif et chargés de projet en insistant sur points forts, points faibles, recommandations 12 Envoi à l établissement pour réponse contradictoire du président 13 Transmission aux directions de tutelle des établissements 14 Publication sur le site de l AERES 17

19 18

20 Carnet de visite des unites de recherche I RÔLE DU COMITÉ DE VISITE II COMPOSITION DU COMITÉ DE VISITE III DÉROULEMENT DE L ÉVALUATION IV CRITÈRES ET INDICATEURS V RAPPORT D ÉVALUATION Ce document a vocation à évoluer dans les mois qui viennent au fur et à mesure des travaux de l AERES. En effet, il correspond à une phase transitoire du travail de l Agence, et ne s adresse dans l immédiat qu aux établissements et organismes de la vague C. 19

21 I - Rôle du comité de visite Le comité de visite évalue tous les aspects des activités conduites par les unités de recherche des établissements et organismes concernés sur la base du dossier de contractualisation de l unité demandé par la tutelle. Les évaluations apportent aux acteurs et aux différents niveaux de tutelle de la recherche et de l enseignement supérieur des éléments objectifs d appréciation de la qualité de l activité menée dans les unités de recherche. Les décisions de reconnaissance ainsi que l affectation des moyens humains et financiers demeurent pleinement de la compétence de l État ou des établissements concernés. Il s agira : pour une unité en renouvellement, d'étudier le projet, d étudier le bilan de l activité des quatre années précédentes et de dégager les lignes de forces et les points à améliorer ; pour une unité nouvelle ou en renouvellement, d analyser l étude prospective ainsi que les objectifs et la stratégie définis pour les quatre prochaines années. II - Composition du comité de visite Le comité de visite est constitué d une part d au moins six experts choisis au sein d un vivier rendu public dont un président et d autre part d un représentant de l instance d évaluation des personnels de chaque établissement dont relève l unité évaluée, sur proposition de cette instance (comité national, CNU 1, commissions scientifiques spécialisées de l'inserm 2 ). Ces experts peuvent être des chercheurs, des enseignants-chercheurs, des ingénieurs et techniciens du monde de la recherche académique ou industrielle, française ou étrangère. Les présidents ou directeurs des organismes ou leurs représentants, ainsi qu'un représentant de l'aeres, assistent aux rencontres avec le directeur d'unité ou avec les équipes et interviennent à la demande du président du comité de visite pour apporter des éléments de contexte ou des précisions sur la stratégie des organismes. III - Déroulement de l évaluation Les membres du comité de visite consultent le dossier de contractualisation de l unité avant la visite sur site et préparent les entretiens qui vont s y dérouler. 1 - Rencontre avec le directeur de l unité Le directeur peut être assisté de tout ou partie de son équipe de direction. La présentation de l activité de son unité, qui ne doit pas dépasser une heure, abordera les points suivants : résultats marquants des dernières années ; réalisation des objectifs du projet précédent ; synergie entre les équipes de recherche et le fonctionnement de l unité ; compétences et ressources techniques de l unité ; organisation et gestion des ressources humaines ; bilan financier ; présentation de la stratégie et du projet à 4 ans, évolution des équipes et des thèmes de recherche, besoins identifiés ; relations et coopérations internationales ; insertions institutionnelles et socio-économiques notamment dans l environnement local ; formation et valorisation ; éventuelles difficultés rencontrées. 2 - Rencontre avec les équipes de recherche Une visite in situ des équipes permet d aborder avec chacune d elles les points précédemment évoqués, sa situation au sein de l unité et ses projets particuliers. Il est prêté une attention particulière à l interaction entre les équipes. Si le nombre d équipes le justifie, le comité de visite peut se scinder afin de consacrer un temps suffisant à chaque équipe. 1 Conseil national des universités. 2 Institut national de la santé et de la recherche médicale. 20

22 3 - Rencontre avec les équipes techniques quand leur rôle le justifie Il s agit : d apprécier les compétences techniques et leur degré de mutualisation, l organisation et la gestion des ressources humaines ; d étudier l organigramme, son évolution passée et future et son adaptation aux besoins. 4 - Rencontre avec le conseil d unité et/ou les représentants du personnel Il s agit d apprécier : la vie scientifique de l unité ; son appropriation des objectifs et de la stratégie ; les éventuelles difficultés. 5 - Le comité de visite peut auditionner toute personne qu il jugera utile 6 - Discussion entre les membres du comité de visite Les membres du comité, auxquels le président peut associer les représentants d organismes ou de l agence, se réunissent à huis clos. Le président du comité réalise une synthèse de l évaluation qui constitue l ébauche du rapport. Cette ébauche peut-être communiquée oralement à l unité. 7 - Rapport d évaluation La rédaction du rapport est organisée par le président ; le rapport reflète la position collective des membres du comité. Ce rapport est transmis sous deux semaines au directeur de la section des unités de l AERES. IV - Critères et indicateurs L avis du comité prendra en compte différents critères et indicateurs à considérer en fonction de la nature de la recherche (fondamentale, appliquée, finalisée) conduite par l unité. 1 - Stratégie scientifique La stratégie scientifique et la prospective s apprécient à travers la pertinence des objectifs affichés par l unité au regard de ses missions, de sa taille, de son organisation et de sa capacité à avoir réalisé le projet précédent. Elle s apprécie aussi à travers les dispositifs mis en œuvre pour atteindre ces objectifs : la politique d incitation à l émergence de sujets innovants, à la prise de risque et aux sujets frontières, l'adaptation aux évolutions dans le contexte local, national, européen et international, la réflexion et la prospective sur les créneaux scientifiques porteurs, vision de l évolution de l unité à 4 et 8 ans ; la politique d animation de l unité la politique de recrutement, l analyse prospective à moyen et long terme des besoins et des compétences nécessaires aux mutations scientifiques et techniques identifiées ; la politique d investissement et sa cohérence avec le projet scientifique de l unité. la politique de répartition des moyens, en particulier pour les unités finalisées, en fonction des objectifs fixés. 2 Résultats scientifiques le niveau de l activité scientifique de l unité : exceptionnelle, très bonne, bonne, moyenne, ou insuffisante selon la notoriété des travaux et des publications, la vitalité et l attractivité des équipes, les prix et distinctions obtenus, les invitations dans les colloques, l originalité et l intérêt des recherches l existence de faits majeurs pour la communauté, l implication de l unité dans les programmes scientifiques nationaux, européens et internationaux. les collaborations scientifiques, l insertion dans les réseaux la prise de risques, l interdisciplinarité les HDR soutenues, thèses encadrées, visiteurs la visibilité internationale l adaptation des moyens mis en œuvre pour les objectifs affichés ; l existence de sujets de recherche émergents, la présence de jeunes chercheurs prometteurs 21

23 3 - Instruments de recherche mis à disposition de communautés scientifiques au-delà de l'unité : plates-formes technologiques, centres de ressources, banques de données, logiciels scientifiques. 4 - Construction et entretien de relations partenariales avec le monde socio-économique L intégration dans l environnement local Le rôle de l unité dans les pôles technologiques Les relations avec les partenaires nationaux et internationaux du monde socio-économique Les relations avec les partenaires locaux scientifiques et institutionnels Les activités que les équipes développent pour construire et faire durer les partenariats 5 - Production de connaissances opérationnelles destinées à des utilisateurs de la recherche, le transfert et la valorisation socio-économique de recherches Les brevets, les logiciels, les licences et les publications dans les revues professionnelles, représentent une partie de la production scientifique. Plus généralement, seront appréciées la qualité et l importance des partenariats industriels ou institutionnels (ERT 3, Institut Carnot, laboratoire mixte, service certifié de mesure ou de caractérisation ) où l unité aura une vraie valeur ajoutée, et pas uniquement un rôle de prestataire de services. Dans le domaine de la santé, une attention particulière sera accordée à la qualité de la recherche clinique et des essais thérapeutiques, aux innovations diagnostiques et thérapeutiques, au suivi des cohortes Les activités d'expertise et d'aide à la décision auprès des ministères, collectivités territoriales, organismes parapublics et des entreprises sont des vecteurs importants de valorisation des recherches. Au delà de la prestation de services, ce peut être un indicateur de transfert, d'insertion socio-économique réussie et d'accès à l'information (types de contrats de conseil obtenus, aide au financement de bourses de recherche, insertion liée des docteurs). Il s agira d apprécier aussi la qualité de la valorisation des équipements dont elle dispose et de son rôle dans la création d entreprise. 6 - La formation et la diffusion de la culture scientifique Il s agit de la contribution de l unité à l école et à la formation doctorale, à la formation licence et master et à la diffusion de la culture scientifique. École et formation doctorale Parmi les indicateurs, on retiendra le nombre de doctorants et la qualité de leur encadrement, le nombre de thèses soutenues, la durée moyenne des thèses, l analyse des abandons, les sources de financement des allocataires, les publications (issues) des thèses, le suivi et l insertion des doctorants. Formation licence et master Les indicateurs se définissent ainsi : prise de responsabilités administratives autour de la formation ; articles et ouvrages pédagogiques, cours en ligne ; contribution des chercheurs ; décharge d enseignement. 7 - Diffusion des connaissances et veille sociétale Analyse prospective, animation de réseaux sur les questions sociétales, identification de la demande de recherche, Conférences grand public, fête de la science, émission radio/télévision, ouvrages, films 8 - Expertises Il s agit par exemple des expertises à la demande des agences, des organismes ou des ministères, etc. 9 - La gouvernance et le fonctionnement de l unité Ils s apprécient à travers un ensemble d éléments : les conditions matérielles de travail, la gestion des questions d hygiène et de sécurité, l activité scientifique interne, l activité scientifique commune (séminaires, colloques, ), l implication des personnels dans la vie de l unité, la politique de mutualisation des ressources, la politique de suivi et de formation des personnels et des doctorants. 3 Équipe de recherche technologique. 22