RÉFÉRENTIEL DE L ÉVALUATION EXTERNE DES ORGANISMES DE RECHERCHE

Transcription

1 Département d évaluation des établissements RÉFÉRENTIEL DE L ÉVALUATION EXTERNE DES ORGANISMES DE RECHERCHE CAMPAGNE D ÉVALUATION VAGUE A octobre 2018

2 SOMMAIRE Sommaire... 2 Introduction... 3 Domaine 1 : Le positionnement et la stratégie institutionnels... 5 Sous-domaine 1 : L analyse du positionnement institutionnel... 5 Sous-domaine 2 : La stratégie institutionnelle... 5 Domaine 2 : La gouvernance et le pilotage... 6 Sous-domaine 1 : L organisation interne de l établissement... 6 Sous-domaine 2 : La gouvernance au service de l élaboration et de la conduite de la stratégie... 6 Sous-domaine 3 : Le pilotage au service de la mise en œuvre opérationnelle du projet stratégique... 7 Domaine 3 : Les activités de l organisme... 8 Règle d interprétation :... 8 Sous-domaine 1 : Le pilotage et le suivi des activités de l organisme... 8 Sous-domaine 2 : La trajectoire suivie par l organisme... 8 Annexe : Les constituants du référentiel... 9 Campagne d évaluation Vague A 2

3 INTRODUCTION Ce document présente le référentiel de l évaluation externe des organismes de recherche mise en place par le Haut Conseil de l'évaluation de la recherche et de l'enseignement supérieur (Hcéres). Il s inscrit dans le cadre général des évolutions récentes du système français de l enseignement supérieur et de la recherche et, simultanément, des principes d assurance qualité définis au niveau européen. Rappel législatif Conformément à la loi n du 22 juillet 2013 relative à l'enseignement supérieur et à la recherche, le Hcéres est une autorité administrative indépendante. Au niveau de l évaluation institutionnelle, le Hcéres est chargé d évaluer les établissements d'enseignement supérieur et leurs regroupements, les organismes de recherche, les fondations de coopération scientifique et l'agence nationale de la recherche ou, le cas échéant, de s'assurer de la qualité des évaluations conduites par d'autres instances. Les références européennes pour le management de la qualité Dans des contextes qui peuvent être sensiblement différents, les pays européens qui adhèrent au processus de Bologne s efforcent de mettre en place des outils d évaluation externe obéissant à des principes communs. Ceux-ci ont été définis dans les European standards and guidelines (ESG) for quality assurance qui concernent trois grandes dimensions de l assurance qualité : l assurance qualité interne relative aux établissements, l assurance qualité externe mise en œuvre par les agences d évaluation et les modalités d évaluation des agences d assurance qualité. S agissant des processus d évaluation externe des établissements, les références et lignes directrices européennes indiquent que : les buts et objectifs de l évaluation doivent être clairs et largement diffusés ; les démarches d évaluation doivent reposer sur des procédures adaptées ; les procédures utilisées doivent être connues des évaluateurs et des évalués ; en particulier, les références et critères doivent être explicites et rendus publics. Plus globalement, la reconnaissance du Hcéres et son inscription au registre européen EQAR (European quality assurance register) garantissent une bonne adéquation entre ces pratiques et les principes européens. Contexte et enjeux de l évaluation institutionnelle La charte de l évaluation encadre l ensemble des actes d évaluation qui sont décrits dans le présent document. Dans le contexte de l autonomie et de la responsabilité de chaque établissement, l évaluation institutionnelle porte les enjeux suivants : un périmètre de l évaluation qui couvre toutes les activités de l établissement ; une analyse des modes d élaboration de la stratégie de l établissement et de sa mise en œuvre opérationnelle ; une analyse des mécanismes de gouvernance de l établissement et de sa capacité à maîtriser le pilotage de ses activités (et plus particulièrement ses activités de recherche), en lien avec sa stratégie et en appui sur une politique identifiée de la qualité ; une analyse de la capacité de l établissement à suivre et qualifier sa trajectoire au cours de la période de référence (la période soumise à l évaluation, voir infra) dans ses différentes activités et à en déduire ses forces et faiblesses ; une analyse de la cohérence globale des politiques d établissement dans les différentes activités, respectant ses choix stratégiques. Campagne d évaluation Vague A 3

4 Le contexte méthodologique Le processus d évaluation ex post porte sur une période de référence de quatre à cinq années qui peut être définie comme l intervalle de temps entre les deux dernières auto-évaluations réalisées par l établissement. Elle peut également, en fonction des choix opérés par l établissement dans le cadre de son auto-évaluation, se limiter à la période écoulée depuis le début du dernier contrat pluriannuel avec sa tutelle. Le référentiel d évaluation permet de définir le périmètre de l évaluation (domaines et sous-domaines), les attentes (références) du processus d évaluation et les critères que le comité devra mettre en œuvre pour évaluer le niveau de réponse de l établissement. Le référentiel d évaluation des organismes de recherche s appuie sur une modélisation de la conduite d un établissement à partir des cinq dimensions clés suivantes : Le positionnement institutionnel : La notion de positionnement intègre l identification de la place occupée par l organisme dans son environnement local, national et international et la définition de l ambition globale portée par l organisme. Le positionnement est défini au début de la période de référence et se décline ainsi : le positionnement constaté par l organisme au début de la période de référence et ceci pour chacune de ses missions ; le positionnement visé par l organisme qui traduit son ambition pour le terme de la période de référence. La définition du positionnement (constaté et visé) implique une analyse stratégique interne (atouts et fragilités) et externe (opportunités et menaces), enrichie d une démarche d analyse comparative pour chacune des missions de l organisme. La stratégie institutionnelle : Pour la période de référence, elle associe d une part, l ambition choisie pour son positionnement et portée par l organisme à travers la fixation d objectifs et d autre part, la mobilisation des moyens (ressources et compétences) pour y parvenir. La stratégie se décline dans les différents domaines d activités de l organisme et est sous-tendue par des analyses prospectives. L organisation : Elle correspond aux choix structurels d organisation interne faits par l organisme pour assurer ses missions et la mise en œuvre de sa stratégie. La gouvernance : Elle inclut l'ensemble des instances, des règles et circuits de décision au service de l élaboration et de la conduite de la stratégie de l organisme. La gouvernance de l organisme articule la sphère politique et la sphère administrative et mobilise la politique de la qualité. Le pilotage : Il se traduit par les méthodes et outils de management utilisés par l organisme pour la mise en œuvre opérationnelle de sa stratégie. Cela inclut le système d information utilisé pour assurer le suivi des activités et l aide au pilotage, la mobilisation pluriannuelle des ressources humaines et matérielles dans toutes les activités. L évaluation externe se fonde sur le rapport d auto-évaluation produit par l organisme. Le document «repères pour l auto-évaluation» fourni dans la base méthodologique de l évaluation institutionnelle décrit les enjeux de l auto-évaluation et les attendus de ce rapport. Les spécificités du référentiel de l évaluation externe des organismes de recherche Le référentiel est structuré en 3 grands domaines, eux-mêmes déclinés en 7 sous-domaines. Il comprend au total 11 références, chacune accompagnée d un ensemble de critères. L annexe à ce document définit les différents constituants du référentiel. Campagne d évaluation Vague A 4

5 DOMAINE 1 : LE POSITIONNEMENT ET LA STRATÉGIE INSTITUTIONNELS Sous-domaine 1 : L analyse du positionnement institutionnel Référence 1 : l organisme identifie son positionnement et son modèle, d organisme de recherche, au regard de ses missions dans le paysage national et international de l ESRI et il en définit les évolutions futures Dans le cadre défini par ses tutelles, l organisme a une vision claire de ses missions et de son engagement au service de l État et de la société ; ces éléments présentent un lien avec ses valeurs, son histoire et ses statuts. L organisme définit son modèle (structuration des équipes, territorialité, partenariat) ainsi que son rôle (opérateur, agence, modèle mixte, autre) et les types de recherche et d activités qu il entend développer (recherche, valorisation, expertise, appui aux politiques publiques, aide au développement etc.). L organisme s appuie sur un diagnostic partagé pour définir son positionnement, notamment au travers d analyses comparatives au plan international. Le positionnement de l organisme est cohérent avec ses missions ; il est lisible et clairement articulé avec les politiques publiques. L organisme définit son positionnement par rapport aux coordinations territoriales de l ESRI français dans lesquelles il est impliqué. Sous-domaine 2 : La stratégie institutionnelle Référence 2 : l organisme porte une stratégie institutionnelle au regard de ses missions et de ses compétences dans le paysage national et international de l ESRI L organisme définit ses domaines d activité stratégique en s appuyant sur une prospective scientifique et sur une identification de ses forces et faiblesses. La stratégie pour la période de référence de l évaluation est lisible et formalisée, notamment avec les différentes tutelles (contrat pluriannuel, lettre de mission, etc.). Les objectifs, projets et actions inscrits dans la stratégie sont explicités ainsi que les résultats attendus. La stratégie de l organisme est cohérente avec son positionnement ; elle est articulée avec la stratégie nationale de la recherche, et les grands projets d intérêt national, européen ou international. La stratégie définie par l organisme prend en considération la prise de risque scientifique. La stratégie définie par l organisme prend en considération les problématiques de responsabilité sociétale, notamment en matière d éthique et de parité H/F, et de développement durable, notamment en matière de gestion environnementale. L origine des ressources et leur développement répondent à un modèle économique clairement défini. Les axes et orientations stratégiques futurs sont identifiés pour la période à venir et en accord avec l ensemble des missions. Référence 3 : l organisme inscrit sa stratégie dans des alliances et des partenariats aux niveaux local, national et international Les alliances et les partenariats nationaux et internationaux contribuent à la stratégie de l organisme, de façon effective et cohérente. Les actions de l organisme localisées dans les territoires sont articulées avec celles des autres acteurs présents notamment dans le cadre des coordinations territoriales. Campagne d évaluation Vague A 5

6 DOMAINE 2 : LA GOUVERNANCE ET LE PILOTAGE Sous-domaine 1 : L organisation interne de l établissement Référence 4 : l organisme définit une organisation fonctionnelle et géographique pour la mise en œuvre de ses activités au service de ses missions et de sa stratégie L organisation géographique sur le plan national et, le cas échéant, international est adaptée aux activités et à la stratégie. La structuration en entités opérationnelles est cohérente et adaptée à la stratégie. Les fonctions support et soutien sont pertinentes et efficaces. Sous-domaine 2 : La gouvernance au service de l élaboration et de la conduite de la stratégie Référence 5 : la gouvernance de l organisme s appuie sur des instances et des circuits de décision adaptés à la stratégie et aux formes choisies d action Les instances et les acteurs de la gouvernance politique et administrative ont des attributions et des rôles définis ; les principaux partenaires de l organisme y sont associés. Les circuits de décision sont explicités et permettent l efficacité des actions, qu elles soient menées en interne ou en partenariat. Le fonctionnement des instances et les processus de gouvernance favorisent l expression et la participation des différentes catégories de personnels. Le fonctionnement des instances et les processus de gouvernance répondent aux engagements de l organisme dans les domaines de responsabilité sociétale, notamment en matière d éthique et de parité H/F, et de développement durable, notamment en matière de gestion environnementale. Référence 6 : l organisme déploie une politique globale de la qualité, prenant en charge le suivi de l ensemble des activités et des résultats, ainsi que la mise en œuvre d actions correctrices L organisme s inscrit dans une démarche d amélioration continue de son fonctionnement et de ses activités. Une politique de la qualité est définie et portée par l équipe de direction ; elle est explicitée et diffusée auprès des acteurs de l organisme. L organisme dispose d un système d information et des outils lui permettant le suivi des activités et la mesure fiable et pérenne de ses résultats. Ces outils contribuent notamment à l identification des trajectoires parcourues au cours de la période de référence et des indicateurs de pilotage nécessaires à la gouvernance. L organisme identifie, évalue et maîtrise les risques associés à ses circuits de décision et à ses activités. La politique de la qualité de l organisme contribue à la mise en œuvre des engagements dans les domaines de responsabilité sociétale, notamment en matière d éthique et de parité H/F, et de développement durable, notamment en matière de gestion environnementale. La politique de la qualité de l établissement intègre, le cas échéant, le suivi des recommandations de la précédente évaluation du Hcéres (ou autres instances). Référence 7 : l organisme développe une politique de communication La politique de communication externe favorise la compréhension des missions et activités de l organisme et valorise ses résultats. La politique de communication interne contribue à l adhésion des personnels à la stratégie. Campagne d évaluation Vague A 6

7 Sous-domaine 3 : Le pilotage au service de la mise en œuvre opérationnelle du projet stratégique Référence 8 : l organisme pilote la mise en œuvre pluriannuelle de sa stratégie en mobilisant des outils d analyse prospective L organisme dispose d une analyse prospective pluriannuelle de ses besoins et de ses ressources, en accord avec sa stratégie. L organisme développe une gestion prévisionnelle des emplois et des compétences, en lien avec sa stratégie et son bilan social. Le modèle économique de référence des différents domaines d activité est identifié et soutenable. Il fait l objet d un dialogue avec les tutelles. Des analyses prospectives sont réalisées en vue d une politique de diversification des ressources. Référence 9 : l organisme structure ses processus de pilotage et s appuie sur un ensemble adapté de fonctions support et de soutien L organisation budgétaire de l organisme et ses outils d arbitrage budgétaires sont lisibles et cohérents au regard de ses activités et de sa stratégie. Ils s appuient sur un dialogue de gestion interne. La politique de gestion des ressources humaines, notamment les processus de gestion des recrutements et de formation des personnels sont adaptés à la stratégie de l organisme et aux politiques de développement de ses activités. La gestion logistique et immobilière est organisée de façon appropriée et efficace. L organisme dispose d un schéma directeur immobilier constitutif de sa stratégie, et pertinent au regard de ses implantations, de ses besoins et de ses ressources. L organisme dispose d un système d information répondant aux besoins de son pilotage, au niveau central comme à celui de ses entités internes. L organisation et les services offerts des fonctions de soutien sont cohérents au regard des activités et des implantations de l organisme. Campagne d évaluation Vague A 7

8 DOMAINE 3 : LES ACTIVITÉS DE L ORGANISME Règle d interprétation : Ce domaine a une formulation générique indépendamment des activités de l organisme (recherche, valorisation, expertise, appui aux politiques publiques, aide au développement, etc.) et de son modèle d organisation. Il est donc nécessaire de décliner et d appliquer les références de ce domaine pour toutes les activités de l organisme. Sous-domaine 1 : Le pilotage et le suivi des activités de l organisme Référence 10 : l organisme démontre sa capacité à suivre, analyser et qualifier les résultats de ses différentes activités. L organisme dispose d une vision globale de ses activités reposant sur un suivi consolidé des différentes actions menées, quelles qu en soient les modalités. Les outils de pilotage et les moyens mobilisés pour chaque activité sont identifiés. L organisme déploie des outils et moyens pour l internationalisation de ses activités. Pour chaque activité, l organisme dispose de données et d indicateurs fiables et pérennes. L organisme est en mesure de quantifier la valeur ajoutée de ses activités. L organisme développe des méthodes et outils d appréciation de l impact de ses activités sur son environnement social, culturel et économique. L organisme dispose d'une politique d'intégrité scientifique à destination de ses personnels intégrant notamment des mesures de sensibilisation, de prévention, et de détection et traitement des manquements avérés. Sous-domaine 2 : La trajectoire suivie par l organisme Référence 11 : l organisme maîtrise sa trajectoire de développement Les activités et les résultats sont cohérents avec la stratégie de la période de référence. La trajectoire parcourue est identifiée pour chaque activité. Les acteurs de l organisme en ont une perception avérée. L évolution souhaitée de la stratégie de l organisme pour chaque activité fait l objet de débats et de validations politiques réguliers. L évolution de la trajectoire de chaque activité est expliquée et programmée dans des documents stratégiques validés et diffusés. Campagne d évaluation Vague A 8

9 ANNEXE : LES CONSTITUANTS DU RÉFÉRENTIEL Les domaines et les sous-domaines Les domaines et les sous-domaines définissent le périmètre global de l évaluation. Le référentiel comprend 3 domaines. Les deux premiers domaines couvrent globalement les différentes dimensions de la gouvernance centrale de l organisme. Le troisième domaine donne une trame générique d analyse des différentes missions et activités mises en œuvre par l organisme. Chaque domaine est subdivisé en différents sous-domaines, permettant ainsi de préciser pour chaque secteur d activité les principaux éléments du périmètre concerné. A chaque sous-domaine sont associées une ou plusieurs références. Les références Les critères Une référence exprime des attendus (grands objectifs, engagements, valeurs) dont l évaluation estimera le niveau de réalisation. Ces attendus reprennent les missions des organismes ainsi que les grandes orientations et les pratiques qui caractérisent la recherche. Elles sont exprimées par une action mettant l organisme en situation. Un ensemble de critères est associé à chaque référence. Les critères précisent la façon dont la réalisation de la référence va être appréciée par les évaluateurs. Sans avoir un caractère exclusif ni exhaustif, ils définissent les principaux éléments d analyse utilisés lors de l évaluation pour vérifier le niveau de réponse de l entité évaluée aux attendus exprimés par la référence à laquelle ils sont associés. Aucune hiérarchisation a priori des critères n est imposée afin de préserver la capacité d adaptation du référentiel à la grande variété des organismes. Il revient aux évaluateurs de hiérarchiser ces critères en fonction des situations concrètes rencontrées. Campagne d évaluation Vague A 9

10