Évaluation de la recherche en linguistique: état des lieux en Europe occidentale

Transcription

1 Konzept Q&L, Berne, 12 février 2014 Évaluation de la recherche en linguistique: état des lieux en Europe occidentale Jacques Moeschler! Département de linguistique! Université de Genève! SSL/SSG "1

2 contexte enquête via Google survey auprès de chercheurs de haut niveau en linguistique, impliqués institutionnellement et scientifiquement dans l évaluation de la recherche! Allemagne, Angleterre, Belgique, France, Italie, Pays-Bas, Suisse! 9 réponses substantielles obtenues à des questions portant sur! l implication et l expériences dans l évaluation de la recherche! la nature et les buts de l évaluation "2

3 profil tous les participants sont impliqués au niveau national et international! agences concernées:! France: AERES, CNRS, IUF! Belgique: FWO, AEQES! Italie: ANVUR, MIUR! Allemagne: DFG, Wissenschaftsrat! Switzerland: FNSRS! Pays-Bas: Dutch Academy! Europe: ESF, Research Index in the Humanities, European Research Council, Swedish research council, Danish research council! le panel est représentatif d expertises multiples, nationale et internationales "3

4 7 questions posées 1. Qui évalue?! Should the evaluation be entrusted to a specific scientific organisation, or should it be made case-by-case?! 2. Qui évaluer?! Should the evaluation be collective or individual?! 3. Evaluer quoi?! What type of scientific activities should be in the perimeter of evaluation?! 4. Critères d évaluation! As publications are concerned, should the assessment use quantifiable and objectivable criteria, as bibliometric indexes?! 5. Classification des éditeurs, revues et congrès! Should the evaluation of publications be based on scientific editors, scientific journals, and/or international congresses?! 6. Rôle des agences nationales! What should be the role of national agency in the evaluation of the quality of the research?! 7. Buts de l évaluation! What should be the goal of such an assessment process? "4

5 1. qui évalue? préférence pour confier l évaluation à une organisation nationale spécifique, assurant l indépendance, l uniformité et l adhésion à des critères unitaires! avantages: routinisation des procédures, mémoires des évaluations antérieures, vivier d expertises, réflexion collective et généralisée sur les procédures! désavantages: bureaucratie, position inconfortable des personnes dans ces institutions! nécessité d une expertise externe en cas d évaluation interne "5

6 2. qui évaluer? des unités de recherche (laboratoires, instituts, départements), i.e. des groupes de chercheurs! les entités de recherche plutôt que les individus! l évaluation des chercheurs à titre individuel permet d aider les chercheurs ayant «décroché» "6

7 3. évaluer quoi? les publications, les productions de ressources, les perspectives de mutualisation, la participation à l animation scientifique nationale et internationale, la capacité à fédérer des collectifs de recherche inter-universitaires, la capacité à former de futurs chercheurs! au niveau d un département, l enseignement et la recherche! pour un laboratoire, les publications, les participations à des conférences internationales, l organisation d événements scientifiques, la production de données scientifiques! l attractivité pour les étudiants doctorants et post-doctorants étrangers, les visiting scholars! la qualité scientifique, la productivité, la pertinence, la vitalité et la faisabilité! la capacité à lever des fonds de recherche! la vision à long terme, la cohésion générale, l orientation des jeunes chercheurs "7

8 4. critères d évaluation la quantification des publications et des citations doit faire partie de l évaluation, mais ne doit pas être le facteur déterminant! les métriques peuvent jouer un rôle, mais ne sont pas fiables dans les humanités! les indices bibliométriques doivent être combinés à l évaluation de l innovation et de la portée des publications! le nombre et la qualité des publications et des productions! nécessité des critères qualitatifs : 3 à 5 publications de qualité pendant les 5 dernières années! listes de revues, conférences (classifications ERIH, AERES, CNRS, etc.)! les thèmes scientifiques abordés! les critères d évaluation doivent pouvoir varier de domaine à domaine "8

9 5. classification des éditeurs, revues et congrès le peer review est essentiel, et est de plus en plus utilisé, pour les revues et les ouvrages collectifs! le critère de jugement est la qualité intrinsèque! les classifications des revues et des conférences doivent jouer un rôle, mais pas celles des éditeurs scientifiques! dans le cas des congrès et des activités éditoriales, l internationalisation doit jouer un rôle "9

10 6. rôle des agences nationales les agences nationales permettent la composition de panels représentatifs d un domain de recherche! France: l AERES évalue les établissements, les formations et les unités de recherche (tous les 5 ans); les instituts de recherche et les individus (CNRS, INSERM, INRA, etc.) sont aussi évalués! Belgique: les panels évaluent des projets, pas des institutions ou équipes de recherche! Allemagne: implémentation par le Wissenschaftsrat d une méthode qualitative de l évaluation de la recherche pour des départements entiers! UK: évaluation pilotés par le Research Excellence Framework, modèle à éviter, pour des raisons d arbitrarité, de bureaucratie et de coûts! Italie: l ANVUR est l agence nationale pour l évaluation de la recherche et l assurance qualité; ce système est jugé négativement et devrait être remplacé par un système d évaluation d unités de recherche (départements) via des visiting committees "10

11 7. buts de l évaluation l énergie dépensée par le processus d évaluation n est pas en proportion des bénéfices de l évaluation! les évaluations doivent être des outils d aide permettant aux unité de recherche de s améliorer! le but de l évaluation est d améliorer la qualité de la recherche! l évaluation permet de recommander le renforcement des moyens (humains et matériels)! l évaluation permet d identifier les forces et les faiblesses et constitue un point départ pour penser à améliorer la situation des départements! les évaluations doivent être strictement confidentielles! en Angleterre les exercices d évaluations ont démontré leur noncontribution au bien-être du système académique "11

12 synthèse tous les correspondants pensent que l évaluation est nécessaire! presque tous pensent que l évaluation a un coût, mais qu elle peut aider à améliorer les situations des entités évaluées! il y a une majorité tendant à confier l évaluation à un organisme spécifiquement dédié à cette fonction, avec quelques réserves (arbitrarité, bureaucratie, coûts)! les moyens et critères d évaluation doivent être orientés vers la qualité des outputs! l évaluation doit être spécifique à un domaine! elle doit concerner des entités, mais aussi les individus, la recherche mais aussi l enseignement "12

13 merci de votre attention! source 1QQATQD_njkLG1NyxKJ5WNkyOazA7wJlDQf7lR0yyb5Q/viewanalytics