La sélection des projets IIF, IOF, IEF Marie Curie». Les étapes de l évaluation du point de vue de l évaluateur individuel

Transcription

1 Catherine Laurent (UMR SAD-APT 1048) La sélection des projets IIF, IOF, IEF Marie Curie». Les étapes de l évaluation du point de vue de l évaluateur individuel Juin 2013.

2 Etape 1. Se déclarer compétent pour certaines propositions : l importance du résumé et des mots clés Proposal _No Title Acronym Panel Selection ttttttttttttttttttttttttttttttttttttttt XWTT ECO No-Expertise ttttttttttttttttttttttttttttttttttttttt NIUTS ECO No-Expertise ttttttttttttttttttttttttttttttttttttttt OAHZDVBZ SOC No-Expertise ttttttttttttttttttttttttttttttttttttttt KDZ SOC 2 ttttttttttttttttttttttttttttttttttttttt SZJDBZ SOC No-Expertise ttttttttttttttttttttttttttttttttttttttt SZDBZJkb SOC 1 ttttttttttttttttttttttttttttttttttttttt ZDZD SOC No-Expertise ttttttttttttttttttttttttttttttttttttttt ncxgfre SOC No-Expertise ttttttttttttttttttttttttttttttttttttttt szfjz-nbdz SOC No-Expertise ttttttttttttttttttttttttttttttttttttttt munpgezudc SOC No-Expertise ttttttttttttttttttttttttttttttttttttttt DDGCS SOC No-Expertise ttttttttttttttttttttttttttttttttttttttt de_de SOC 3 ttttttttttttttttttttttttttttttttttttttt ddfd SOC No-Expertise ttttttttttttttttttttttttttttttttttttttt bjonti LIF No-Expertise ttttttttttttttttttttttttttttttttttttttt hgte SOC No-Expertise ttttttttttttttttttttttttttttttttttttttt DDGCS SOC conflict

3 Etape 1. Contrôle de l adéquation experts / propositions : l importance du résumé et des mots clés Chaque panel est co-coordonné par un président (chercheur extérieur) et un responsable de panel (fonctionnaire de la Commission) Le président assisté de plusieurs vice présidents (vice chairs) qui suivent les travail de chaque expert A l étape 1 ces vice présidents contrôlent l adéquation des compétences des experts qui se sont déclarés compétents; proposition par proposition (CV, liste de publications, activités d animation scientifiques ) aux projets Utilité de préciser dans la rédaction du projet les points qui peuvent faire problème pour l évaluation (par exemple pluridisciplinarité «à cheval» sur plusieurs panels) Chaque proposition a trois évaluateurs dont les compétences se complètent

4 Etape 2. Formation des experts: suivre à la lettre les indications du programme de travail Formation pour être parfaitement au clair sur le programme de travail (et ses actualisations), sur les critères d évaluation et de notation et les appliquer à la lettre de la même façon pour tous les experts et toutes les propositions. Les désaccords que l on peut avoir à titre personnel en tant qu expert (par ex. pénaliser une proposition si dépasse d une demi page, ou définition «outreach activities») sont mis de côté et traités en fin d évaluation dans une réunion de debriefing Pour l évaluation proprement dite, les experts doivent suivre les indications à la lettre

5 Evaluation Process Remote Evaluation Consensus meetings IAR expert 1 IAR expert 2 draft CR rapporteur IAR expert 3 Note: There may be more than 3 evaluators IAR = Individual Assessment Report CR = Consensus Report

6 Etape 3. Evaluation individuelle à distance. 3 types de dossiers, trois objectifs différents qui se traduisent dans les critères d évaluation Intra-European Fellowships for Career Development (IEF) individual grant for an Experienced Researcher to move within Europe*: Des chercheurs qui construisent leurs compétences et contribuent au renforcement de la recherche européenne International Outgoing Fellowships (IOF) individual grant for an Experienced Researcher for research training outside Europe* Des chercheurs qui construisent leurs compétences et vont chercher à l étranger des éléments suceptibles de renforcer la recherche européenne International Incoming Fellowships (IIF) - individual grant for an Experienced Researcher based outside to work in Europe*: Des chercheurs qui apportent quelque chose de particulier à la recherche européenne

7 Etape 3. Evaluation individuelle à distance. Note, par section, Un commentaire par critère 0 - The proposal fails to address the criterion under examination or cannot be judged due to missing or incomplete information; 1 - Poor. The criterion is addressed in an inadequate manner, or there are serious inherent weaknesses; 2 - Fair. While the proposal broadly addresses the criterion, there are significant weaknesses; 3 - Good. The proposal addresses the criterion well, although improvements would be necessary; 4 - Very Good. The proposal addresses the criterion very well, although certain improvements are still possible; 5 - Excellent. The proposal successfully addresses all relevant aspects of the criterion in question. Any shortcomings are minor. Prendre les critères d évaluation à la lettre, éviter les contresens

8 Etape 3. S&T. IEF Threshold 3, weight 25% Strengths. Weaknesses Overall comment 0=Fails or missing / incomplete information; 1= Poor; 2=Fair; 3=Good; 4=Very good; 5=Excellent. Marks should be given to one decimal place, note the maximum is 5 Prendre les critères d évaluation à la lettre, éviter les contresens

9 Etape 3. Training IEF Threshold 3, weight 15%, Strengths. Weaknesses Overall comment 0=Fails or missing / incomplete information; 1= Poor; 2=Fair; 3=Good; 4=Very good; 5=Excellent. Marks should be given to one decimal place, note the maximum is 5 Prendre les critères d évaluation à la lettre

10 Etape 3. Researcher IEF Threshold 4, weight 25%, Strengths. Weaknesses Overall comment 0=Fails or missing / incomplete information; 1= Poor; 2=Fair; 3=Good; 4=Very good; 5=Excellent. Marks should be given to one decimal place, note the maximum is 5 Prendre les critères d évaluation à la lettre

11 Etape 3. transfer of knowledge / researcher IIF 0=Fails or missing / incomplete information; 1= Poor; 2=Fair; 3=Good; 4=Very good; 5=Excellent. Marks should be given to one decimal place, note the maximum is 5 Prendre les critères d évaluation à la lettre

12 Etape 3. Evaluation individuelle à distance. Implementation IEF Threshold N/A, weight 15% Strengths. Weaknesses Overall comment 0=Fails or missing / incomplete information; 1= Poor; 2=Fair; 3=Good; 4=Very good; 5=Excellent. Marks should be given to one decimal place, note the maximum is 5 Prendre les critères d évaluation à la lettre

13 Etape 3. Evaluation individuelle à distance. Impact IEF Threshold 3,5 weight 20% Strengths. Weakenesses Overall comment 0=Fails or missing / incomplete information; 1= Poor; 2=Fair; 3=Good; 4=Very good; 5=Excellent. Marks should be given to one decimal place, note the maximum is 5 Prendre les critères d évaluation à la lettre

14 Etape 3. Evaluation individuelle à distance Dans le rapport intermédiaire, chaque évaluateur doit donner un commentaire sur chaque critère d évaluation, pour chaque section. Ces commentaires sont beaucoup plus fournis que le rapport final. Temps limité suivre le plan du programme de travail La rédaction de ces rapports intermédiaires est suivie à distance par les vice-présidents qui vérifient l application des règles d évaluation renseigner tous les items correspondant à chaque critère d évaluation Quand tous les rapports sont finis, les résultats des trois évaluateurs sont rendus transparents pour les propositions auxquelles il est associé. dans la très grande majorité des cas les notes convergent. dans quelques cas il y a divergence

15 Etape 4. Rencontre à Bruxelles pour les rapports de consensus. Réunion générale avec rappel des principes du programme. Etude rendue publique des notations des évaluateurs (analyse statistique des notes pour identifier ceux qui notent plutôt sévèrement où ceux qui utilisent peu l éventail des notations possibles). Réunion de pannel tous les matins et soirs. Réunions de consensus par projet en présence parfois d un «vice président». La décision est toujours prise par consensus, si désaccord on fait venir d autres experts. Le rapport de consensus est validé par un responsable de groupe puis par le président du pannel Le programme de travail (définitions, objectifs reste le document de référence suivre à la lettre la dernière version

16 Etape 5. Bruxelles : Acceptation de la liste générale de classement et debriefing sur les points à améliorer On observe qu un projet classé «acceptable» (fair) ou «bon» (good) a peu de chances de passer dans le schéma classique... Compte tenu de la pression de sélection, toutes les parties doivent être considérées comme aussi importantes que la première et toutes les indications du programme de travail doivent être prises au sérieux : par exemple mesures mises en œuvre pour faciliter les candidatures féminines, ensemble de compétences dont les boursiers pourront se prévaloir pour poursuivre ensuite leur carrière scientifique, etc. Calendrier de travail, modes de gestion (project manager), moyens mis à disposition (bureaux, bases de données, etc.), etc., doivent être précisément explicités en suivant le plan et les modes de présentation (tableaux, diagrammes) proposés dans le programme de travail. Ne jamais perdre de vue a) que la philosophie de chaque action (dont aucune n est un programme d années sabatiques) n est pas une déclaration de principe b) que les critères d excellence scientifique de la DG recherche sont plus larges que ceux des organismes de recherche français (cf critères «researcher du programme Marie-Curie Intra-European Fellowship)