Une expérience d évaluateur Catherine PRUDHOMME ENTPE Département Transport
Les différentes phases Réunion de préparation (présentation de l appel à propositions, rappels des règles d évaluation) -3 experts lisent et évaluent une proposition (Individual Report) -chaque expert lit et évalue 4 à5 propositions par jour Réunion de consensus entre 3 experts et 1 à2 représentants de la Commission (Consensus Report) et «observateurs» Réunion des experts pour classer les propositions
Les «experts» Représentatifs de la diversitéde l Union Issus de divers Etats membres (nouveaux Etats membres / anciens) rarement issus des pays nordiques Un profil «international»(expériences diverses au sein des instances de l Union, ) une sensibilitéeuropéenne (souvent) Diversitédes milieux professionnels sources (publics, privés, universitaires ) DiversitéH/F, juniors/seniors (juniors plutôt IT, PT, FR, seniors UK, PL, ) Souvent plusieurs évaluations àleur actif et eux-mêmes soumissionnaires
L évaluation individuelle (1) Complexité excessive ou manque absolu de clarté Flirte avec le hors sujet Effet «Déjàvu» Nombreux éléments de complexiténon élucidés ou de risques non anticipés ou gérés Des recommandations données par les experts Quelques défauts de clarté «Effet surprise» Impression de solidité et d originalité Démonstration rigoureuse Clartéet simplicitéde l expression : effet «j ai tout compris»
L évaluation individuelle (2) 1 2 3
L évaluation individuelle (2) 1 Qualité scientifique et technique Eviter l effet d opportunitédu «call», nombreuses propositions répondant que très partiellement aux termes du call(dilemme du 1 ou 4 : jouer la transparence!) ; Miser sur la clartédes objectifs et des notions (formules simples et précises, éviter les diagrammes très compliqués), Appréciée : l innovation dans la méthodologie (effet surprise positif!) Eviter de recopier les termes du «call» Importance de démontrerautrement que par une bibliographie fournie le progrès au-delàde l état de l art Un programme de travail efficace qui ne multiplie pas les facteurs de risque (boucles de rétroactivité multiples, émiettement des workpackages)
L évaluation individuelle (2) 2 Mise en œuvre De plus en plus une gouvernance type et des procédures efficaces (simples) Préciser le rôle des participants (éviter l effet catalogue de CVs), Démontrer la synergie du consortium et des profils Eviter l éparpillement excessif (pas de direction) ou au contraire l effet très concentré(un participant trop dominant) Vérifier les tableaux financiers (nombreuses erreurs) Appréciés : le contrôle qualité, l identification et la procédure de résolution des facteurs de risque La transversalité«gérée»des profils et des compétences (universitaires, professionnels, experts, chercheurs, )
L évaluation individuelle (2) 3 Impact - dissémination Parfois/souvent, le «parent pauvre»de la proposition mobilisant des recettes toutes faites (plaquettes, séminaire, site internet, lettre d information...) Privilégier/oser les Collèges de professionnels, le développement de «masters»avec les universitaires ou les Ecoles, les chaires d entreprises, (FR : pôles de compétitivité, PRES, etc. )
L évaluation collective Consensus Meeting Peut changer une note individuelle de (2) à(4) sur les critères (1) ou (3) suivant l appréciation du «répond entièrement ou partiellement au call»-dilemmes de l évaluateur Être innovant sur un aspect très pointu ou répondre globalement àla demande en étant classique?! Être innovant et prendre des risques ou être plus classique mais avec un résultat assuré?! Soit laborieuse (personnalités très fortes et sûres d elles -mêmes) soit harmonieuse (personnalités ouvertes)
Conclusions Présence française dans les consortia trop timide ; Une dimension européenne des propositions françaises insuffisantes ; Clarté, Transparence, Honnêteté, Rigueur : récompenses assurées! Prime de risque (si qualitédu consortium)!