Retour d expériences d évaluations de projet du 7 ème PCRD Conseils pour le montage de projets Catherine Dupas-Bruzek Chargée de mission Recherche et Europe Responsable du service «Ingénierie de projets» Université Lille 1 Membre CE Advisory Group-NMBP
Comment être expert/évaluateur? Candidater sur le site: http://ec.europa.eu/research/participants/portal/p age/experts Remplir votre CV en choisissant judicieusement les mots clés de votre domaine d expertise en lien avec les appels.
Briefing par la CE avant expertise Documents reçus 0 jours ouvrables avant le début de l expertise Documents: Mot du directeur, principes de base d une évaluation, Briefing général sur l évaluation, briefing sur le programme FET OPEN, programme de travail du pilier 1, programme de travail spécifique à l appel, guide du déposant, fiche de l appel, guide de l expert évaluateur (48 pages)
Qui sont les experts? Académiques Chercheurs Industriels Consultants évaluent tous les critères mais ont plus de prédilection pour : Excellence Impact Implémentation Nouveaux experts pour H 2020: représentants du monde socio-économiques, experts en gestion d entreprises, experts multidisciplinaire, experts en business plan et développement de produits/services, experts en marketing, experts en P.I., investisseurs pour mieux couvrir la dimension innovation Il y aura une analyse de la performance des experts.
Processus d évaluation : principe de bases Excellence Transparence Régles CE H 2020 Manuel de subvention Ethique et sécurité Confidentialité Programme de travail H 2020 Formulaire d évaluation Equité Impartialité Efficacité Rapidité
Processus d évaluation : déroulement 3 étapes en général : 1. Evaluation individuelle (à distance) 2. Meetings de consensus (en ligne ou à Bruxelles) 3. Examen du panel : «Ranking» (à Bruxelles)
Evaluer un projet 5 principes directeurs: Indépendance: vous évaluez le projet seul. Vous ne représentez ni votre employeur, ni votre pays. Impartialité: vous devez considérer les projets de la même manière et les évaluer de façon impartiale, sur leurs mérites, quelque soit la nationalité des déposants Objectivité: vous évaluez le projet tel qu il a été soumis, selon ses mérites propres et pas sur ses potentiels si certains changements ultérieurs étaient faits Précision: Votre jugement (évaluation) doit se faire en fonction des critères d évaluation officiels et rien d autre Cohérence: Vous appliquez la même méthode d évaluation à chaque projet Les projets doivent répondre (voir call documents): à l objectif général du programme de travail (WP H2020-1, Introduction) à l objectif du pilier H 2020 (Ex: WP H2020-5, LEIT) à l objectif de l appel spécifique (Ex: WP H2020-5ii, NMP)
Pour la première étape d une soumission en 2 étapes, il peut n y avoir que 2 experts
Interprétation des notes 0 1 2 3 4 5 The proposal fails to address the criterion or cannot be assessed due to missing or incomplete information. Poor. The criterion is inadequately addressed, or there are serious inherent weaknesses. Fair. The proposal broadly addresses the criterion, but there are significant weaknesses. Good. The proposal addresses the criterion well, but a number of shortcomings are present. Very Good. The proposal addresses the criterion very well, but a small number of shortcomings are present. Excellent. The proposal successfully addresses all relevant aspects of the criterion. Any shortcomings are minor. Chaque note doit être justifiée par un commentaire qui doit être cohérent avec la note Les expertises se font de façon indépendantes (aucun contact avec les autres experts lors de la phase d évaluation individuelle ou avec une personne tiers). Les notes et commentaires des autres experts d un projet sont disponibles lorsque l expert a finalisé, validé et signé sa note et ses commentaires
Les observateurs Pour assurer une grande qualité dans l évaluation de propositions, des observateurs peuvent être nommés par la CE pour évaluer le processus d évaluation ou pour assister aux différents meetings Ils rédigent un rapport sur le processus d évaluations des propositions et ils peuvent proposer des améliorations Ils n évaluent pas les propositions et ne peuvent pas donner leurs opinions sur la qualité des propositions Ils peuvent poser des questions aux experts évaluateurs
Critères d évaluation H 2020 pour les actions FET RIA et FET CSA (1) 1. Excellence («les aspects suivants seront évalués dans la mesure où le travail proposé correspond à la description du topic du Programme de travail») Clarté et pertinence des objectifs (pour RIA et CSA) Crédibilité de l approche proposée (pour RIA et CSA) Bien fondé du concept, incluant la transdisciplinarité si pertinent (pour RIA uniquement) Degré d ambition du projet, potentiel d innovation, jusqu à quel point le projet va au delà de l état de l art (ex : objectifs révolutionnaires, nouveaux concepts ou nouvelles approches) (pour RIA uniquement) Bien fondé du concept, (pour CSA uniquement) Seuil: 3/5 Poids CSA: 40% Qualité des mesures de coordination et de soutien proposées (pour CSA uniquement) Contribution à la coordination et au soutien d une recherche à haut risque et à fort impact dans des domaines nouveaux ou émergents ou transverses (pour CSA uniquement) * Pour la première étape des évaluations en 2 étapes, seuls les critères en gras seront pris en compte
Critères d évaluation H 2020 pour les actions FET RIA et FET CSA (2) Seuil: 3/5 Poids CSA: 40% 2. Impact («décrire dans quelle mesure les résultats du projet contribuent au niveau européen et/ou international à :») : combler les impacts listés dans le programme de travail sous le topic pertinent (pour RIA et CSA) améliorer la capacité d innovation et d intégration de nouvelles connaissances (pour RIA) Impact de la recherche haut risque/fort impact sur la transformation des communautés ou des pratiques (pour CSA) renforcer la compétitivité et la croissance des entreprises en développant des innovations répondant aux besoins des marchés européens et globaux, et si c est pertinent, en fournissant les innovations aux marchés (pour RIA) autres impacts environnementaux et sociétaux importants (pour RIA) l efficacité des mesures proposées pour communiquer sur le projet, diffuser et/ou exploiter les résultats du projet (y compris la gestion des droits de propriétés intellectuelles) et gérer les données de recherche (si pertinent) (pour RIA et CSA) l efficacité des mesures proposées pour diffuser l excellence, utiliser les résultats du projet, disséminer la connaissance (en incluant les engagements des parties prenantes) (pour CSA) * Pour la première étape des évaluations en 2 étapes, seuls les critères en gras seront pris en compte
Critères d évaluation H 2020 pour les actions FET RIA et CSA (3) Seuil: 3/5 Poids CSA: 20% 3. Qualité et efficacité de la mise en œuvre («les aspects suivants seront pris en compte»): Cohérence et efficacité du plan de travail, y compris le caractère approprié de la répartition des tâches et des ressources (RIA et CSA) Compétences, expériences et complémentarité des participants individuellement, ainsi que du consortium dans son ensemble (RIA et CSA) Adéquation des structures de management et des procédures, en incluant une gestion des risques et de l innovation (RIA et CSA) * Pour la première étape des évaluations en 2 étapes, il n y aura pas d évaluation de cette partie * Seuil pour la note globale: 10/15
Critères d évaluation spécifiques aux appels FET OPEN et FETPROACT (4) Seuil: 4/5 Poids: 60% 1. Excellence («les aspects suivants seront pris en compte dans la mesure où le travail proposé correspond à la description du topic du Programme de travail») Clarté de la rupture visée et de ses contributions spécifiques scientifique et technologique vis-à-vis d une vision à long terme Nouveauté, niveau d ambition et caractère fondateur Niveau et plus value de l interdisciplinarité Bien fondé des méthodes de recherche
Critères d évaluation spécifiques aux appels FET OPEN et FETPROACT (5) Seuil: 3,5/5 Poids: 20% 2. Impact («décrire dans quelle mesure les résultats du projet contribuent au niveau européen et/ou international à :») : Importance du nouvel aboutissement technologique en ce qui concerne son impact sur la transformation de la technologie ou de la société l efficacité des mesures proposées pour parvenir à un impact sur la science, la technologie ou la société Impact sur l autonomie de nouveaux acteurs à haut potentiel ayant la capacité de tenir à l avenir des leaderships technologiques
Critères d évaluation spécifiques aux appels FET OPEN et FETPROACT (6) Seuil: 3/5 Poids : 20% 3. Qualité et efficacité de la mise en œuvre («les aspects suivants seront pris en compte»): Qualité du plan de travail et clarté des objectifs intermédiaires Expertise pertinente du consortium Allocation et justification pertinentes des ressources (personnes.mois, équipement, budget) * Pas de seuil sur la note globale
Conseils pour les évaluateurs Bien lire la description de l appel, les formulaires d évaluation H 2020, les trames de rédaction, les documents et les conditions spécifiques à l appel pour évaluer le projet Etablir un barème en ayant listé les différents objectifs et recommandations tout en ayant en tête l interprétation des scores (0-5 avec précision de 0.5) donnée par la CE. Ne pas sous-estimer la quantité de travail par projet Etre cohérent entre les commentaires et les notes données pour chaque projet mais aussi entre tous les projets
Consensus (1) Il est modéré par un membre de la commission qui aide le groupe à parvenir à une conclusion, qui donne des informations si nécessaire, mais en aucun cas ne contribue à donner des opinions. Si un projet a été soumis à un appel précédent, le modérateur donne aux experts, l «evaluation summary report (ESR)» précédent. Si nécessaire, les experts doivent justifier leurs notes et commentaires si ils différent fortement de ceux donnés à l appel précédent. Un expert est désigné par le membre de la commission et par projet pour être rapporteur (qui rédige le rapport de consensus). Chaque expert est en général rapporteur pour 1/3 à 1/4 des projets qu il évalue.
Consensus (2) Il est basé sur les évaluations individuelles de tous les experts. Le but étant d arriver à un accord entre tous les experts sur la note de chaque critère et sur ses commentaires (c est le plus important) donc in-fine de trouver un accord sur la note globale (les notes des experts pouvant fortement varier sur un même projet). Le rapport de consensus doit donner les forces et faiblesses du projet. Les notes (qui ne sont pas forcément les notes moyennes de tous les experts) devant être complètement cohérentes avec les commentaires. Le rapport de consensus (CR) doit être validé, signé par tous les experts avant d être considéré comme finalisé. Pas de meeting de consensus pour les FET OPEN: les notes finales de chaque critère d évaluation seront données par la médiane des notes de ces critères fournies par chaque évaluateur (addition des 2 notes du milieu des scores divisée par 2)
Examen du Panel (1) Il varie suivant les appels d offre et peut ne pas être constitué Le panel comprend des rapporteurs experts La tache principale du panel est d examiner et de comparer les rapports de consensus dans un appel donné (qui peut contenir plusieurs topics), de vérifier la cohérence des notes, et si nécessaire, il peut proposer de nouvelles notes. Il doit résoudre les cas où une minorité a imposée ses idées dans le rapport de consensus d un projet Il doit donner un ordre de priorité pour les projets qui ont eu la même note globale de consensus Il confirme les notes finales et les commentaires de chaque projet.
Examen du Panel (2) Il fait une liste de projets qui ont été déclarés inéligibles durant l évaluation par les experts Il fait une liste de projets qui n ont pas passé une ou plusieurs notes limites Il fait une liste de projets qui ont passé les notes limites et il suggère un ordre de priorité Il rédige un résumé des délibérations du panel Il rédige l «evaluation summary report (ESR)» de chaque projet que reçoit ensuite chaque coordinateur de projet.
Informations évaluation FET OPEN H 2020-FETOPEN-2014-RIA: 77 M Budget moyen de chaque proposition: 2-4 M Pour les FET OPEN, les propositions ont été rassemblées dans 7 groupes multidisciplinaires. Il est possible qu un évaluateur travaille pour plusieurs groupes. Il y a 4 évaluateurs par proposition Il y a plus de 500 évaluateurs Un évaluateur évalue au moins 5 propositions
Changements dans H 2020 (1) Les topics H 2020 contiennent: Défi spécifique (specific challenge) à relever, Périmètre (scope) Impact attendu en lien avec le défi. Les topics ne sont pas prescriptifs, ils ne décrivent pas les solutions envisagées ni l approche attendue pour résoudre le challenge les déposants peuvent proposer des solutions innovantes selon leur choix L impact a une grande importance, l innovation est primordiale
Changements dans H 2020 (2) Procédure d évaluations Prise en compte des projets multidisciplinaires et sectoriels - Nouveaux profils d experts, sang neuf - Règles robustes sur le turnover des experts - Au moins trois experts par projet (dans bcq de cas, 5 ou plus) - Procédures claires dans les cas où les experts ne sont pas d accord Time to grant réduit à 8 mois - Projets évalués uniquement et strictement sur leur mérite - Plus d étapes multiples (l évaluation peut être arrêtée lorsqu un seuil n est pas atteint)
Changements dans H 2020 (3) Evaluations Ordre de priorité des projets avec une même note globale éléments à prendre en compte lors du montage du projet - Considérer en premier les projets qui «comblent le manque, l écart» dans le programme de travail (WP) (= priorité accordée aux propositions qui couvrent des topics non traités par les propositions mieux classées) - Parmi ces projets, prendre celui qui a la meilleure note sur le critère d excellence puis sur le critère d impact. - Si les notes sont encore égales, on prend en compte -1) budget PME - 2) équilibre entre hommes et femmes - 3) autres facteurs (améliorer la qualité de l ensemble du portefeuille de projets à travers les synergies entre projets, actions plus larges que H 2020, objectifs de l UE,..) - Refaire ce processus avec les projets qui ne comblent pas ce manque, cet écart dans le WP
Changements dans H 2020 (4) Plus de négociations pour améliorer la proposition en fonction des recommandations des experts la proposition sera évaluée «telle quelle» sans considérer son potentiel d amélioration (attention à donner un budget raisonnable dès la soumission: tout projet dont le budget est surestimé recevra une note en dessous du seuil!!) Afin d améliorer le temps de contractualisation La qualité du projet sera plus importante que jamais L excellence est nécessaire mais pas suffisante - Excellence sans impact ne sera pas retenue - qualité de la mise en œuvre souvent négligée - en particulier: importance de la dissémination et des droits de P.I. Limite de pages à respecter less is more (les pages excessives ne seront pas évaluées)
Conseils pour la rédaction de projets
Conseils pour la rédaction du projet (1) Le consortium Construire le consortium en fonction des objectifs du projet Construire un consortium bien équilibré, crédible et basé sur la complémentarité (consortium= puzzle) Eviter une trop forte concentration des responsabilités/tâches par le coordinateur (projet collaboratif réalisé par un partenariat!). Prendre en considération la répartition géographique des membres du consortium, leurs expertises, leurs secteurs (académique, PME, industrie, association,..) Vérifier leur réputation et leurs ressources Prendre en considération la barrière de la langue et les différences culturelles Choisir des partenaires avec qui vous voulez travaillez pendant des années et si possible avec qui vous avez déjà travaillez Eviter de sous-contracter une partie scientifique/technologique essentielle au projet Eviter les passagers clandestins, les partenaires alibi etc.
Conseils pour la rédaction du projet (2) Recherche de partenaires Utilisez avant tout VOTRE réseau Utilisez les réseaux de spécialistes des projets européens Le réseau des PCN européens: http://ec.europa.eu/research/participants/portal/page/nationalcontactpoint Les réseaux régionaux : EEN, CCI, Régions, pôles de compétitivité et le PCN PME http://een.ec.europa.eu/index_fr.htm Le service Cordis: http://cordis.europa.eu/partners-service/home_fr.html Participez aux évènements de recherche de partenaires Organisés par les PCN (ex: brokerage events) Dans le cadre des conférences spécialisées De la Commission (infodays) Rechercher les partenariats des projets européens proches de votre domaine et déjà financés par la CE
Conseils pour la rédaction du projet (3) Suivre strictement le cadre donné dans le proposal template NE PAS DEPASSER LE NOMBRE LIMITE DE PAGES. NB : le nombre de pages n est pas une cible à atteindre mais un maximum. Les pages en trop ne sont pas évaluées. Un titre percutant, un acronyme prononçable Sur la première ou deuxième page, faire un tableau répertoriant la liste des participants (institution légale) par n, leur pays, leur type d organisation, leur laboratoire et scientifique en charge du projet Un résumé reprenant l état de l art, la partie S&T, les objectifs, les résultats escomptés, l impact et surtout répondant à tous les objectifs fixés dans l appel. Soigner particulièrement le résumé et l introduction Définir les abréviations de façon claire (un tableau de celles çi en début de rédaction de projet est souhaitable) Être concis (et précis)
Conseils pour la rédaction du projet (4) Etre didactique d autant plus pour les projets multidisciplinaires et pour les projets H 2020 (donner des possibilités aux évaluateurs d apprendre quelque chose). Regardez le profil des évaluateurs des appels précédents. Répondre de manière claire à TOUS les objectifs et recommandations et mettre en valeur ces réponses afin qu on puisse les trouver rapidement. Donner des informations vérifiables et mesurables facilement, éviter le déclaratif. Être ambitieux mais pas trop. Les objectifs doivent être atteignables. Les méthodes et procédures de recherche doivent être innovantes mais adaptées. N hésitez pas à faire des schémas clairs Aérer le document Ne pas gonfler le budget : les propositions dont le budget est surévalué «devraient recevoir, en tenant compte de considérations coût-efficacité, une Faciliter note plus faible plus». possible le travail fastidieux des évaluateurs Faciliter le plus possible le travail fastidieux des évaluateurs
Conseils pour la rédaction du projet (5) la partie Implementation Décrire clairement en incluant des schémas: La structure du management (conseils et comités des niveaux stratégique, exécutif et opérationnel) et ses procédures (calendrier des reporting et des réunions des différents conseils et comités, mécanisme de prise de décisions et responsabilités de ces conseils et comités, rôle du coordinateur,..) en incluant la gestion des risques (plan de contingence) Les compétences, expériences des partenaires individuellement Le consortium dans son ensemble en soulignant la complémentarité des partenaires (bien répartir les rôles/tâches en fonction des compétences de chacun cf. WP leaders en particulier)
Conseils généraux pour la rédaction du projet (6): la partie Impact Montrer en quoi le projet participe à la création d emplois et s insére dans la stratégie de l Europe 2020 avec ses 3 priorités: croissance intelligente (smart growth), croissance durable (sustainable growth) et croissance non-exclusive, non discriminatoire (inclusive growth) Décrire et donner si possible des indicateurs : Au niveau sociétal, environnemental, politique: La Contribution aux défis sociétaux (Pilier 3) et aux technologies clés génériques (Pilier 2) La façon dont le projet répond aux objectifs sociétaux européens (qualité de vie, santé, sécurité, formation, équilibre des genres, ) Le Bénéfice pour l environnement, la réduction de l utilisation des ressources, la prise en compte de l analyse du cycle de vie, de l économie circulaire et de l éco-design Indiquer si le projet bénéficie de soutiens institutionnels, régionaux/nationaux, et/ ou socio-économiques
Conseils généraux pour la rédaction du projet (7): la partie Impact Pour l économique et l innovation: Le gain en compétitivité européenne, le gain en productivité, la diminution éventuelle des couts de production Le gain pour l Emploi, la création de start-up,.en Europe de préférence! La Contribution du projet à l optimisation d équipements ou de services existants La contribution du projet à la mise en place de normes, de réglementations, de définitions de politiques publiques,.. Elargir l impact: autres applications possibles dans le même domaine ou autres implications dans d autres domaines Pour le réseau: La contribution du projet à l amélioration des connaissances des uns et des autres (cotutelle de thèse, cours en commun, organisation commune d écoles d été, de congrès, ) La façon dont le projet pourra continuer à vivre après sa fin
Conseils généraux pour la rédaction du A un niveau plus large: La synergie du projet avec d autres politiques, d autres fonds obtenus d autres programmes régionaux, nationaux ou internationaux (ex: fonds structurels, adéquation avec la «Smart Specialisation Strategy» (S3),.) Une amélioration de la coopération européenne/internationale, dire pourquoi le projet se fait dans un contexte européen plutôt que national Ne pas oublier: D établir une stratégie et un construire un plan de diffusion/exploitation/communication (activités qui couvrent si possible une partie significative de la durée du projet et pas seulement sa fin) La valorisation du projet: dépôt de brevets, transfert de technologies, production et vente de produits, services, Dissémination, exploitations des résultats et gestion de la propriété intellectuelle projet (8): la partie Impact
Mesurer l impact: Proposition d indicateurs pour les FET Le nombre de publications dans des revues à comité de lecture internationale Le nombre de communications internationales, le nombre d invitations (ou organisations) à des séminaires/workshops/conférences, le nombre de conférences ou d expositions grand public Le nombre de cotutelle de thèse, de cours en commun, d organisation commune d écoles d été, de congrès, Le nombre de prix/distinctions obtenues Le nombre de chercheurs (académiques/industriels) invités, évolution des échanges de personnels académiques/industriels dans les laboratoires respectifs Le nombre de laboratoires communs ou de laboratoires internationaux associés créés (éventuellement) Le nombre de nouveaux projets obtenus à partir du projet européen (ex: fonds structurels, projets nationaux/régionaux, effet levier,..) Le nombre de banques «open data» crées Le nombre de normes/réglementations crées Le nombre de déclarations d invention, de dépôts de brevets ou de logiciels
Recommandations pour les WPs 2016-2017 (1) (issues de leçons tirées des premiers appels d H2020) Constats - Compétition plus forte que pour FP7 taux de succès plus bas (14% sur l ensemble d H 2020) - Le budget global demandé par les déposants (tout appel confondu) est environ 8X plus élevé que le budget CE disponible - Environ 27 % des propositions au dessus du seuil ont été financés - Le nombre moyen de participants à un projet est de 8 avec un budget moyen de 3.25 M /projet
Recommandations pour les WPs 2016-2017 (2) (issues de leçons tirées des premiers appels d H2020) Constats - 37 % des topics des appels couvrent des thématiques SHS - 10 % des experts sont issus des SHS et 42 % ont un profil multidisciplinaire incluant des disciplines SHS et non SHS. - Les experts SHS devraient pouvoir imposer plus leurs idées dans les processus d évaluation - Les aspects SHS ne sont pas très bien représentés dans les ESR
Recommandations pour les WPs 2016-2017 (3) (issues de leçons tirées des premiers appels d H2020) Constats - 20 % des topics ont été identifiés comme étant pertinent pour une collaboration internationale. La collaboration internationale a été plus encouragée plutôt que de constituer un critère d éligibilité. - Diminution de la participation des pays tiers. Brésil, Russie, Inde, Chine, Mexique (BRIC-M) ne sont plus éligibles pour un financement
Recommandations pour les WP 2016-2017 (4) (issues de leçons tirées des premiers appels d H2020) -Adapter les conditions des appels pour que la phase 2 des appels en 2 étapes ait un taux de succès de 1/3. - Maintenir les appels basés sur des challenges avec une approche non prescriptive, mais clarifier les descriptions des topics, en particulier l impact, l exploitation des résultats et leur dissémination voulus
Recommandations pour les WP 2016-2017 (5) (issues de leçons tirées des premiers appels d H2020) - Attirer plus de femmes expertes évaluatrices et d experts spécialisés dans l innovation et les business plans - Mise à jour des briefings et documents guides des évaluateurs (interprétation des nouveaux critères tels que le management de l innovation, les business plans, les synergies avec ESIF,..) - Renforcer l approche générale de l innovation, au delà des innovations technologiques ou innovations basées sur la recherche. Renforcer la description des topics en particulier sur les questions d innovation des procédés ou des services, d innovations organisationnelles ou sociétales, d innovations du secteur public, de l éco-innovation,
Recommandations pour les WP 2016-2017 (6) (issues de leçons tirées des premiers appels d H2020) - Mieux intégrer les SHS durant la rédaction des différents WP et s assurer des contributions des différentes disciplines SHS dans le cycle R&I - Améliorer la rédaction des topics pour augmenter les contributions des SHS dans des disciplines non SHS (sciences physiques et naturelles, médecine, technologies,..) - Mieux briefer les évaluateurs sur les questions SHS - Continuer à contrôler les compositions des panels en incluant des experts SHS et à contrôler les contributions des SHS dans les projets retenus
Recommandations pour les WP 2016-2017 (7) (issues de leçons tirées des premiers appels d H2020) - Soutenir les actions horizontales qui font la promotion de l Europe en tant que leader R&I, renforcer la présence européenne dans des pays/régions tiers ciblés - Financer les pays tiers, en particulier les BRIC-M dans des cas particuliers et lorsque les topics ont un fort bénéfice pour l Europe (et mutuellement pour les pays tiers)