EVALUATION DE PROJETS H2020 Retour d expérience Work Program: Secure societies Protecting freedom and security of Europe and its citizens 1
Chronologie Février 2015 : soumission de ma candidature en ligne https://ec.europa.eu/research/participants/portal/desktop/en/experts/ index.html Mai 2015 : premier contact avec la REA et inclusion dans le «pool» d experts évaluateurs pour le programme Secure Societies Septembre 2015 : confirmation de la sélection, signature du contrat et assignation de 4 tâches d évaluation pour l appel FCT-2-2015 Octobre 2015 : déplacement à Bruxelles pour le travail de consensus 2
Processus d évaluation 3
Etre évaluateur Sélection de profils variés et complémentaires : chercheurs, ingénieurs, industriels, consultants, représentants des forces de l ordre, etc. Permet l évaluation des propositions sur 3 critères : L excellence (qualité scientifique et technique) L impact L implémentation Valeurs de l évaluateur : indépendance, impartialité, objectivité, précision, constance Engagement de confidentialité et absence de conflit d intérêt 4
Evaluer Le consensus se fait par la discussion (modération par un membre de la Commission ou de la REA) La diversité des profils d évaluateurs permet d adresser tous les aspects du projet Chaque jugement, remarque ou note doit être motivé Un manquement n est relevé qu une fois Les mots sont précisément choisis Les commentaires sont arrêtés avant les notes 5
Nouveauté H2020 Pas de phase de négociation (Time to grant réduit) : Evaluation des propositions en l état (et non sur le potentiel) Pas de possibilité de demander de modifications substantielles (juste des correction mineures e.g. déroulé d un work package) Si des lacunes sont relevées, elles doivent se traduire par une dégradation du score 6
Critères : Excellence Clarté et pertinence des objectifs Crédibilité de l approche proposée Pertinence du concept, considérations transdisciplinaires Ambition du projet soumis, potentiel d innovation et positionnement par rapport à l état de l art (e.g. nouveauté des concepts et approches proposes) 7
Conseils : Excellence Attention à bien identifier le type d action et ses spécificités : Research and Innovation Action (RIA) Innovation Action (IA) Coordination and Support Action (CSA) Pre-Commercial Procurement Cofund (PCP) Bien que certains TRL d arrivée soient très hauts, attention à conserver une dimension recherche même dans les IA Ne pas perdre de vue que l ambition doit être de proposer une stratégie internationale de coopération 8
Conseils : Excellence TRL 1 : observation du principe de base TRL 2 : formulation du concept technologique TRL 3 : preuve expérimentale de conception TRL 4 : validation de la technologie en laboratoire TRL 5 : validation de la technologie en environnement réel TRL 6 : démonstration de la technologie en environnement réel TRL 7 : démonstration du système à l échelle prototype en environnement opérationnel TRL 8 : qualification d un système complet TRL 9 : système réel démontré en environnement opérationnel 9
Critères : Impact Renforcer la compétitivité et la croissance des entreprises par le développement d innovations en ligne avec les besoins des marchés européens et mondiaux Promouvoir la capacité d innovation et l intégration de nouveaux savoirs Evaluer les impacts sociétaux et environnementaux Effectivité des mesures proposées pour exploiter et disséminer les résultats du projets (incluant la gestion de la propriété intellectuelle), pour communiquer et pour gérer les données de recherche 10
Conseils : Impact Montrer en quoi le projet répond aux objectifs fixés par l appel Proposer des projections et indicateurs pour mesurer les gains en compétitivité européenne, en productivité, les bénéfices pour l emploi, pour l environnement, etc. Détailler les modes de calculs, les sources sur lesquelles se base l analyse Ne pas oublier de prendre en compte toutes les modalités d impact : Financier Sociétal Scientifique Emploi Etc. Bien détailler la stratégie de dissémination et de communication 11
Conseils : Impact Indiquer la contribution du projet à l amélioration des connaissances des uns et des autres Indiquer le rôle de la coopération internationale, dire pourquoi le projet se fait dans un contexte européen plutôt que national Préciser si le projet contribuera a des normes, réglementations, etc. Valorisation du projet : dépôt de brevets, transfert de technologies, production et vente de produits, services, etc. Gestion de la propriété intellectuelle 12
Critères : Implémentation Cohérence et effectivité du plan de travail Découpage des tâches et allocation des ressources Complémentarité des partenaires dans le consortium Définitions des procédures et des structures de management Gestion des risques et de l innovation 13
Conseils : Implémentation Le choix des partenaires doit sembler «évident» à la lecture de la proposition (complémentarité des compétences) Il faut prendre en considération la répartition géographique des membres du consortium, leurs expertises, leurs secteurs (académique, PME, industrie, association, pouvoirs publics, etc.) Le consortium doit être majoritairement constitué de partenaires issus des pays UE mais des partenaires d autres pays sont invités à participer (financement sous conditions) Choisir des partenaires avec qui vous voulez travaillez pendant des années et si possible avec qui vous avez déjà travaillez 14
Conseils : Implémentation Définir pour chaque work package les participants, les objectifs, les tâches, les délivrables, les milestones, etc. Faire des diagrammes de Gantt et de Pert Les tâches et work packages doivent être bien découpés et dimensionnés (charges, durée, partenaires, etc.) Attention à ne pas laisser un partenaire isolé dans un work package (éviter les modes de fonctionnement en silos) 15
Conseils : Implémentation Bien présenter la structure du management (conseils et comités des niveaux stratégique, exécutif et opérationnel) et ses procédures (calendrier des reporting et des réunions des différents conseils et comités, mécanisme de prise de décisions et responsabilités de ces conseils et comités, rôle du coordinateur, etc.) Prévoir une politique de gestion des risques pour assurer la résilience du projet Soigner le budget, il doit être en ligne avec les ambitions du projet et avec les indications données dans l appel Le budget est un indicateur de la solidité et de la maturité du projet, attention à toutes ses dimensions (investissement matériel, voyages, etc.) 16
Conseils de rédaction Trouver un bon nom de projet, simple et efficace Soigner la présentation de la proposition de projet : la clarté est essentielle Respecter le nombre de pages autorisées Bien suivre la trame proposée, elle permet aux évaluateurs de s y retrouver Illustrer la proposition, les schémas facilitent la compréhension Définir les abréviations de façon claire Etre didactique Donner des informations vérifiables et mesurables facilement, éviter le déclaratif 17