Développement rural 2007-2013 MANUEL RELATIF AU CADRE COMMUN DE SUIVI ET D EVALUATION Document d orientation Septembre 2006 Direction générale de l agriculture et du développement rural
TABLE DES MATIÈRES 1. UNE APPROCHE PLUS STRATEGIQUE DU DEVELOPPEMENT RURAL...4 2. UNE APPROCHE COMMUNE DU SUIVI ET DE L EVALUATION...5 3. LA HIERARCHIE DES OBJECTIFS ET DES INDICATEURS...6 LA HIERARCHIE DES OBJECTIFS...6 LES INDICATEURS COMMUNS...7 LES INDICATEURS SUPPLEMENTAIRES...9 4. EXIGENCES DE SUIVI AU COURS DE LA NOUVELLE PERIODE...9 5. EXIGENCES D EVALUATION POUR LA NOUVELLE PERIODE...10 6. EXIGENCES DE RAPPORT...10 SUIVI...10 ÉVALUATION...11 SUIVI STRATEGIQUE...11 EXIGENCES DE RAPPORT CONFORMEMENT AUX DIFFERENTS TYPES D INDICATEURS...12 7. QUANTIFICATION ET FIXATION D OBJECTIFS...13 8. RESPONSABILITES POUR LA COMMUNICATION DE DONNEES...14 9. SOUTIEN POUR LE DEVELOPPEMENT DES ACTIVITES DE SUIVI ET D EVALUATION ET METHODOLOGIE...14 2
ANNEXES ANNEXE 1 ORIENTATION GÉNÉRALE A. CHOIX ET UTILISATION D INDICATEURS B. LIGNES DIRECTRICES D EVALUATION C. LIGNES DIRECTRICES POUR L EVALUATION EX ANTE, Y COMPRIS L EES ANNEXE 2 ORIENTATION CONCERNANT LA PROGRAMMATION ET LES MESURES D. HIERARCHIE D OBJECTIFS E. FICHES DE MESURE ANNEXE 3 ORIENTATION CONCERNANT LES INDICATEURS F. LISTE DES INDICATEURS COMMUNS G. FICHES D INDICATEUR RELATIF A LA SITUATION DE DEPART H. FICHES D INDICATEUR DE REALISATION I. FICHES D INDICATEUR DE RESULTAT J. FICHES D INDICATEURS D IMPACT K. EXEMPLES D INDICATEURS SUPPLEMENTAIRES ANNEXE 4 ORIENTATIONS DIVERSES L. QUESTIONS FREQUEMMENT POSEES M. RESEAU D EVALUATION N. GLOSSAIRE O. LECTURE UTILE 3
Suivi et évaluation 2007-2013 1. UNE APPROCHE PLUS STRATEGIQUE DU DEVELOPPEMENT RURAL Règlement (CE) nº 1698/2005 du Conseil du 20 septembre 2005 Considérants 11, 8 et 9 Pour assurer le développement durable des zones rurales, il y a lieu de viser au niveau communautaire un nombre limité d'objectifs fondamentaux relatifs à la compétitivité de l'activité agricole et forestière, à la gestion des terres et de l'environnement ainsi qu'à la qualité de la vie et à la diversification des activités dans ces zones, tout en tenant compte de la diversité des situations que connaissent les régions concernées, qu'il s'agisse de régions rurales isolées, confrontées à des problèmes de dépeuplement et de déclin, ou de zones rurales périurbaines sur lesquelles les centres urbains exercent une pression croissante. (11) Afin de renforcer le contenu stratégique de la politique de développement rural conformément aux priorités de la Communauté et de favoriser ainsi sa transparence, le Conseil devrait arrêter des orientations stratégiques sur proposition de la Commission. (8) Sur la base des orientations stratégiques, il convient que chaque État membre élabore son plan stratégique national de développement rural, qui servira de cadre de référence pour l'établissement des programmes de développement rural. Le suivi des stratégies nationale et communautaire devrait faire l'objet de rapports établis par les États membres et la Commission. (9) Le nouveau règlement concernant le soutien au développement rural met en place une approche nettement plus simple et plus stratégique (à savoir une approche objective plutôt qu une approche conduite par des mesures) du développement rural en définissant trois objectifs principaux et en réorganisant les sous-objectifs et les objectifs de mesure. Les principaux changements peuvent se résumer comme suit : (1) une simplification radicale de la mise en œuvre politique par l introduction d un système de financement unique et la modification du cadre de programmation, de gestion financière et de contrôle pour les programmes de développement rural ; (2) la définition de trois objectifs principaux pour les mesures de développement rural (article 4): l'amélioration de la compétitivité de l agriculture et de la sylviculture par un soutien à la restructuration, au développement et à l innovation ; l'amélioration de l environnement et de l espace rural par un soutien à la gestion des terres ; l'amélioration de la qualité de la vie en milieu rural et promotion de la diversification des activités économiques. Un axe thématique autour duquel les programmes de développement rural doivent être construits correspond à chaque objectif principal, tandis qu un quatrième axe horizontal et méthodologique est consacré à l intégration de l approche LEADER. (3) l adoption d orientations stratégiques pour le développement rural qui identifient les priorités européennes de développement rural pour : 4
contribuer à un secteur agroalimentaire européen puissant et dynamique en se concentrant sur les priorités du transfert de connaissances, de la modernisation, de l innovation et de la qualité dans la chaîne alimentaire et les secteurs prioritaires d investissement dans le capital physique et humain ; contribuer aux domaines prioritaires de la biodiversité, ainsi qu à la préservation et au développement des systèmes agricoles et sylvicoles à haute valeur naturelle et des paysages agricoles traditionnels, de l eau et du changement climatique ; contribuer à la priorité d'ensemble de la création de possibilités d emploi et de conditions de croissance ; contribuer à la priorité horizontale de l amélioration de la gouvernance et de la mobilisation du potentiel de développement endogène des zones rurales. Les États membres devraient développer leurs stratégies de développement rural à la lumière de ces objectifs et des priorités européennes et choisir, sur la base de l analyse de leur propre situation, les mesures qui conviennent le mieux à la mise en œuvre de chaque stratégie spécifique. Les programmes de développement rural convertiront ensuite la stratégie en actions par la mise en œuvre des mesures prévues dans les quatre axes opérationnels (articles 20, 36, 52 et 63 du règlement nº 1698/2005 du Conseil). 2. UNE APPROCHE COMMUNE DU SUIVI ET DE L EVALUATION Article 80 Cadre commun de suivi et d'évaluation Le cadre commun de suivi et d'évaluation est élaboré par la Commission et les États membres et est adopté selon la procédure visée à l'article 90, paragraphe 2. Ce cadre définit un nombre limité d'indicateurs communs applicables à chaque programme. L approche du suivi et de l évaluation pour la période 2007-2013 repose sur les dispositions en vigueur au cours des dernières périodes, mais elle sera mise en œuvre d une manière plus systématique et de façon adaptée à un nombre de nouvelles exigences dans le règlement relatif au soutien du développement rural. La définition explicite d objectifs dans le règlement, d orientations stratégiques et de la façon dont ils doivent se refléter dans les programmes augmente la nécessité de disposer d un système de suivi et d évaluation adéquatement clair et robuste. Le nouveau règlement relatif au soutien au développement rural prévoit le suivi stratégique des stratégies communautaires et nationales en rapport avec les priorités de l UE, exigeant de ce fait la définition d indicateurs communs et leur quantification. Il apparaît nécessaire de mieux définir les indicateurs de la situation de base au début de la période de programmation afin d évaluer la situation de départ et d édifier la base du développement de la stratégie du programme. 5
L agrégation des réalisations, résultats et impacts au niveau de l UE permettra d évaluer les progrès réalisés dans l accomplissement des priorités communautaires. L organisation d activités d évaluation sur une base permanente garantira une meilleure préparation à l évaluation à mi-parcours et à l évaluation ex post officielles, notamment par une meilleure collecte des données. Le cadre commun de suivi et d évaluation (CCSE), qui est décrit dans le présent document, met l accent sur la continuité et l adaptation de l orientation existante pour la période de 2000-2006 1 en se basant sur l expérience et les exigences du nouveau règlement. Les nouvelles dispositions prévoient un cadre unique pour le suivi et l évaluation de toutes les interventions de développement rural. Il prévoit une vaste continuité en ce qui concerne les exigences de suivi et constitue une simplification importante en ce qui concerne l évaluation des résultats et des impacts tout en offrant en même temps une plus grande flexibilité aux États membres. En général, le CCSE présente peu d exigences supplémentaires de collecte de données par comparaison avec la période existante sauf lorsque le champ d application d une mesure ou d un objectif a été modifié dans le règlement ou les orientations stratégiques européennes de développement rural. 3. LA HIERARCHIE DES OBJECTIFS ET DES INDICATEURS Article 81 Indicateurs 1. L'état d'avancement, l'efficience et l'efficacité des programmes de développement rural par rapport à leurs objectifs sont mesurés au moyen d'indicateurs relatifs à la situation de départ ainsi qu'à l'exécution financière, à la réalisation, aux résultats et à l'impact des programmes. 2. Chaque programme de développement rural définit un nombre limité d'indicateurs supplémentaires propres au programme. 3. Lorsque la nature de l'aide s'y prête, les données relatives aux indicateurs sont ventilées en fonction du sexe et de l'âge des bénéficiaires. La hiérarchie des objectifs Le cadre commun de suivi et d évaluation (CCSE) établit cinq types d indicateurs correspondant à l approche générale de la programmation. Ces indicateurs correspondent à la hiérarchie des objectifs qui est définie implicitement dans le règlement (cf. annexe 2 - Note d orientation D : hiérarchie des objectifs). La hiérarchie des objectifs est un outil qui aide à analyser et à communiquer les objectifs de programme et montre comment les interventions locales devraient contribuer 1 Cf. note d orientation O : lecture utile pour une synthèse de l orientation pour la période 2000-2006 6
aux objectifs globaux. Elle organise ces objectifs en niveaux différents (objectifs et sousobjectifs) sous la forme d une hiérarchie ou d un arbre, montrant ainsi les liens logiques entre les objectifs et leurs sous-objectifs. Elle présente, sous forme de synthèse, les diverses logiques d intervention extraites du règlement qui relient les actions et mesures individuelles aux objectifs globaux de l intervention. Le règlement relatif au développement rural contient également des objectifs horizontaux, valables pour toutes les mesures du programme. L approche de programmation suit plusieurs étapes. Les indicateurs relatifs à la situation de départ sont utilisés pour exécuter une analyse SWOT servant de base à la définition des objectifs stratégiques. Des indicateurs d impact correspondant à ces objectifs stratégiques et à la logique d intervention arrêtée dans le règlement relatif au développement rural sont fixés. Des mesures sont ensuite définies à la lumière de cette stratégie et du règlement. Des indicateurs financiers, des indicateurs de réalisation et des indicateurs de résultat sont établis pour chaque mesure. Ceux-ci devraient correspondre à la hiérarchie des objectifs du programme. Lignes de référence associées à l objectif Lignes de reférence du contexte Identification des forces et des faiblesses SWOT Définition de mesures Hiérarchie d objectifs Intrants financiers Réalisations Résultats Objectifs stratégiques I mpact Les indicateurs sont utilisés comme outils pour évaluer le degré de réalisation des objectifs escomptés grâce aux mesures ou à des programmes complets. L impact s évalue sur la base des réalisations et résultats des mesures individuelles de la hiérarchie d objectifs complète. Les indicateurs devraient être spécifiés, mesurables, acceptables, réalistes pour le programme et situés dans le temps (SMART). Les indicateurs ne sont pas toujours composés exclusivement de données statistiques quantitatives et dans certains cas, ils pourraient aussi inclure des évaluations qualitatives ou des hypothèses logiques. Les indicateurs communs Le cadre commun de suivi et d évaluation établit un ensemble limité d indicateurs communs pour chaque niveau de la hiérarchie d objectifs. Conformément à la chaîne causale de la «logique d intervention», la «hiérarchie des indicateurs communs» débute avec les intrants, c est-à-dire les ressources financières ou administratives qui généreront les résultats des activités du programme en poursuivant des objectifs opérationnels ou associés aux mesures. Les résultats qui en découlent sont les effets immédiats d interventions qui devraient contribuer à la réalisation des objectifs spécifiques. Les impacts devraient contribuer à atteindre les objectifs globaux du programme qui, dans un programme bien conçu, doivent correspondre aux besoins précédemment identifiés. La logique d intervention pour chaque mesure et les indicateurs 7
communs correspondants sont présentés dans des fiches de mesure (cf. annexe 2 - Note d orientation E : fiches de mesure). Indicateurs d intrant : ceux-ci se réfèrent aux ressources budgétaires ou autres qui sont allouées à chaque niveau de l assistance. Des indicateurs financiers sont utilisés pour suivre les progrès en termes d engagement (annuel) et de paiement des fonds disponibles pour toute opération, toute mesure et tout programme en rapport avec ses coûts éligibles. Exemple : dépenses par mesure déclarée à la Commission Indicateurs de réalisation : ceux-ci mesurent les activités directement réalisées dans les programmes. Ces activités sont le premier pas vers la réalisation des objectifs opérationnels de l intervention et se mesurent en unités physiques ou monétaires. Exemples : nombre de sessions de formation organisées, nombre d exploitations recevant un soutien à l investissement, volume total d investissement. Indicateurs de résultat : ceux-ci mesurent les effets directs et immédiats de l intervention. Ils fournissent des informations sur les changements dans, par exemple, le comportement, la capacité ou la performance des bénéficiaires directs et sont mesurés en termes physiques ou monétaires. Exemples : un grand nombre d emplois créés, des résultats de formation fructueux Indicateurs d impact : ceux-ci font référence aux avantages du programme au-delà des effets immédiats sur ses bénéficiaires directs à la fois au niveau de l intervention et, d une manière plus générale, au niveau du domaine du programme. Ils sont liés aux objectifs plus larges du programme. Ils sont normalement exprimés en termes «nets», c est-à-dire en soustrayant les effets qui ne peuvent être attribués à l intervention (par exemple, double comptage et effet d aubaine) et en tenant compte des effets indirects (effets de déplacement et de multiplication). Exemples : augmentation du nombre d emplois dans les zones rurales, productivité accrue du secteur agricole et production accrue de l énergie renouvelable Indicateurs relatifs à la situation de départ Les indicateurs relatifs à la situation de départ sont utilisés dans l analyse SWOT et dans la définition de la stratégie du programme. Ils s inscrivent dans deux catégories : Les indicateurs relatifs à la situation de départ associés à l objectif : ils sont directement liés aux objectifs plus larges du programme. Ils permettent de développer l analyse SWOT en rapport avec les objectifs identifiés dans le règlement. Ils sont également utilisés comme référence (ou ligne de base) par rapport à laquelle l impact des programmes sera évalué. Les indicateurs relatifs à la situation de départ reflètent la situation au début de la période de programmation et une tendance dans le temps. L estimation d impact devrait refléter cette partie du changement dans le temps qui peut être attribuée au programme une fois que la tendance de situation de départ et d autres facteurs d intervention ont été pris en compte. Les indicateurs relatifs à la situation de départ associés au contexte : ceux-ci fournissent des informations sur les aspects pertinents des tendances contextuelles générales qui devraient avoir une influence sur la performance du programme. Les indicateurs relatifs à la situation de départ associés au contexte desservent, dès lors, deux objectifs: 1) contribuer à l identification des forces et des faiblesses dans la région et 2) aider à interpréter les impacts réalisés dans le cadre du programme à la lumière des tendances économiques, sociales, structurelles ou environnementales générales 2. Les listes complètes d indicateurs communs, les lignes directrices concernant le choix et l utilisation d indicateurs et les fiches descriptives pour les indicateurs relatifs à la situation de départ, les indicateurs de réalisation, les indicateurs de résultat et les indicateurs d impact, ainsi qu une liste d exemples d indicateurs supplémentaires sont fournies dans les notes d orientation d accompagnement (cf. annexe 3 - Notes d orientation F-K). La note d orientation A sur le choix et l utilisation des indicateurs 2 Par exemple, la contribution de programmes de développement rural aux objectifs environnementaux dépendra également des tendances générales de l utilisation des terres agricoles. 8
précise les indicateurs à inclure dans le plan stratégique national et les indicateurs à inclure dans le programme de développement rural. Les indicateurs supplémentaires Les indicateurs communs ne pouvant pas saisir entièrement tous les effets de l activité du programme, en particulier en ce qui concerne les priorités nationales et les mesures spécifiques au site, il est nécessaire de définir des indicateurs supplémentaires à l intérieur des programmes. Ces indicateurs supplémentaires devraient être développés par les États membres et les partenariats au programme d une manière souple, mais conforme aux principes généraux régissant l utilisation d indicateurs dans le CCSE. Des conseils concernant l utilisation d indicateurs supplémentaires et des exemples d indicateurs supplémentaires sont fournis dans les notes d orientation d accompagnement (cf. notes d orientation A et K). 4. EXIGENCES DE SUIVI AU COURS DE LA NOUVELLE PERIODE Article 79 Procédures de suivi 1. L'autorité de gestion et le comité de suivi contrôlent la qualité de la mise en œuvre du programme. 2. L'autorité de gestion et le comité de suivi assurent le suivi de chaque programme de développement rural au moyen d'indicateurs financiers, d'indicateurs de réalisation et d'indicateurs de résultat. Le suivi fournit des informations sur les progrès de la mise en œuvre du programme en ce qui concerne les indicateurs financiers, les indicateurs de réalisation et les indicateurs de résultat. Ces informations constituent la base de rapports annuels et de rapports stratégiques au niveau national et seront utilisées par les comités de suivi. Le système de suivi au cours de la nouvelle période sera édifié sur le système existant de suivi et d orientation, mais sera amélioré et restructuré sur un certain nombre de points. Les ressources disponibles pour le suivi de programmes seront concentrées sur un nombre limité d indicateurs communs de réalisation et de résultat qui saisissent, d une manière judicieuse, les progrès des interventions vers des objectifs de programme convenus et qui peuvent être agrégés au niveau de l UE. Dans le cadre du suivi stratégique, en 2010, puis tous les deux ans après 2010, les États membres devront soumettre un rapport de synthèse définissant les progrès dans la mise en œuvre du plan et des objectifs de stratégie nationale et de sa contribution à la réalisation des orientations stratégiques communautaires. Le rapport résumera les rapports de progrès annuels d exécution des années précédentes et décrira, en particulier, les indicateurs définis dans le plan stratégique national. 9
5. EXIGENCES D EVALUATION POUR LA NOUVELLE PERIODE Article 85 Évaluation ex ante 1. L'évaluation ex ante fait partie de la procédure d'élaboration de chaque programme de développement rural et vise à optimiser l'allocation des ressources budgétaires et à améliorer la qualité de la programmation. Elle définit et évalue les besoins à moyen et à long terme, les objectifs à atteindre, les résultats escomptés, les objectifs quantifiés notamment en termes d'impact par rapport à la situation de départ Article 86 Évaluation à mi-parcours et ex post 1. Les États membres établissent un système d'évaluation in itinere pour chaque programme de développement rural. 2. L'autorité de gestion du programme et le comité de suivi utilisent l'évaluation in itinere pour : a) examiner l'état d'avancement du programme par rapport à ses objectifs, au moyen d'indicateurs relatifs aux résultats et, le cas échéant, aux impacts ; b) améliorer la qualité des programmes et leur mise en œuvre ; c) examiner des propositions de modifications importantes des programmes ; d) préparer l'évaluation à mi-parcours et l'évaluation ex post. Des activités d évaluation seront organisées en permanence. Ceci inclut toutes les activités d évaluation à exécuter pendant la période de programmation, c est-à-dire, au niveau du programme, l évaluation ex ante, l évaluation à mi-parcours et l évaluation ex post, ainsi que toute autre activité d évaluation que l autorité du programme peut juger utile pour améliorer sa gestion du programme (cf. annexe 1 - Note d orientation B : lignes directrices d évaluation). L évaluation ex ante pose la base permettant de définir un système d évaluation en identifiant des objectifs, des cibles et des références par rapport à la situation de départ pour le programme. Partant de ceci, un système permanent qui garantit des activités continues d évaluation du programme pendant toute la période de programmation doit être développé. La mise sur pied d un système d évaluation in itinere doit être planifiée depuis le début de la période de programmation (cf. annexe 1 - Note d orientation C : lignes directrices pour l évaluation ex ante, incluant l EES). 6. EXIGENCES DE RAPPORT Suivi Article 82 Rapport annuel d'exécution 1. Pour la première fois en 2008, et au plus tard le 30 juin de chaque année, l'autorité de gestion transmet à la Commission un rapport annuel d'exécution relatif à la mise en œuvre du programme. L'autorité de gestion transmet un dernier rapport d'exécution à la Commission le 30 juin 2016. L autorité de gestion et le comité de suivi exécuteront un suivi de chaque programme de développement rural à l aide d indicateurs financiers, d indicateurs de réalisation et d indicateurs de résultat (article 79 du règlement nº 1698/2005). 10
Le suivi sera exécuté principalement par le biais de rapports annuels d exécution qui doivent être soumis à la Commission chaque année pour le 30 juin. Le rapport annuel d exécution inclura toutes les informations quantitatives et qualitatives mentionnées à l article 82 du règlement n 1698/2005, et en particulier : un tableau présentant l exécution financière du programme et donnant, pour chaque mesure, un relevé des dépenses payées aux bénéficiaires au cours de l année calendaire (le format de tableau est inclus à l annexe VII du projet de règles d exécution de la Commission sur la structure et le contenu des rapports annuels d exécution), les tableaux de suivi qui incluront des informations quantitatives basées sur les indicateurs communs de réalisation et de résultat. Ces tableaux de suivi seront complétés à l aide d une application de base de données qui fera partie du module RDIS (Rural Development Information System) qui remplacera le système CAP-IDIM actuel, et une synthèse des activités d évaluation in itinere. Évaluation Article 86 Évaluation à mi-parcours et ex post 3. À partir de 2008, l'autorité de gestion fait rapport chaque année au comité de suivi sur les activités d'évaluation in itinere. Un résumé de ces activités est inclus dans le rapport annuel d'exécution prévu à l'article 82. 4. En 2010, l'évaluation in itinere prend la forme d'un rapport d'évaluation à mi-parcours distinct. Elle propose des mesures visant à améliorer la qualité des programmes et leur mise en œuvre. Une synthèse des rapports d'évaluation à mi-parcours est établie sur l'initiative de la Commission. 5. En 2015, l'évaluation in itinere prend la forme d'un rapport d'évaluation ex post distinct. L évaluation examinera les progrès de programmes en rapport avec ses objectifs au moyen d indicateurs de résultat et, le cas échéant, d indicateurs d impact (article 86, paragraphe 3, du règlement n 1698/2005). Un résumé des activités d évaluation in itinere sera inclus dans le rapport annuel d exécution. En 2010, l évaluation in itinere prendra la forme d un rapport d évaluation à mi-parcours distinct (article 86, paragraphe 4). En 2015, l évaluation in itinere prendra la forme d un rapport d évaluation ex post distinct (article 86, paragraphe 5). Suivi stratégique Article 13 Rapport de synthèse des États membres Pour la première fois en 2010 et, par la suite, au plus tard le 1 er octobre tous les deux ans, chaque État membre présente à la Commission un rapport de synthèse portant sur l'état d'avancement de la mise en œuvre de son plan stratégique national et de ses objectifs ainsi que sur sa contribution à la réalisation des orientations stratégiques de la Communauté. Le dernier rapport sera soumis au plus tard le 1 er octobre 2014. 11
Les rapports stratégiques résumeront les rapports annuels d exécution des années précédentes et décriront en particulier : a) les réalisations et résultats des programmes de développement rural par rapport aux indicateurs définis dans le plan stratégique national et b) les résultats des activités d évaluation en cours pour chaque programme (article 13, paragraphe 2). Ces rapports incluront l évolution des indicateurs de réalisation, de résultat et d impact et actualiseront les indicateurs relatifs à la situation de départ en cas de besoin. La fiche n o 9 du modèle d orientation établissant le plan stratégique national inclut la structure proposée des rapports stratégiques bisannuels à présenter par l État membre. Exigences de rapport conformément aux différents types d indicateurs Indicateurs financiers Les informations financières seront déclarées annuellement par le biais du rapport d exécution au moyen d un tableau incluant la mise en œuvre financière du programme qui fournira, pour chaque mesure, un relevé des frais payés aux bénéficiaires (l objectif Convergence sera identifié distinctement) au cours de l année calendaire. En 2010, 2012 et 2014, les rapports stratégiques incluront les progrès financiers réalisés par le plan stratégique national. Les autorités de gestion sont responsables de la notification des informations sur ce type d indicateur. Indicateurs de réalisation Les informations concernant les indicateurs communs et supplémentaires de réalisation seront notifiées annuellement dans le rapport d exécution à partir de 2008. Les données concernant les indicateurs communs de réalisation seront introduites par le biais d une nouvelle application faisant partie du module RDIS. En 2010, 2012 et 2014, les rapports stratégiques incluront les progrès sur les indicateurs de réalisation. Les autorités de gestion sont responsables de la notification des informations sur ce type d indicateur. Indicateurs de résultat Les informations concernant les indicateurs communs et supplémentaires de résultat seront notifiées annuellement à partir de 2008 (cette année-là cependant, il n y aura probablement aucune valeur faute de résultats au stade précoce de la mise en œuvre du programme). Les données concernant les indicateurs communs de résultat seront introduites par le biais d une nouvelle application faisant partie du module RDIS. En 2010, 2012 et 2014, les rapports stratégiques incluront les progrès sur les indicateurs de résultat. Les autorités de gestion sont responsables de la notification des informations sur ce type d indicateur, mais les données peuvent être obtenues par le biais de l évaluation in itinere. Indicateurs d impact L estimation de l impact et les indicateurs correspondants sont des éléments centraux des rapports d évaluation. La fréquence de la notification correspond à l évaluation ex ante (2005-2006), à l évaluation à mi-parcours (2010) et à l évaluation ex post (2015). Des évaluateurs indépendants sont responsables de l évaluation d impact. 12
Indicateurs relatifs à la situation de départ Pour ces types d indicateurs, l obligation de «notification» ne s applique pas, mais les rapports stratégiques bisannuels (2010, 2013, 2014) incluront une mise à jour des données pour les indicateurs communs et supplémentaires de référence en rapport avec les objectifs sur la base des données disponibles. Les États membres sont responsables de cette mise à jour. Aucune mise à jour spécifique des indicateurs relatifs à la situation de départ n est prévue dans les rapports annuels, sauf si des changements majeurs qui ont un impact sur la mise en œuvre du programme interviennent dans le plan stratégique national. 7. QUANTIFICATION ET FIXATION D OBJECTIFS Article 78 Responsabilités du comité de surveillance Le comité de suivi s'assure de l'efficacité de la mise en œuvre du programme de développement rural. À cet effet, le comité de suivi : b) évalue périodiquement les progrès réalisés pour atteindre les objectifs spécifiques du programme sur la base des documents soumis par l'autorité de gestion; c) examine les résultats de la mise en œuvre, notamment la réalisation des objectifs fixés pour chaque axe ainsi que les évaluations in itinere. Article 85 Évaluation ex ante 1. L'évaluation ex ante fait partie de la procédure d'élaboration de chaque programme de développement rural et vise à optimiser l'allocation des ressources budgétaires et à améliorer la qualité de la programmation. Elle définit et évalue les besoins à moyen et à long terme, les objectifs à atteindre, les résultats escomptés, les objectifs quantifiés notamment en termes d'impact par rapport à la situation de départ La quantification est un élément essentiel du suivi et de l évaluation efficaces. Tous les indicateurs devraient, par conséquent, être quantifiés et des objectifs adéquats devraient être fixés lorsque l indicateur concerné se prête à la quantification. En l absence de données quantifiées, il convient d utiliser des données qualitatives. En principe, tous les indicateurs présentés dans le cadre commun de suivi et d évaluation sont quantifiables. Les objectifs quantifiés sont des estimations indicatives basées sur l expérience du passé et l appréciation d experts. Une approche standard consiste à utiliser des repères établis dans d anciens rapports, évaluations et études concernant le programme. Les évaluateurs joueront un rôle important dans le contexte de l évaluation ex ante en vérifiant les objectifs quantifiés des réalisations et des résultats et dans la fixation d objectifs quantifiés (et le cas échéant qualitatifs) pour l impact. Le règlement sur le développement rural se concentre spécifiquement sur la quantification de l impact, en particulier par rapport à la situation de départ. Dans de nombreux cas, cependant, bien qu il soit possible d évaluer l impact au niveau des bénéficiaires directs et indirects du soutien, il est souvent plus difficile de resituer celuici dans le contexte des tendances de la situation de départ plus générale au niveau de la zone du programme. Ceci peut être lié à l échelle relativement petite de l intervention ou 13
au manque de données de référence adéquates. L accent devrait, dès lors, être mis sur l estimation ascendante de l impact : Dans un premier temps, l évaluateur du programme devrait estimer l impact au niveau des bénéficiaires directs et indirects sur la base d indicateurs de réalisation et de résultat, de données d études, de l expérience et des évaluations provenant de périodes de programmation antérieures (pour le calcul du double comptage, de l effet d aubaine, de l effet de décalage et de l effet de multiplication). Ceci devrait faire l objet d un contrôle croisé par rapport aux éléments contrefactuels et aux tendances contextuelles dans la zone du programme. Dans un second temps, l évaluateur devrait estimer la contribution à la tendance générale au niveau de la zone du programme (tendance de la situation de départ) où l impact du programme est réalisable/statistiquement important par rapport à d autres facteurs. À défaut de pouvoir procéder à une telle estimation, l évaluateur devrait effectuer une évaluation qualitative en termes généraux. L annexe 1: note d orientation A fournit plus de conseils sur la quantification. 8. RESPONSABILITES POUR LA COMMUNICATION DE DONNEES L autorité de gestion sera chargée de recueillir et de communiquer les données concernant le suivi financier et les indicateurs de réalisation. S agissant des indicateurs de résultat, les États membres peuvent souhaiter recourir aux dispositions concernant l évaluation in itinere afin de faciliter la collecte de données. L autorité de gestion sera également responsable de fournir des données concernant les indicateurs relatifs à la situation de départ. Des travaux supplémentaires peuvent être entrepris dans le cadre de l évaluation ex ante et des activités d évaluation in itinere. L estimation d impact, dont l interprétation/adaptation des indicateurs relatifs à la situation de départ, des études ponctuelles, le calcul de l effet d aubaine, l effet de décalage, etc., relèvera de la responsabilité des évaluateurs du programme. 9. SOUTIEN POUR LE DEVELOPPEMENT DES ACTIVITES DE SUIVI ET D EVALUATION ET METHODOLOGIE Le réseau européen de développement rural contribuera à la mise en œuvre efficiente des programmes de développement rural et jouera le rôle de facilitateur, d organisateur et de source d expertise et de meilleure pratique pour la communauté politique de développement rural au niveau européen. Le réseau apportera son soutien aux autorités de gestion, aux réseaux ruraux nationaux et à d autres organismes pertinents impliqués dans la gestion et la mise en œuvre de programmes de développement rural. Dans le cadre du réseau européen pour le développement rural, un réseau d évaluation européen sera mis sur pied afin d établir la bonne pratique et le renforcement des capacités dans l évaluation, augmentant ainsi l utilité du suivi et de l évaluation en tant qu outils pour la gestion du programme. La coopération et l échange sur la meilleure pratique, ainsi que le développement en cours de méthodes et d outils seront soutenus. 14
Ceci inclura des groupes de travail thématiques dans des secteurs tels que les priorités environnementales et LEADER. Les activités d évaluation au niveau du programme seront complétées par des études thématiques d accompagnement et des évaluations de synthèse au niveau communautaire (cf. annexe 4 : note d orientation M). Un recueil des questions fréquemment posées, un glossaire et des lectures utiles sont fournis dans le guide d accompagnement (annexe 4 - Notes d orientation L, N et O). 15