Note d orientation A : choix et utilisation d indicateurs

Transcription

1 Note d orientation A : choix et utilisation d indicateurs La présente note d orientation montre comment choisir et utiliser des indicateurs dans le contexte de la définition, de la mise en œuvre et de l évaluation du programme et de la stratégie nationale. Elle présente les exigences en rapport avec : les objectifs, les indicateurs et la quantification, les indicateurs communs et supplémentaires, le choix et l utilisation d indicateurs dans les programmes de développement rural, y compris la relation entre les indicateurs relatifs à la situation de départ et les indicateurs d impact et le choix et l utilisation d indicateurs dans les stratégies nationales. 1. OBJECTIFS, INDICATEURS ET QUANTIFICATION Dans le contexte du nouveau règlement relatif au développement rural, l analyse de la situation, la définition des objectifs, les indicateurs et la quantification se déroulent en plusieurs étapes : (1) Identification des besoins de développement sur la base de principaux indicateurs relatifs à la situation de départ communs et nationaux et fixation d objectifs stratégiques nationaux (SN) ; (2) Analyse des besoins de la zone du programme et analyse SWOT ; définition de priorités, d objectifs, de mesures et d indicateurs et quantification (RDP); (3) Évaluation ex ante visant à évaluer et à mener le programme à bien, analyse SWOT, définition de priorités, d objectifs, de mesures et d indicateurs et quantification (RDP) ; (4) Adaptation du programme afin de tenir compte de l évaluation ex ante (les phases 2 et 3 peuvent être organisées en tant que processus itératif) (RDP) ; (5) Soumission du programme à la Commission, négociation et adoption (RDP) ; (6) Actualisation de la stratégie nationale afin de tenir compte de la plage complète d indicateurs et quantification sur la base de l évaluation ex ante et du programme adopté (SN). La présente section cherche à donner des conseils pratiques sur la façon de choisir et d utiliser des indicateurs dans leurs programmes et leurs stratégies nationales. Les listes complètes d indicateurs communs et les fiches descriptives pour les indicateurs relatifs à la situation de départ, de réalisation, de résultat et d impact, ainsi qu une liste d exemples d indicateurs supplémentaires sont fournies dans des notes d orientation d accompagnement (cf. annexe 2 - Notes d orientation E-K). FR FR-TRA-00 1

2 2. INDICATEURS COMMUNS ET SUPPLEMENTAIRES Comme il se peut que les indicateurs communs ne saisissent pas totalement tous les effets de l activité du programme, en particulier en rapport avec les priorités nationales et les mesures spécifiques au site, il est nécessaire de définir des indicateurs supplémentaires dans le cadre des programmes. Ces indicateurs supplémentaires devraient être développés par les États membres et les partenariats de programme d une manière souple, mais conforme aux principes généraux qui régissent l utilisation d indicateurs dans le CCSE. Il existe diverses situations où les États membres devraient fournir des indicateurs supplémentaires : lorsqu un indicateur de référence commun ne couvre pas les caractéristiques spécifiques de la zone du programme ; lorsqu un objectif supplémentaire ou une priorité nationale défini dans le plan stratégique national ou le programme n est pas couvert par un indicateur d impact ; lorsque les indicateurs d impact communs ne sont pas suffisamment détaillés ou spécifiques pour refléter les avantages plus larges d une mesure ou lorsqu il n existe pas d indicateur d impact commun pour une mesure. Ceci est particulièrement important aux endroits où les mesures sont très spécifiques au site, par exemple, dans le secteur agro-environnemental. Des indicateurs d impact adéquats spécifiques à la mesure devraient être élaborés ; lorsque les indicateurs de résultat communs ne sont pas suffisamment détaillés ou spécifiques pour refléter les premiers effets d une mesure ou lorsqu un indicateur de résultat commun n existe pas pour une mesure ; lorsque les indicateurs de réalisation communs ne sont pas suffisamment détaillés ou spécifiques pour refléter les activités dans le cadre d une mesure. La définition d indicateurs supplémentaires offrira aux États membres la flexibilité dont ils ont besoin pour créer un système de suivi et d évaluation adapté à leurs besoins. Cette flexibilité n est toutefois possible que si elle reste dans le champ d application du règlement sur le développement rural et la hiérarchie d objectifs correspondante. Lors du développement d indicateurs supplémentaires, les États membres : garantissent la pertinence et l utilité d un indicateur supplémentaire, définissent le type et l utilisation de l indicateur, garantissent que l indicateur supplémentaire répond aux critères de qualité acceptés pour le type d indicateur et d intervention concerné. Il est recommandé de fournir une fiche d indicateur détaillée par indicateur supplémentaire afin de faciliter son utilisation dans le suivi et l évaluation.

3 3. CHOIX ET UTILISATION D INDICATEURS DANS LES PROGRAMMES Indicateurs relatifs à la situation de départ Sur la base des indicateurs relatifs à la situation de départ communs associés à l objectif et des indicateurs relatifs à la situation de départ associés au contexte, les autorités de gestion devraient exécuter une analyse de la situation dans la zone du programme en rapport avec les points forts et les points faibles visés à l article 16, point a), du règlement (CE) nº 1698/2005. Analyse de la situation mettant en évidence les points forts et les points faibles, la stratégie retenue pour y faire face et l évaluation ex ante - Article 16, point a), et article 85 du règlement (CE) n o 1698/2005 Décrire la situation actuelle de la zone géographique en utilisant des données quantifiées et en soulignant les points forts et les points faibles, les disparités, les besoins et les lacunes et le potentiel de développement rural sur la base des indicateurs relatifs à la situation de départ définis à l annexe 6 du présent règlement, ainsi que d autres indicateurs supplémentaires pertinents. Cette description devrait concerner : le contexte socio-économique général de la zone géographique : définition de la zone rurale sur la base de la définition donnée par l OCDE ou d autres définitions, le cas échéant ; situation démographique, notamment analyse de la structure de la population par âge et par sexe, flux migratoires entrants et sortants et problèmes découlant des pressions périurbaines et de l éloignement ; mesures d encouragement économiques, productivité et croissance ; marché de la main-d œuvre, y compris la structure de l emploi, le chômage et les niveaux de compétence ; utilisation générale des terres et utilisation des terres agricoles/forestières en particulier; structure de propriété et taille moyenne des exploitations; la performance des secteurs agricole, forestier et alimentaire : compétitivité des secteurs agricole, forestier et alimentaire et notamment description des besoins de restructuration et de modernisation ; capital humain et esprit d entreprise ; potentiel d innovation et de transfert de connaissances ; qualité et conformité des normes communautaires; l environnement et la gestion des terres : handicaps auxquels les exploitations agricoles sont confrontées dans les zones à risque d abandon et de marginalisation ; description globale de la biodiversité en mettant l accent sur celle qui est liée à l agriculture et aux forêts, notamment à l agriculture de haute valeur naturelle et aux systèmes forestiers, situation concernant la mise en œuvre des directives Natura 2000 dans les terres agricoles/forestières ; description de la qualité de l eau et des quantités d eau, rôle de l agriculture dans l utilisation ou la pollution de l eau et mise en œuvre de la directive Nitrate et de la directive-cadre Eau ; pollution de l air et changement climatique et leur lien avec l agriculture ; émissions de gaz à effet de serre et d ammoniac et lien avec différents plans d action/diverses initiatives pris par l État membre ou la région pour contribuer à la réalisation des objectifs internationaux, y compris le code de bonne pratique visant à réduire les émissions d ammoniac (convention sur la pollution atmosphérique transfrontalière à longue distance) ; utilisation de la bioénergie ; descriptions de la qualité du sol (érosion par l eau et le vent, matières organiques, contamination) et protection, utilisation de pesticides, élevage organique et bien-être animal ; étendue des zones forestières protégées et de grande valeur, des zones forestières à risque élevé/moyen d incendie et changement annuel moyen de la couverture forestière. Les descriptions ci-dessus devraient être étayées par des données quantifiées; l économie rurale et la qualité de vie : structure de l économie rurale, obstacles à la création de possibilités alternatives d emploi, formation de micro-entreprises et tourisme ; fourniture de services dans la zone rurale, besoins infrastructurels, patrimoine culturel et environnement intégré dans les villages ; potentiel humain et capacité locale de développement, y compris la gouvernance; Leader : la population et le territoire des États membres couverts par des stratégies de développement rural intégrées ascendantes (Leader et autres programmes nationaux et cofinancés par l UE) pendant la période de programmation

4 Choix et utilisation d indicateurs : L analyse devrait refléter tous les indicateurs communs relatifs à la situation de départ associés à l objectif et, en principe, tous les indicateurs relatifs à la situation de départ associés au contexte, étant donné qu ils constituent la base pour la fixation des objectifs établis dans le règlement et les orientations stratégiques communautaires. Une justification claire du choix de la raison de la non-inclusion d une priorité de l UE devrait, en particulier, être fournie en ce qui concerne les priorités de l UE identifiées dans les orientations stratégiques et les stratégies nationales. Les États membres/autorités de gestion devraient couvrir tous les thèmes de l analyse requis par l article 16, point a), et compléter ainsi les indicateurs communs avec des indicateurs et données supplémentaires adéquats. En particulier, lorsque d autres indicateurs supplémentaires autorisent une meilleure identification de la situation de référence, notamment lorsque les indicateurs communs ne reflètent pas suffisamment les besoins régionaux ou locaux, ceux-ci devraient être présentés. Les États membres/autorités de gestion devraient garantir que des indicateurs relatifs à la situation de départ sont disponibles pour tous les objectifs identifiés dans le programme afin de soutenir l évaluation d impact. Concernant la définition des zones rurales, les États membres peuvent utiliser des définitions alternatives afin de compléter la définition de l OCDE. La méthodologie et la classification devraient être présentées dans le programme. Données : Là où les données requises pour un indicateur commun font défaut dans un État membre au niveau national ou régional, les indicateurs nationaux ou régionaux alternatifs devraient être compilés avec des données adéquates. Une évaluation qualitative est acceptable lorsqu aucune donnée n est disponible au niveau de l UE ou au niveau national. À toute fin de comparabilité, la Commission a choisi une année de référence commune, là où cela s avère possible, afin de garantir la comparabilité des données. Les États membres peuvent cependant choisir d autres années aux endroits où ceci améliore la qualité de l analyse. Pendant la période de programmation, la Commission cherchera à garantir, en collaboration avec les États membres et les autres institutions communautaires, que des données sont disponibles au niveau national pour tous les indicateurs communs relatifs à la situation de départ. Les indicateurs, les recueils de données et la quantification peuvent être complétés par des experts externes dans le cadre de l évaluation ex ante. Les données de référence devraient être actualisées régulièrement au fur et à mesure de la disponibilité de nouvelles données. La Commission veillera à garantir l actualisation régulière des données pour les indicateurs communs. Les États membres/autorités de gestion restent cependant responsables des données subnationales et des indicateurs nationaux supplémentaires.

5 Relation entre les impacts du programme et les tendances de la situation de départ L analyse par rapport à la situation de départ sert de base pour le programme SWOT et constitue, par conséquent, une partie de la justification analytique des objectifs du programme et du choix des priorités. La situation de départ reflète la situation dans la zone du programme et constitue un élément essentiel de la définition de la stratégie du programme. Dans de nombreux cas, il ne sera pas possible d établir un lien direct entre les impacts du programme et les tendances de la situation de départ compte tenu de l échelle de l intervention ou du manque de données de départ d un niveau adéquat. L évaluation d impact devrait, dès lors, se concentrer sur une approche ascendante de l évaluation des effets du programme. Les évaluateurs devraient chercher à évaluer le lien entre l impact du programme et les tendances de la situation de départ, mais ceci ne doit pas forcément être quantifié. Indicateurs d impact Le cadre commun de suivi et d évaluation (CCSE) prévoit sept indicateurs communs d impact, se rapportant à la croissance, aux emplois, à la productivité, à la biodiversité, aux zones de haute valeur naturelle, à l eau et au changement climatique, qui reflètent explicitement des objectifs établis par le Conseil européen et les orientations stratégiques pour le développement rural. L impact du programme dans son ensemble devrait être évalué par rapport à ces sept indicateurs afin de tenir compte de la contribution totale de tous les axes du programme 1. Les indicateurs d impact communs devraient être complétés par des indicateurs supplémentaires spécifiques aux programmes qui tiennent compte de la plage complète d objectifs et de sous-objectifs au niveau du programme, ainsi que des priorités nationales. Les États membres devraient garantir le développement d un indicateur supplémentaire d impact correspondant lorsque des objectifs sont identifiés spécifiquement pour une mesure dans les orientations stratégiques communautaires de développement rural ou dans leur stratégie nationale et lorsque ces objectifs ne sont pas couverts par un indicateur d impact commun. L évaluation d impact dans le processus de développement rural tombe dans le champ d application de l évaluation. L autorité de gestion est tenue de garantir que les évaluateurs disposent de données suffisantes sur les tendances générales, les réalisations et les résultats pour exécuter une telle évaluation. Les évaluateurs indépendants restent investis de la responsabilité d estimer et de quantifier l impact. Ces évaluateurs jugeront souvent nécessaire d entreprendre une investigation plus poussée et d ajouter des éléments d analyse qualitative afin d estimer l impact et d interpréter les données de référence dans le contexte spécifique des bénéficiaires du programme. D une manière générale, les indicateurs d impact devraient être exprimés : 1) en montants absolus (afin d estimer la rentabilité) et 2) par rapport aux bénéficiaires affectés directement par l intervention et, le cas échéant, par les bénéficiaires indirectement affectés. 1 À titre d exemple, les quatre axes peuvent contribuer au développement de la production d énergie renouvelable. Des investissements environnementaux compléteront les engagements agroenvironnementaux. Ceci facilitera également l évaluation de projets intégrés.

6 Le règlement sur le développement rural se concentre spécifiquement sur la quantification de l impact, en particulier par rapport à la situation de départ. Dans de nombreux cas, cependant, bien qu il soit possible d évaluer l impact au niveau des bénéficiaires directs et indirects du soutien, il est souvent plus difficile de resituer celuici dans le contexte des tendances de la situation de départ plus générale au niveau de la zone du programme. Ceci peut être lié à l échelle relativement petite de l intervention ou au manque de données de référence adéquates. L accent devrait, dès lors, être mis sur l estimation ascendante de l impact : Dans un premier temps, l évaluateur du programme devrait estimer l impact au niveau des bénéficiaires directs et indirects sur la base d indicateurs de réalisation et de résultat, de données d études, de l expérience et des évaluations provenant de périodes de programmation antérieures (pour le calcul du double comptage, de l effet d aubaine, de l effet de décalage et de l effet de multiplication). Ceci devrait faire l objet d un contrôle croisé par rapport aux éléments contrefactuels et aux tendances contextuelles dans la zone du programme. Dans un second temps, l évaluateur devrait estimer la contribution à la tendance générale au niveau de la zone du programme (tendance de la situation de départ) où l impact du programme est réalisable/statistiquement important par rapport à d autres facteurs. À défaut de pouvoir procéder à une telle estimation, l évaluateur devrait effectuer une évaluation qualitative en termes généraux. La méthodologie pour l estimation de l impact sera approfondie par le réseau d évaluation dans le courant de la période du programme. Indicateurs de réalisation et de résultat Sur la base des indicateurs communs de résultat présentés en annexe 1, le programme devrait contenir les indicateurs prévus à l article 16, point c), du règlement (CE) n o 1698/2005. Des indicateurs de résultat supplémentaires devraient être sélectionnés afin de refléter tous les objectifs associés aux mesures sélectionnées, en particulier lorsque celles-ci correspondent à des priorités nationales. Des indicateurs de réalisation supplémentaires devraient être choisis afin de refléter toutes les activités de mesure. Des indicateurs et la quantification peuvent être complétés par des experts externes dans le cadre de l évaluation ex ante et de l activité d évaluation in itinere. 4. CHOIX ET UTILISATION D INDICATEURS DANS LES STRATEGIES NATIONALES L analyse de la situation économique, sociale et environnementale en se référant à la situation de départ et la fixation d indicateurs pertinents sont prévues à l article 11, paragraphe 3, point a), du règlement (CE) n o 1698/2005. Le plan devrait contenir une analyse de synthèse de la situation économique, sociale et environnementale de l État membre et des ensembles d indicateurs relatifs à la situation de départ issus du cadre commun de suivi et d évaluation (CCSE). L analyse par rapport à la situation de départ devrait couvrir au minimum :

7 la situation économique/compétitivité du secteur agro-alimentaire (secteur agricole et secteur de la transformation), montrant les points forts et les points faibles, ainsi que les besoins en termes d investissement dans le capital humain et le capital physique et, le cas échéant, du secteur forestier ; la situation environnementale générale en ce qui concerne la biodiversité (Natura 2000 et autres systèmes agricoles et forestiers à haute valeur naturelle), l eau (rôle de l agriculture et de la sylviculture dans la gestion de l eau en termes de quantité et de qualité par rapport à la directive-cadre Eau) et les changements climatiques (rôle de l agriculture et des forêts), ainsi que l identification des besoins dans les trois domaines ; la situation socio-économique générale dans les zones rurales, identifiant les points forts et les points faibles, ainsi que les besoins (en termes de diversification, de qualité de vie et de renforcement des capacités). Les États membres devraient présenter au minimum les principaux indicateurs relatifs à la situation de départ (signalés par un astérisque *). Chaque indicateur est commenté par rapport au contexte national et aux principales variations régionales selon le cas. Partant des indicateurs relatifs à la situation de départ (extraits du CCSE), le plan devrait proposer des objectifs et cibles quantifiés (étapes importantes, le cas échéant, objectifs à la fin de la période), ventilés par sexe et par âge, lorsque cela s avère adéquat. Les objectifs devraient être «smart» 2 et les cibles devraient être suffisamment concentrées et réalistes par rapport au financement (escompté) disponible (au niveau national et au niveau de l UE) et de la capacité de mise en œuvre (administrative). En même temps que les objectifs de l UE, le plan devrait fournir des objectifs et cibles quantifiés nationaux provenant de l analyse par rapport à la situation de départ avec leur pondération et les équilibres à atteindre. L établissement de cibles et d indicateurs correspondants dans le cadre des plans stratégiques nationaux seront atteints en deux temps : (1) Dans le plan stratégique national (premier stade), l État membre identifiera les principaux indicateurs d impact (ceux qui sont extraits du cadre commun et ceux qui reflètent les priorités nationales). Aux endroits où les objectifs nationaux sont difficiles à quantifier à ce stade, les États membres devraient fournir une évaluation qualitative de la contribution de la programmation du développement rural. Concernant les priorités de l UE, telles qu elles sont identifiées dans les orientations stratégiques, une justification claire du choix de la raison de la non-inclusion d une priorité de l UE devrait être fournie. Lorsque les indicateurs nationaux permettent une meilleure identification d une situation de référence, en particulier lorsque les indicateurs communs ne reflètent pas suffisamment les besoins régionaux ou locaux, ceux-ci devraient être présentés en tant qu indicateurs supplémentaires. 2 SMART : spécifiés, mesurables, acceptables, réalistes et situés dans le temps.

8 Il est important que la stratégie nationale identifie et résume les principales tendances au niveau subnational et au niveau régional. (2) Après adoption des programmes (seconde phase), la stratégie nationale devrait être adaptée de façon à inclure tous les indicateurs communs pertinents (situation de départ, impact, résultat et réalisation) et les cibles quantifiées devraient être identifiées sur la base d évaluations ex ante. Le document révisé constituera la base du rapport stratégique. Les exigences en matière de données suivent les mêmes principes que ceux qui sont exposés dans la section ci-dessus relative aux indicateurs relatifs à la situation de départ pour la programmation du développement rural. Lorsque les données ne sont pas disponibles dans un État membre au niveau national ou régional, des indicateurs nationaux ou régionaux devraient être définis avec des données adéquates. À défaut de données disponibles au niveau de l UE ou au niveau national, une évaluation qualitative est acceptable. À toute fin de comparabilité, la Commission a choisi une année de référence commune, dans la mesure du possible, afin de garantir l existence de données comparables. Les États membres peuvent toutefois choisir d autres années lorsque cela améliore la qualité de l analyse. Pendant la période de programmation, la Commission cherchera à garantir que des données sont disponibles au niveau national pour tous les indicateurs communs relatifs à la situation de départ. Le réseau d évaluation apportera un soutien au niveau tant national qu européen au développement approfondi de la méthodologie et des indicateurs.