2. METHODE ET LIMITES DE L EVALUATION

Transcription

1 2. METHODE ET LIMITES DE L EVALUATION 2.1. Méthode et outils d analyse Méthode générale L'étude a été organisée en quatre phases, structuration de l'étude, observation, analyse et évaluation, décrites ci-dessous. - Structuration de l'évaluation : cette phase est préalable aux activités d'évaluation. Il s'agit d'étudier le cadre réglementaire de référence, de définir la méthodologie à utiliser pour la description des mesures relatives aux OP et de présenter la méthode proposée pour répondre aux questions évaluatives (critères et indicateurs). Au cours de cette phase, nous avons identifié les bases de données, les études et les informations quantitatives et qualitatives à mobiliser. - Observation des informations et des données statistiques : cette phase utilise les résultats de la phase de structuration. Il s'agit, tout d'abord, de la collecte des informations pouvant servir à l'étude. Il a été indispensable d avoir recours à des informations quantitatives et qualitatives dont disposent les administrations nationales et locales, de produire des données primaires, ainsi que d'utiliser la littérature existante sur ce sujet. Ensuite, nous avons vérifié le degré d'homogénéité entre les informations provenant de différentes sources et la validité des informations utilisées. - Analyse : il s agit d analyser, en suivant les méthodes proposées lors de la structuration, les données collectées et observées dans le but de décrire les mesures, de répondre aux critères d évaluation et de tirer des conclusions visant à répondre aux questions évaluatives. Les résultats de l'analyse sont présentés dans le présent rapport qui décrit également le raisonnement suivi, en indiquant les hypothèses sous-jacentes et les limites du raisonnement. - Formulation du jugement évaluatif : dans cette phase, l évaluateur exprime un jugement évaluatif sur la base des résultats de l analyse et précise les limites et la validité du jugement. La principale difficulté de cette évaluation a été la phase d observation des informations et des données statistiques. Il a fallu, en effet, pallier le manque de données de suivi organisées et fiables, sur l ensemble de la période de l évaluation. A cette difficulté, s est ajouté le fait que le secteur fruits et légumes est hétérogène et constitué de nombreux produits et filières. Plusieurs outils ont donc dû être mobilisés pour évaluer les mesures concernées et prendre en compte la diversité du secteur FL. Ils sont présentés dans les paragraphes suivants Outils de collecte et d analyse de l information Analyse des données des rapports de suivi Chaque année, les Etats membres transmettent à la Commission européenne un rapport de suivi contenant des données concernant la mise en œuvre des mesures étudiées. Ces données devraient permettre de réaliser un suivi des résultats des mesures. Elles ont donc été analysées avec des méthodes de statistiques descriptives et utilisées pour plusieurs questions d évaluation. Cependant, plusieurs difficultés ont limité l analyse : - le format des rapports de suivi a évolué avec les exigences réglementaires : o ainsi de 1997 à 1999, il n existe que des données très synthétiques au niveau national (nombre d OP, d AOP, de groupements de producteurs (GP), valeur de la production commercialisée (VPC) par ces structures, et montant des fonds opérationnels) ; - 2 -

2 o A partir de 2000, les rapports sont plus détaillés, ils sont composés de plusieurs tables et présentent des données pour chaque OP, GP, AOP ; o En 2003, un nouveau format de rapport est introduit, il est légèrement différent du précédent et surtout plus riche en informations ; - de nombreuses données manquent dans ces fichiers (soit des tables des fichiers, soit des données pour certaines OP) et comportent des erreurs (unités, données manquantes, codes d OP perdues etc.). Par conséquent, un travail très important a dû être réalisé pour : - homogénéiser les formats des rapports afin de pouvoir agréger les informations et faire une analyse dans le temps ; - reconstruire une base de données par pays et une base de données UE ; - à partir de ces bases, faire ressortir des données aberrantes et les corriger (quand il est possible de croiser des informations entre les tables). Nous avons contacté les Etats membres dans lesquels une ou des années entières manquaient (France, Espagne et Danemark). Ils ont transmis certaines des données manquantes. Malgré ce travail de reconstitution de cette base de données, il reste un certain nombre d incohérences qui ne peuvent pas être corrigées et qui sont soulignées lorsque les données sont mobilisées Enquêtes OP Une partie de l'information nécessaire à cette évaluation n était pas disponible dans des bases de données de la Commission européenne ou de suivi des instruments réglementaires étudiés. L information a dû être collectée directement auprès des OP au travers d une enquête. L enquête est une source d information importante, en particulier sur les thèmes de la compétitivité et des programmes opérationnels et permet de répondre de façon quantifiée à certaines de ces questions. Dimensionnement et représentativité de l échantillon Certains pays ayant peu d OP, l enquête n a été faite que dans les Etats membres qui ont un poids significatif en termes de nombre d OP, de valeur de la production commercialisée (VPC) et d utilisation des fonds opérationnels par les OP. Le tableau page suivante présente les données pour ces trois critères. Des enquêtes ont été envoyées aux OP et AOP dans les neuf Etats membres repérés en gras dans le tableau ci-dessus, ils représentent à eux seuls : 95 % des OP, 97 % de l aide aux OP et 97 % de la valeur de production des OP européennes de Aucun nouvel Etat membre n a été retenu suite à cette méthode de sélection. Cependant, les études de cas des nouveaux Etats membres ont repris certaines des thématiques de l enquête afin de disposer d une information qualitative sur ces points. Dans les Etats membres concernés, l enquête a été envoyée à toutes les OP. Des relances téléphoniques ont été organisées pour améliorer le taux de réponse. Ainsi 184 questionnaires ont été complétés par les OP sur les envoyés par ou courrier postal, ce qui représente un taux de réponse de 12 %. Ce taux était suffisamment élevé pour pouvoir traiter les enquêtes par des méthodes de statistique descriptive

3 Tableau 1 : Dimensionnement de l enquête OP (rapports de suivi EM, 2005) et taux de réponse Nb OP +AOP Total de l'aide aux FO (OP + APO) (M ) VPC des (A)OP (M ) Choix des Etats membres Nombre d'enquêtes envoyées Nombre d'enquêtes reçues % de retour Allemagne 37 2% 27,1 5% 784 4% X ,97% Belgique 19 1% 40,3 7% 851 5% X ,82% Espagne % 129,1 24% % X ,44% France % 94,2 17% % X ,34% Grèce 121 8% 6,0 1% 342 2% X ,38% Italie % 110,1 20% % X ,84% Pays-Bas 19 1% 71,5 13% % X ,82% Portugal 67 4% 6,6 1% 145 1% X ,20% Royaume-Uni 71 5% 38,8 7% % X ,20% Irlande 20 1% 2,1 0% 174 1% Pologne 9 1% 0,1 0% 15 0% Suède 8 1% 3,6 1% 93 1% République Tchèque 7 0% 0,8 0% 22 0% Danemark 7 0% 2,6 0% 86 0% Bulgarie 7 0% 1,3 0% 37 0% Chypre 6 0% 0,4 0% 26 0% Finlande 6 0% 0,6 0% 23 0% Autriche 5 0% 4,0 1% 111 1% Malte 3 0% 0,1 0% 5 0% Slovénie 1 0% 0 0% 2 0% Slovaquie 1 0% 0 0% 0 0% Lettonie 0 0% 0 0% 0 0% Lituanie 0 0% 0 0% 0 0% Luxembourg 0 0% 0 0% 0 0% Estonie 0 0% 0 0% 0 0% Total % % % Source : Rapports EM, CE Etudes de cas Les objectifs des études de cas étaient multiples. Il s agissait : - de pallier le manque de données centralisées de suivi (notamment en ce qui concerne les programmes opérationnels) en produisant des données primaires telles que les utilisations concrètes des fonds opérationnels par les OP ; - d analyser qualitativement des phénomènes à l œuvre pour comprendre les déterminants des succès ou des échecs de l OCM FL, en tenant compte de la diversité des filières fruits et légumes ; - d illustrer les phénomènes étudiés par des cas concrets. Les études de cas sont donc un apport important pour l ensemble des questions d évaluation. Les points ci-dessous récapitulent la démarche ayant conduit au choix des régions et les éléments de cadrage de la méthode de ces études. Choix des régions d étude de cas (EDC). Le choix des régions a été basé sur les critères suivants : - régions faisant partie des principales régions de production de fruits et légumes dans la Communauté européenne ; - régions ayant des taux d organisation différents : avec des régions où le pourcentage de la production fruits et légumes gérées par des OP en valeur est faible et des régions où il est élevé ; - certaines des régions sélectionnées devaient appliquer les extensions de règles selon l OCM FL ; - certaines des régions devaient être dans de nouveaux Etats membres

4 Finalement le choix s est porté sur : - trois régions ayant un taux d organisation peu élevé: la Calabre, l Andalousie (région appliquant l extension de règles), Dytiki Ellada ; - trois régions ayant un taux d organisation élevé : Languedoc-Roussillon (région appliquant l extension des règles), Emilie-Romagne, les Pays-Bas (ensemble de l EM est étudié) ; - deux nouveaux Etats membres étant d importants producteurs de FL mais où les progrès de l OCM FL sont très différents : Pologne et Hongrie. Méthode générale, les études de cas sont construites à partir : - des informations contenues dans des documents officiels et la bibliographie, - les statistiques locales et/ou nationales, - des entretiens. Les entretiens sont la principale source d information. Pour chaque étude de cas, les experts ont rencontré une quinzaine d institutions dont : - les gestionnaires régionaux et nationaux du dispositif pour la collecte de toute la documentation de base réglementaire et statistique en particulier, - les organismes de contrôle locaux, - quatre OP/ AOP au minimum (avec au moins une AOP si les AOP ont un rôle important dans la région), - au moins deux acteurs de la distribution actifs sur des produits commercialisés par les OP étudiées, si possible le service d approvisionnement d une GMS et un grossiste, - au moins une structure d appui aux OP (centre technique, fédération etc.), si possible une structure appuyant les OP dans la formulation des programmes opérationnels, - au moins un autre acteur hors dispositif, essentiel à rencontrer par rapport au contexte local (groupement non reconnu en tant qu OP, autres intermédiaires de la filière, etc.), - des chercheurs travaillant sur ce sujet. Ces entretiens ont été menés sur la base d un guide d entretien identique dans toutes les régions. Sélection des OP étudiées dans le cadre des EDC : l objectif était d étudier la diversité des OP, existante dans la région. Pour ce faire, dans chaque région EDC, une typologie à dire d experts des OP a été réalisée. Elle a été établie sur la base de la taille des OP, des types et de la diversité des produits qu elles géraient, de leur stratégie commerciale (mono, pluri-produits segment de marché visé, etc.) et, si cela était pertinent, de leur statut. Par ailleurs, toutes les OP devaient avoir (ou avoir eu) un programme opérationnel. Au moins une OP devait être bien positionnée sur une filière FL où le taux d organisation de la production était faible et au moins une OP bien positionnée sur une filière FL dont le taux d organisation de la production était élevé. Enfin, au moins certaines OP devaient être positionnées sur des fruits et légumes ayant une importance économique élevée au niveau communautaire (tomates, pommes, agrumes), si ces produits étaient significatifs dans la région EDC. Etude des produits : un des principes de l étude de cas était d analyser dans une même région une filière dans laquelle les producteurs sont organisés en OP (dit «très structurée») et une filière à l inverse peu organisée. Ceci permettant de comparer le fonctionnement de ces deux types de filières et d analyser leur dynamisme. Valorisation des résultats : les EDC sont réalisées par des experts locaux avec un appui de l équipe centrale. Chaque EDC fait l objet rapport synthétique qui n est pas publié car il est directement intégré dans le présent rapport Etudes nationales Les études nationales portent sur la mise en œuvre réglementaire du dispositif dans les Etats membres. Leur contenu a permis de réaliser la description "Mise en œuvre nationale". Ci-dessous sont récapitulés les principaux éléments de méthode relatifs à ces études nationales. Méthode : ces études nationales ont été conduites dans l'ensemble des 27 EM de l'ue. Elles ont consisté en : - 5 -

5 - une analyse de la réglementation nationale, voire régionale ; - des entretiens auprès des autorités responsables de la mise en œuvre (le ministère de tutelle, les autorités en charge de la gestion, du suivi, du paiement et du contrôle du dispositif, une institution de représentation des OP et éventuellement des institutions d appui ou scientifiques) afin de collecter leur avis sur l efficience du dispositif. L ensemble des Etats membres ont participé, sauf Malte où les autorités nationales n ont pas pu être rencontrées et où seuls les textes réglementaires ont été étudiés. Valorisation des résultats : la description de la mise en œuvre a permis de construire un tableau comparatif à l échelle de l UE, dont la synthèse est présentée dans la partie description de la mise en œuvre. Par ailleurs, les avis collectés dans les entretiens sont valorisés dans les questions d évaluation Etudes des données du RICA Le RICA regroupe les résultats d enquêtes réalisées par les Etats Membres sur les données comptables d un échantillon de exploitations (UE-25). Elle constitue la source d information la plus riche sur les résultats comptables des exploitations de la Communauté européenne. Cette base de données est mobilisée pour traiter, en particulier : - l effet d attraction économique des OP : effet sur les revenus des producteurs (QE1) ; - l effet sur les prix producteurs (QE2) ; - l effet des OP sur les coûts de production (QE3). Nous analysons les données du RICA à l échelle des régions d études de cas afin de pouvoir interpréter les résultats à la lumière des informations qualitatives. L utilisation du RICA dans le cadre de cette évaluation pose une difficulté méthodologique pour les trois types d analyses prévues. En effet, le RICA n est pas une comptabilité analytique, et il ne distingue pas les produits un à un, les fruits et légumes sont agrégés par catégories, et seule la tomate est distinguée. Ainsi, les résultats du RICA ne désagrègent pas les coûts de production par produit mais par grandes catégories de produits (cultures, élevage). Par conséquent, pour évaluer des résultats économiques sur des produits spécifiques, il faut soit utiliser un modèle d attribution des coûts aux produits, soit travailler sur des échantillons d exploitations spécialisées sur les produits étudiés et analyser les résultats globaux des exploitations. C est cette seconde approche qui est retenue. Pour pouvoir faire des analyses nous avons donc extrait des résultats d exploitations spécialisées sur certaines cultures de FL (une exploitation étant considérée comme spécialisée lorsque 60% de son produit brut est généré par une culture spécifique). Les revenus sont analysés au travers des indicateurs de la Valeur Ajoutée Nette d Exploitation (VANE 2 ) qui représente la rémunération des facteurs de production (terre, travail, capital) de l exploitation. Afin de comparer les résultats des exploitations qui ont des tailles différentes, la VANE est rapportée au nombre d unité de travail agricole (UTA 3 ) ou à l hectare. Les coûts de production sont analysés au travers du suivi des coûts spécifiques définis par le RICA des exploitations spécialisées. Les prix sont étudiés au travers des prix implicites (prix estimés à partir du produit brut et volumes vendus). 2 La VANE se calcule ainsi : VANE = produit brut (valeur de la production) + primes et aides - impôts et taxes - consommations intermédiaires (coûts spécifiques de production et frais généraux) - amortissements. 3 Les UTA mesurent la quantité de travail familial et salarié des exploitations, une UTA représentant 2200 heures de travail