Manuel de suivi évaluation

Transcription

1 Ministère de l Agriculture Unité de Coordination technique et fiduciaire PSAOP/ GDT/ WAAPP Manuel de suivi évaluation Version Janvier 2009

2 Table des matières TABLE DES MATIERES... I TABLE DES ILLUSTRATIONS... IV ANNEXES... VI ACRONYMES... VII 1 OBJECTIFS DU S&E ET MATRICE METHODOLOGIQUE CONTEXTE OBJECTIFS CADRE DE RESULTATS SPECIFIQUES Cadre de résultats du PSAOP Cadre spécifique à la Gestion durable des terres (GDT Cadre de résultats du WAAPP Mesure et reportage des impacts et des performances du projet Suivi des progrès dans la mise en œuvre du projet et des résultats intermédiaires LA MISE EN PLACE D UN SYSTEME DE GESTION DE L INFORMATION État des lieux initial Traitement manuel Système d information central LES MECANISMES DE SUIVI Le suivi d exécution Collecte et agrégation des données primaires Le suivi des résultats Le suivi du contexte Le suivi des objectifs LES MECANISMES D EVALUATION Utilisateurs de l information du système Collecte et agrégation des données d évaluation Éléments pouvant entraver la collecte et le traitement des données Traitement des données APPRECIATION DU RESULTAT D UN INDICATEUR Appréciation de la performance à travers la valeur des indicateurs Évaluation périodique des valeurs cibles en cours de d exécution Évaluation périodique de la performance Évaluation des aspects organisationnels L évaluation des résultats Évaluation du contexte EVALUATION DE L IMPACT DES PROGRAMMES INDICATEURS IDA/FIDA DE MESURE DES RESULTATS Indicateurs IDA/FIDA du PSAOP/GDTIndicateurs de résultat Valeurs cibles de Suivi des Résultats Indicateurs de la Composante A : Appui au système de recherche agro-sylvo-pastoral Valeurs cibles de Suivi des résultats de la composante A Indicateurs de la Composante B : Services de conseil agricole et rural Indicateurs de la Composante C : Organisations de producteurs i

3 Indicateurs de la Composante D : Coordination sectorielle et S&E Indicateur IDA/FIDA du WAAPP Indicateurs de résultat du WAAPP Valeurs intermédiaires cibles des résultats du WAAPP Indicateurs de la composante 1 : Conditions propices à la coopération régionale en matière de génération et dissémination de technologies Valeurs cibles intermédiaires de la Composante Indicateurs de la Composante 2 : Centres de spécialisation Valeurs cibles intermédiaires de la Composante Indicateurs de la Composante 3 : Développement des technologies Valeurs cibles intermédiaires de la Composante Indicateurs de la Composante 4 : Gestion et coordination du Projet Valeurs cibles intermédiaires de la Composante PROCEDURES DE S&E PROCEDURES DE REVUE UCTF COMMUNES A TOUTES LES COMPOSANTES Supervision physique Gestion du système d information Suivi évaluation environnemental (S&EE) Études et enquêtes SUPERVISION PAR L IDA/FIDA Revues ponctuelles et annuelles Examen à mi-parcours MANDATS DES AE Responsabilités spécifiques Outils d information et de collecte des données de l ANCAR Informations sur les rôles dans le circuit de l information de l ANCAR Rôles dans le circuit de l information et le système Outils d information et de collecte des données de l ISRA Informations sur les rôles dans le circuit de l information de l ISRA Rôles dans le circuit de l information et le système Outils d information et de collecte des données du FRNAA Informations sur les rôles dans le circuit de l information du FNRAA Rôles dans le circuit de l information et le système Outils d information et de collecte des données de l ASPRODEB Informations sur les rôles dans le circuit de l information de l ASPRODEB Rôles dans le circuit de l information et le système Processus de transmission des données La supervision en cours d exécution Évaluations après l exécution Auto-évaluation par les OSC Évaluation ex-post ii

4 Calendrier des évaluations Traitement des données Contrôle de la qualité CONTENUS DES RAPPORTS DE S&E Articulation commune des rapports Rapports périodiques de S&E de l UCTF Rapports pour évaluation à mi-parcours et finale TDR POUR LA MESURE DE L IMPACT DU PSAOP CONTEXTE ET JUSTIFICATION Composante A : Appui au Système de Recherche Agro-Sylvo-Pastorale (SNRASP) Composante B : Services de conseil agricole et rural Groupes cibles Composante C : Appui aux organisations de producteurs Groupes et zones cibles Composante D : Coordination sectorielle et S&E LA MESURE DE L IMPACT DU PSAOP Les indicateurs d'impact, effet et satisfaction Pourquoi une évaluation d'impact pour le PSAOP 2? Comment organiser la mesure l impact du PSAOP OBJECTIFS DE LA MESURE DE L IMPACT CONTENUS DES PRESTATIONS (TACHES DU CONSULTANT) DUREE DES PRESTATIONS RESULTATS ATTENDUS PROFIL DES CONSULTANTS DOCUMENTS DISPONIBLES iii

5 Table des illustrations FIGURE 1. CADRE DE RESULTATS DU PSAOP FIGURE 1. SCHEMA DU CADRE DE RESULTATS DU PGDT FIGURE 2. PSAOP/GDT : INDICATEURS DE RESULTAT DES PROJETS FIGURE 3. PSAOP/GDT : VALEURS CIBLES INTERMEDIAIRES DES RESULTATS. 27 FIGURE 4. PSAOP /GDT INDICATEUR IDA/FIDA DE LA COMPOSANTE A FIGURE 5. PSAOP /GDT VALEURS CIBLES INTERMEDIAIRES DE LA COMPOSANTE A FIGURE 6. PSAOP/GDT : INDICATEUR IDA/FIDA DE LA COMPOSANTE B FIGURE 7. PSAOP /GDT VALEURS CIBLES INTERMEDIAIRES DE LA COMPOSANTE B FIGURE 8. PSAOP/GDT : INDICATEUR IDA/FIDA DE LA COMPOSANTE C FIGURE 9. PSAOP /GDT VALEURS CIBLES INTERMEDIAIRES DE LA COMPOSANTE C FIGURE 10. PSAOP /GDT : INDICATEURS IDA/FIDA DE LA COMPOSANTE D FIGURE 11. PSAOP /GDT VALEURS CIBLES INTERMEDIAIRES DE LA COMPOSANTE D 34 FIGURE 12. WAAPP INDICATEURS IDA DE RESULTAT FIGURE 13. WAAPP VALEUR CIBLE INTERMEDIAIRE DES RESULTATS FIGURE 14. WAAPP INDICATEUR IDA DE LA COMPOSANTE FIGURE 15. WAAPP VALEURS INTERMEDIAIRES DES INDICATEURS DE LA COMPOSANTE 1 36 FIGURE 16. WAAPP INDICATEUR IDA DE LA COMPOSANTE FIGURE 17. WAAPP VALEURS INTERMEDIAIRES DES INDICATEURS DE LA COMPOSANTE 2 37 FIGURE 18. WAAPP INDICATEUR IDA DE LA COMPOSANTE FIGURE 19. WAAPP VALEURS INTERMEDIAIRES DES INDICATEURS DE LA COMPOSANTE 3 38 FIGURE 20. WAAPP INDICATEUR IDA DE LA COMPOSANTE FIGURE 21. WAAPP VALEURS INTERMEDIAIRES DES INDICATEURS DE LA COMPOSANTE 4 40 FIGURE 22. ANCAR CLARIFICATION DES ROLES DANS LE CIRCUIT DE L INFORMATION FIGURE 23. ANCAR DEFINITION DES ROLES ET RESPONSABILITES DES ACTEURS DANS LE SYSTEME FIGURE 24. ISRA CLARIFICATION DES ROLES DANS LE CIRCUIT DE L INFORMATION FIGURE 25. ISRA DEFINITION DES ROLES ET RESPONSABILITES DES ACTEURS DANS LE SYSTEME FIGURE 26. FNRAA CLARIFICATION DES ROLES DANS LE CIRCUIT DE L INFORMATION FIGURE 27. FNRAA DEFINITION DES ROLES ET RESPONSABILITES DES ACTEURS DANS LE SYSTEME iv

6 FIGURE 28. ASPRODEB CLARIFICATION DES ROLES DANS LE CIRCUIT DE L INFORMATION FIGURE 29. ASPRODEB DEFINITION DES ROLES ET RESPONSABILITES DES ACTEURS DANS LE SYSTEME FIGURE 30. MODALITE DES EVALUATIONS FIGURE 31. INDICATEURS D IMPACT, EFFET ET SATISFACTION DU PSAOP FIGURE 32. APPROCHE METHODOLOGIQUE : MESURE DE L IMPACT DU PSAOP2 59 v

7 Annexes ANNEXE 1 : FICHES ANCAR ANNEXE 2 : FICHES ISRA ANNEXE3 : FICHES FNRAA ANNEXE 4 : FICHES ASPRODEB vi

8 Acronymes AE ANCAR ASPRODEB CAR CBAP CDSMT CEDEAO CGES CIS CLCOP CORAF CP CR CRAP CRCR DA DAGE DAPS DARH DG DIREL DN DR DRABC FAD FIDA FNRAA GDT ICR IDA IFPRI IMF INP IPC IPD IRSV Agences d exécution Agence Nationale de Conseil Agricole et Rural Association Sénégalaise pour la Promotion du Développement à la Base Centre d Agriculture Rurale Coût budgétisé des activités planifiée Cadre de Dépense Sectoriel à Moyen Terme Communauté Economique des Etats de l Afrique de l Ouest Cadre de Gestion Environnemental et Social cadre d'investissement stratégique Cadre Local de Concertation des Organisations de Producteurs Conseil Ouest et Centre Africain pour la Recherche et le Développement Agricole Comité de pilotage Communes rurales Coût réel des activités planifiée Conseil Régional de Concertation des Ruraux Direction de l Agriculture Direction Administration Générale et Équipement Direction de l Analyse, de la Prévision et de la Statistique Direction générale Direction de l Elevage Direction National Direction régionale Don pour la Recherche Agricole su Base Compétitive Fonds International pour le Développement de l Agriculture Fonds National de Recherche Agricole et Agroalimentaire Gestion durable des terres Rapport de fin de projet (implementation completion report) International Development Agency Institut international de recherche sur les politiques agricoles (International Food Policy Research Institute) Institution de microfinance Institut national de pédologie Indice de performance sur les coûts Indice de performance sur les délais Inspection Régionale des Services Vétérinaires vii

9 ISRA MCA MCE NARS NCOS ONG OP OPFR PGDT PSAOP PTBA PTF R&D RSE RUFG S&E S&EE SFD SGI SITAR SITAR SNRA SNRASP TDR TERI TS UCTF VPI VRI WAAPP Institut Sénégalais de Recherche Agricole Ministère en charge de l agriculture Ministère en charge de l élevage Système national de recherche agricole Centres nationaux de spécialisation Organisation non gouvernementale Organisation des producteurs Fédération régionale d OP Projet de gestion durable des terres Programme des services agricoles et organisations de producteurs Programme technique et Budgétaire Annuel Partenaire technique et financier Recherche et développement Responsable suivi évaluation Responsable Unité financière et de gestion Suivi et évaluation Suivi et évaluation environnemental Service financier décentralisé Système de gestion de l information Système d information Technologique agricole et rurale Système d information Technologique agricole et rurale Système National de Recherche Agro-Sylvo-Pastorale Système National de Recherche Agro-Sylvo-Pastorale Termes de référence Taux d exécution réel de l indicateur Technicien spécialisé Unité technique et fiduciaire Valeur prévue indicateur Valeur réelle indicateur Programme Ouest-Africain de Productivité Agricole viii

10 PSAOP/GDT/WAAPP 1 Objectifs du S&E et matrice méthodologique 1.1 Contexte 1. Le de l UCTF complète les informations disponibles dans les manuels d exécution spécifiques des projets coordonnés et gérés par l UCTF. Toutes les dispositions indiquées dans le manuel de S&E sont également régies par les manuels d exécution respectifs, soit : Le Manuel d exécution du Programme des services agricoles et organisations de producteurs (PSAOP); Le Projet de gestion durable des terres (GDT) inséré dans les composantes du Manuel d exécution du PSAOP; Le Manuel d exécution du Programme Ouest-Africain de Productivité Agricole (WAAPP) 1.2 Objectifs 2. Les objectifs du Suivi et Évaluation (S&E) sont de : (i) (ii) (iii) (iv) (v) Mesurer la progression des activités, la performance des AE et l atteinte des résultats des projets coordonnés par l UCTF (PSAOP, GDT, WAAPP); Prendre la mesure de l évolution d indicateurs spécifiques à chaque composante, dans les secteurs et à la suite des activités financées; Mettre à la disposition des décideurs et des opérateurs des outils quantitatifs et qualitatifs leur permettant : d assurer une évaluation de la performance afin qu ils puissent introduire les corrections nécessaires à une poursuite satisfaisante de la mise en œuvre et de l évolution dans les secteurs visés; de tirer des conclusions sur l efficience des pratiques, afin de conserver l expertise et les mécanismes pertinents au delà du Projet ; Accroître les compétences dans les domaines de l assurance de qualité, du contrôle national, de l utilisation appropriée du S&E pour l ajustement des politiques, du S&E de la totalité des interventions gérées par l UCTF au plan national; Fournir les données pour la communication, dans la perspective de la création d un environnement d'information transparent (sur les flux financiers, les bénéficiaires, les résultats, les indicateurs nationaux.) et disponible pour tous les partenaires sous une forme appropriée. 3. Le S&E est considéré ici comme : Un ensemble d activités de collecte, de gestion, d analyse et d utilisation d informations sur les projets, leurs résultats (gestion financière et technique, produits et services directs, effets, impacts); 9

11 PSAOP/GDT/WAAPP L utilisation de ces résultats pour mesurer la performance des projets (exécution, efficience, efficacité et pérennité) afin de prendre des décisions et des correctifs en temps réels pour améliorer la satisfaction des bénéficiaires et de capitaliser les bonnes expériences. 4. L UCTF est dotée d un système central de coordination permettant de suivre le déroulement des activités entreprises par les différentes AE. Sa mise en œuvre sera appuyée par des mécanismes de renforcement des capacités de supervision et d utilisation de l information. 1.3 Cadre de résultats spécifiques Cadre de résultats du PSAOP Innovations techniques technologiques agricoles agricoles Adoptions d innovations et amélioration de la productivité MINISTERES AGRICULTURE ET ELEVAGE FNRAA UNIVERSITES ISRA ONGS ITA ANCAR STRUCTURES DE CAR ORGANISATIONS DE PRODUCTEURS PRODUCTEURS Amélioration de la sécurité alimentaire et lutte contre la pauvreté MENAGES RURAUX Figure 1. Cadre de résultats du PSAOP2 5. Le PSAOP vise l amélioration de la sécurité alimentaire des ménages ruraux par l augmentation de la productivité via l adoption d innovations techniques agricoles par les producteurs. Le SNRASP va fournir aux chercheurs des fonds pour la recherche à travers deux guichets ouverts au FNRAA : Guichet 1 : Recherche appliquée et stratégique, Guichet 2 : R&D. Les projets de recherche financés sur ce fonds compétitif seront des projets à la demande, pour résoudre des problèmes concrets liés à la productivité. Les projets de recherche devront être mis en œuvre selon une démarche participative avec l implication des producteurs, des services de conseil agricole et exécutés avec des démonstrations autant que faire se peut sur le terrain. 6. Les innovations générées par le SNRASP et ses partenaires seront ainsi adoptées et appliquées par les producteurs dans les zones agro-écologiques appropriées via les services de conseil agricole. L ANCAR jouera à cet effet le rôle de pilotage du Conseil agricole et rural. Elle se déploiera dans toutes les 320 CR du Sénégal pour appuyer les producteurs à exprimer leurs besoins et élaborer de façon participative leurs programmes locaux. L Agence en relation avec les autres acteurs publics et 10

12 PSAOP/GDT/WAAPP privés de Conseil agricole appuiera les producteurs dans la mise en œuvre de leurs programmes et le renforcement de leurs capacités notamment pour les nouvelles innovations techniques agricoles. Pour ce faire, l Agence mettra en place un système d information sur les technologies agricoles (SITAR). 7. Les producteurs, pour mieux exploiter toutes ces opportunités, devront être mieux organisés et devront impliquer davantage les femmes et les jeunes dans la prise de décision et les bénéfices du programme. A travers la composante OP, ils recevront un éventail de services de renforcement de capacité institutionnelle et organisationnelle à travers leurs structures faîtières (plateformes, fédérations) et seront organisés au niveau des CR à travers les CLCOP. 8. Pour mieux superviser et coordonner les activités de leurs secteurs respectifs, les Ministères de l Agriculture et de l Elevage se doteront d un cadre de dépenses sectoriels à moyen terme (CDSMT) et de systèmes d information sectoriels. Leurs capacités techniques, logistiques et humaines seront renforcées à cet effet Cadre spécifique à la Gestion durable des terres (GDT Impact sur l écosystème : Accroissement de la couverture végétale, Couverture de toutes les terres dégradées Impact sur la productivité agricole et la réduction de pauvreté Accroissement de la productivité agricole, Accroissement du revenu agricole des ruraux, Renforcement des capacités des producteurs à prendre en compte la GDT dans leur planification et à accéder aux ressources pour appliquer les techniques liées à la GDT Renforcement et accessibilité de l offre de services CAR en GDT : Intégration des technologies GDT dans les programmes CAR, Fourniture de conseils GDT aux producteurs Développement et transfert d innovations technologiques GDT Renforcement des capacités de coordination et de planification intersectorielles en GDT Figure 1. Schéma du cadre de résultats du PGDT 9. La GDT vise l amélioration de la productivité agricole et la restauration des fonctions des écosystèmes agricoles. Ce résultat sera mesuré dans la zone d intervention via l accroissement de la productivité des activités ciblées, l accroissement du revenu agricole et l accroissement de la couverture végétale. 10. Pour atteindre ce résultat global, des innovations technologiques seront développées, diffusées et progressivement transférées aux services de CAR ce qui permettra d améliorer l offre de services en GDT aux producteurs. Les technologies GDT seront intégrées dans les programmes CAR de la plupart des communautés rurales de la zone d intervention et les producteurs ciblés intégreront des pratiques GDT dans leurs activités. Afin de les pérenniser, plusieurs sous projets d application 11

13 PSAOP/GDT/WAAPP des techniques GDT initiés par ces derniers seront financés. Les capacités des producteurs à prendre en compte la GDT dans leur planification seront également renforcées et plusieurs élus locaux et leaders d OP seront formés en plaidoyer GDT. 11. Pour renforcer ces résultats, les capacités de coordination et de planification intersectorielles en GDT seront renforcées. Il y aura prise en compte dans le CDMT du cadre d'investissement stratégique (CIS) GDT et l intégration dans le système d information de S&E du secteur agricole de toute information pertinente sur la GDT Cadre de résultats du WAAPP 12. Le système de SE sera conçu pour suivre l impact et les résultats intermédiaires du projet. Le CORAF aura la responsabilité principale du système de SE du projet. Dans ce contexte, le CORAF définira les méthodologies standards pour la collecte des données, les techniques de traitement ainsi que la mesure des impacts aussi bien au niveau du Sénégal qu au niveau régional pour permettre la comparaison entre pays Mesure et reportage des impacts et des performances du projet 13. Au niveau régional, le CORAF sous-traitera avec des agences régionales et internationales appropriées pour mettre à jour les études sur la productivité agricole pour les années avenirs, sur la base de l étude conduite avec l appui d IFPRI en 2006, qui a également servi de référence pour suivre la progression de la productivité agricole dans la région. Ces études qui ne porteront pas uniquement sur les pays participants au projet, mais sur l ensemble des pays de la CEDEAO seront conduites à deux reprises au cours de la vie du projet : avant la revue à mi-parcours du projet (année 3 après l entrée en vigueur) et avant la clôture du projet pour les besoins du rapport de fin de projet (ICR). 14. Au niveau du Sénégal, les centres nationaux de spécialisation seront chargés de mesurer l impact des technologies produites et diffusées avec l appui du projet. A cette fin, les centres conduiront des enquêtes auprès des paysans pour mesurer les indicateurs sur l amélioration de la productivité et l adoption des technologies. De telles enquêtes seront conduites tout au long de la vie du projet et incluront à la fois les échantillons ayant adoptés les technologies et les échantillons témoins (n ayant pas adoptés les technologies). Les centres conduiront également des analyses filières et des référencements pour identifier de façon régulière, les carences en matière de connaissance et les domaines clés pour les futurs programmes de recherche, ainsi que mettre à jour les progrès et de la performance du pays par rapport aux filières. Le projet appuiera ces analyses ainsi que les enquêtes dans le cadre des programmes financés au profit des centres de spécialisation, pour lesquels un rapport annuel sera régulièrement produit à partir de la fin de l année 2, par rapport à l entrée en vigueur du projet Suivi des progrès dans la mise en œuvre du projet et des résultats intermédiaires 15. Le CORAF et l UCTF en charge de la gestion des dons, seront responsables du maintien à jour de la base de données, avec une interface Internet, sur les résultats de gestion des dons. Cette base de données sera accessibles au public et fournira les informations suivantes : requêtes, processus et procédures de sélection, bénéficiaires et résultats. En outre, le CORAF administrera une base de données sur les ressources 12

14 PSAOP/GDT/WAAPP en matière de recherche agricole, sous forme de publication et de compétences en matière de recherche disponibles dans la région. Une évaluation indépendante des sous projets financés par les deux guichets (Sénégal, régional) sera conduite de façon annuelle à partir de la fin de l année 2, par rapport à l entrée en vigueur du projet. Cette évaluation rendra compte, à travers une approche tableau de bord, de tous les éléments pertinents du sous projet, y compris la conformité avec les priorités nationales, la participation des bénéficiaires et l adhésion, la qualité de la gestion financière, la conformité avec les politiques de sauvegarde de la Banque, les accomplissements au niveau scientifique et l efficacité du transfert aux utilisateurs, la qualité des documents de suivi et la communication destinée au public. 16. Sur la base du système de SE, l UCTF produira des rapports trimestriels et des tableaux de bord sur les secteurs prioritaires nationaux, les dons destinés à la recherche et les résultats. Le CORAF produira un rapport annuel consolidé, basé sur les rapports des pays participants et ses propres études. Ce rapport sera distribué au pays de la CEDEAO. Le CORAF informera également les pays participants, de façon annuelle, sur l avancement des activités et l utilisation des fonds mis à disposition par les pays, avec toute la documentation requise (états financiers, audits financiers, rapports d avancement, etc.) telle qu approuvée par son comité de supervision. 17. Le système de S&E de l UCTF servira au système de SE régional du CORAF. En outre, le CORAF est en train de développer un système d information sur les technologies agricoles avec une interface Internet. On peut donc considérer que la structure de base du système de SE est en place. Ce système sera renforcé et amélioré au niveau national et régional, comme reflété dans la table des coûts du projet. 1.4 La mise en place d un système de gestion de l information État des lieux initial 18. L UCTF effectuera ou fera effectuer par l AE l état des lieux initial relatif à la situation de référence (baseline), ceci dans tous les cas où cela sera jugé nécessaire à la mesure subséquente des indicateurs des projets gérés par l UCTF. L état des lieux sera complété dans un délai de trois mois après la mise en vigueur. Les activités comprendront : La finalisation de la méthodologie, les instruments de mesure, le calendrier opérationnel et le budget prévisionnel ; La collecte et la validation des données. Si les données requises ne sont pas disponibles, on pourra se référer à des estimations initiales pour les indicateurs retenus à partir des moyennes mesurées par les enquêtes nationales ou par d autres projets; L enregistrement et la consolidation des données ; L analyse et la rédaction d un rapport d état des lieux initial suivant un format à déterminer avec l UCTF Traitement manuel 19. Le traitement manuel se fera à partir des informations primaires collectées par les AE à travers les fiches de collecte, de comptes rendus d activités et de rapports 13

15 PSAOP/GDT/WAAPP périodiques d exécution des actions. Il sera fait par chaque AE et transcrit au logiciel de suivi financier et au logiciel de suivi technique Système d information central 20. L UCTF disposera d un système central d information basé sur la collecte, l enregistrement et le traitement des données du Projet et ce en temps réel et sur une base pérenne. Le système comprendra: Le SGI informatisé central, alimenté par les données des AE et de l UCTF. Il reposera sur (a) le système d acquisition de l information (supports harmonisés de collecte, méthodologie et périodicité, etc.) (b) un transfert rapide de données précises et fiables à l UCTF; La recherche opérationnelle comprenant la collecte, l interprétation et la diffusion des résultats; Le suivi financier, en concordance avec le suivi technique ; L exploitation des données reçues en temps réel pour le diagnostic et la planification à court terme. Les données serviront également à l élaboration des plans d actions annuels; Le système doit être utilisé comme un outil d aide à la décision en permettant de réorienter les plans d action en fonction des résultats atteints ; L archivage des données reçues, des diagnostics et des analyses; La diffusion de l information pour la mobilisation en temps opportun et l ajustement des interventions des AE. 21. L UCTF mettra en place le logiciel spécifique de S&E technique des activités des projets dont elle a la responsabilité. Elle compilera au fur et à mesure dans le tableau de bord approprié l état d avancement de toutes les composantes en cours. Le logiciel permettra notamment l obtention (i) des taux d exécution technique, (ii) des écarts versus les indicateurs de performance prédéterminés, (iii) des résultats atteints. 22. Une importance toute particulière sera portée à la codification informatique des activités. C est elle qui permettra que des informations de sources et de natures différentes soient gérées de manière cohérente. Chaque activité (et dépense afférente) effectuée recevra une imputation de codes. Les codes analytiques, géographiques, comptables, budgétaires et financiers seront définis par le responsable du montage du système de S&E afin que la concordance entre les deux systèmes soit optimale. 23. L UCTF contrôlera la pertinence, la consistance et la cohérence des données de S&E à l entrée et à la sortie. Elle mettra en place trois points de contrôle, soit : A l entrée des données en provenance de sources différentes, Au moment de la centralisation et de la saisie, notamment par la vérification systématique des données hors normes et autres types d anomalies, A la sortie afin de détecter les incohérences. 14

16 PSAOP/GDT/WAAPP 1.5 Les mécanismes de suivi 24. Le suivi désigne l examen continu et de routine des activités du projet en cours d exécution. Les données de suivi sont collectées de façon continue durant la phase de mise en œuvre des projets (PSAOP, GDT, WAAPP). Quatre catégories de suivi seront considérées: (i) le suivi d exécution, (ii) le suivi des résultats, (iii) le suivi du contexte et (iv) le suivi des objectifs Le suivi d exécution 25. Il comprendra pour chaque composante : (i) (ii) (iii) (iv) La supervision physique et permanente de l exécution qui permettra (i) la vérification des activités réalisées et l'identification précoce des difficultés ou de solutions reproductibles, (ii) la comptabilisation des actions menées et des bénéficiaires. Les instances de supervision de chaque composante recueilleront les données sur des fiches prévues à cet effet au cours de la réalisation des activités sur le terrain; Le suivi technique informatisé qui servira à vérifier l avancement des activités du projet par rapport à un calendrier déterminé dans le plan analytique du programme, et à comptabiliser le nombre d actions menées et d organismes impliqués par rapport aux objectifs fixés; Le suivi financier qui traque les inputs et les coûts du projet par activité à travers des catégories de dépenses prédéfinies dans le plan budgétaire. Il permettra d apprécier l évolution des décaissements du projet et de constater les écarts par rapport aux prévisions; Le suivi organisationnel qui s intéresse à la durabilité, au développement institutionnel et au renforcement des capacités inhérentes au programme et à ses partenaires directs Collecte et agrégation des données primaires 26. Le suivi sera basé sur la collecte des données primaires par les acteurs de terrain et leur intégration dans le système informatisé de gestion de l information (SGI) opéré par les AE et l UCTF. Les principaux outils de suivi seront ici : (i) (ii) (iii) (iv) Les divers cahiers de notes et fiches complétés au moment du déroulement des activités et de la supervision, Les rapports d activités des AE chargées de composantes et de l UCTF; Les tableaux de bord; Les rapports financiers de l UCTF. 27. La collecte des données primaires constituera le noyau du système de S&E : (i) Niveau 1 : Les intervenants sur le terrain qui développeront, réaliseront et documenteront les activités. Pendant la mise en œuvre, ils utiliseront des outils pratiques : registres/cahiers/fiches de comptes rendus d activités et comptes rendus mensuels, et canevas de rapports d activités 15

17 PSAOP/GDT/WAAPP (ii) (iii) trimestriels qui collectent les données de base nécessaires au calcul des indicateurs ; Niveau 2 : Les structures de coordination des AE qui centraliseront, traiteront et valideront les données. Les données consolidées seront transmises à l UCTF ; Niveau 3 : L UCTF procédera à la vérification des indicateurs, à leur agrégation et à l élaboration du rapport consolidé. Elle fera également la dissémination du rapport de S&E aux principaux destinataires : CP, PTF et acteurs des niveaux 1 et 2 ( rétro-information). 28. Les rapports et comptes rendus suivront une articulation commune de façon à faciliter à la fois la saisie et la diffusion des informations. Le Manuel d exécution du PSAOP/GDT et celui du WAAPP et le de l UCTF indiquent la teneur des informations demandées et leur périodicité Le suivi des résultats 29. C est le suivi des effets des projets (les réponses des populations cibles aux activités et outputs du projet) et des impacts (la contribution du projet aux changements fondamentaux et durables induits sur les populations cibles). Les aspects lies aux effets du projet peuvent être abordés ici mais le seront mieux lors des évaluations. 30. L évaluation de l impact est rarement concernée par le suivi mais reste l activité essentielle de l évaluation proprement dite. Les effets du projet sont suivis en évaluant les perceptions (opinions ou réactions) et les réponses (changement de comportement) des populations cibles du projet aux outputs du projet. Un tel suivi aide les gestionnaire du projet à mesurer le degré d acception (ou d adoption) des outputs du projet et de ses interventions sur les groupes cibles. Les indicateurs qui mesurent les effets se focalisent sur les changements d attitudes et d habitudes, par exemple, changement dans les pratiques culturales ou l acceptation des méthodes de planification familiale Le suivi du contexte. 31. Les risques et hypothèses liés à la mise en œuvre des activités des projets seront évalués et des actions de mitigation seront planifiées et reversées dans les PTBA. Les hypothèses et risques menacent les relations de cause à effet entre les différents niveaux du cadre de résultats des projets qui sont mis en œuvre en parfaite synergie. 32. L évaluation des risques et hypothèse se fait à travers deux variables clés : La probabilité d occurrence du risque : captée à travers les trois modalités suivantes (élevée, moyenne, faible) ; L impact du risque sur les résultats du projet au cas où il surviendrait : capté à travers les modalités suivantes (Important, moyen, faible). 33. L analyse du risque après son évaluation se fait à l aide de la matrice suivante pour chaque risque : 16

18 PSAOP/GDT/WAAPP IP PO Important Moyen Faible Elevée Moyenne Faible PO : Probabilité d occurrence ; IP : Impact sur le projet. 34. Si après l analyse du risque à travers les deux variables précitées, le risque se retrouve dans la zone rouge de la matrice, il sera conclut que le risque est dangereux et un plan de mitigation devra être élaboré pour l expulser dans la zone verte. C est-àdire qu après la mise en œuvre des activités de mitigation, la probabilité d occurrence du risque est minimisée Le suivi des objectifs. 35. C est le processus de suivi des objectifs et stratégies du projet pour un ajustement systématique aux changements dans les besoins des populations et groupes cibles. Le suivi des objectifs permet l appréciation des conditions d atteinte des objectifs du projet selon le degré et l envergure actuels de la mise en œuvre des activités. 36. Le suivi des objectifs sert aussi à vérifier l existence de toutes sortes d effets ou d impacts non prévus ou des effets négatifs (conséquences négatives du projet). Cette activité de suivi est généralement menée à la revue à mi-parcours ou à l évaluation final (ou terminale) du projet, mais aussi souvent lors des revues et bilan annuels. 1.6 Les mécanismes d évaluation 37. L évaluation fera l examen critique périodique des résultats atteints, par rapport aux valeurs cibles identifiées. Elle permettra d apprécier la pertinence, la cohérence, l efficacité, l efficience et l impact de la mise en œuvre. Elle comprendra: (i) (ii) (iii) (iv) (v) L évaluation ex-ante ou a priori : elle s effectuera avant l exécution du projet et précisera la situation de référence ; L évaluation périodique (ex. annuelle) des résultats obtenus par rapport aux valeurs cibles pour la période considérée ; L auto évaluation par les AE et les bénéficiaires des activités réalisées. qui feront la comparaison des objectifs fixés et des résultats atteints. L auto-évaluation sera réalisée par les personnes qui auront la responsabilité directe de l exécution. L auto-évaluation devrait avoir pour résultat une meilleure planification des activités futures; L évaluation finale : elle aura lieu quelques semaines/mois avant l achèvement des activités lorsque ses résultats et son impact sont censés être intégralement réalisés; Evaluation Ex-Post : 5 à 10 ans après la clôture du projet. Mesure les impacts économiques, sociaux et environnementaux du projet sur les bénéficiaires. 17

19 PSAOP/GDT/WAAPP (vi) L évaluation externe à mi-parcours qui mesurera les résultats et performances à date ; (vii) Les études périodiques externes (résultats et impacts) ; (viii) L évaluation finale du projet (résultats et impacts), Utilisateurs de l information du système 38. L implication des utilisateurs potentiels (gestionnaires, agents de terrain, et groupes cibles) dans le système de S&E aidera non seulement à clarifier leurs exigences d'information, mais encore assurera leur soutien au système de S&E et à l utilisation de ses résultats. (i) (ii) (iii) (iv) (v) (vi) (vii) Les bénéficiaires ou groupes cibles : Les bénéficiaires ultimes des services et produits des projets sont les producteurs et leurs ménages pour toutes les activités agricoles et l élevage dans les zones rurales du Sénégal. Ils gèrent des exploitations familiales et sont appuyés par leurs organisations et des partenaires locaux parmi lesquels le Conseiller Agricole et Rural. Les organisations de producteurs (OP): Les bénéficiaires sont regroupés au sein d organisations pour mieux se structurer et créer des cadres de concertations aux niveaux Communautaire et régional. Ces organisations ont formé des structures faîtières comme les fédérations, interprofessions agricoles et plateformes. Dans la mise œuvre des activités, un certain nombre de structures seront mis en place et seront institutionnalisées pour assurer la durabilité opérationnelle des services à la base: il s agit des CLCOP et CRCR, des organisations de producteurs semenciers, etc. Les acteurs de la recherche : Les chercheurs, leurs institutions, les ONG auront pour charge de produire de façon participative les innovations techniques agricoles adaptées; Les Agences d exécution et leurs staffs : Les activités du PSAOP et du Projet GDT seront mises en œuvre par des AE que sont : le FNRAA, l ISRA, l ITA, l ANCAR, l ASPRODEB, CERAAS et l INP. L ANCAR et l ASPRODEB disposent d agents au niveau régional et local. L ANCAR dispose en outre de CAR dans les Communautés rurales; Les Ministères en charge de l Agriculture et de l Élevage : La DAPS représente le Ministère en charge de l Agriculture dans l exécution des aspects agricoles du programme. La DIREL représente le MCE dans l exécution des activités du secteur de l élevage; L Unité de Coordination technique et fiduciaire : L UCTF et son personnel chargée de la coordination technique et fiduciaire de l ensemble du programme; Les décideurs de l État : les collaborateurs et coordonnateurs des programmes partenaires locaux, les responsables politiques et planificateurs locaux, les fonctionnaires des ministères, les services déconcentrés des ministères, et les politiciens comme les députés et les élus locaux. 18

20 PSAOP/GDT/WAAPP (viii) Les Bailleurs de fonds : L IDA, le FIDA, le FEM leurs chargés de programmes et autres personnels. (ix) Autres utilisateurs potentiels : Les universitaires, les chercheurs, conseillers techniques des ministères pour les intérêts professionnels partagés, l analyse et les applications alternatives ; les médias, journalistes pour la dissémination de résultats significatifs montrant la transparence et responsabilité publique. 39. Les différences entre ces groupes résident dans : (i) leurs perceptions des objectifs du système de S&E, (ii) leurs intérêts à l'information générée comme résultat du système de S&E. Mais ces divers utilisateurs sont préoccupés par la qualité de l information qu ils cherchent à travers des critères clairs. Chaque utilisateur est donc mu par ses préoccupations qui peuvent se retrouver dans les objectifs de : Contrôler les réalisations financières et physiques et ainsi les décisions prises (ou révisées) sur l utilisation des ressource et dépenses pour le fonctionnement; Contrôler la distribution des bénéfices du projet; certaines couches peuvent bénéficier plus que d'autres. Cette information est utile aux acteurs voulant contrôler la responsabilité et l équité de l UCTF et des projets; Examiner les réponses de la population cible par rapport aux services et contributions fournis par les projets; une telle information pourra aider à assurer l'acceptabilité et l utilité des activités du projet; Etudier les problèmes spécifiques de mise en œuvre auxquels les projets font face et ainsi identifier les causes solutions; Déterminer quel est l'impact sur la population cible, surtout sur la qualité et les normes de vie (revenu, productions, renforcement des capacités, rapport à l environnement, etc.) comme un résultat direct, i.e., à évaluer l'impact attribuable à un programme; Vérifier la conformité et la responsabilité, pour rencontrer les exigences de l IDA, du FIDA et du FEM Collecte et agrégation des données d évaluation 40. Les activités d évaluation généreront des informations quantitatives et qualitatives et permettront aussi bien la vérification des indicateurs IDA/FIDA que la définition de nouvelles approches d intervention. Les études et enquêtes effectuées constitueront un mécanisme de collecte privilégié pour l obtention des informations sur certains indicateurs (résultats, impacts) que le suivi ne fournit pas. Au total, les données à collecter par les activités d évaluation porteront généralement sur les changements observés en termes de (i) (ii) Appréciation du niveau d atteinte de l objectif visé lors de la planification ; Valeur (mesure) de l indicateur de résultat / d impact IDA/FIDA retenu lors de la planification ; 19