RAPPORT DEFINITIF DE LA RIQD

Transcription

1 MILLENNIUM CHALLENGE ACCOUNT - SENEGAL Un peuple - Un but - Une foi PRIMATURE ACTIVITE M&E05-DATA QUALITY REVIEW "REVUE INITIALE DE LA QUALITE DES DONNEES DE REFERENCE" DU MILLENNIUM CHALLENGE ACCOUNT SENEGAL" RAPPORT DEFINITIF DE LA RIQD Version : 1.00 Date : 29/03/2012 INSTITUT IDEA INTERNATIONAL

2 Destinataires Objet Diffusion Entité Fonction Nom RC RF A I Paraphe MCA-Sénégal Directeur Général Mr Ibrahima DIA X X MCA-Sénégal Directeur Suivi Évaluation Mr Massamba DIOP X X IDEA International Chef d équipe Mr Adama Konseiga X X MCA-Sénégal Directeur Administratif et Financier Mme Mame Ndella Ndiaye X IDEA International Contrôle Qualité Mr Sylvain Larivière X X RC : Revue Contenu RF : Revue Forme A : Application I : Information Version Date Paragraphes et pages concernés Création ou objet de la mise à jour Auteur mars 2012 Création IDEA International

3 TABLE DES MATIÈRES REMERCIEMENTS... II RÉSUMÉ EXÉCUTIF... III LISTE DES ACRONYMES... XIV I. INTRODUCTION... 1 II. OBJECTIFS DE LA REVUE INITIALE DE LA QUALITÉ DES DONNÉES (RIQD)... 3 III. MÉTHODOLOGIE PROPOSÉE DESCRIPTION DES TÂCHES MATÉRIEL ET DOCUMENTATION... 6 IV. ANALYSE INITIALE DE LA QUALITÉ DES DONNÉES ANALYSE DU SYSTÈME D INFORMATION DU PRR ANALYSE DES INDICATEURS DU PPR ANALYSE DU SYSTÈME D INFORMATION DU PIGRE ANALYSE DES INDICATEURS DU PIGRE ANNEXE 1 : LISTE DE PERSONNES ET STRUCTURES RENCONTRÉES ANNEXE 2 : PLAN DE TRAVAIL DU MANDAT ANNEXE 3 : PLAN D ACTION POUR LE RENFORCEMENT DES COMPETENCES EN SUIVI-EVALUATION ET POUR L AMELIORATION DE LA QUALITE DES DONNEES ANNEXE 4 : FICHE SIGNALETIQUE ANNEXE 5 : GRILLE D ÉVALUATION DE LA QUALITÉ DES DONNÉES ANNEXE 6 : GRILLE D ENTREVUE AU NIVEAU CENTRAL ANNEXE 7 : GRILLE D ENTREVUE AU NIVEAU INTERMEDIAIRE ANNEXE 8 : GRILLE D ENTREVUE AU NIVEAU DÉCENTRALISÉ ANNEXE 9 : LISTE DE LA DOCUMENTATION CONSULTÉE ANNEXE 10 : GUIDE SUR LA QUALITE DES DONNEES D ENQUETES DU PROGRAMME DU MCA-SENEGAL ANNEXE 11 : GRILLE DE SYNTHÈSE DES ANALYSES DES INDICATEURS DU PRR ANNEXE 12 : GRILLE DE SYNTHÈSE DES ANALYSES DES INDICATEURS DU PIGRE ANNEXE 13 : LEXIQUE DES CONCEPTS CLÉS UTILISÉS i

4 REMERCIEMENTS Les membres de l équipe de la Revue Initiale de la Qualité des Données (RIQD) voudraient remercier M. Ibrahima Dia, Directeur Général du MCA-Sénégal, M. Papa Modou Ndiaye, Directeur Général Adjoint, M. Massamba Diop, Directeur du Suivi-évaluation, ainsi que M. Ousseynou BA et M. Mamadou NDAO Experts Suivi-évaluation de la même direction pour leur support au bon déroulement de cette mission d évaluation. L équipe tient à remercier également le coordonnateur du Comité d appui pour sa contribution à une meilleure compréhension des projets du MCA-Sénégal et sa disponibilité à répondre aux questions de la mission. L équipe est également redevable à tous les Points Focaux et collaborateurs des entités d exécution (PMU) qui ont patiemment répondu aux multiples questions formulées au cours des rencontres. Pour terminer, nous voudrions élargir nos remerciements à l ensemble du personnel du MCA-Sénégal pour leur assistance sans faille durant la durée de la revue. ii

5 RÉSUMÉ EXÉCUTIF Les résultats globaux de la Revue Initiale de la Qualité des Données (RIQD) sont présentés dans la figure ci-dessous. Ces résultats démontrent qu au niveau du MCA-Sénégal (MCA-S) la qualité du système de SE est modérément satisfaisante, indiquant que de bonnes bases existent pour favoriser la réussite du suivi et de l évaluation du programme. Les systèmes de suivi-évaluation ont été évalués pour les différents niveaux de rapportage, soit le niveau central (Direction SE), le niveau intermédiaire (PMU et agences d exécution) et le niveau décentralisé (points de services), en tenant compte des dimensions suivantes : I. Structure du Suivi-Évaluation, fonctions et capacités ; II. Définition des indicateurs et directives de rapportage ; III. Outils de collecte et formats de rapportage ; IV. Processus de gestion des données La consolidation des informations sur les systèmes de suivi-évaluation au niveau de la DSE et au niveau intermédiaire indique que globalement les systèmes de suivi-évaluation au niveau du MCA-Sénégal sont partiellement fonctionnels (note globale de 2,2 sur la base d une échelle de 1 à 3 comme illustré dans la figure suivante). Les systèmes en place permettent donc d obtenir des données de qualité modérément satisfaisante, mais certaines améliorations pourraient permettre d optimiser la performance du rapportage, telles que : (i) la clarification des rôles et responsabilités, (ii) l établissement de directives claires de rapportage, et (iii) l amélioration des processus de gestion et de contrôle-qualité des données, notamment par l opérationnalisation du système d information. Sur la base de l expérience de l Institut IDEA International en matière de revue de la qualité des données de différents Compacts du MCA, il ressort que la DSE du MCA-S s est bien préparée pour assurer la bonne mise en œuvre du suivi-évaluation. Par exemple, de bons outils de collecte existent déjà et leur diffusion est prévue dès que la mise en place de l ensemble des PMU sera achevée. Il faut également retenir la forte implication des systèmes de SE au niveau national avec la mise en place d une cellule d appui au niveau de la primature et l existence d un comité technique de suivi. Ces liens avec le niveau national permettront d assurer la viabilité du programme. iii

6 Légende : 1 = Non, le facteur analysé n est pas du tout présent; 2 = Le facteur analysé est partiellement présent; 3 = Oui, le facteur analysé existe complètement. Les principaux résultats et recommandations pour l amélioration des systèmes de suivi-évaluation et de la qualité des données sont présentés ci-dessous pour chacun des deux projets. RÉSULTATS ET RECOMMANDATIONS 1. Flux d information pour le suivi-évaluation du MCA-S L équipe RIQD suggère le tableau 1 suivant pour clarifier les responsabilités et l échéancier du rapportage. Ce processus de production des rapports débute au niveau des sites avec les chefs de projets, les consultants chargés de la supervision et les contractants. Pour faciliter ce processus, les commentaires provenant de MCA doivent être regroupés avant d être soumis au consultant de supervision sur le terrain. MCA devra aussi partager avec ces acteurs au niveau décentralisé le rapport narratif afin de les encourager à l utilisation des résultats. iv

7 Tableau 1: Calendrier interne de production des rapports d avancement trimestriels du MCA-S Étape 1 Étape 2 Étape 3 Étape 4 Étape 5 Étape 6 Soumission données mensuelles l ITT Projet des pour Validation de l ITT et soumission Préparation de l ITT et le rapport narratif d avancement Validation de l ITT et du rapport narratif Soumission de la version finale de l ITT (inclus dans la DR) Soumission de la DR finale et du rapport trimestriel d avancement A qui Directeur Projet au niveau MCA DSE pour agrégation DG, Directeurs Projet Responsable SE MCC MCC Gouvernement (Conseil de surveillance) Coordonnateurs PMU Le 15 du mois subséquent Directeur Projet MCA Directeur du MCA Responsabilité SE DG, Directeurs Projet DSE et Date limite de soumission DG MCA DG MCA 20 nov. 25 nov. 29 nov. 10 déc. 30 déc. 20 fév. 25 fév. 28 fév. 10 mars 30 mars 20 mai 25 mai 29 mai 10 juin 30 juin 20 aout 25 aout 29 aout 10 sept 30 sept. 2. Évaluation du système de suivi-évaluation du Projet de Réhabilitation des Routes Globalement, sur la base des quatre (4) dimensions analysées, le système de suivi-évaluation du PRR est relativement fonctionnel (score 1,9 sur 3). Toutefois, la performance varie de manière importante selon la dimension considérée, ce qui suggère qu il subsiste des marges d amélioration du système en place. Si le système a permis de suivre aisément la phase de faisabilité, le nombre d indicateurs à suivre dans la phase de construction des routes sera plus grand et nécessitera un amendement rapide des dimensions jugées les plus faibles, soit : Définition des indicateurs et directives de rapportage (score 1,5) et Structure du Suivi-Évaluation, Fonctions, Capacités (score 1,6). Les recommandations suivantes devraient permettre d améliorer le système de SE au niveau du PRR: Finaliser les manuels de SE sectoriels afin de clarifier les rôles et les responsabilités, les procédures de collecte et diffusion des données et le calendrier de transmission afin d améliorer l opportunité et la qualité du flux des données. v

8 Assigner à un ingénieur senior au sein du PMU AGEROUTE Dakar le rôle d agrégation des rapports qui proviendront des sites. Clarifier les relations entre la représentation régionale du PMU et leur direction afin de s assurer de la prise en compte de l entretien des infrastructures. Instaurer une rencontre mensuelle entre acteurs sur le site afin d améliorer l opportunité des rapports. Assurer une présence permanente des chefs de projet au sein du PMU AGEROUTE sur les sites de travaux. Cela leur permettra une meilleure interaction avec les consultants et les entreprises de travaux, facilitant ainsi la production à temps des rapports et le renforcement des capacités en SE. Procéder au lancement du SISE le plus tôt possible et assurer son utilisation effective par tous les projets afin de standardiser les formats de rapportage et obliger à l enregistrement des données à temps. Il faut veiller à ce que les utilisateurs que sont les PMUs et leurs relais régionaux aient un accès internet fiable et des ordinateurs. Identifier un expert maison pour le maintien et la gestion du SISE. Élargir la formation et le coaching sur les thématiques indiquées dans le plan d action (en particulier collecte et traitement des données, concepts SE, PSE et ITT, Indicateurs, identification des cibles et valeurs de référence) à tous les acteurs, y compris les bureaux régionaux du PMU AGEROUTE et les entreprises contractantes. S assurer que la Direction SE occupe un rôle central dans la validation des rapports en instituant la participation de son expert (Chargé de Suivi-Évaluation du PRR) aux rencontres mensuelles de terrain. Ce dernier assurera aussi un coaching et un renforcement de capacités continuel des personnels de terrain lors de ces visites. Renforcer le rapport d avancement mensuel afin qu il aille au-delà des indicateurs d exécution physique et financière pour inclure les indices de performance des coûts et les indices de performance des délais qui résument l efficacité et l efficience des projets au-delà du suivi des décaissements. 3. Évaluation des indicateurs de performance du Projet de Réhabilitation des Routes L évaluation globale indique que la qualité des données a un score de 2,3 sur une échelle de 3 dans le secteur Routes. Il subsiste cependant des lacunes sur les critères de précision et d adéquation qui ont une performance peu satisfaisante. Pour ce qui concerne la précision, il manque en général des cibles pour encadrer les marges acceptables d erreur. L'équipe RIQD suggère que des marges soient fixées sur la base des données historiques et en estimant les coefficients de variation (CV) tel que suggéré dans le guide de vérification de la qualité des données d'enquête. Quant à l adéquation, la pertinence et la complétude de certains indicateurs (par exemple l indicateur de rugosité et celui des kilomètres de routes) sont questionnables. vi

9 Indicateurs de niveau But Tableau 2: Évaluation de la qualité des données pour les indicateurs de but du PRR Indicateurs Taux de variation du niveau de consommation annuelle de la population dans un rayon de 5 km de la RN#2 Taux de variation du niveau de consommation annuelle de la population dans un rayon de 5 km de la RN#6 Score Le groupe de comparaison idéal est un groupe de personnes qui ressemblent parfaitement aux bénéficiaires avant le début du programme. Un tel groupe de comparaison est très difficile à trouver car c est un groupe qui ne bénéficie d aucun service comparable, et ne bénéficie pas non plus des services rendus disponibles par le PRR du MCA. A ce stade, l équipe RIQD propose une analyse longitudinale du groupe de bénéficiaires qui permettrait une analyse réflexive enrichie par des analyses qualitatives socioéconomiques. Indicateurs d objectifs Tableau 3: Évaluation de la qualité des données des indicateurs d objectif du PRR Indicateurs Score Trafic moyen journalier annuel (TMJA) Richard-Toll Ndioum 2,1 Trafic moyen journalier annuel (TMJA) Ziguinchor Tanaff 2,1 Trafic moyen journalier annuel (TMJA) Tanaff Kolda 2,1 Trafic moyen journalier annuel (TMJA) Kolda Kounkané 2,1 Durée des voyages sur la RN#2 2,4 Durée des voyages sur la RN#6 2,4 Trafic moyen journalier annuel (TMJA) Cet indicateur ne saisit qu un aspect des bénéfices liés aux routes (manque de complétude). S assurer de la prise en compte des routes MCA et planifier la reconduite de l opération en années 4 et 5. Assurer le comptage nocturne pour aligner la méthodologie sur celle utilisée dans d autres MCA et permettre ainsi la comparabilité. vii

10 Durée des voyages sur la Route Nationale Le nom (Taux de variation de la durée des voyages sur la RN) et la définition (Temps de voyage sur la RN économisé) de cet indicateur doivent être harmonisés dans tous les documents de SE Le MCA-S doit coordonner avec l AGEROUTE pour clarifier la méthode d estimation de la durée du voyage dans les enquêtes à venir sur l étude d'impact sur les effets induits des routes sur les activités économiques en années 1, 4 et 5. Indicateurs d effet Tableau 4: Évaluation de la qualité des données des indicateurs d effets du PRR Indicateurs Score Indice International de Rugosité (IRI) sur la RN#2 2,4 Indice International de Rugosité (IRI) sur la RN#6 2,4 La méthode de calcul de cet indicateur doit être précisée et incluse dans le PSE afin d assurer une cohérence dans le suivi de l indicateur. La mesure de la rugosité ou du confort au roulement est effectuée grâce à un profilomètre qui mesure le profil longitudinal de la route à l aide de deux capteurs laser situés dans les sentiers de roues. L unité doit être revue dans les métadonnées et indiquée en mètre par kilomètre voyagé (m/km). Indicateurs de produit Tableau 5: Évaluation de la qualité des données d extrant du PRR Indicateurs Score Kilomètres de routes réhabilitées sur la RN#2 2,4 Kilomètres de routes réhabilitées sur la RN#6 2,4 Cet indicateur fait partie des indicateurs communs de MCC mais est maintenant connu sous le nom de Kilomètres de route complétés. Aussi, il est important que le nom de cet indicateur et sa définition soit révisés dans le PSE du MCA-S. Au niveau extrant, il y a un manque d indicateurs de niveau intermédiaire. L équipe RIQD suggère un nouvel indicateur qui peut être renseigné mensuellement, à savoir le pourcentage de travaux de génie civil terminé (%) au stade de (i) l excavation ; (ii) de la base ; (iii) du surfaçage ; et (iv) du drainage. viii

11 4. Évaluation du système de suivi-évaluation du Projet Irrigation et Gestion des Ressources en Eau Globalement, sur la base des quatre (4) dimensions d évaluation, le système de suivi-évaluation du PIGRE (PMU SAED et SAED) est partiellement satisfaisant avec un score de 2,3. Toutefois, la performance varie de manière importante selon la dimension considérée. En effet, les dimensions les moins performantes concernent le processus de gestion des données, ainsi que la structure, fonction et capacités pour le suivi-évaluation. Les principales recommandations pour renforcer le système de suivi-évaluation au niveau du PIGRE sont les suivants : Clarifier le rôle du PMU SAED et de l ensemble des acteurs dans le suivi-évaluation du projet ; Renforcer l équipe du PMU SAED par le recrutement d un Expert suivi-évaluation ; Assurer la formation de l ensemble des acteurs du projet, en particulier du PMU SAED, en suivi-évaluation en commençant par la dissémination du PSE et du manuel de SE ; Appuyer le PMU SAED dans l élaboration de procédures de suivi d exécution au niveau du PIGRE ou s assurer que le manuel de suivi-évaluation du MCA-Sénégal est assez détaillé pour inclure le niveau décentralisé ; Renforcer le suivi des procédures de traitement des données divergentes au niveau du système de la SAED (suivi des changements apportés à la base de données). 5. Évaluation des indicateurs de performance du Projet Irrigation et Gestion des Ressources en Eau L évaluation globale indique que la qualité des données a un score de 2,5 sur une échelle de 3 dans le secteur Irrigation. Il subsiste cependant une marge d amélioration possible sur les critères d opportunité et d adéquation. ix

12 Indicateurs de niveau But Tableau 6 : Évaluation de la qualité des données de l indicateur de But du PIGRE Indicateur Taux de variation des revenus nets des bénéficiaires tirés du Projet Irrigation Évaluation globale 2,6 Cet indicateur est en fait un taux de croissance. Il est donc recommandé de réviser le nom de l'indicateur et de considérer l un des indicateurs suivants: 1) Taux de croissance du revenu net agricole (mesuré plus précisément par le questionnaire d enquête) ou 2) taux de croissance du niveau de consommation des ménages, comme dans le cas du Projet «Routes». Il devient urgent d établir la méthode d échantillonnage. Pour ce faire, il est important de trouver une approche qui permette d optimiser la précision des données tout en restant à l intérieur du budget alloué pour l enquête de référence, et de dégager des conclusions opérationnelles pour le projet. La cible pour cet indicateur est fixée dans le PSE à 35%, 20 ans après la fin du Compact, alors qu aucune cible n est fixée pour la fin du Compact. Il est important d avoir une cible à la fin du Compact pour évaluer la performance du Programme en termes d impacts sur les conditions de vie, mesurés à travers l évaluation d impact. Indicateurs d impact Tableau 7 : Évaluation de la qualité des données des indicateurs d objectif du PIGRE Indicateur Évaluation globale Volume de la production de riz irriguée 2,8 Volume de la production de tomate 2,8 Volume de la production d'oignon 2,8 Intensité culturale Delta 2,9 Intensité culturale Ngallenka 2,9 Bénéficiaires du projet 2,3 Volume de la production de riz Les recommandations concernant cet indicateur sont les suivantes : Revoir le nom : Quantité produite de riz irrigué. Prendre rapidement les dispositions avec la SAED pour se conformer aux exigences de désagrégation de l indicateur par genre. x

13 Il serait souhaitable que les valeurs de référence et les valeurs cibles soient désagrégées par site étant donné que les données réelles seront désagrégées par site. Volume de la production de tomate Les recommandations concernant cet indicateur sont les suivantes : Nom : Quantité produite de tomate Prendre rapidement les dispositions avec la SAED pour se conformer aux exigences de désagrégation de l indicateur par genre. Il serait souhaitable que les valeurs de référence et les valeurs cibles soient désagrégées par site étant donné que les données réelles seront désagrégées par site. Volume de la production d oignon Les recommandations concernant cet indicateur sont les suivantes : Le nom: Quantité produite d oignon. Prendre rapidement les dispositions avec la SAED pour se conformer aux exigences de désagrégation de l indicateur par genre. Envisager la possibilité de désagréger les valeurs de référence et les valeurs cibles par site étant donné que les données réelles seront désagrégées par site. Intensité culturale (Delta et Ngallenka) Déplacer cet indicateur comme indicateur d effet dans le PSE. Il est important de noter que le système d information du projet ne pourra pas renseigner cet indicateur selon le genre. Indicateurs d effet Tableau 8 : Évaluation de la qualité des données des indicateurs d effet du PIGRE Indicateur Évaluation globale Superficie de terre potentiellement irrigable (Delta et Ngallenka) 1,7 Superficie de terre sous production (cultivées) (Ha sous production) 2,8 Débit total mesuré (Q) aux ouvrages de Ronkh et G 2,4 Nombre d hectares formalisés (ayant un titre d affectation et enregistré) 2,5 Pourcentage de conflits fonciers résolus dans le cadre de l'attribution des terres 2,5 Superficie de terre potentiellement irrigable (Delta et Ngallenka) Cet indicateur ne renseigne pas sur les effets du projet et est jugé non utile pour le suivi car invariant. Il est donc recommandé de supprimer cet indicateur. xi

14 Superficie de terre sous production (cultivées) Il est recommandé de désagréger cet indicateur par spéculation (riz, tomate, oignon) de manière à permettre un calcul facile des rendements qui est un effet important attendu du projet. Débit total mesuré (Q) aux ouvrages de Ronk et G Il est important de préciser le mode de mesure de cet indicateur. De la même manière, la méthode d estimation de la cible devrait être spécifiée. Nombre d hectares formalisés (ayant un titre d affectation et enregistré) Relocaliser dans le PSE car c est un indicateur d extrant et non d effet. Pourcentage de conflits fonciers résolus dans le cadre de l'attribution des terres La fréquence de rapportage trimestrielle semble un peu trop élevée pour cet indicateur. Le niveau de désagrégation par âge et par sexe risque d être difficile à obtenir pour cet indicateur. En effet, les conflits impliquent en général plus d une personne. Nouveaux indicateurs d effet Inclure le rendement des cultures comme indicateur d effet pour mieux cerner tous les effets induits par les travaux d irrigation : - Rendement du riz (T/Ha); - Rendement de la tomate (T/Ha); - Rendement de l oignon (T/Ha). Indicateurs de produit Tableau 9 : Évaluation de la qualité des données des indicateurs d extrant du PIGRE Indicateur Évaluation globale Linéaire d axes hydrauliques réhabilités dans le Delta 2,6 Linéaire du canal de drainage principal construit dans le Delta 2,6 Longueur totale des adducteurs principaux construite dans la Ngallenka 2,6 Superficies potentiellement irrigables dans le Ngallenka 1,7 Nombre de personnes formées sur les outils de sécurisation foncière 2,6 Nombre d hectares de terres cartographiées 1,9 Les recommandations spécifiques pour chacun des indicateurs d extrant sont énoncées cidessous. xii

15 Linéaire d axes hydrauliques réhabilités dans le Delta Linéaire du canal de drainage principal construit dans le Delta Longueur totale des adducteurs principaux construite dans la Ngallenka Il est recommandé de complémenter ces indicateurs d extrant par des indicateurs d'extrant intermédiaire pour mieux suivre l'évolution des travaux. Par exemple, % des travaux de terrassement réalisés, % des ouvrages d art réalisés, % des équipements de pompage installés). Nombre de personnes formées sur les outils de sécurisation foncière S'assurer d'avoir les outils nécessaires à la collecte des informations et à leur validation (ex., feuilles de présence) avant le début des activités. Nombre d hectares de terres cartographiées Cet indicateur est plutôt un indicateur de processus dont la cible sera atteinte à l'année 2 du Compact. Il est donc recommandé de relocaliser cet indicateur comme indicateur de processus dans le PSE. xiii

16 LISTE DES ACRONYMES ANSD CA/MCA-Sénégal CS DR DSE DSIES GA IDEA IEA ITT KM MCA-S MCC PAR PIGRE PIP PISG PIV PMU PRR PSE RIQD RN SE SSN TDR UGP VIH/SIDA Agence Nationale de Statistique et de Démographie Cellule d appui au Millenium Challenge Account Sénégal Conseil de Surveillance Disbursement request Direction de Suivi-Évaluation Direction du Suivi de l Impact Environnemental et Social Grands Aménagements Institut pour le Développement en Économie et en Administration Implementing Entity Agreement Tableau de suivi des indicateurs (Indicator Tracking Table) Kilomètre Millenium Challenge Account Sénégal Millenium Challenge Corporation Plan d Action de Réinstallation Projet Irrigation et Gestion des Ressources en Eau Périmètre Irrigué Privé Plan d Intégration Sociale et Genre Périmètre Irrigué Villageois Unité de gestion de projet (Project Management Unit) Projet de Réhabilitation des Routes Plan de Suivi-Évaluation Revue Initiale de la Qualité des Données Route Nationale Suivi-Évaluation Système Statistique National Termes de Référence Unité de Gestion de Projet Virus d'immunodéficience humaine/syndrome d'immunodéficience acquise xiv

17 I. INTRODUCTION Le Compact-Sénégal vise à réduire la pauvreté au Sénégal par le biais de la croissance économique en s appuyant sur l amélioration de la productivité agricole et l élargissement de l accès aux marchés et aux services par des investissements infrastructurels cruciaux dans les secteurs des routes et de l irrigation. Le Compact finance deux grands projets: 1) Le Projet de Réhabilitation des Routes (PRR) conçu pour augmenter l accès des bénéficiaires aux marchés intérieurs et internationaux grâce à l amélioration de la qualité des routes et la réduction des temps et des coûts de transport. 2) Le Projet d Irrigation et de Gestion des Ressources en Eau (PIGRE) ayant pour objectif d améliorer la productivité du secteur agricole et la qualité du système d irrigation dans certaines zones du nord du Sénégal qui dépendent de l agriculture. Plus particulièrement, le projet vise à 1) augmenter le volume d eau pour l irrigation; 2) augmenter la surface de terre irriguée; 3) éliminer le risque d abandon d environ hectares de terres en irrigation; et 4) assurer la livraison d eau supplémentaire pour les humains et les animaux dans les zones de Delta, Podor et les environs. Le PRR permettra de réhabiliter deux routes nationales (RN2 et RN6) couvrant 120 Km et 256 Km respectivement. De plus, ce projet prévoit des mesures d atténuation environnementales et sociales dont : (ii) un programme de sensibilisation sur le VIH/SIDA; (iii) le programme de réinstallation des familles qui seront affectées par les travaux routiers; (iv) le programme de sensibilisation environnementale pour les communautés; (v) le suivi environnemental; (vi) l alignement des plantations; (vii) la création, le réaménagement ou la délocalisation des marchés hebdomadaires; et (viii) l appui aux initiatives de développement de bois issu de la déforestation causée par les communautés. Le projet d irrigation et de gestion des ressources en eau comprend les activités suivantes : 1. L activité dans le Delta visant à soutenir la construction de réseaux d irrigation et de drainage 2. L activité dans le Podor visant le développement de canaux d irrigation et de drainage primaires et secondaires et des structures y associées sur le site N Gallenka. 3. Les activités relatives aux mesures de protection sociale visant à compléter les objectifs de projets d irrigation et d atténuer les impacts négatifs éventuels du projet. Il s agit de la construction de garderies, de centres d information et de stockage de produits agricoles et de centres polyvalents d élevage. 4. Les activités relatives à la sécurisation foncière qui ont pour résultats principaux la mise au point et la mise en œuvre de processus transparents, équitables et efficaces d affectation des terres afin d assurer l accès équitable à la terre dans les périmètres irrigués. 1

18 Figure 1 : Logique d intervention de Compact MCA-Sénégal BUT DU COMPACT : Réduire la pauvreté au Sénégal par la croissance économique OBJECTIF : Amélioration de la productivité agricole et de l accès aux marchés et aux services Objectif du Projet de réhabilitation des RN N o 2 & N o 6 : Accroître l accès aux marchés nationaux et internationaux et aux services Objectif du Projet Irrigation et de Gestion des Ressources en Eau : Accroître la production agricole et la productivité du secteur agricole Effet 1 : Réduction de la durée des transports Effet 2 : Amélioration de la qualité du réseau routier Effet 1 : Accessibilité accrue de l eau pour l irrigation Effet 2: Efficacité accrue des infrastructures hydrauliques Effet 3: Gestion améliorée des terres et des périmètres irriguées Source: Plan de Suivi et d Évaluation, Document Principal, MCA-Sénégal, Janvier 2011 Afin d assurer la bonne mise en œuvre du Compact-Sénégal, un Plan de Suivi-Évaluation (PSE) a été élaboré. Ce plan de suivi-évaluation présente le cadre logique du programme 1 et identifie les indicateurs de suivi-évaluation pour chacun des objectifs des projets. Il comprend la composante de suivi des résultats du programme et des risques, ainsi que la composante d évaluation d impact de l intervention du MCA-Sénégal. La structure de suivi-évaluation du MCA-Sénégal comprend les trois niveaux suivants : - Le niveau Projet dont la mise en œuvre est assurée par les directeurs de projets ; - Le niveau interne du Programme exécuté par la Direction SE en collaboration avec les directeurs sectoriels et les chargés du suivi des indicateurs de performance (ITT) ; - Le Niveau Programme et Compact mis en œuvre par la Direction Générale en relation avec la CA/MCA-Sénégal et les autres acteurs (MCC, Conseil de Surveillance). 1 Un lexique se trouve en fin du document en annexe 13 afin d expliquer l ensemble des termes et concepts utilisés dans ce rapport. 2

19 Un Comité technique de suivi des indicateurs a pour mission de vérifier la qualité et la fiabilité des données et de valider les analyses. C est ce Plan de Suivi-Évaluation qui a servi de référence pour la revue de la qualité des données. Il a été complété par les fiches de suivi Projet, les matrices de métadonnées ainsi que l ensemble des rapports des études et enquêtes en cours, le Compact, et les TDRs du mandat. Le présent rapport rappelle les objectifs du mandat et la méthodologie proposée pour répondre à ces objectifs. Il présente les résultats préliminaires de l analyse des systèmes de SE (y compris les besoins de renforcement de capacités) et l évaluation de chaque indicateur. Un Rapport Annexe présente les outils de collecte remplis et leur analyse ayant servi à la réalisation de cette revue initiale de la qualité des données, notamment : - Les Fiches signalétiques d indicateur par projet ; - Les Grilles d évaluation de la qualité des données par projet ; - Les Grilles d entrevue au niveau central, intermédiaire et décentralisé. II. OBJECTIFS DE LA REVUE INITIALE DE LA QUALITÉ DES DONNÉES (RIQD) Afin d assurer l objectivité et la fiabilité des données utilisées pour mesurer la performance du Programme, la Direction du Suivi et de l Évaluation (DSE) a élaboré une stratégie d évaluation de la qualité des données qui alimentent le Plan de Suivi-Évaluation (PSE). Cette stratégie définit de manière précise les responsabilités de chaque équipe de projet et entité d exécution dans la collecte et la gestion de l information. La Direction du Suivi et de l Évaluation doit s assurer que les procédures de collecte des données sont fiables et assurent une bonne qualité des données à chacun des niveaux (Directions de Projets, Entités d exécution (SAED, AGEROUTE, ANSD etc.), Études spécifiques menées dans le cadre du Programme). L objectif du mandat est donc de procéder à la vérification de l ensemble des données utilisées dans le Plan de Suivi Évaluation (PSE) du Compact Sénégal. Ces données incluent notamment les données fournies par les unités de mise en œuvre du projet (y compris leurs relais locaux à l échelle des structures déconcentrées), ainsi que toute donnée d enquête financée par MCA- Sénégal ou MCC servant à alimenter le PSE. Les objectifs spécifiques de cette étude de la qualité des données sont de : Analyser et fournir des recommandations sur la qualité des données de référence contenues dans le Compact, le Plan suivi-évaluation ainsi que celles proposées dans les TDR des Agences d exécution pour évaluer l impact du Programme et les consultants pour les études en cours ou en perspective; Réaliser des études de contrôle de qualité et de consistance des données des indicateurs du Compact et des indicateurs des différentes entités impliquées dans la mise en œuvre du programme (y inclus les problèmes liés à la collecte des données); 3

20 Formuler des propositions et des recommandations sur les mesures de la qualité des données et sur le processus de changement visant à assurer la production des données de qualité fiable et accessible; Analyser les indicateurs de résultats et les indicateurs d activités dans une perspective Genre et apporter toutes les améliorations nécessaires; Élaborer un plan de formation en vue de faciliter la prise en compte du contrôle de qualité dans la mise en œuvre des activités de suivi-évaluation. Pour atteindre ces objectifs, l équipe a mené une première mission de terrain entre le 28 novembre et le 21 décembre afin de (i) analyser les données et indicateurs dans leur environnement statistique; (ii) évaluer la qualité des données et leur potentiel à contribuer au Plan de SE ; (iii) identifier toute faiblesse au niveau des données et des indicateurs utilisés ainsi qu au niveau institutionnel (responsabilités et capacités des agences d exécution) afin de proposer des mesures correctrices; et (iv) faire des recommandations au regard des résultats trouvés. Tableau 1 : Critères de revue de la qualité des données Dimension de la qualité des Definition données a. Validité La Validité pour mesurer : la pertinence, la qualité, la capacité des indicateurs à approcher la réalité, l existence et la qualité des sources de vérification, l exhaustivité des données quantitatives et qualitatives. Vérifier si les données sont en phase avec les orientations nationales élaborées dans le cadre du SSN. b. Fiabilité La Fiabilité pour apprécier (i) d éventuelles contradictions entre les données fournies et/ou utilisées, (ii) la cohérence du processus de collecte de données à travers les Projets, le temps et l espace (en ce qui concerne les outils et la méthodologie d échantillonnage), (iii) le contrôle de qualité en vue d apprécier les procédures (de collecte, d entretien et processus) pour prévenir contre les biais, la revue périodique des procédures, les vérifications aléatoires à chaque étape, et (iv) la transparence pour savoir si les procédures sont documentées et si les problèmes sont rapportés. c. Opportunité L Opportunité pour répondre aux questions relatives à la régularité de la collecte, à l actualité des données, à la précision sur les dates de collecte et leur utilité dans les résultats du programme. d. Précision La Précision pour savoir si les marges d erreur sont rapportées, l origine des marges, si elles sont acceptables pour la prise de décision et si la cible inclut une marge d erreur ; e. Objectivité L Objectivité pour appréhender d éventuelles manipulations politiques et/ou personnelles sur les données, l indépendance dans la collecte, la gestion et l'évaluation des principales données, l examen impartial du processus de collecte des données, l intégrité des performances. f. Adéquation L Adéquation pour apprécier dans quelle mesure des indicateurs spécifiques mesurent pleinement des résultats spécifiques attendus, s ils sont suffisants pour g. Caractère pratique caractériser et/ou mesurer lesdits résultats. Le Caractère pratique pour apprécier la viabilité de la collecte de l indicateur, le rapport avantage-coût entre la collecte et la mesure de l indicateur, les raisons qui pourraient justifier la non faisabilité de la collecte. 4

21 III. MÉTHODOLOGIE PROPOSÉE La présente section décrit la méthodologie utilisée pour réaliser l audit de la qualité des données de suivi-évaluation du MCA-Sénégal. Elle décrit les principales tâches, le matériel et la documentation recueillie dans le cadre de l audit, ainsi que le plan de travail DESCRIPTION DES TÂCHES Afin de répondre aux objectifs du mandat, l audit de la qualité des données implique la réalisation des activités présentées au tableau 2 et ce, pour chaque projet du MCA-Sénégal. Tableau 2 : Description des tâches et activités pour la réalisation de la RIQD Tâche Activités Responsabilité 1. Lancement du projet, obtention des autorisations pour conduire la RIQD, MCA notification des projets et agences d exécution et demande de documentation 2. Identification et échantillonnage des sites à visiter IDEA/MCA 3. Programmation des visites de sites IDEA/MCA 4. Revue de la documentation pertinente IDEA Familiarisation et planification Évaluation du système de SE Analyse de la pertinence des indicateurs Vérification des données administratives Vérification des données secondaires et données d enquête Rédaction du rapport et présentation des résultats Évaluation du système de suivi-évaluation au niveau : 1. Direction de SE du MCA 2. Agences d exécution, Unités de Gestion de Projets (UGP) 3. Points de service Cette évaluation vise à identifier les défis potentiels liés à la qualité des données pouvant émaner du système de SE et de rapportage. Analyse des cadres logiques des projets et du Compact afin d évaluer la pertinence des indicateurs et proposer des recommandations d amélioration si nécessaire. Suivi et vérification du flux d information pour chaque indicateur et pour chaque projet : 1. Direction de SE : Revue des rapports soumis par les Agences d exécution et UGP, et des ITT pour la période de la RIQD; 2. Niveau Agences d exécution et UGP: Revue et vérification des nombres rapportés par les points de service échantillonnés; 3. Aux points de service échantillonnés : Revue et vérification inopinée des données dans les documents source (registres) et comparaison avec les données rapportées. Vérification des méthodes et outils de collecte, incluant les questionnaires, méthodes d échantillonnage, déroulement de la collecte, écrans de saisies, plan de saisie, formation, analyse, programmes de calculs pour l ensemble des études, y compris les aspects genre. 1. Remplissage des fiches de référence des indicateurs et de la grille d évaluation de la qualité des données; 2. Élaboration du plan d amélioration des compétences en suivi-évaluation et du plan d action pour l amélioration de la qualité des données; 3. Rédaction du rapport d audit de qualité des données en version préliminaire; 4. Atelier de restitution des résultats de la RIQD; 5. Finalisation du rapport de la RIQD en fonction des commentaires et discussions. IDEA IDEA IDEA IDEA IDEA 5

22 Dans le cadre de la RIQD, des entrevues ont donc été réalisées au niveau central (MCA-S) et au niveau des agences d exécution et PMU. Des visites de sites dans la région de Saint Louis et celle de Kolda ont complété l analyse au niveau décentralisé (voir annexe 1 pour la liste des structures/personnes rencontrées). Conformément au plan de travail approuvé (annexe 2), un rapport provisoire a été présenté aux parties prenantes (équipe du MCA-Sénégal et points focaux des entités de mise en œuvre) lors de l atelier de validation. Ce rapport révisé tient donc compte des commentaires reçus lors de cet atelier et ceux du Comité Technique de Validation. L équipe RIQD a également préparé un plan d action pour le renforcement des compétences en suivi-évaluation et pour l amélioration de la qualité des données. Ce plan d action est inclus dans l annexe 3 du présent rapport. L un des objectifs de l atelier de validation était d obtenir le consensus des parties prenantes sur les actions prioritaires à mettre en place pour l amélioration de la qualité des données. Ce plan d action constitue un point de départ important pour la réalisation du bilan des compétences prévu et du plan de formation du MCA-S. Fort de sa reconnaissance ISO (certification ISO 9001 :2008) et de son équipe de professionnels senior permanents, IDEA a mené l ensemble du mandat en s assurant un contrôle qualité de l ensemble de ce projet. Un expert contrôle qualité interne a assuré un contrôle qualité avant la soumission des livrables, soit du plan de travail révisé, du rapport de démarrage et de chacun des trois rapports auprès du comité de supervision au niveau du MCA-Sénégal. 3.2 MATÉRIEL ET DOCUMENTATION Les outils de collecte suivants ont été remplis et analysés dans le cadre de la réalisation de cette revue de la qualité des données : - Fiche signalétique d indicateur (annexe 4); - Grille d évaluation de la qualité des données (annexe 5). - Grille d entrevue au niveau central (Direction SE du MCA-S) (annexe 6); - Grille d entrevue au niveau intermédiaire (PMU) (annexe 7); - Grille d entrevue au niveau décentralisé (points de service) (annexe 8). Fiche signalétique d indicateur La fiche signalétique d indicateur fournit, pour chacun des indicateurs, les informations nécessaires (métadonnées, valeur de référence, cibles, résultats de suivi, recomptage des données rapportées, et recommandations d améliorations) à sa validation. Cette grille a été complétée suivant un processus participatif (entrevues avec les chefs de projets du MCA-S, les PMU, et autres acteurs clés). 6

23 Grille d évaluation de la qualité des données Cette grille a été complétée sur la base des données disponibles dans la fiche signalétique d indicateur. Elle a été utilisée pour évaluer la qualité de chaque indicateur du plan de SE du MCA-S. Ainsi, une note moyenne comprise entre 1 et 3 était attribuée à chaque indicateur. Cette note sera obtenue à partir de la moyenne arithmétique des scores des sept critères de qualité des données présentés au tableau 1. De même, la note attribuée à chaque critère est obtenue par la moyenne des sous-critères ou variables d analyse qui la constituent. Chacun des sous-critères était donc évalué selon l échelle suivante : 1 : Non 2: Partiellement 3: Oui, complètement Non applicable Une note synthèse de l ensemble des indicateurs a permis d interpréter les résultats par projet, comme suit : 1 : Non satisfaisant ; 2 : Moyennement satisfaisant : 3 : Satisfaisant. Grille d entrevue au niveau central, intermédiaire et décentralisé L objectif de cet outil est d identifier les défis potentiels pour la qualité des données résultant du niveau de fonctionnalité actuelle du système de gestion et des procédures de rapportage aux niveaux central, intermédiaire et décentralisé. L analyse a été faite en deux temps : a) Analyse de la documentation fournie par les projets/programmes b) Entrevues avec les parties-prenantes et visites de terrain. L analyse couvre les cinq fonctions suivantes: i) Performance du rapportage ; ii) La structure de SE, fonctions et capacités; iii) Définition des indicateurs et directives de rapportage; iv) Outils de collecte et format de rapportage ; v) Processus de gestion des données. 7

24 Chacune des fonctions ci-dessus est analysée selon les dimensions suivantes : Performance du rapportage 2 ; % des rapports disponibles ; % des rapports reçus à temps ; % des rapports complets ; Structure du Suivi-Évaluation, Fonctions, Capacités ; Personnel(s) désigné(s) responsable(s) de la revue de la qualité des données reçues et de la validation des données agrégées ; Personnel formé sur les outils et processus de SE; Capacités pour assurer le suivi-évaluation en quantité et en qualité; Utilisation des résultats du suivi-évaluation dans la prise de décisions; Définition des indicateurs et directives de rapportage ; Directives fournies aux niveaux décentralisés de rapportage (quoi, à qui, comment, quand) ; Outils de collecte et formats de rapportage ; Instruction claires fournies par le niveau supérieur (DSE, PMU, etc.) sur la manière de compléter les formats/outils de collecte de données et de rapportage; Existence d un format/outil standard de rapportage à être utilisé par tous les niveaux de rapportage; Outils utilisés de manière consistante; Sources de documentation et formats de rapportage pour la mesure des indicateurs disponibles pour l'audit; Processus de gestion des données ; Information sur la qualité du rapportage fournie systématiquement aux producteurs de données (rétro alimentation); Système de contrôle qualité en place lors de la saisie d'informations papier dans le système informatisé (si applicable); Procédures de copie de sauvegarde; Gestion des données personnelles; Procédures écrites pour la gestion des retards, problèmes de qualité (rapports incomplets, inexacts ou manquants et gestion des divergences d information). Chacune de ces dimensions d évaluation du système est elle-même déclinée en sous-dimensions tel que précisé dans les annexes 6 à 8. Une note moyenne comprise entre 1 et 3 est attribuée à chaque dimension sur la base des informations collectées auprès des structures. Cette évaluation est obtenue par une moyenne arithmétique des scores des sous-dimensions attribués selon l échelle suivante: 2 Sur la base des rapports soumis et des documents source (registres, fichiers de saisie, etc.). 8

25 1 : Non 2: Partiellement 3: Oui, complètement Non applicable Une note synthèse par niveau de rapportage et par dimension permet d interpréter les résultats par projet et pour la DSE respectivement, selon l échelle suivante : 1 : Non satisfaisante ou non fonctionnelle ; 2 : Moyennement satisfaisante : 3 : Satisfaisante. Tous les outils de la RIQD ont été développés en Excel et programmés pour les rendre conviviaux. Ces derniers étaient finalisés lors de la mission de terrain suite aux commentaires reçus. Pour enrichir les entrevues menées, la RIQD a concerné une revue documentaire dont le détail constitue l annexe 9. IV. ANALYSE INITIALE DE LA QUALITÉ DES DONNÉES Ce chapitre présente pour le PRR et le PIGRE les résultats de l analyse des différentes données et systèmes de SE et d information qui sont en place pour assurer le suivi et l évaluation du MCA-S. L analyse du système de SE implique en particulier de (i) identifier le flux d information qui aide à la clarification des rôles et responsabilités pour opérationnaliser le SE du projet, (ii) évaluer la performance du système de rapportage et de prise de décisions et (iii) évaluer les bases de données existantes et le mécanisme de leur gestion. Cette analyse a également inclus le diagnostic (i) du dispositif institutionnel pour le suivi-évaluation du MCA-S, (ii) du dispositif organisationnel (Système de rapportage et de prise de décisions) et (iii) des capacités en ressources humaines, techniques, logistiques et financières pour le suivi-évaluation. Quant à l analyse des données, elle inclut la validation des indicateurs 3 et celle des données de référence et cibles 4 relatives aux deux projets et renseignées par le PSE. 3 Critères CREAM+ : Clear (clair); Relevant (Pertinent) ; Economic (Economique) ; Adequate (adéquat) ; Assignable; Monitorable (pouvant faire l objet d un suivi régulier à partir de données valides) ; + (représente la valeur marginale) 4 Hypothèses économiques sous-jacentes et critères SMART : Specific (spécifique) ; Measurable (mesurable) ; Attainable (atteignable) ; Realistic (réaliste) ; Time-bound (définie dans le temps). 9

26 4.1 ANALYSE DU SYSTÈME D INFORMATION DU PRR Flux d information pour le SE Dans le cadre de la mise en œuvre du Projet Routes, le MCA-S est appuyé par l AGEROUTE à travers un accord d entité d exécution. L AGEROUTE a constitué une équipe technique dédiée (PMU) qui a un coordonnateur à sa tête. La figure 4.1 suivante montre le flux d information qui décrit les mécanismes du rapportage/suivi, de la rétroaction/feedback, et de l évaluation dans le cas du Projet Routes. Les paragraphes suivent décrivent le flux et le rapportage prévu. Figure 4.1 : Diagramme de flux d information pour le suivi-évaluation du PRR 10

27 Pour ce qui concerne l évaluation du projet, MCC a signé un contrat avec IMPAQ pour concevoir et mettre en œuvre l évaluation d impact dont les résultats seront également utilisés pour informer la gestion du projet et planifier les politiques dans le secteur routier. Quant au suivi, les rapports sont générés par le système SE en place, notamment le rapport fourni par le PMU et le rapport du consultant chargé de la supervision. Ce dernier, qui joue le rôle d ingénieur conseil, commencera à soumettre des rapports mensuels dès le début de la mise en œuvre du projet. Il vérifiera la qualité des données de travaux. Suivi et reportage au PMU AGEROUTE Le rapport interne du PMU: dès le démarrage des activités de construction, le coordonnateur du PMU recevra des rapports internes hebdomadaires, mensuels et trimestriels en provenance de son chef de projet. L équipe RIQD pense donc qu il est essentiel que le chef de projet soit posté sur le site afin de travailler avec l ingénieur superviseur et l entreprise de travaux (contractant). Pour cela, il doit disposer de la logistique nécessaire à son travail. Cela renforcera la collaboration sur les sites de travaux et préviendra toute collusion entre le superviseur-contrôleur de travaux et l entrepreneur. Le chef de projet devra bénéficier du soutien nécessaire du bureau régional de l AGEROUTE, notamment pour les démarches administratives et la supervision du site. Le PMU qui sera complètement opérationnel début 2012 devra signifier une date limite claire pour la réception du rapport mensuel d activités, par exemple le 3 du mois suivant, ce qui laisse le temps nécessaire au PMU pour agréger les données. Le PMU devra clairement assigner les tâches d agrégation à un ingénieur senior basé au siège et dont la responsabilité en matière de SE inclura la synthèse des rapports des différents sites dont le nombre sera déterminé par le nombre de lots de travaux. Ce rapport mensuel synthétique devra être approuvé par le coordonnateur de projet (CP) qui devra soumettre au plus tard le 15 du mois suivant les travaux un rapport au directeur de projet à MCA-S. Par conséquent l équipe PMU trouve qu il est impérieux de former les différents acteurs du SE au sein du PMU AGEROUTE. Cette formation pourrait être menée dans le cadre des activités prévues au niveau de la DSE. Le rapport du consultant chargé de la supervision: ce second rapport sera soumis directement au directeur de projet Routes au MCA-S selon le contrat entre ces deux entités. Cependant il est essentiel qu une copie soit toutefois adressée au PMU AGEROUTE de façon mensuelle afin de recueillir des commentaires supplémentaires. Il est tout aussi important de faciliter la tâche du superviseur en clarifiant les dates limite de soumission du rapport de l entreprise de travaux, lequel constitue un input important. 11