MANUEL DE SUIVI-EVALUATION DE LA CEDEAO
INTRODUCTION Objet du manuel La Communauté Economique des Etats de l Afrique de l Ouest (CEDEAO) est une organisation d intégration régionale établie selon le Traité signé le 28 mai 1975 à Lagos dans le but d élever le niveau de vie des peuples de la région, de maintenir et d accroître la stabilité économique, de renforcer les relations entre les Etats membres 1 et de contribuer au progrès et au développement du continent africain. Pour parvenir à ces buts, la CEDEAO entend promouvoir la coopération et l intégration dans la perspective d une Union économique de l Afrique de l Ouest. Conformément à la vision 2020, l amélioration du bien être des peuples Ouest africains nécessite pour la CEDEAO une meilleure structuration de ses services et prestations autour des enjeux de développement à travers une évaluation permanente des performances et d impact. Le présent manuel de suivi-évaluation de la CEDEAO vise essentiellement à formaliser et à harmoniser les procédures et outils utilisés en matière de suivi et d appréciation critique des progrès réalisés en matière d intégration régionale. Il sert également de cadre de référence pour l automatisation et l opérationnalisation du système de suivi-évaluation. Le système de suivi-évaluation de la CEDEAO comporte un dispositif central de collecte, de traitement et d analyse des informations sur les actions d intégration régionale entreprises par les acteurs principaux impliqués dans la mise en œuvre des programmes de la CEDEAO (Etats membres et Institutions de la CEDEAO), financées sur fonds propres ou par les partenaires au développement. Le système de suivi-évaluation décrit dans le présent manuel se veut un processus d apprentissage axé sur les pratiques des acteurs reliés aux diverses structures de l organisation. Par conséquent il se veut assez souple, simple, fédérateur des différents outils existants et prêt à être complété au fur et à mesure de sa mise en œuvre. Champ de suivi-évaluation Afin de recentrer le rôle de la CEDEAO sur sa mission première d intégration régionale et de développement économique durable, ses institutions ont été restructurées en 2006 visant à l amélioration de sa structure organisationnelle et de ses systèmes et procédures de gestion. Dans ce cadre, les Autorités ont adopté en juin 2007 la Vision 2020² de la CEDEAO qui constitue un tournant décisif visant le passage à l horizon 2020 d une CEDEAO des Etas à une CEDEAO des Peuples. Le Plan Stratégique Régional 2011-2015 a été élaboré pour réaliser la Vision 2020. Sur la base des principes fondamentaux de la CEDEAO 2 (Article 4 du Traité), et de l analyse de l existant, le Plan stratégique (régional) a identifié six piliers stratégiques. Ces piliers sont : 1 le Bénin, le Burkina Faso, le Cap Vert, la Côte d Ivoire, la Gambie, le Ghana, la Guinée, la Guinée Bissau, le Liberia, le Mali, le Niger, le Nigeria, le Sénégal, la Sierra Leone, et le Togo. 2 égalité et indépendance, solidarité et autosuffisance collective, promotion d un environnement pacifique, respect et protection des droits de l homme et des peuples, promotion et consolidation d un système démocratique de gouvernement, transparence, et répartition juste et équitable des coûts et avantages de la coopération et de l intégration régionale. 2
paix, sécurité et bonne gouvernance ; coopération et développement ; compétition et équité ; intégration économique et monétaire ; capacités institutionnelles ; perspectives internationales. De ces piliers de développement de la Communauté ont été dérivées six priorités stratégiques (ou buts) pour cinq ans, à compter de 2011, qui constituent des projections ouvertes, à dimension régionale, déterminant la direction générale dans laquelle la Communauté envisage de s engager, en vue de la concrétisation de la Vision 2020. Ces priorités sont les suivantes : 1. Promouvoir la Bonne gouvernance et la Justice, et améliorer le Mécanisme de Prévention, de Gestion et de Résolution des Conflits ; 2. Promouvoir le Développement des Infrastructures et un Environnement des Affaires Compétitif ; 3. Soutenir le Développement et la Coopération dans la Région ; 4. Renforcer l'intégration Economique et Monétaire ; 5. Renforcer les Capacités Institutionnelles ; 6. Renforcer le Mécanisme d'intégration dans le Marché Mondial. Chacune de ces priorités stratégiques est sous-tendue par des stratégies telles à capitaliser les forces, à éliminer les faiblesses, à exploiter les opportunités, à éviter les menaces identifiées par l analyse de l existant. Elles sont ensuite déclinées en objectifs stratégiques pour la région, et éventuellement éclatées en sous-objectifs stratégiques régionaux. De ces objectifs ou sous-objectifs découlent les objectifs spécifiquement poursuivis par les Institutions, chacune en ce qui la concerne, qu elles déclinent en plans d action à moyen terme, assortis d un plan de suivi-évaluation et d un cadre de mesure des performances. Ce dernier comporte au minimum pour chaque programme ou projet les éléments suivants : l objectif poursuivi, le résultat (ou le produit) attendu, la cible, l indicateur de performance, la méthode de mesure (y compris la fréquence), la personne responsable, la source de l information (ou le moyen de vérification). Ces éléments sont distingués à deux niveaux : le niveau stratégique (correspondant aux objectifs stratégiques de moyen terme) et le niveau opérationnel (correspondant aux activités et initiatives sur le court terme). Ils sont consignés dans un tableau de bord auquel nous nous référerons comme le cadre de mesure de rendement. Il doit être disponible pour chaque programme, projet, ou activité. Le dispositif de suivi évaluation retracé dans le présent manuel constitue un répertoire de pratiques et d activités à mettre en œuvre en soutien aux différents programmes opérationnels de mise en œuvre des priorités stratégiques ci-dessus citées pour garantir leur accomplissement dans les délais impartis. Cadre institutionnel 3
On distingue trois grandes catégories d acteurs intervenant dans l intégration régionale. Il s agit des Etats membres, des institutions de la CEDEAO et des partenaires au développement. Selon les besoins et les conditions, l une ou l autre de ces catégories d acteurs peuvent mobiliser d autres acteurs ou bénéficiaires, les organisations de la société civile, les individus, les entreprises ou regroupements d intérêt économiques et politiques, etc., à des fins de production, de distribution, de consommation ou de plaidoyer. L autorité du suivi et de l évaluation de la marche vers l intégration régionale est dévolue, selon l Article 7, alinéa 3 (b) du Traité, à la Conférence des Chefs d Etat et de Gouvernement, qui est ainsi chargée, en sa qualité d institution suprême de la Communauté, d «assurer le contrôle du fonctionnement des Institutions de la Communauté, ainsi que le suivi de la réalisation des objectifs de celles-ci». La Conférence est aidée dans cette tâche par le Conseil des Ministres de la CEDEAO, «chargé d assurer le bon fonctionnement et le développement de la Communauté» (Article 10, alinéa 3), et par la Commission de la CEDEAO qui, à cet effet, «est chargée de la présentation d un rapport sur les activités de la Communauté à toutes les réunions de la Conférence et du Conseil» (Article 19, alinéa 3.(e), et «de la soumission de propositions et l élaboration d études qui peuvent aider au bon fonctionnement et au développement harmonieux et efficace de la Communauté» (Article 19, alinéa 3. (h)). Dans l exercice de cette fonction, la Commission, à travers son Président, s appuie sur les rapports des autres Institutions et des Comités Techniques. Au niveau de chaque Institution ou structure impliquée dans la mise en œuvre de l intégration régionale, le système de suivi et l évaluation mobilise, chacun en ce qui le concerne, le Chef d Institution, les Chefs de départements, les directeurs et chefs de services, les chargés de programme, et les points focaux respectifs qui leur correspondent.. Le service chargé de la planification stratégique, de part la fonction de planification exercée en amont, ainsi que la coordination des activités de programmation et de la cohérence régulière requise entre les activités opérationnelles et leurs liens avec les objectifs stratégiques de la CEDEAO, est un partenaire privilégié du système de suivi évaluation, tout comme le corps de contrôle comprenant, naturellement, le Contrôle financier, l Audit interne et le Bureau du Commissaire aux Comptes. Concepts et définitions Dans le cadre du manuel, trois types de fonctions de suivi-évaluation sont considérés. Il s agit des fonctions de contrôle, de suivi et d évaluation. Les deux premières fonctions sont généralement confondues sous le vocable de suivi-contrôle, ou tout simplement de suivi, la fonction de contrôle étant cependant le fondement de tout système de suivi-évaluation. Le contrôle se préoccupe exclusivement de l état d exécution des programmes d activités établis pour une période donnée. Le suivi utilisera les informations établies par le contrôle pour apprécier dans quelle mesure les actions et investissements programmés ont été exécutées conformément au planning et ressources prévues, et les résultats attendus réalisés. Trois éléments sont ainsi pris en compte : l efficacité des outils utilisés en matière d organisation, de procédures de gestion et de technologies, la quantité des ressources mobilisées sur le plan financier, humain et matériel, ainsi que la quantité et la qualité des produits obtenus. Quant à l évaluation, elle consiste en un exercice de durée limitée visant l appréciation systématique et objective de la pertinence, de la performance (efficacité et efficience) et du succès d un programme à un moment donné de son exécution, et à 4
son achèvement (voir annexe 1 pour les interrelations et la complémentarité entre les deux fonctions de suivi et d évaluation, de même que la notion de suivi-évaluation axé sur les résultats). Caractéristiques du système de Suivi évaluation de la CEDEAO - Un processus participatif à grande échelle afin de développer chez tous les acteurs le sens de «l appropriation» et de «l engagement», sans lequel la mise en œuvre du système sur le terrain pourrait s avérer difficile. - La fonction de suivi est interne à l organisation mais la fonction d évaluation peut être interne et externe (pour des besoins d objectivité et d expertise pointue en vue d une opinion indépendante). le mécanisme d évaluation interne au sein de l organisation servira surtout pour pouvoir apprécier les performances réalisées en terme d évolution vers l atteinte des objectifs visés ; - Transparence des méthodes : le système doit être bâti sur la base d outils standardisés afin de faciliter l exploitation et l analyse des données de façon efficiente ; - Neutralité vis-à-vis de la mise en œuvre des programmes : afin de pouvoir émettre des avis objectifs sur la mise en œuvre des programmes, le service de S&E ne se voit pas confier de programme à mettre en œuvre au-delà des compétences d appui et d assistance à donner aux services chargés des programmes. - Responsabilités : les fonctions des différents acteurs impliqués dans la mise en œuvre du système doivent être clairement définies, celle du service de suivi-évaluation étant principalement de : (i) vérifier et synthétiser les rapports périodiques (y compris les bilans annuels) provenant des autres unités techniques ; (ii) et gérer le système d information et les banques de données associées. Contenu du manuel Outre la partie introductive consacrée au contexte et à la définition de concepts, y compris les annexes, le présent manuel comprend quatre chapitres : 1- le système de suivi-évaluation ; 2- les procédures et outils de programmation et de suivi 3- les procédures et outils de reddition de compte et de production des rapports 4- les procédures d évaluation. Le premier chapitre définit les attentes des différents acteurs impliqués dans le suivi-évaluation, et en fixe les objectifs. Une description est faite du modèle de suivi-évaluation, notamment en ce qui concerne le dispositif institutionnel et le système d informations. Le deuxième chapitre décrit les procédures et les outils spécifiques tels qu ils se rapportent à la programmation, à l organisation et à la gestion de l information tandis que la troisième partie est consacrée à la préparation et à la gestion des rapports par chacun des niveaux du dispositif institutionnel de suivi-évaluation. Enfin la 5
quatrième et dernière partie du manuel s appesantit sur les procédures et critères pour s assurer de la performance des programmes mis en œuvre par les différents acteurs d intégration régionale de la CEDEAO. La description détaillée des tâches opérationnelles à mener par maillon du dispositif de S&E est consignée en annexe. 6
CHAPITRE I : LE SYSTEME DE SUIVI - EVALUATION DE LA CEDEAO 7
LE SYSTEME DE SUIVI-EVALUATION DE LA CEDEAO Introduction Le système de suivi évaluation de la CEDEAO est un mécanisme flexible fédérateur des différents dispositifs internes à chaque institution, département et structure de la CEDEAO qui a pour objectif d assurer une meilleure centralisation de la collecte des données des différents niveaux sectoriels et décentralisés en vue de donner une meilleure visibilité aux progrès accomplis dans le processus d intégration régionale. Par conséquent, il est admis que chacune des unités dispose d autres outils spécifiques au renseignement de leurs activités à d autres partenaires, toutefois les outils contenus dans le présent manuel constituent le minimum auquel doit souscrire toutes les parties prenantes à la mise en œuvre de la politique d intégration régionale de la CEDEAO. Le dispositif présenté dans cette partie permet aux différentes parties prenantes de respecter les procédures décrites dans le manuel. Ces procédures doivent être respectées par toutes les structures impliquées dans la mise œuvre du processus de suivi-évaluation à travers le respect de leurs obligations respectives, en ce qui concerne notamment la production et la mise à disposition dans le délai de l information dans leurs domaines d activités ou secteur d intervention. Cette partie du manuel traite des sujets ci-après :i) Cadre d application du manuel de S&E ; ii) Cadre institutionnel iii) les attentes des différents acteurs et les besoins en information à satisfaire et iv) l organisation du dispositif au niveau des acteurs du système unique de suivi évaluation de la CEDEAO. Le présent chapitre identifie les acteurs du système de suivi-évaluation, et sur la base de leurs attentes respectives et de la nature des besoins en information à satisfaire, organise le dispositif institutionnel propre à assurer son fonctionnement et la réalisation des objectifs de suivi-évaluation. Il précise le cadre d application du manuel de suivi-évaluation. Il décrit en particulier le processus d informations qui est à la base du fonctionnement efficace du système. Cadre d application du manuel de suivi-évaluation Le Manuel de suivi-évaluation s applique à tous les programmes, plans, projets et activités, mis en œuvre dans le cadre de l intégration régionale de la CEDEAO, par les Institutions (y compris celles qui ont ou auraient un mécanisme indépendant de programmation et de gestion technique et financière 3 ) et les Etats membres, ou toute autre structure ou tout partenaire commis à cet effet par les Institutions ou les Etats membres. Le champ d intervention couvre tous les domaines d intégration régionale spécifiés par le Traité de la CEDEAO et tous les documents dérivés (Protocoles, Actes Additionnels, Décisions, Règlements, Directives, Déclarations, Recommandations, Avis et Rapports de la Conférence ou du Conseil), quelles que soient la nature des ressources ou les modalités de leur financement. Les acteurs principaux du système de suivi-évaluation sont : la Conférence des Chefs d Etat et de Gouvernement, le Conseil des Ministres, la Commission de la CEDEAO, les Départements et 3 Comme la BIDC 8
Institutions de la CEDEAO (ainsi que leurs personnels respectifs) et les Etats membres. Toutes les Institutions, selon l Article 6, Paragraphe 2 du Traité de la CEDEAO, «exercent leurs fonctions et agissent dans les limites des pouvoirs qui leur sont conférés par le Traité et par les Protocoles y afférents». Au plan du suivi et de l évaluation, le Président de la Commission de la CEDEAO (aidé du Vice Président) coordonne les activités de toutes les Institutions de la Communauté, tandis que les Chefs d Institution et les Commissaires assurent, chacun dans son secteur d activités, le contrôle et le suivi de l application de la politique d intégration de la Communauté ainsi que l exécution des Actes pris par les instances de décision de celle-ci. Les directions et services sont chargés du suivi de l exécution des programmes, projets et activités relevant de leurs compétences. Le niveau opérationnel de mise en œuvre est constitué des chargés de programmes et des points focaux (dans les Institutions et dans les Etats membres). Le système de suivi et de l évaluation des actions d intégration régionale de la CEDEAO intègre le rôle complémentaire que jouent les corps de contrôle, notamment le contrôle financier, l audit interne et le bureau du Commissaire aux comptes, au niveau des Institutions, respectivement dans la production des rapports périodiques sur la gestion budgétaire, financière et comptable de la Communauté (Règlements C/REG.32/12/07 et C/REG.27/12/06), l évaluation des risques et des contrôles à mettre en œuvre (Règlements C/REG.32/12/07 et C/REG.26/12/06), et l audit des comptes annuels des Institutions (Article 75 du Traité Révisé). Le dispositif organisationnel d information (et de feedback) comprend les acteurs stratégiques et de pilotage, le système ordinaire de prise de décision et les acteurs opérationnels en charge de la production des données. Le service de suivi-évaluation a un rôle transversal de soutien et de coordination du système de gestion des données et de reporting. Le processus de programmation, de mise en œuvre et de reporting est soutenu par des concertations, et de réunions des acteurs des différents sous-systèmes du dispositif organisationnel, chacun en ce qui le concerne. 9
Objectifs du dispositif du système unique de suivi-évaluation de la CEDEAO Le système de suivi-évaluation de la CEDEAO vise spécifiquement à : établir une tradition de production de données fiables pouvant permettre de produire les différents rapports d activités des acteurs du système; accompagner la progression des opérations tout au long de l'exécution des programmes, afin d être en mesure de prendre en temps opportun des mesures correctives par rapport aux insuffisances ou déviations constatées ; tirer les enseignements utiles des actions passées en vue d une meilleure définition et exécution des actions futures ; déterminer de façon aussi systématique et objective que possible la pertinence et l efficacité des actions menées ainsi que leurs effets et impact sur les groupes cibles visés. Les attentes des différents acteurs de la CEDEAO En fonction du niveau de responsabilité occupé dans le dispositif institutionnel de l organisation, les préoccupations en matière de suivi-évaluation correspondent à des fonctions bien déterminées. Dans la hiérarchie des responsabilités et conformément aux principes de la chaîne de reddition de compte, chaque niveau est toujours dépendant du niveau sous-jacent en matière d information pour pouvoir exercer pleinement sa fonction. De ce fait, les niveaux d exécution de première ligne correspondant aux chargés de programme au sein des Directions et services équivalents, ainsi que des points focaux et autres acteurs, où s investit l essentiel des biens et services de la CEDEAO, joueront un rôle primordial dans la production de l information nécessaire au contrôle et à la surveillance dans le cadre du suivi-évaluation des programmes de la CEDEAO. Tableau N 1 : Préoccupations des acteurs et fonctions correspondantes en suiviévaluation ACTEURS PREOCCUPATIONS FONCTION Suivi-Evaluation Conférence des chefs d Etat et de Gouvernement et Conseil des Ministres Suivi de la Conformité entre les orientations stratégiques et les politiques régionales. Validation des rapports d activités annuels. Prise de décision en matière de vision et stratégie. Présidence de la Commission de la CEDEAO Coordination de la Planification et du Suivi des orientations stratégiques. Evaluation et audits des programmes. Coordination de l action de planification opérationnelle et de suivi Coordination de la veille stratégique. Prise de décision dans le cadre des compétences déléguées par les instances suprêmes. Coordination du Suivi de 10
évaluation au sein des départements et institutions spécialisées. l application des recommandations découlant des activités évaluatives. Commissaires/Chefs d Institution Coordination et prise de décisions courantes de gestion au sein des départements relevant de leur compétence. Supervision des résultats des programmes de chaque direction et service et soumission de rapport aux instances décisionnelles. Service de suivi-évaluation Coordination du processus de gestion des données, de planification opérationnelle, suivi Collecte des données et centralisation. Enregistrement, Analyse, Rapportage et dissémination. Compte rendu au Management. Directeurs et Chefs de service Contrôle et supervision des activités menées au niveau des programmes et projets relevant de leurs directions. Centralisation des données au niveau Direction. Suivi de l exécution des programmes au niveau des Directions et production de rapports de synthèse. Compte rendu aux Chefs de Département et Institution. Chargés de programme Planification opérationnelle et mise en œuvre des outils de collecte de données sur les activités menées. Suivi de l exécution des activités & rapports d activités, compte rendu aux Directeurs et Chef de service. Points focaux des Etats membres Suivi des réalisations et collecte des données communautaires. Transmission des données aux unités opérationnelles correspondantes. Informations à satisfaire Les besoins en informations présentés ci-après seront au fur et à mesure de la mise en œuvre du Manuel complétés, améliorés, par niveau de responsabilité, afin de les ajuster au contexte et à de nouvelles orientations stratégiques. 11
Tableaux N 2 : Besoins en informations pour le suivi-évaluation selon les différents niveaux de responsabilité Niveaux de responsabilité Besoins en informations pour le suivi-évaluation Conférence des chefs d Etat et de Gouvernement et Conseil des Ministres Progrès réalisés dans la mise en œuvre de la politique d intégration régionale. Présidence et Viceprésidence de la Commission de la CEDEAO Commissaire et Chef d Institution Directeurs Sectoriels et Chefs de service Progrès réalisés dans la réalisation des résultats stratégiques attendus de la Commission de la CEDEAO ; Perspectives à moyen terme en matière de stratégie, d actions et de ressources pour la réalisation des résultats attendus de la Commission de la CEDEAO ; Niveau de satisfaction des orientations définies par le Conseil des Ministres et la Conférence des Chefs d Etat et de Gouvernement de la CEDEAO Progrès réalisés dans la réalisation des résultats attendus du Département ou de l Institution; Perspectives à moyen terme en matière de stratégie, d actions et de ressources pour la réalisation des résultats attendus du Département ou de l Institution ; Progrès réalisés dans la réalisation des résultats attendus de la Direction ou du service; Perspectives à moyen terme en matière de stratégie, d actions et de ressources pour la réalisation des résultats attendus de la Direction ou du service ; Chargés de Programme État global d exécution technique et financière des actions ; État d exécution technique du PTAB en cours par division ou programme ; État d exécution budgétaire du programme de travail annuel budgétisé (PTAB) ; État d exécution des marchés dans le cadre du PTAB en cours ; Difficultés rencontrées dans le respect des procédures dans l exécution du PTAB et enseignements capitalisés pour les actions futures ; Effets et impacts obtenus dans le cadre du projet (études spécifiques) Points focaux des États membres État d exécution technique et financière des plans de travail par composante tels que définis pour la mise en œuvre du PTAB en cours ; 12
Dispositif organisationnel des Acteurs Le dispositif est tel que tous les acteurs du Système de suivi-évaluation sont régulièrement informés sur l état d exécution des activités programmées, sur les effets directs et indirects produits en terme de bénéfices, risques, opportunités, et sur les possibilités d intervention (décisions) pour renforcer et/ou réorienter certaines tendances observées. Il est composé des trois niveaux suivants : les acteurs stratégiques et du pilotage, les acteurs du sous système central de prise de décision, et les acteurs opérationnels en charge de la production des données de base. Le niveau stratégique et de pilotage comprend la Présidence de la Commission de la CEDEAO (assisté de la Vice Présidence). Il est chargé de la prise de décision au plus haut niveau au regard des informations d analyse de performance et de veille stratégique transmises par les deux services de suivi-évaluation et de planification stratégique, sur le suivi stratégique des activités de la CEDEAO. Le sous système central de prise de décision comprend le Commissaire ou le Chef d Institution, appuyés par ses Directeurs et Chefs de service. Il assure la production des données de synthèse ainsi que leurs analyses dans leurs domaines de compétence. Il assure la centralisation des données et informations sectorielles émanant des Directions, et relatives aux conditions de mise en œuvre et à l état d avancement des plans de travail. Il aide ainsi aux prises de décisions d ordre opérationnel. Les acteurs opérationnels en charge de la production des données de base sont essentiellement les responsables de programme ou de projet et les points focaux dans les Etats membres. Ils sont en charge de la production des données primaires pour les besoins de synthèse. Le circuit de l information est tel que les résultats obtenus soient partagés dans les délais requis avec tous les acteurs. Il est partie intégrante du cadre institutionnel de suivi évaluation. La dissémination des données peut se faire à travers des séances de concertations, d ateliers, ou à travers d autres supports appropriés (Voir annexe 2: diagramme circuit de l information du dispositif organisationnel de circulation de l information). 13
Schéma 2 : Cadre institutionnel du suivi et évaluation Acteurs de pilotage et des orientations stratégiques Conférence des Chefs d Etat et de Gouvernement Conseil des Ministres Présidence de la Commission Assistée de Vice Présidence service de S&E Service de PS Acteurs du système ordinaire de prise de décision Chefs de Département (Commissaires) Chefs d institution Directeurs Directeurs Acteurs du système opérationnel de production des données Chargés de Programme et Chefs de service Société civile Points focaux des Etats membres Autres acteurs à la base 14
CHAPITRE II : Procédures et outils de programmation et de suivi 15
Introduction L essentiel du dispositif de suivi évaluation repose sur la fiabilité des informations nécessaires pour une bonne programmation, de même que celles permettant d effectuer un compte rendu fiable de l exécution des actions planifiées. Ceci requiert de mettre en place des procédures et outils standards de suivi à la disposition des différents acteurs. Les outils proposés dans le manuel constituent une synthèse des différentes pratiques et outils existants. Au plan méthodologique, on distingue différentes étapes dans la conduite du processus de suiviévaluation. Ce sont, de façon séquentielle : la programmation, l élaboration du plan de travail annuel budgétisé décliné en plans trimestriels ou mensuels, les procédures de collecte, de traitement, d analyse et de diffusion de l information, les procédures d élaboration des rapports dans le cadre du suivi de l exécution, et les procédures d évaluation. Le présent chapitre du manuel traitera prioritairement des points ci-après - Les procédures de programmation - Les procédures de collecte des données - Les procédures de traitement et d analyse des données. A. La programmation La programmation consiste à établir chaque année les prévisions d actions et de ressources budgétaires à mettre en œuvre pour obtenir les résultats attendus. C est un exercice participatif et contractuel. Elle se traduit par l élaboration du Plan de Travail Annuel Budgétisé (PTAB) de l Institution, sur la base du plan stratégique et du cadre logique, que l on traduit en Plans de travail trimestriels des Institutions et Départements. Le PTAB est un document synthétique qui présente les grands axes d intervention par Département et Institution, et les budgets nécessaires pour un exercice donné sans en approfondir la stratégie de mise en œuvre. Au terme du premier semestre, l exécution des deux premiers PTA trimestriels de l année devrait permettre d élaborer le rapport semestriel d activités de la CEDEAO, qui décrit le niveau de performance atteint après un semestre d exécution du plan de travail annuel. Au terme du quatrième trimestre, le même exercice permet de produire le bilan annuel au niveau du service de suivi-évaluation et le rapport général annuel de la Commission de la CEDEAO. Ce rapport constitue la base de l élaboration du plan de travail annuel de l année suivante. Le processus de planification des activités est décrit ci-après. Il vise à s assurer que tous les acteurs, quel que soit leur niveau, ont contribué à la définition des activités à exécuter ainsi que la stratégie de mise en œuvre. Le plan de travail annuel comprend les éléments suivants : Identifications des objectifs ou résultats stratégiques de chaque Direction et leur lien avec les priorités du plan stratégique. 16
la description des activités et les objectifs visés ; les programmes d activités budgétisés par axe stratégique ; le chronogramme des activités réparti en douze (12) mois ; les responsables de chaque activité et leurs collaborateurs éventuels le plan de financement des activités par source de financement ; le plan de passation des marchés éventuellement. Procédure d élaboration du plan de travail annuel budgétisé (PTAB) La procédure d élaboration du PTAB se décline suivant les étapes décrites dans le diagramme suivant : 17
Diagramme du processus d élaboration du PTAB Etapes Activités Responsables & Associés Date butoir 1 Identification des priorités stratégiques annuelles (note circulaire) Président (assisté du Viceprésident, des Commissaires et Chefs d'institution) Mai/Juin année (n-1) 2 Note de cadrage (note circulaire) Présidence Juin année (n-1) 3 Elaboration du plan de travail annuel par département et Institution Commissaire, Chef d'institution, Directeurs et chargé de programmes Juillet année (n-1) 4 Consolidation du plan de travail Service Planification Stratégique (PS) 30 Août année (n-1) 5 Atelier de validation du plan de travail annuel Président, Vice-président, PS, Suivi-Evaluation, Commissaires, Chef d'institution, Directeurs, C/AF fin Août année (n-1) 6 Soumission du PTAB à l'approbation de la Présidence Commissaire, Chef d'institution, 15 Septembre année (n-1) 7 Diffusion du plan de travail annuel Président Fin Septembre année (n-1) a. L identification des priorités stratégiques annuelles Cette activité peut se réaliser sous forme d atelier. Elle regroupe le Chef d Institution et ses collaborateurs directs, les Directeurs (dont le Directeur des Finances), le service de suivi-évaluation, le service de planification stratégique. Cette activité vise à repréciser au regard du cadre logique de l Institution et du plan stratégique, les grandes orientations pour l année à venir. Les résultats de cette activité permettent aux Commissaires et Chefs d Institution d enclencher le processus d élaboration du plan de travail de leurs départements respectifs. En conformité avec le cycle de planification, cette activité doit être réalisée au plus tard au début du mois de mai de l année (n-1). Les conclusions de cet atelier vont être traduites dans une note circulaire adressée à tous les Départements et Chefs d Institutions par la Présidence de la Commission de la CEDEAO. La note circulaire indique notamment : 18
les principaux objectifs à atteindre au cours de l année à venir ; les ressources financières mobilisables pour les différents départements et Institutions; le calendrier de préparation du PTAB. Dès réception de la note circulaire, chaque Commissaire ou Chef d Institution invite ses collaborateurs et les informe des consignes de préparation du PTAB. Toutes les dispositions utiles sont prises pour la préparation des budgets respectifs, conformément au modèle de PTAB. Une date limite est arrêtée pour la remise des documents. b. L élaboration du plan de travail annuel par Département C est le socle même du processus de planification. Sur la base des orientations stratégiques définies ci-dessus, chaque Commissaire ou Chef d Institution organise son département pour élaborer son plan de travail annuel. Les besoins sont exprimés à tous les niveaux. Un atelier d élaboration du plan de travail est organisé suivant le modèle indiqué dans le guide opérationnel du manuel. Il est rappelé que le plan de travail produit à ce niveau doit être approprié par tous les acteurs du Département. Cette activité doit intervenir quinze (15) jours calendaires après la définition des orientations stratégiques prioritaires annuelles faisant office de lettre de cadrage. Le concours des services de planification stratégique, de suivi-évaluation et des finances est sollicité à cet effet. c. La consolidation des plans de travail des Départements Les PTAB sont tous transmis au service de planification stratégique pour consolidation et pour vérification de la cohérence des activités, du chronogramme d intervention, et de leur conformité pour l essentiel aux orientations stratégiques prioritaires définies. La consolidation du PTAB doit intervenir au cours du mois de juillet de l année (n-1) pour le plan de travail de l année (n) et normalement dans les cinq (05) jours calendaires suivant la réception des PTAB par Département. d La présentation du plan de travail annuel budgétisé Une fois les travaux de consolidation terminés, les résultats sont présentés à la Présidence, à la Vice Présidence, ainsi qu aux Commissaires et Chefs d Institution pour recueillir leurs observations. Après l intégration des observations, la première mouture du PTAB de la CEDEAO est disponible pour validation par tous les principaux acteurs à tous les niveaux de la hiérarchie. e L organisation d un atelier d arbitrage et de validation du PTAB Un atelier de validation du PTAB de la CEDEAO est ensuite organisé. Il regroupe les Chefs d Institution, les Chefs de département, ainsi que les Directeurs et et Chefs de service. Cet atelier regroupe au moins un membre de tous les niveaux de programme et catégories socioprofessionnelles de l Institution. Il permet de s assurer que le PTAB traduit réellement les préoccupations exprimées depuis le niveau le plus bas de l échelle de l Institution. Cet atelier doit intervenir au plus tard à la fin du mois d août de l année (n-1). Une copie du PTAB validé est transmise au service de suivi-évaluation. 19
f La dissémination du PTAB Après la validation du PTAB, les recommandations et suggestions de l atelier sont intégrées par les services de planification stratégique et de suivi-évaluation en vue de la version finale. Cette version finale est multipliée et distribuée par Département et Institution. Elle sera également transmise à toutes les institutions en relation avec la Commission de la CEDEAO. Chaque Chef de Département ou d Institution élabore un plan de dissémination du PTAB de son Département ou Institution. Cela pourra se faire sous forme de mini-ateliers par Direction ou par niveau de programme. Chaque Commissaire ou Chef d Institution a toutefois l initiative de la forme la plus appropriée pour assurer une bonne dissémination du PTAB relevant de lui afin d assurer son appropriation par tous les acteurs en charge de sa mise en œuvre. Présentation des outils d élaboration du PTAB - Cadre logique définissant le niveau stratégique des activités du Département ou de l Institution et leurs liens avec les priorités - Cadre pluriannuel d intervention - Canevas de présentation du PTAB 20
Tableau 1 : Canevas de présentation du Plan de Travail triennal des activités CADRE LOGIQUE Département / Institution: N Résultats stratégique s Indicateurs Valeurs de référence Prévisions sur 3 ans (Cibles chiffrées) 1 N N+1 N+2 2 Structure responsable Tableau 2 : Canevas de présentation du Plan de Travail Annuel des activités (voir détail en annexe 3) Résultats Activités Tâches PERIODE 1 2 3 4 5 6 7 8 9 10 11 12 Respons able Coûts
g L élaboration du plan de travail trimestriel Le plan de travail annuel élaboré et validé sera décliné en plan de travail trimestriel pour faciliter l exécution et le suivi des activités en vue de l optimisation des résultats à atteindre. Cette activité pourra se faire trimestriellement, si possible au cours d un atelier de deux (2) jours au maximum (au moins une fois tous les 6 mois), consacré à la revue des activités réalisées au cours du trimestre n-1 et la planification du trimestre n. L élaboration du plan de travail du trimestre à venir doit tenir compte des forces et faiblesses observées dans l exécution du plan précédent. Les plans de travail trimestriel doivent être disponibles au moins quinze (15) jours calendaires avant le début du trimestre. Copie devra en être faite au service de suivi-évaluation. Le canevas d élaboration du plan de travail trimestriel figure en annexe 4 du présent manuel. h L élaboration du plan de travail mensuel Le plan de travail mensuel est une émanation du plan de travail trimestriel. Il vise à aider au niveau interne de chaque département les principaux responsables à connaître les principales tâches à réaliser au cours du mois. Le plan de travail mensuel (voir modèle dans le guide opérationnel) doit être rendu disponible au plus tard cinq (05) jours avant la fin du mois courant en ce qui concerne les prévisions du mois à venir. Tableau 2 : Modèle de plan de travail mensuel (voir annexe 5) MOIS DE : Activités Opérations / Taches Indicateurs physiques Cibles chiffrées Période d'exécution Début Fin Responsable d'exécution Les activités du suivi : procédures et outils de collecte, traitement et d analyse des données Un système de suivi-évaluation performant repose sur un dispositif de collecte, de traitement, d analyse, de diffusion et de dissémination d informations fiables et transparentes à toutes les parties pour la prise de décisions idoines en vue de l atteinte de l objectif poursuivi. 22
La collecte des données de suivi se fera par deux stratégies : la démarche passive (marquée par une collecte automatisée ou une remontée automatique des données depuis la base au sommet) et une démarche active (qui sera essentiellement consacrée à la descente ponctuelle des membres de l Unité de S&E pour corroborer ou vérifier certaines sources). Démarche globale de collecte des données La démarche de collecte passive : Elle est caractérisée par des niveaux de centralisation des informations depuis la base (points focaux) jusqu au département. Pour que cette démarche puisse mieux fonctionner elle devra s appuyer sur un système de gestion de l information qui centralise toutes les différentes bases de données. Elle peut également se faire par la remontée mécanique des fiches de collecte des données depuis les lieux d exécution des activités jusqu au niveau de l unité de S&E. Les informations seront transmises de la base vers le sommet c est-à-dire, des points focaux des États membres, des chargés de programme vers chaque niveau hiérarchique qui se chargera à son tour de produire les rapports. La démarche de collecte active : Quoiqu elle soit archaïque pour les grandes organisations comme la CEDEAO dans la mesure qu il est quasi impossible d envisager que le service de suivi-évaluation effectue elle-même la collecte des données à travers des visites périodiques de renseignement des fiches de suivi des activités, elle présente néanmoins l intérêt d offrir l opportunité à l équipe de ce service d opérer des visites en vue de s assurer de la fiabilité des données transmises. De ce qui précède, on peut retenir que la démarche de collecte des données de suivi sera essentiellement articulée autour d une démarche passive soutenue par un niveau d automatisation qui intègre les différents systèmes de gestion de l information existants avec possibilité d utilisation ponctuelle des procédés de collecte actifs pour vérifier sur un échantillon précis la fiabilité des données. Enregistrement, traitement et analyse des données Le processus d enregistrement, de traitement, et d analyse des données repose essentiellement sur les Directions et services. Chaque Direction ou service élabore une procédure de collecte tenant compte des informations balisées dans les outils de suivi. En vue de la production des divers rapports, le système de suivi-évaluation de la CEDEAO est structuré en 4 sous systèmes (voir annexe 6) : - Sous système de Collecte des données - Sous système de traitement des données - Sous système d analyse. - Sous système de rapport Les informations collectées à des niveaux décentralisés, seront traitées et consolidées au niveau du service de suivi-évaluation qui effectuera des analyses subséquentes au regard des résultats stratégiques, les prévisions et les progrès accomplis par rapport aux priorités de l année voire du plan stratégique. Ces analyses seront synthétisées dans les rapports de performance élaborés par le 23
service de suivi-évaluation pour faciliter la prise de décisions stratégiques au niveau des Départements et par suite au niveau de la Présidence de la Commission de la CEDEAO. a. Sous-système de collecte de données i. Enregistrement des données L enregistrement des données constitue la première étape du sous-système de collecte de données. Au fur et à mesure que les activités sont mises en œuvre, il sera procédé à la collecte des données d exécution. Ces données seront collectées dans les rapports d avancement périodiques d exécution du PTA par le niveau le plus bas de l échelle à savoir les Chargés de Programme et les points focaux des États membres. Les données à collecter à ce niveau sont relatives aux activités exécutées dont les indicateurs de mesure doivent être clairement définis dans le plan de travail annuel. Les données sur les activités conduites seront enregistrées quotidiennement par tous les acteurs au fur et à mesure de leur exécution. C est une étape importante dans le processus de collecte des données. Tout retard enregistré à ce niveau est préjudiciable à la qualité des informations qui seront fournies ultérieurement mais aussi à la fiabilité du système de suivi-évaluation. ii. Collecte des données La collecte des données est l étape d extraction des informations sous une forme susceptible de faciliter le traitement, l analyse et la prise de décision en adéquation avec les orientations stratégiques. Les données à collecter sont les indicateurs de réalisation des activités conformément aux prévisions du plan de travail annuel et en se fondant sur la chaîne de gestion axée sur les résultats. La collecte se fait à l aide des outils de collecte, des tableaux de bord et états d avancement au niveau des Chargés de Programmes. La période de collecte peut varier en fonction de la nature de l information à collecter et du cycle de vie dans la mise en œuvre des activités. La méthode de collecte peut être la collecte de routine, les enquêtes, les études diagnostiques, ou la recherche opérationnelle. Visites de terrain : Le service de suivi-évaluation effectue des visites de terrain ordinaires ou ad hoc pour s assurer que les informations transmises par les points focaux rendent compte fidèlement des évolutions sur le terrain pour apprécier le niveau d exécution, identifier les difficultés rencontrées et rendre compte à la hiérarchie en vue des mesures ou actions urgentes à entreprendre (formulaire de visite) b. Sous-système de traitement des données (Revue de la qualité des données) Le traitement des données vise à améliorer la qualité des données brutes collectées pour les mettre en adéquation avec la terminologie retenue au niveau des axes stratégiques et programmes afin de faciliter l analyse. Le traitement vise aussi à s assurer que l information collectée satisfait aux conditionnalités de base ou alors à procéder aux combinaisons susceptibles de renseigner sur un indicateur précis. Le cadre de mesure des indicateurs bien renseigné est un des résultats de cette étape. Le traitement suppose donc le contrôle de qualité. Le contrôle de qualité se fera à deux niveaux et concernera le remplissage complet des outils de collecte et le contrôle de la qualité des données collectées. 24
Le premier niveau de contrôle est effectué par le responsable hiérarchique direct du niveau qui transmet les données. Ce niveau vérifiera la cohérence des données transmises pour s assurer qu elles sont complètes et ne sont pas contradictoires. Le deuxième niveau de contrôle est constitué par les supervisions, les visites de contrôle et les réunions au sein des services et des Directions. Au cours des supervisions et des visites de contrôle, les équipes de suivi-évaluation vérifieront un échantillon des données collectées à chaque niveau pour s assurer de leur qualité. c) Analyse des données et synthèse L analyse des données vise à procéder et à apprécier le niveau de satisfaction des indicateurs et les progrès vers les résultats. Il s agit de faire la comparaison entre les valeurs prévisionnelles et les valeurs réalisées pour ressortir la performance réalisée. On procèdera donc à l analyse des données issues de l exécution des activités aux fins d apprécier l efficacité mais aussi l efficience. L analyse va être orientée beaucoup plus vers les résultats, effets et impacts des actions de l Institution en cohérence avec les orientations définies par le Conseil des Ministres et la Conférence des Chefs d Etat et de Gouvernement. Cette analyse doit permettre de ressortir l évolution des indicateurs. Cette analyse des données va être sanctionnée par la production de rapports qui vont être diffusés au niveau supérieur de la chaîne hiérarchique de chaque Institution. Les différents outils de synthèse suivants pourront être renseignés à travers les bases de données disponibles au niveau du service de suivi-évaluation. 25
CHAPITRE III : Procédures et outils de compte rendu 26
Introduction Au plan méthodologique la production des rapports est une phase ultime du processus de suivi évaluation qui vient compléter les analyses. Leur intérêt c est qu ils préparent la reddition de compte aux ayant droits. La production du rapport dans les délais permettra à la haute Direction de la CEDEAO de prendre des décisions dans les délais requis pour faciliter la révision ou la poursuite des stratégies d intégration régionale. La troisième partie du manuel s est consacrée aux procédures, outils et délais à respecter en matière de production des différents rapports suivants : i) le compte rendu mensuel (interne), ii) le rapport d avancement trimestriel, iii) le rapport semestriel de performance, iv) les rapports annuels de performance. Le but recherché ici est de créer un cadre simple d élaboration des différents rapports périodiques de performance au niveau de toute la chaîne des acteurs, en vue de rendre compte aux instances dirigeantes notamment le Conseil des Ministres et la Conférence des Chefs d Etat et de Gouvernement. Les procédures décrites ci-dessous sont relatives aux rapports suivants : le compte rendu mensuel (interne au service, à la direction ou au département), les rapports d avancement trimestriels, les rapports annuels de performance. Au plan opérationnel, le système de production des rapports ci-dessus est directement coordonné par le service de suivi-évaluation. Ces rapports servent d intrants pour d autres rapports importants de la CEDEAO. Parmi ceux-ci figurent les rapports intérimaire et annuel du Président de la Commission. La méthodologie d élaboration de chaque rapport est structurée en fonction des éléments ci-après : les étapes d élaboration du rapport, les dates butoirs de mise à disposition des informations, les responsabilités de chaque étape du processus. a. Compte rendu mensuel Le compte rendu mensuel est un rapport qui rend compte du niveau d avancement des activités mises en œuvre au cours de l année. En d autres termes, il s agit du compte rendu mensuel des activités exécutées. Le compte rendu doit être exhaustif dans la mesure du possible et doit prendre en compte la mesure de l indicateur de réalisation de l activité. Il porte sur toutes les activités planifiées par mois pour chaque centre de responsabilité. Chaque responsable devrait élaborer son compte rendu mensuel au fur et à mesure de l avancement des activités, conformément au modèle de compte rendu mensuel. 27
Tableau 3 : Modèle de compte rendu mensuel MODELE DE COMPTE RENDU MENSUEL IDENTIFICATION DU SERVICE OU DIRECTION COMPTE RENDU DU MOIS DE:. Code Activités (opérations ou tâches) Indicateurs physiques Prévision de la période Rapport d'avancement physique Réalisation de la période Taux de réalisation mensuel Taux de réalisation Cumulé Prévision de la période Rapport d'avancement financier Réalisation de la période Taux de réalisation mensuel Taux de réalisation Cumulé Observations
Le compte rendu mensuel d activités, de façon générale, comporte les éléments ci-après : le code de l activité, identique à celui contenu dans le plan de travail ; les paramètres qui regroupent les opérations et tâches concourant à la mise en œuvre des activités prévues dans le plan de travail mensuel ; les indicateurs, qui sont identiques à ceux prévus dans le plan de travail mensuel ; le rapport d avancement physique, qui permet d apprécier le niveau d exécution physique des activités. Au début de chaque mois, chaque responsable fournit un plan indicatif de travail. Il rend compte avec cet outil du niveau d avancement de ses activités tant pour le mois que de façon cumulative. L objectif est qu à terme, le dernier rapport puisse fournir le niveau d avancement global des activités afin de faciliter l évaluation de chaque responsable d activités ; la prévision de la période : elle indique les prévisions faites dans le plan de travail mensuel. Autant que faire se peut, on essayera de donner une valeur numérique en relation avec l indicateur ; la réalisation de la période : il s agit d apprécier le niveau d atteinte de la prévision mensuelle ; le taux de réalisation de la période : il s agit du rapport entre la réalisation et la prévision de la période ; le taux de réalisation cumulé : il représente le niveau d avancement global de l activité depuis la mise en œuvre du plan d action annuel. Il est calculé en faisant la somme des valeurs réalisées à la fin d une période sur la prévision annuelle reflétée dans l indicateur. Il reflète à tout moment de l année le niveau réel d atteinte des activités planifiées en vue de la prise des dispositions qui s imposent ; le rapport d avancement financier : en vue d apprécier l efficacité et l efficience des activités, il est requis de faire la corrélation avec les ressources financières mobilisées et utilisées. Il présente la même structure que le rapport d avancement physique mais fournit les informations sur les données financières ; les observations : cette partie narrative fournit les informations précises sur les tâches exécutées dans la mise en œuvre de l activité et tout autre fait majeur susceptible d être évoqué en vue d une prise de décision. Il peut s agir de difficultés rencontrées mais aussi de recommandations. L élaboration du compte rendu mensuel d activités appelle la mise à disposition à temps des informations par les différents centres de responsabilité dans un système communicationnel fluide où tous les acteurs s acquittent de leur partition dans les délais, formes et fonds requis. Le tableau cidessous renseigne sur les procédures d élaboration du compte rendu mensuel.
Tableau 4 : Procédures d élaboration du compte rendu mensuel N Étapes Date butoir Responsable 1 Élaboration du compte rendu mensuel par le chargé de programme Au plus tard le dernier jour du mois Tous les Chargés de Programmes 2 Consolidation des comptes rendu mensuels au niveau des Directions 02 jours au plus tard après la fin du mois Directeurs 3 Centralisation des rapports des Directions et services au niveau du Département ou de l Institution Dès réception du rapport Directeurs et Chefs de service 4 Élaboration et transmission du rapport mensuel consolidé du Département ou de l Institution Au plus tard 05 jours après la fin du mois Commissaire et Chef d Institution 30
b. Rapport d avancement trimestriel Le rapport d avancement trimestriel vise à faire un premier rapport analytique en vue de prendre les décisions stratégiques qui s imposent très tôt. En même temps qu il permettra de rendre compte de l exécution des programmes et activités de la Commission de la CEDEAO, il fera ressortir les difficultés et les projections sur le trimestre à venir. Il permet de déceler les goulots d étranglement susceptibles d engendrer un retard dans l exécution des activités et de prendre les dispositions idoines. En ce sens, il est un véritable outil d aide à la prise de décisions et à la définition d orientations stratégiques claires qui permettent d atteindre les objectifs visés avec les moyens disponibles. Le rapport d avancement trimestriel vise spécifiquement à faire une première analyse centrée sur les effets majeurs des actions de l Institution, en se fondant sur les premières informations qualitatives disponibles sur la mise en œuvre des activités en vue d une appréciation de la portée de ses actions. Il est élaboré suivant le format ci-dessous. Cet outil pourrait connaître des évolutions en fonction de besoins spécifiques exprimés par les instances dirigeantes de la Commission de la CEDEAO ou des autres Institutions, ou même par les partenaires. Figure 1 : Modèle indicatif de rapport d'avancement trimestriel (Annexe 7) 1. Introduction 2. Résumé succincte des actions de la période 3. Description des grandes orientations prioritaires du trimestre 4. Niveau d avancement physique des actions réalisées (description et analyse des grandes réalisations par département & analyse des écarts sur la base des indicateurs préalablement définis) : Production du d avancement trimestriel sur le même modèle que le rapport mensuel. 5. Effets induits par les actions réalisées 6. Gestion financière (taux d exécution budgétaire par rapport aux prévisions) 7. Difficultés rencontrées et recommandations 8. Conclusion 9. Annexes : tableau récapitulatif des progrès réalisés au cours des trois mois suivant le même modèle du compte rendu mensuel. Le rapport d avancement trimestriel est structuré en trois grandes parties inter-dépendantes : une partie introductive : elle reprécise le contexte de mise en œuvre des activités du trimestre ainsi que les grandes activités prévues ; le rapport sur l avancement physique : il s agit de la partie analytique du rapport sur l avancement global des activités par rapport aux prévisions. Une analyse pointue est faite sur les 31
grands résultats obtenus, les effets induits. Il est étayé de données statistiques et de graphiques en fonction des informations disponibles et traitées. Elle est aussi complétée d une analyse technique en relation avec les différentes priorités stratégiques de la Commission de la CEDEAO. le rapport sur le niveau de consommation des ressources: il s agit de la partie financière du rapport qui doit ressortir les ressources mobilisées dans le cadre des activités de la Commission de la CEDEAO par Département et leurs emplois. L élaboration du rapport d avancement trimestriel repose aussi sur un processus itératif qui permet à tous les acteurs de fournir des informations mais aussi d être informés, de croiser les informations de part et d autre pour s assurer que chacun fait un traitement judicieux de l information et qu il n y a pas trop d écarts par rapport aux prévisions. Les comptes rendus mensuels et de suivi des résultats périodiques sont des outils précieux qui doivent favoriser l élaboration dans les délais et les formes requises du rapport d avancement trimestriel à bonne date. Le tableau ci-dessous présente les procédures d élaboration du rapport d avancement trimestriel. Tableau 5 : Procédures d élaboration du rapport d avancement trimestriel N Étapes Date butoir Responsable 1 Élaboration du rapport d avancement trimestriel par Direction et transmission au Commissaire et Chef de Département 10 jours calendaires après la fin du trimestre Tous les Directeurs et Chefs de service 2 Consolidation des rapports au niveau du Département 02 jours calendaires après réception du rapport des différentes Directions Commissaire et Chef d Institution 3 Transmission des rapports des Commissaires à la Présidence Dès envoi du rapport Commissaire et Chef d Institution 5 Élaboration du rapport trimestriel des Institutions Cinq (05) jours calendaires au plus tard après la réception des rapports des Commissaires Service de Suivi-Evaluation 6 Transmission du rapport trimestriel à la Présidence ou au Chef d Institution Dès réception du rapport trimestriel élaboré par le service de Suivi- Evaluation Vice Présidence (via le service desuiviévaluation) 7 Tenue d une réunion d équipe élargie aux Commissaires et aux Au plus tard 05 jours après réception du rapport de l Institution Présidence (ou Vice Président)/Chef 32
Directeurs d Institution Une réunion des Chefs d Institution, sous la présidence effective du Président de la Commission, devra être organisée à la fin du premier semestre de l année pour évaluer l état d exécution des activités du semestre et les perspectives pour le second semestre. c. Rapport de performance annuel des départements Le rapport de performance établit le point des performances enregistrées au niveau des différents programmes d intégration régionale. A la différence des rapports d activités qui ne sont que la synthèse des points d exécution physique, le rapport de performance effectue une analyse des progrès enregistrés par rapport aux résultats stratégiques. De même, il dégage dans quelle mesures les moyens mobilisés sur les différents programmes de la CEDEAO présentent des répercussions sur les groupes cibles stratégiques. Ce rapport présente un double objectif : - Contribuer à une reddition des comptes interne afin de situer les professionnels des différents départements des performances enregistrées au niveau des indicateurs de prestations et de produits. - Contribuer à une reddition de compte sur les indicateurs externes (les indicateurs de résultats en termes d effet et d impact des programmes sur les citoyens de la communauté et les groupes cibles spécifiques à chaque programme tels que prévus au plan stratégique et dans les documents opérationnels). Le volet du rapport de performance relatif à la reddition de compte interne est destiné prioritairement aux professionnels de l institution via la présidence tandis que le contenu du rapport de performance qui renseigne sur la performance des résultats stratégiques peut être diffusé aux partenaires et Etats membres de la CEDEAO ainsi qu aux citoyens. Tableau 6 : Procédures d élaboration du rapport annuel de performance N Étapes Date butoir Responsable 1 Élaboration et transmission des informations sur la performance des différentes directions et services Au plus tard fin janvier de l année n+1 Commissaires et Chefs d Institution 2 Consolidation et transmission des rapports de performance de chaque département et Institution à la Présidence Au plus tard le 15 février de l annéen+1 Commissaires et Chefs d Institution 3 Réception et affectation des rapports au service de Suivi-Evaluation pour consolidation Dès réception du rapport Présidence 4 Rédaction et traduction du rapport général Au plus fin février de service de Suivi- 33
annuel de performance l année n+1 Evaluation 5 Approbation du rapport annuel de performance par la Présidence 02 jours après réception du rapport Présidence d. Principales échéances de diffusion des rapports et comptes-rendus Les principales échéances auxquelles les différents rapports doivent être diffusés sont résumées dans le tableau y relatif. 34
Tableau 7: Dates Butoir de diffusion des rapports et plans de travail Rapports De (Auteur) A (Cible) Jan Fev Mar Avr Mai Juin Juil Août Sept Oct Nov Dec Comptes Rendus Mensuels Rapports d'avancement Trimestriels Rapports Annuels de performance Programme de Travail Annuel et Budget Chargés de Programme Chargés de Programme Principaux Directeurs Commissaires; Chefs d'institution Directeurs Commissaires; Chefs d'institution Unité S&E Bureau du Président Commissaires; Chefs d'institution Unité S&E Directors Commissaires; Chefs d'institution Unité S&E Bureau du Président Chargés de Programme Principaux Directeurs Commissaires; Chefs d'institution Bureau du Président Commissaires; Chefs d'institution Unité S&E Bureau du Président Tous les Professionnels Etats Membres Conseil des Ministres Commissaires; Chefs d'institution Unité S&E Bureau du Président Conseil des Ministres 5 5 5 5 5 5 5 5 5 5 5 5 15 15 15 31 30
Plans de Travail Trimestriels Directeurs Commissaires; Chefs d'institution Unité S&E Commissaires; Chefs d'institution Unité S&E Bureau du Président 25 25 25 25
CHAPITRE IV : Procédures et outils d évaluation 37
Procédures d évaluation Cette partie est essentiellement consacrée aux procédures devant régir l évaluation des programmes de la CEDEAO. L annexe 8 du manuel complète les dispositions du chapitre quant au respect des questions évaluatives qui opérationnalisent les critères retenus pour apprécier la performance des programmes de chaque département et institution de la CEDEAO. Les critères retenus sont : i) la pertinence, ii) l efficacité, iii) la cohérence, iv) l efficience, v) la durabilité/viabilité, vi) l impact, vii) la gestion axée sur les résultats, viii) l appropriation. Dans le cas de l évaluation des projets et programmes spécifiques, il sera également tenu compte d autres critères spécifiques tels que :, ix) l équité genre, x) la protection de l environnement, xi) le droit des enfants. L évaluation constitue un outil d aide à la décision important. Certes elle relève de la mission de suiviévaluation mais devra impliquer toutes les parties prenantes au programme à évaluer. Son objectif premier est d assister les acteurs de mise en œuvre des programmes pour une lisibilité et un jugement professionnel indépendant sur la conduite de leurs activités. Pour garantir l objectivité dans cette opération des critères bien opérationnalisés sont utilisés. Les procédures contenues dans le présent chapitre sont relatives au contenu opérationnel des critères, l organisation des missions d évaluation ainsi que les précautions de dissémination des résultats. Définition des concepts Si le suivi se veut une activité continue qui permet d apprécier globalement si les actions de la Commission de la CEDEAO (et des Institutions), conformément aux prévisions affichées par axes et objectifs stratégiques par Département, se déroulent effectivement selon la planification ; l évaluation, quant à elle, intervient de façon intermittente, soit en réponse à un problème, soit de façon institutionnelle à l issue des phases ou étapes du programme concerné ou à période prédéterminée pour faire le point. Elle peut être réalisée par des exécutants internes ou externes avec pour objectif principal de tirer leçons de l expérience acquise. Dans la plupart des cas, les évaluations à mi-parcours et finale seront conduites par des bureaux d études indépendants. Il s agit concrètement de pouvoir, tout en améliorant les performances c est à dire la qualité et l efficacité des actions, d améliorer aussi les résultats c est à dire l impact ou les effets liés aux actions des acteurs de l intégration régionale. L évaluation permet d apprécier la pertinence, la cohérence, l efficacité, l efficience et l impact de la mise en œuvre du Projet / Programme ou du plan. Elle permet de déterminer dans quelle mesure et avec quel degré de succès ou d échec, les résultats et les objectifs escomptés ont été atteints (efficacité). Elle vise également à vérifier si les résultats et objectifs atteints sont fonction d une utilisation optimale des ressources (efficience). L évaluation permet de tirer les enseignements sur l adéquation de la stratégie utilisée et la faisabilité des résultats et effets attendus. En plus, elle vise à établir des liens de cause à effet entre les activités réalisées, les ressources utilisées et les résultats obtenus. 38
Les Procédures d évaluation des programmes de la CEDEAO Les différents types d évaluation qui peuvent être initiés dans le cadre de la mise en œuvre des Programmes et Projets de la CEDEAO sont indiqués ci-dessous. Ils peuvent être conduits dans le cadre d un Programme, d un Département, d une Institution ou d un État membre, tout ou partie des évaluations ci-dessous conformément aux dispositions des protocoles, décisions, règlements et autres textes réglementaires qui régissent le cadre de l intégration régionale de la CEDEAO. Ces différents types dévaluation se présentent comme suit : l évaluation ex-ante ou a priori : elle s effectue avant l exécution d un programme ou d une action spécifique et précise la situation de référence ; l évaluation à mi-parcours : elle a lieu à la moitié de la période d exécution d un programme ; Elle porte sur les indicateurs de structure (effets, impacts) et permet de constater les écarts entre les réalisations et les prévisions et de prendre des mesures correctives. l évaluation finale ou terminale : elle consiste à analyser à la fin d un programme ou projet dans quelle mesure les résultats escomptés ont été atteints l évaluation ex-post (rétrospective) ou à posteriori : elle a lieu quelques années après l achèvement d un programme ou projet lorsque son avantage et son impact sont censés être intégralement réalisés ; Les critères d évaluation à utiliser pour les programmes mis en œuvre dans le cadre de l intégration régionale de la CEDEAO sont classés en deux catégories : les critères classiques et les critères spécifiques. Les critères classiques sont : Pertinence, Cohérence, Efficacité, Efficience, Durabilité, viabilité, Gestion axée sur les Résultats. Les critères spécifiques qui seront choisis en fonction de l étendue et des missions du programme à évaluer ou du niveau de détail recherché par le type d évaluation sont : Appropriation, protection de l environnement, équité genre, droit des enfants etc. Le tableau suivant explique les informations d évaluation ciblées par chaque critère. Critères Pertinence Questions évaluatives devant conduire à l appréciation La pertinence se réfère à la mesure dans laquelle le programme ou l intervention menée par une direction ou une unité spécialisée de la CEDEAO répond aux attentes et priorités des acteurs principaux bénéficiaires concernés par le projet, plus particulièrement les décideurs politiques nationaux des Etats membres et les promoteurs du programme à la base ou les collectivités locales. La pertinence est le bien-fondé du programme ou de l intervention. Elle renvoie à des questions telles que : Le programme répond-il à des problèmes réels? Ou prévient-il des problèmes prévisibles? Les bénéficiaires sont-ils bien choisis, parmi les personnes ou communautés qui en ont le plus besoin, et en tireront donc le plus grand bénéfice? Le programme répond-il à leurs besoins prioritaires? Dans quelle mesure les champs d intervention du programme répondent-ils aux besoins des bénéficiaires et comment 39
s adaptent-t-il à leurs évolutions au fil du temps? Les moyens déployés ainsi les approches développées sont-ils en adéquation avec les objectifs et ambitions du programme. Efficacité L efficacité est le degré d atteinte de l objectif spécifique, ou du résultat stratégique propre au projet. Elle dépend étroitement du niveau d atteinte des objectifs intermédiaires, nécessaires à l atteinte de celui-là, appelés résultats attendus. Avant même l exécution du projet, la probabilité d obtenir une bonne efficacité sera estimée au travers du réalisme des ambitions assignées au projet et de la cohérence objectifs-moyens. En cours d exécution, elle sera évaluée d après les progrès vers les objectifs. En fin de projet, elle correspondra au degré d atteinte de ceux-ci, en particulier de l objectif stratégique. Cohérence Efficience La cohérence se réfère à la logique interne du programme ou la mesure dans laquelle l'intervention même n'est pas en contradiction avec d'autres interventions de développement aux objectifs similaires. Dans quelle mesure les activités mises en œuvre par le programme répondent-elles, en qualité et en quantité, aux objectifs poursuivis et priorités fixées par le programme? La conception du projet est-elle encore en accord avec les orientations stratégiques de la CEDEAO (vision 2020, le traité de la CEDEAO, le plan stratégique et autres programmes de développement communautaire etc.) ; les politiques et stratégies nationales des pays où s exécutent le programme ainsi que les plans de développement et stratégies sectorielles nationales (Programme de réduction de la pauvreté, politiques d égalité entre femmes et hommes, environnement, économie social, droits d enfants et les OMD)? Existe-t-il un dispositif de coordination entre le programme et les autres programmes de la CEDEAO qui participent ou contribuent à la même politique communautaire ou aux mêmes objectifs? L efficience est le rapport entre le degré d atteinte de l objectif et les coûts. La question de l efficience conduit à s interroger sur l usage économe des moyens, sans gaspillage ni déviation à d autres fins Les programmes de la CEDEAO coûtent en ressources physiques, financières et humaines qui, disponible en quantité limitée, doivent être gérées de telle sorte qu elles produisent le plus de bénéfice de développement. Les coûts à considérer sont donc notamment les dépenses financières. Toutefois, dans un souci de développement durable, les ressources physiques et humaines sont également à prendre en compte, au besoin en nature : indépendamment des coûts financiers, il s agit de s interroger sur ce à quoi on renonce en affectant la ressource à la Direction ou service en charge de mettre en œuvre ce programme plutôt qu à une autre utilisation. Durabilité/ Viabilité Ici nous considérerons que la viabilité se réfère à la pérennité d une activité ou du fonctionnement d une structure quelconque de développement, telle qu un comité ou une commission commise pour relayer les actions de la CEDEAO, tandis que la durabilité se réfère à la permanence d une situation favorable. La durabilité mesure la pérennité des améliorations apportées par le projet, et en aucun cas la longévité de l intervention elle-même c'est-à-dire du projet. Elle se 40
réfère classiquement à la permanence de la situation améliorée que constitue l objectif stratégique du projet. Les facteurs de durabilité sont multiples : ils se réfèrent notamment à la probabilité que l innovation introduite par le programme soit assimilée, plutôt que rejetée, par le milieu récepteur, ainsi qu à la motivation et aux capacités (techniques, économiques et autres ) de voir se perpétuer les activités nécessaires à l entretien et au développement des acquis. Elle est notamment liée à l insertion des actions de la CEDEAO dans son environnement (états membres, collectivités locales, communautés bénéficiaires etc.) et à la pérennité des ressources naturelles ou des conditions écologiques dont il dépend. Impact L impact se réfère aux implications à long terme de l intervention de développement sur son environnement plus large et ses contributions par rapport aux objectifs planifiés initialement. L impact vise les groupes-ciblés et les groupes non-ciblés, ainsi que les zones hors de la zone d intervention du projet. L impact est plus qu une simple référence aux effets, positifs ou négatifs, directs ou indirects, intentionnels ou non-intentionnels généré par le programme. GAR Axer la gestion sur les résultats signifie gérer et mettre en œuvre le programme ou l intervention en se concentrant sur les résultats souhaités et en utilisant les données disponibles en vue d améliorer le processus de décision. Dans quelle mesure les indicateurs du projet s arriment t-ils avec les résultats stratégiques du programme?les outils de suivi évaluation utilisés ou le cadre de mesure de rendement utilisé garantit-il la mesure de la performance? Le processus de reddition de compte (acteurs et organisation) fonctionne t-il correctement? Appropriation - L appropriation est le degré auquel le pays partenaire ou les collectivités locales sont en mesure de répliquer les actions du programme et font preuve d une réelle maîtrise de leur implication dans la production des résultats. L évaluation devrait être capable d indiquer les lacunes au niveau de l appropriation de l institution partenaire et proposer ensuite des mesures pour renforcer les capacités de l institution partenaire. 41
Egalité de Genre Protection de l environnement Les droits des enfants Etant donné que le genre est un concept transversal, l évaluation des interventions de la CEDEAO doit pouvoir certifier la mesure dans laquelle toutes les données sont différenciées par rapport au genre et aux catégories marginalisées ou socioprofessionnelles (collecte de données sur les hommes et les femmes, réunions et interviews avec des hommes et des femmes, statistiques différenciées pour les hommes et les femmes, ). L évaluation devrait être capable de donner un aperçu du niveau d emporwerment des femmes et d autres marginalisés. C est à dire vérifier jusqu à quel point le programme change ce que les femmes possèdent, ce qu elles peuvent, ce qu elles «veulent» et ce que les femmes «savent», comparé à la situation préexistante à l intervention. L environnement en tant que thème transversal fait référence au lien qui existe entre les activités du programme, ses résultats et le respect de l utilisation rationnelle et durable des ressources naturelles et de la protection des ressources naturelles. La dimension environnementale tient compte d un respect durable de l écosystème et de l habitat naturel, de la conservation et l utilisation rationnelle des ressources, des risques potentiels pour l environnement, de l adaptation des technologies. L évaluation devrait être capable de pointer les questions critiques affectant négativement l environnement. Si possible, l équipe d évaluation devrait être capable de proposer des mesures pour améliorer le respect de l environnement dans les activités mises en œuvre par le projet. Le programme doit entraîner un bénéfice net pour la collectivité au sens où, si un nombre limité de personnes en profitent, il ne faut pas que ce soit au prix de dommages excessifs sur l environnement pour des tiers, actuels ou futurs. L évaluation de ce critère fait référence aux efforts que les interventions de la CEDEAO/ programme fournissent dans le but d améliorer les conditions de vie des enfants (voir si applicable). Au regard de ce critère, l évaluation doit être capable de vérifier le respect de ces droits et devrait pouvoir recommander sur la base des observations des mesures pour améliorer le niveau des actions menées en matière de Droits de Enfants. Il faut noter que l utilisation de ces critères en évaluation sera fonction des spécificités du programme ou de l intervention. Les TDrs relatifs chaque évaluation des interventions de la CEDEAO pourrait s inspirer de la liste non exhaustive de critères ci-dessus. L annexe 8 du présent manuel donne un contenu plus complet des questions évaluatives spécifique à chaque critère. Lorsqu il s agit d un programme cofinancé ou financé par des partenaires techniques et financiers, la présente liste de critère peut s élargir à d autres critères proposés par le partenaire. Organisation des missions d évaluation Les missions d évaluation des programmes de la CEDEAO doivent faire l objet d une programmation annuelle adressée à la Présidence et autorisée dans le PTA du service de S&E. En marge de cette programmation initiale, les autres missions d évaluation effectuées par le service de suivi évaluation doivent faire l objet de requête d un Département adressée à la Présidence ou sur demande de la Présidence elle-même ou d un partenaire financier adressé à la Présidence. 42
Les procédures relatives aux questions évaluatives et à l élaboration des TDRs d évaluation sont consignées dans l annexe 8. Les résultats des missions d évaluation des programmes doivent faire l objet de restitution aux parties prenantes et respecter les principes de contradiction et de validation avant d être transmis à la Présidence. Une fois les rapports d évaluation des programmes transmis au Président, l utilité de la publication des résultats et du niveau de dissémination (interne ou externe) sont exclusivement à sa discrétion. 43
ANNEXES Annexe 1 : Définitions et Concepts de base Définitions Référence (Etalon) : Norme permettant d apprécier la performance ou les résultats obtenus. Remarque : la référence se rapporte à des résultats obtenus dans le passé récent par d autres organismes comparables, ou à ce qu on pensait pouvoir attendre raisonnablement dans un contexte donné. Effet : Changement escompté ou non, attribuable directement ou indirectement à une action. Résultat de fin de projet/programme. Termes connexes : résultat, réalisation. Efficacité (succès, réussite) : Mesure selon laquelle les objectifs de l action de développement ont été atteints, ou sont en train de l être, compte tenu de leur importance relative. Remarque : terme également utilisé comme système de mesure globale (ou comme jugement) du mérite et de la valeur d une activité ; mesure selon laquelle une intervention a atteint, ou est en train d atteindre, ses principaux objectifs pertinents, de façon efficiente et durable, et avec un impact positif en terme de développement institutionnel. Terme connexe : effectivité. Efficience : Mesure selon laquelle les ressources (fonds, expertise, temps, etc.) sont converties en résultats de façon économe. Extrants (produit) : Biens, équipements ou services qui résultent de l action de développement. Le terme peut s appliquer à des changements induits par l action qui peuvent conduire à des effets directs. Résultat direct en cours du projet/programme Impacts : Effets à long terme, positifs et négatifs, primaires et secondaires, induits par une action de développement, directement ou non, intentionnellement ou non. Indicateur : Facteur ou variable, de nature quantitatif ou qualitatif, qui consiste un moyen simple et fiable de mesurer et d informer des changements liés à l intervention ou d aider à apprécier la performance d un acteur du développement. Intrants : Ressources financières, humaines et matérielles nécessaires au projet/programme. Evaluation interne : Evaluation conduite par un service et/ ou des personnes qui dépendent des responsables de l action de développement chez ses partenaires ou au sein des organisations chargées de la mise en œuvre. Terme connexe : auto- évaluation Réalisation (Effet direct) : Ce que l action doit accomplir ou a accompli à court ou à moyen terme. 44
Terme connexe : résultats, extrants, produits, impacts, effets. Performance : Mesure selon laquelle l action de développement, ou un partenaire, opère selon des critères, des normes, des orientations spécifiques, ou obtient des résultats conformes aux objectifs affichés ou planifiés. Indicateur de performance : Indicateur permettant de vérifier les changements intervenus en cours d action ou les résultats obtenus par rapport à ce qui était planifié. Termes connexes : suivi des performances, mesure des performances. Suivi des performances : Processus continu de collecte et d analyse de l information, visant à apprécier la mise en œuvre d un projet, d un programme ou d une politique au regard des résultats escomptés. Résultats : Extrants (produits), réalisations ou impacts (escomptés ou non, positifs et/ ou négatifs) d une action de développement. Termes connexes : réalisation, effets directs, impacts. Chaîne des résultats : Suite de relations de cause à effet qui mènent d une action de développement à l atteinte des objectifs. La chaîne des résultats commence par la mise à disposition des ressources, se poursuit par les activités et les extrants. Elle conduit aux réalisations et aux impacts, et aboutit à une rétroaction. Dans quelques agences d aide le public concerné fait partie de la chaîne de résultats. Termes connexes : hypothèses, cadre de résultats. Gestion axée sur les résultats : Stratégie de management orientée vers la performance, la réalisation d extrants et l accomplissement d effets directs. Terme connexe : cadre logique. Concepts de base Suivi-évaluation axé sur les résultats La mise en place d un système de suivi-évaluation axé sur les résultats à l intérieur des organisations internationales s impose de plus en plus comme un besoin crucial dans le processus de répercussion du développement économique et social sur les groupes cible. Cela s explique d une part par la prise de conscience de l insuffisance des résultats obtenus depuis de nombreuses années d efforts et parfois même de leurs effets pervers et d autre part par une impression qu il y a un maillon manquant par rapport aux différentes étapes du cycle d'administration et de gestion des politiques et programmes des organisations internationales. Ainsi, la pratique des évaluations montre qu il est difficile de tirer les enseignements des résultats accomplis sur les différents programmes stratégiques d une organisation, sans une série d observations, de contrôle voire de surveillance régulière depuis leur démarrage. C est ainsi que la plupart des partenaires au développement et des organisations internationales à l instar de la Banque Mondiale, l Union Européenne, les Nations Unies, l OCDE, la GTZ, l ACDI etc. ont 45
mis au point des guides ou des manuels proposant des outils et des procédures pour réaliser le suiviévaluation axé sur les résultats assignés à leurs programmes et projets. Cependant, l impression dominante actuellement est celle d une certaine confusion dans les concepts et définitions, mais aussi et surtout d une grande insatisfaction de la part des chargés du suivi-évaluation qui constatent que leurs résultats sont peu exploités par les décideurs ainsi que des responsables de programmes qui considèrent que les informations fournies sont peu exploitables ou leur arrivent tardivement pour aider aux prises de décisions. Ainsi, les systèmes de suivi-évaluation des programmes sont souvent jugés peu performants, lourds et coûteux, et ne jouent pas véritablement leur fonction d outils de prises de décisions. De tout ce qui précède, il ressort que la bonne fonctionnalité d un système de S&E nécessite la mise en place d un processus d apprentissage pour tous les acteurs. Comme pour tout apprentissage, le système de suivi-évaluation doit se baser sur les structures et connaissances déjà existantes. Pour y parvenir, il est indispensable de disposer d une planification précise avec des indicateurs bien formulés. Par ailleurs, pour être fonctionnel, le système de S&E axé sur les résultats doit être bien conçu, souple, transparent, simple et offrir des facilités permettant de le faire évoluer. Annexe 2 : Circulation de l information Les données se déplacent et se transforment au sein de la CEDEAO. Elles passent progressivement de différents lieux sur le terrain, de différentes unités de gestion ou de différents partenaires aux instances centrales. A chaque étape, elles sont regroupées et analysées. Ce cheminement comporte une transformation des données en informations puis en connaissances sur lesquelles se basent les décisions que prennent les instances centrales. Les informations au sein de la CEDEAO dans un premier temps circulent entre la Présidence et les départements. Le diagramme de circulation de ces informations est donné dans le diagramme qui suit : 46
PRESIDENCE PRESIDENCE Rapports semestriels et annuels Observations PTAB Rapports semestriels et annuels VICE PRESIDENCE VICE PRESIDENCE Observations Proposition de PTAB Observations USE Echanges sur le PTAB / PTT Unité de Planification Rapports trimestriels / Données financières Observations PTT/ Données financières et macro économiques Observations Notes d information DEPARTEMENTS / INSTITUTIONS SPECIALISEES DEPARTEMENTS / INSTITUTIONS SPECIALISEES Rapports mensuels Observations PTM PTAB / Rapports DIRECTIONS DIRECTIONS Comptes rendus hebdomadaires Observations Programmes Hebdomadaires de travail SERVICES / DIVISIONS SERVICES / DIVISIONS Programmes quotidiens de travail Comptes rendus journaliers Observations POINTS FOCAUX POINTS FOCAUX Les informations produites par les Départements / Institutions spécialisées proviennent de la consolidation et de l analyse des données et/ou informations provenant des Directions sectorielles qui elles ont comme source les Services / Divisions qui à leur tour sont renseigné(e)s par les Points focaux. 47
Annexe 3 : Programme de Travail Annuel Budgétisé L outil de planification et d exécution le plus important d un projet est le Programme de Travail Annuel Budgétisé (PTAB). Il sert de guide pour la mise en œuvre au quotidien d un projet / programme. Le PTAB sert de base à une programmation opérationnelle plus détaillée : programmes de travail par Département, par Direction, par Service / Division, par mois/trimestre/semestre, etc. Contenu des PTAB Les PTAB rappellent les objectifs et l organisation de la Commission et : rappellent les priorités stratégiques de la Commission en mettant un accent sur celles de l année ; décrivent les activités pour l année ainsi que leurs liens avec les résultats stratégiques contenus dans le plan stratégique d une part, et les objectifs stratégiques de l année d autre part; effectuent une analyse des réalisations et des problèmes rencontrés au cours de l année précédente ; déterminent les moyens (humains, matériels et financiers) correspondants à mettre en œuvre ; éventuellement proposent un plan de passation des marchés accompagné d un calendrier. 48
Canevas de présentation du Programme de Travail Annuel Budgétisé des activités par Département de la Commission de la CEDEAO Année : Département : Périodes Résultats Activités Tâches 1 2 3 4 5 6 7 8 9 10 11 12 Responsable Coûts
Instruction pour l élaboration du PTAB Les colonnes du tableau sont remplies suivant les indications ci-après : 0. Préalables A partir des cadres logiques des plans stratégiques et opérationnels et de la circulaire d information sur le budget (Budget circular) les Départements : a. recensent et classent par axe (résultat) stratégique les activités à mettre en œuvre au cours de l année, b. classent au sein de chaque axe stratégique les activités recensées en tenant compte de leur ordre de réalisation (ordonnancement des activités), c. précisent les responsables des différentes activités (Direction), d. remplissent pour chacun des départements les colonnes,et du canevas de présentation du PTAB. 1. Colonne Résultats A partir des cadres logiques des départements, des plans stratégiques et opérationnels, des axes stratégiques de l année des départements et du rapport d activités de l année précédente du département, et de la circulaire d information sur le budget (Budget circular) les animateurs des départements s assurent que: a. tous les résultats stratégiques prévus pour l année, ont été reportés dans la colonne, b. les résultats (respectivement activités et tâches) ont été bien ordonnancés c est à dire classés par ordre de réalisation et effectuent le cas échéant des corrections. 2. Colonne Activités A partir des documents cités plus haut, les animateurs des départements s assurent que : a. toutes les activités prévues pour l année ont été reportées dans la colonne du canevas de présentation du PTAB, le cas échéant effectuent les corrections qui s imposent, b. les activités sont rattachées au bon résultat, c. les activités ont été bien ordonnancées et effectuent le cas échéant des corrections. Il s agit de s assurer que les activités ont été classées en tenant compte de leur ordre de réalisation. Ainsi, l activité A x sera placée avant l activité A y si sa réalisation est nécessaire à celle de A y. 3. Colonne Tâches A partir des documents précités les animateurs des départements s assurent que: a. toutes les tâches prévues pour l année ont été reportées dans la colonne, le cas échéant effectuent les corrections qui s imposent, b. les tâches sont bien rattachées aux activités, c. les tâches ont été bien ordonnancées et effectuent le cas échéant des corrections. 4. Colonnes Période La colonne comporte douze (12) sous colonnes qui représentent les mois de l année. Pour le remplissage de cette colonne, il s agit, à l aide de diagramme de Grant, de donner les périodes prévues pour la réalisation des tâches (respectivement des activités). Pour plus de précision sur 50
les périodes, il est joint au PTAB un document intitulé chronogramme prévisionnel de réalisation des activités. 5. Colonne Responsable Pour la colonne il s agit aux départements d indiquer les responsables des différentes activités de la colonne. 6. Colonne Coûts Pour faciliter la détermination des coûts des activités, il faut pour chacune des activités donner : les ressources humaines nécessaires en termes d hommes/mois, les ressources matérielles nécessaires à la réalisation de l activité, l incidence financière. A partir de la circulaire d information sur le budget (Budget circular) et de ses annexes : (i) Implémentation du budget (Budget implémentation), (ii) budget de l administration et des ressources humaines affectées aux activités (Human ressources / Administration budget), (iii) budget programme (Budget Program), etc., les animateurs des départements, déterminent les coûts des différentes activités du PTAB afin de remplir la colonne. Après avoir rempli le tableau, les départements doivent effectuer les contrôles suivants : i.) s assurer que le total des ressources financières mobilisables par département est supérieur ou égal au total des montant prévus pour le département pour l exécution des activités de l année, ii.) s assurer que les délais de réalisation sont réalistes, iii.) s assurer de la bonne répartition des ressources humaines, matérielles et financières. NB : - Les PTAB ainsi réalisés par les départements sont transmis à l USE pour consolidation et élaboration du PTAB de la commission. - Lors de la consolidation, pour la colonne «Responsable», l USE s arrête au niveau «Département» et ne descend pas au niveau «Direction sectorielle» comme c est le cas pour les documents qui lui ont été transmis pour consolidation. - L USE prépare à partir des chronogrammes d exécution des activités des départements, le chronogramme de réalisation des activités de la Commission. - Avant présentation du PTAB final, l USE, avec l appui de la Direction Administration et Finance, effectue les mêmes contrôles que ceux effectués par les départements. L élaboration des Programmes de Travail Trimestriels ou Mensuels respectent à quelques nuances près les mêmes principes d élaboration que le PTAB. Néanmoins, il convient de noter que ces derniers ne prennent pas en compte le côté budget (coût). Pour permettre un suivi par zone géographique (pays membre de la CEDEAO) il faudrait que les départements joignent en annexe de leur PTT une programmation qui tienne compte des zones d intervention de la Commission. 51
Annexe 4: Canevas de présentation du Programme Trimestriel de Travail (PTT) Année : Trimestre : Département : Résultat : Activités / Opérations / Tâches Indicateurs physiques Cibles chiffrées Période d exécution Début Fin Responsable d exécution Instructions pour l élaboration du PTT 1. Les informations de la colonne sont obtenues à partir des cadres logiques des plans stratégiques et opérationnels, et du PTAB de l année du département. Il peut contenir des réajustements rendus nécessaires du fait des réalisations du trimestre précédent. 2. La colonne est remplie pour chacune des activités / Opérations / tâches à partir des informations contenues dans les cadres logiques des plans stratégiques et opérationnels, le PTAB de l année et le PTT courant. 3. Au niveau de la colonne : il s agit, pour les indicateurs de suivi des activités / opérations / tâches, de donner les valeurs cibles pour le trimestre ou de préciser les actions à mener au cours de la période. Les informations sont obtenues à partir du PTAB et tiennent compte des réalisations du trimestre précédent. 4. La colonne est constituée de deux sous colonnes : Début : elle contient la date prévue pour le début de l activité / opération / tâche si cette dernière est antérieure ou appartient au trimestre pour lequel le PTT est élaboré. Fin : elle contient la date prévue pour la fin de l activité / opération / tâche si cette dernière appartient au trimestre pour lequel le PTT est élaboré. Les informations sur les dates peuvent être obtenues à partir du chronogramme prévisionnel de réalisation des activités élaboré par les départements. Néanmoins, il convient de souligner que les dates à inscrire à la colonne tiennent compte du rapport d activités du trimestre précédent (activités / opérations / tâches en retard ou hors délai). 5. Au niveau de la colonne : il est inscrit le nom des Directions sectorielles du département responsables des activités. 52
Annexe 5: Canevas de présentation du Programme Mensuel de Travail (PMT) Année : Mois : Département : Direction sectorielle : Activités Opérations / Tâches Indicateurs physiques Cibles chiffrées Période d exécution Début Fin Responsable d exécution Instructions pour l élaboration du PMT 1. La colonne est remplie à partir du PTT en tenant compte des périodes prévues pour l exécution des activités. 2. La colonne est remplie à partir du PTT courant. 3. La colonne est remplie à partir du PTT courant. 4. Les informations de la colonne découlent du PTT courant. Il s agit, pour les indicateurs de suivi des activités / opérations / tâches, de donner les valeurs cibles pour le mois ou de préciser les actions à mener au cours de la période. Les valeurs cibles tiennent compte des réalisations du mois précédent. 5. La colonne est constituée de deux sous colonnes : Début : elle contient la date prévue pour le début de l activité / opération / tâche si cette dernière est antérieure ou appartient au mois pour lequel le PMT est élaboré. Fin : elle contient la date prévue pour la fin de l activité / opération / tâche si cette dernière appartient au mois pour lequel le PMT est élaboré. Les informations sur les dates peuvent être obtenues à partir du chronogramme prévisionnel de réalisation des activités. Néanmoins, il convient de souligner que les dates à inscrire à la colonne tiennent compte du rapport d activités du mois précédent (activités / opérations / tâches en retard ou hors délai). 53
6. Au niveau de la colonne : il est inscrit le nom des Services / Divisions ou des travailleurs de la Direction sectorielle chargés des activités / opérations / tâches ou les points focaux. Annexe 6 : Dispositif de Suivi Evaluation Description Le dispositif de S&E n a d intérêt que dans la mesure où l information qu il produit favorise la réflexion critique, qui permettra à la CEDEAO d atteindre ses objectifs à travers l amélioration continuelle des actions lors de l exécution des stratégies. Le dispositif tient compte du cadre institutionnel du suivi évaluation contenu dans le manuel de S&E et comporte quatre sous-dispositifs à savoir : Sous-dispositif de collecte Il est constitué d outils de collecte et d enregistrement de toutes les informations nécessaires au Suivi Evaluation (SE). Il permet d obtenir et de conserver tous les inputs nécessaires à la bonne marche du système de S&E de la CEDEAO. Il est schématisé comme ci-après : Point quotidien des points focaux Point hebdomadaire des Services / Divisions Point mensuel des Directions Point quotidien des points focaux Prévision figurant au PTBA Etat d avancement des activités (Réalisations) Données collectées Point quotidien des points focaux Point quotidien des points focaux Point hebdomadaire des Services / Divisions Point mensuel des Directions Enregistrement des données collectées / Corroboration Le système de collecte des données est un système pyramidal qui permet de remonter les données depuis les acteurs chargés de la mise en œuvre des activités jusqu à l Unité de Suivi Evaluation (USE). Les structures situées à une échelle supérieure de la pyramide doivent, avant tout autre action, procéder au contrôle des données qui leurs sont transmises. Les données collectées par les Directions sont transmises à l USE. Les données collectées par les Directions proviennent des Services / Divisions qui eux reçoivent les données des points focaux et des acteurs et/ou autres structures chargées de la mise en œuvre des activités. 54
Les données collectées par les points focaux et/ou les autres acteurs responsables des activités renseignent sur l état d avancement des tâches/activités et sont consignées dans des fiches dénommées «Points quotidiens», dont le format est donné ci-dessous. POINT QUOTIDIEN N XXX Département : Direction : Service / Division : Responsable : Zone (pays) : Date : Prévisions Résultats Activités Tâches Début Fin Réalisations Etat d'avancement Début Fin Observations Les fiches ne sont remplies que lorsqu une activité/tâche dont le point focal à la charge débute, finit ou connaît un état d avancement significatif. La colonne observation permet de fournir les facteurs explicatifs sur les performances ou contreperformances. Les points hebdomadaires effectués par les Services / Divisions ne sont qu une agrégation des informations contenues dans les points quotidiens produits par les points focaux et/ou les autres acteurs responsables de la mise en œuvre des activités. Le format des fiches destinées aux points hebdomadaires a la même structure que les fiches destinées aux points quotidiens. Les points mensuels effectués par les Directions ne sont rien d autres que les Comptes rendus mensuels qui sont traités dans la partie «Rapports d activités» du présent guide. Sous-dispositif de traitement Il permet d effectuer tous les calculs prévus lors de la conception du système de S&E. Par exemple il permettra de calculer les écarts entre les prévisions et les réalisations des indicateurs physiques (indicateurs de suivi des activités). Il est composé d outils de traitement de données et de synthèse des résultats. Le sous-dispositif est schématisé ainsi qu il suit : 55
Données enregistrées / Corroboration Outils de traitement et de synthèse des données Résultats des traitements Les traitements effectués par le sous-dispositif au niveau des Départements consistent en la consolidation des données collectées par les Directions, à la détermination des écarts entre les prévisions et les réalisations, et à la détermination des activités en retard et des activités hors délai. Les données consolidées par les Départements sont transmises au niveau de l USE qui effectue les mêmes traitements que ceux effectués par les Départements afin d obtenir l ensemble des informations pour la CEDEAO. Sous-dispositif reporting Il comporte des outils de restitution, publication et diffusion des résultats. Il produit les outputs contenant des informations pertinentes, utiles et directement utilisables (TB). Le sous-dispositif est schématisé ainsi qu il suit : Données enregistrées / Corroboration Outils de traitement des données et de synthèse des résultats Résultats des traitements Outputs Outputs (Résultats, (Résultats, Tableaux de bord, Tableaux de bord, etc.) etc.) Sous-dispositif d analyse et de prise de décisions Il permet grâce à des analyses : - d accumuler des expériences et de tirer des leçons pour les actions futures, - de prendre des mesures correctives, - de faciliter la rétroaction, - aux décideurs d être proactif. 56
Répartition des tâches entre les différents acteurs La répartition des tâches à effectuer dans le cadre du dispositif de S&E entre les différents acteurs est donnée ci-après : Sous-dispositifs Tâches Acteurs Collecte des données Points quotidiens Points hebdomadaires Enregistrement des données Consolidation des données enregistrées par les directions Points focaux ou Acteurs responsables de la mise en œuvre des activités Services / Divisions Directions Départements Traitements des données Mise en place d outils (formules de calcul, etc.) pour la production de statistiques diverses Consolidation des données provenant des Départements Départements / USE USE Reporting Production de rapports mensuels d activité Production de rapports trimestriels Production de rapports semestriels Production de rapports annuels Directions Départements USE / Présidence Analyse et prise de décision Edition de tableaux de bord Enregistrement des défaillances constatées et des décisions prises. Enregistrement des mesures correctives : - prises en cours de gestion, - mises en œuvre. Enregistrement des résultats obtenus suite à la mise en œuvre des mesures correctives. Départements / USE USE 57
Annexe 7: Modèle de compte rendu trimestriel DEPARTEMENT : COMPTE RENDU DU TRIMESTRE : Rapport d avancement physique Rapport d avancement financier Code Activités (opérations ou tâches) Indicateurs physiques Prévision de la période Réalisation de la période Taux de réalisation trimestriel Taux de réalisation cumulé Prévision de la période Réalisation de la période Taux de réalisation trimestriel Taux de réalisation cumulé Observations / Explication des écarts
Instructions pour l élaboration du compte rendu trimestriel 1. Code Il s agit d un code alphanumérique qui n est rien d autre que la concaténation du code du résultat stratégique (03 caractères) et du code partiel de l activité (opération ou tâche) (04 caractères maximum). Le code d un résultat stratégique est composé ainsi qu il suit : R0N. La première lettre (R) permet de savoir qu il s agit d un résultat. Les deux autres caractères sont des numériques et représentent le numéro chronologique du résultat stratégique. Le code partiel d une activité (opération ou tâche) est composé ainsi qu il suit : A00N. La première lettre (A) permet de savoir qu il s agit d une activité. Les trois autres caractères sont des numériques et représentent le numéro chronologique de l activité au niveau du résultat stratégique auquel il appartient. Par exemple : le code R01/A010 permet d identifier la 10 ème activité du 1 er résultat stratégique, tandis que le code R04/A009 désigne la 9 ème activité du 4 ème résultat stratégique. 2. Activités (opérations ou tâches) Il s agit d inscrire au niveau de cette colonne le libellé de l activité dont le code figure dans la colonne code de la même ligne du tableau. Par exemple : pour le résultat R01 intitulé «Renforcement des capacités des départements», si l activité A006 est intitulée «Organisation de séminaires de formation sur la GAR», l inscription de R01/A006 dans la colonne du tableau réservée au code devrait être suivie par l inscription de l intitulé de l activité, soit «Organisation de séminaires de formation sur la GAR» dans la colonne correspondante et sur la même ligne. 3. Indicateurs physiques Ils permettent de mesurer. Ainsi par exemple un indicateur pour l activité R01/A006 : «Organisation de séminaires de formation sur la GAR» pourrait être : «nombre de séminaires de formation organisée». Un autre indicateur physique pour la même activité pourrait être : «nombre de personnes formées sur la GAR». 4. Rapport d avancement physique Cette grande colonne renseigne sur l exécution des activités. Elle comporte les sous colonnes suivantes : - Prévision de la période Indique l état d avancement (cible) souhaité pour la période (trimestre). Par exemple pour l indicateur «nombre de séminaires de formation organisée» de l activité R01/A006 la prévision de la période pourrait être 02 formations. - Réalisation de la période Indique ce qui a été réalisé au cours de la période. Ainsi pour la prévision de 02 formations, de l indicateur «nombre de séminaires de formation organisée» de l activité R01/A006, la réalisation pourrait être 01 formation. - Taux de réalisation trimestriel 59
La formule de calcul de ce taux est la suivante : (Réalisation de la période X 100) / Prévision de la période. - Taux de réalisation cumulé La formule de calcul de ce taux est la suivante : (Réalisation cumulée X 100) / Prévision cumulée. Pour trouver la réalisation cumulée, respectivement la prévision cumulée, il suffit d ajouter à la réalisation de la période, respectivement la prévision de la période, les réalisations, respectivement les prévisions, de tous les mois, de l année en cours, précédant le trimestre dont compte est rendu. 5. Rapport d avancement financier Cette grande colonne renseigne sur l exécution financière, c'est-à-dire les ressources financières mises à disposition et dépensées dans le cadre de l exécution des activités. Elle comporte les sous colonnes suivantes : - Prévision de la période Indique les ressources financières prévues pour être dépensées au cours de la période (trimestre) dans le cadre de l exécution de l activité. L information peut être obtenue à partir du programme de travail mensuel et budget du centre de production du compte rendu. - Réalisation de la période - Indique les ressources financières dépensées au cours de la période (trimestre) dans le cadre de l exécution de l activité. L information peut être obtenue auprès de la direction des affaires administratives et financières si cette dernière tient une comptabilité analytique. - Taux de réalisation trimestriel La formule de calcul de ce taux est la suivante : (Réalisation de la période X 100) / Prévision de la période - Taux de réalisation cumulé La formule de calcul de ce taux est la suivante : (Réalisation cumulée X 100) / Prévision cumulée. Pour trouver la réalisation cumulée, respectivement la prévision cumulée, il suffit d ajouter à la réalisation de la période, respectivement la prévision de la période, les réalisations, respectivement les prévisions, de tous les mois, de l année en cours, précédant le trimestre dont compte est rendu. 6. Observations Elle peut contenir les difficultés rencontrées lors de l exécution des activités ainsi que les facteurs explicatifs des performances ou contre performances de la période. L élaboration des rapports mensuels, semestriels, et annuels respectent les mêmes principes d élaboration que le rapport trimestriel. Néanmoins, il convient de noter que les rapports mensuels sont élaborés par les directions sectorielles, les rapports trimestriels par les départements et les rapports semestriels et annuels par l USE. De même, les rapports mensuels ne comportent pas les sous-colonnes taux de réalisation et taux de réalisation cumulé de la colonne Rapport d avancement physique. Pour faciliter un suivi par zone géographique (pays membre de la CEDEAO) il faudrait que les départements joignent en annexe de leur rapport trimestriel un compte rendu qui tienne compte des zones d intervention de la Commission 60
Annexe 8 : Evaluation Pour l élaboration et la mise en œuvre de l évaluation, les critères suivants seront pris en compte: la pertinence : C est la raison d être de la politique. L adéquation entre les besoins des bénéficiaires et les mesures préconisées. Il s agit de se prononcer sur la mesure dans laquelle les moyens humains et financiers affectés à la réalisation du projet sont adaptés aux objectifs visés. la cohérence : C est la conformité, (i) des études prospectives avec les aspirations des populations, (ii) d un programme avec les politiques, (iii) avec les priorités définies par les acteurs institutionnels. C est aussi l analyse du programme en fonction du contexte, des moyens et des acteurs impliqués. La logique de la chaîne des intentions est-elle intelligente? l efficacité : Dans quelle mesure les résultats et effets observés correspondent-ils aux objectifs visés par la plan/programme/projet. De quelle manière les bénéficiaires visés ont-ils été atteints? Quels sont les facteurs ayant affecté positivement ou négativement l accomplissement des résultats? Quels sont les types de projets ou initiatives entrant dans le cadre de la mise en œuvre de la politique et étudiés dans le cadre de l évaluation qui se sont avérés les plus efficaces? l efficience : La chaîne de financement garantit-elle la bonne destination du financement? Dans quelle mesure les ressources ont-elles été utilisées de manière performante et économe? Dans quelle mesure les résultats obtenus sont-ils à la hauteur des moyens humains et financiers mobilisés? la durabilité / viabilité : C est le maintien des avantages ou des acquis générés par un programme après que celui-ci est achevé ; c est l analyse des potentiels de poursuite (autonomisation, gestion déléguée ) de l action après le désengagement des institutions en charge de sa mise en œuvre. La viabilité / durabilité, permet de déterminer si les résultats positifs du projet/programme sont susceptibles de perdurer après que les financements externes auront pris fin. l impact : Permet d apprécier les retombés des actions menées en terme de changements induits et bénéfiques à l ensemble de la communauté cible ou non. L impact porte sur les relations entre le but (ou l objectif spécifique) et les objectifs globaux du projet/programme. En d autres termes, l impact mesure si les bénéfices reçus par les destinataires ciblés ont eu un effet global plus large sur un plus grand nombre de personnes dans le secteur, la région, le pays ou la sous région dans son ensemble. L analyse, qui, dans la mesure du possible, devrait être tant quantitative que qualitative, devra aussi tenir compte du fait que, a ce niveau, le projet/programme n est qu un parmi divers facteurs susceptibles de contribuer à l impact dans son ensemble. le genre : Dans quelle mesure la mise en œuvre tient compte de toutes catégories sociales marginalisées (jeunes, enfants, vieux, femmes et hommes, démunis et riches etc.) la gestion axée sur les résultats : Dans quelle mesure la mise en œuvre met l accent sur les résultats. Il s agit de voir comment les responsables des programmes/projets restent conscients de leurs objectifs, de leur responsabilité et des résultats à atteindre, non plus en termes de rentabilité mais d effets produits sur la population. 61
l environnement : Il s agit de voir dans quelle mesure la mise en œuvre influe sur l environnement. et le droit des enfants : C est de voir dans quelle mesure la mise en œuvre fait entorse aux droits de l enfant La colonne intitulée «Instructions (à titre indicatif)» des tableaux qui suivent les critères ci-dessus, permettront à l évaluateur de formuler les questions nécessaires à la réalisation de sa mission. Pertinence La pertinence se réfère à la mesure dans laquelle l'intervention satisfait toujours aux attentes et priorités exprimées par les principaux acteurs impliqués dans le projet, en particulier les décideurs politiques nationaux et les partenaires techniques et financiers. La pertinence d un projet/programme, repose essentiellement sur sa conception. Elle concerne la mesure dans laquelle les objectifs envisagés par le projet/programme répondent correctement aux problèmes identifiés ou aux besoins réels. La pertinence est évaluée tout au long du cycle du projet. Il s agit de voir si des changements se sont produits tant au niveau des problèmes initialement identifiés, que du contexte (physique, politique, économique, social, environnemental ou institutionnel) dans lequel le projet se déroule, au quel cas il est nécessaire d examiner les mises au point ou les réorientations qui ont été effectuées. En d autres termes, la pertinence concerne l adéquation du projet/programme avec les problèmes à résoudre à deux moments donnés : (i) lors de sa conception et (ii) lors de son évaluation. Points clés à couvrir lors de l évaluation de la pertinence : Identification des problèmes ou des besoins réels et des bénéficiaires. Analyse de la manière dont ils ont été pris en compte par le projet/programme dans sa conception Evaluation de la capacité d absorption des bénéficiaires. Evaluation des capacités locales de mise en œuvre. Incorporation des résultats des activités préparatoires du projet/programme dans le document final du projet/programme. Contrôle de la complémentarité et de la cohérence des activités mises en œuvre par d autres intervenants afin d éviter tout risque de duplication ou de conflit. Les éléments essentiels (sous-critères) que nous suggérons de considérer pour l appréciation de la pertinence sont : la justesse de la finalité (raison d être du programme/projet), la cohérence des objectifs avec la finalité. 62
1. Sous critère 1 : Justesse de la finalité Instructions (à titre indicatif) Résultats 1.1 La conformité du programme/projet avec les stratégies et politiques nationales est examinée. 1.1 Les modifications intervenues lors de la mise en œuvre du programme/projet sont appréciées. Commentaires sur les résultats 1.1.1 Apprécier l évolution des besoins des bénéficiaires du début du programme/projet à la date de l évaluation. 1.1.2 S assurer que les champs d intervention du programme/projet répondent aux besoins des bénéficiaires 1.1.3 Analyser les champs d intervention du programme/projet afin de s assurer qu ils ont été identifiés et suffisamment délimités (conformité avec : (i) les différentes stratégies et politiques nationales, (ii) les Objectifs du Millénaire pour le Développement (OMD), (iii) etc.). 1.1.4 S assurer que la raison d être du programme/projet est en adéquation avec les politiques nationales et sectorielles. 1.2.1 Relever toutes les modifications intervenues sur le cadre logique du programme/projet, et évaluer leurs impacts sur les changements à long terme que le programme/projet doit accompagner. 1.2.2 Analyser toutes les réorientations rendues nécessaires dans le but d atteindre la finalité du programme/projet et évaluer leurs impacts.
2. Sous critère 2 : Cohérence des objectifs avec la finalité Instructions (à titre indicatif) Résultats 2.1 La cohérence logique entre l objectif global du programme/projet et sa finalité est analysée. Commentaires sur les résultats 2.1.1 Analyser les motivations qui sont à l origine de la mise en œuvre du programme/projet. 2.1.2 Analyser la pertinence de la solution proposée par le programme/projet pour résoudre les problèmes qui sont à l origine de sa mise en œuvre. 2.1.3 S assurer que la chaîne logique des résultats (intrants extranteffets-impacts) est respectée. 2.1.4 Evaluer l adéquation entre les moyens humains, matériels et financiers et les ambitions du programme. 2.1.5 S assurer que le programme/projet a mis en place un système de suivi évaluation, qui grâce aux revues régulières, permet l amélioration des stratégies d intervention et des processus de prise de décision. 2.1.6 Evaluer les partenariats mis en œuvre dans le cadre du programme/projet.
Cohérence La logique ou l intervention même n est pas en contradiction avec d autres interventions de développement aux objectifs similaires L élément essentiel à prendre en compte dans l appréciation de la cohérence est : la logique d intervention. 1. Sous critère 1 : Logique d intervention Instructions (à titre indicatif) Résultats 1.1 L articulation et la cohérence des différents programme/projet mise en œuvre dans la zone d intervention du programme/projet est analysée. Commentaires sur les résultats 1.1.1 Comparer les objectifs des programmes/projets mis en œuvre dans la zone d intervention du programme/projet et relever si possible les contradictions. 1.1.2 Analyser les champs d intervention des programmes/projets dans la zone d intervention afin de s assurer qu ils ne sont pas similaires. 1.1.3 S assurer que des démarches ont été entreprises dans le cadre du partenariat pour rechercher la complémentarité entre les programmes/projets de la zone d intervention. 1.1.4 Examiner le processus de sélection des thèmes des programmes/projet (voir PAD, et autres documents). 1.1.5 S assurer que des dispositions ont été prises pour l obtention d une cohérence globale entre les programmes/projets. 1.1.6 Examiner la place et le rôle des différentes catégories d acteurs impliqués dans la coopération.
Efficacité Il s agit de voir dans quelle mesure les résultats du projet/programme ont été réellement utilisés, ou que l on en a bien tiré avantage. La question est de savoir si l objectif spécifique (but) a été atteint. La question clé est celle de l avantage additionnel généré par le projet/programme. On analyse la mesure dans laquelle les bénéficiaires ont effectivement tirés profit des produits ou des services du projet/programme. En d autres termes, l efficacité est l atteinte, au meilleur degré, des objectifs ou autres effets recherchés d un programme, d une organisation ou d une activité. Elle mesure le degré de réalisation des objectifs et la relation entre l objectif déclaré et l impact réel d une activité. L évaluateur peut se prononcer sur l efficacité en comparant les résultats avec les objectifs fixés dans le(s) programme(s). Cependant, il convient de noter qu il est souvent plus pertinent de déterminer dans quelle mesure les moyens utilisés ont contribué à la réalisation des objectifs du programme. Lors de l évaluation de l efficacité, il est demandé de s assurer que les résultats observés correspondent aux produits des actions entreprises par le programme et non aux produits d actions n ayant aucune relation avec le programme (facteurs extérieurs). En résumé, l efficacité évalue si les résultats du programme sont atteints et s ils contribuent à la réalisation de l objectif spécifique. Elle vérifie si les changements survenus dans la zone d intervention du programme lui sont attribuables. Elle évalue également si les bénéficiaires utilisent les résultats apportés par le programme. Les éléments essentiels (sous-critères) à considérer pour l appréciation de l efficacité sont : la formulation des objectifs et des cibles, l utilisation d indicateurs, la validité des données, et la prise en compte des résultats. 66
1. Sous critère 1 : Formulation des objectifs et des cibles Instructions (à titre indicatif) Résultats 1.1 La formulation des objectifs des activités, de la structure, du projet ou du programme est appréciée. 1.1.1 Demander et apprécier les documents de gestion stratégique (Plan stratégique, politique, tableaux de bord, manuel de procédures, documents de préparation du projet/programme etc.). 1.2 La cohérence des objectifs des activités, de la structure, du projet ou du programme avec les orientations stratégiques est évaluée. 1.2.1 Comparer les objectifs établis aux axes stratégiques contenus dans les documents d orientation du secteur au niveau macro. 1.3 La définition des cibles pour l atteinte des objectifs est appréciée. 1.3.1 Recenser dans les documents de gestion stratégique la définition des cibles. 1.3.2 Se prononcer sur l adéquation entre les cibles recensées au point précédent et les objectifs. 1.4 Lorsqu ils ne sont pas clairement formulés, les objectifs des activités, de la structure, du projet et/ou programme sont reconstitués. 1.4.1 Recenser dans les documents de l entité auditée les objectifs des activités non clairement formulés 1.4.2 A travers des entrevues et l analyse des résultats de ces dernières, clarifier la formulation des objectifs des activités.
1.5 L analyse de la cohérence des objectifs reconstituée est réalisée en regard des missions. 1.6 L identification des conditions ou suppositions critiques par l unité de gestion de l activité, de la structure, du projet ou du programme et leur intégration aux tableaux de bord est appréciée. 1.5.1 Comparer les objectifs reconstitués avec les missions. 1.6.1 Demander les documents retraçant les conditions ou suppositions critiques. 1.6.2 Analyser les actions prises en vue d éviter la réalisation des conditions ou suppositions critiques. Commentaires sur les résultats 2 Sous critère 2 : Utilisation des indicateurs 2.1 La définition des indicateurs pour évaluer l atteinte des objectifs est appréciée. Instructions (à titre indicatif) 2.1.1 Demander et obtenir la liste des indicateurs. 2.1.2 Apprécier la mesurabilité des indicateurs. Résultats 2.1.3 Apprécier la fiabilité des indicateurs. 2.1.4 Tester la contrôlabilité des indicateurs.
2.2 La signification vs objectifs des indicateurs est appréciée. 2.2.1 Tester la cohérence des indicateurs avec les objectifs. 2.3 La base de comparaison des indicateurs est évaluée. 2.3.1 Demander la liste retraçant la base de comparaison des indicateurs. 2.4 Le système de suivi et de documentation sur l évolution et l atteinte des indicateurs est évalué. Commentaires sur les résultats 2.4.1 Tester le système d évaluation et de mise à jour des indicateurs. 3 Sous critère 3 : Validité des données 3.1 Les processus d obtention des matières servant de base à la mesure des indicateurs sont évalués. Commentaires sur les résultats Instructions (à titre indicatif) 3.1.1 Demander et examiner la définition des processus. 3.1.2 Tester le fonctionnement des processus. 3.1.3 Tester la fiabilité des données obtenues. 3.1.4 Apprécier la facilité d accès aux données matérielles. 3.1.5 Réaliser des tests de cheminement sur chacun des contrôles des processus des données immatérielles. Résultats
4 Sous-critère 4 : Prise en compte des résultats Instructions (à titre indicatif) Résultats 4.1.1 Comparer les résultats obtenus aux résultats escomptés. 4.1.2 Apprécier les explications sur les écarts résultats/cibles. 4.1 L analyse des résultats est réalisée. 4.1.3 Tester l utilisation des résultats partiels pour les réorientations et ajustements nécessaires. 4.1.4 Évaluer l utilité dans la prise de décision sur les résultats obtenus. 4.1.5 Apprécier l étalonnage des résultats. 4.1.6 Mesurer l atteinte des objectifs 4.2.1 Demander les effets secondaires des résultats et les apprécier. 4.2 Les effets secondaires des résultats atteints sont évalués. Commentaires sur les résultats 4.2.2 Apprécier l influence de l atteinte des objectifs par les effets secondaires. 4.2.3 Mesurer le niveau d atteinte des objectifs relativement aux résultats atteints.
Efficience L efficience est la transformation, au meilleur rendement, des ressources en biens et services; ou le rapport entre les extrants et les intrants. L efficience est étroitement liée à la notion de productivité. Elle est exprimée en en coût par unité de résultat obtenu. Le critère d efficience traduit la relation entre les biens, les services, et les autres produits (extrants), et les ressources (intrants) utilisées pour les produire. Il est traduit par le rapport coût / résultat, d une activité, d un programme ou d une opération. L évaluation de ce critère peut aussi comprendre l analyse d autres éléments tels que l époque à laquelle les extrants ont été livrés, comparée au moment où l impact aurait été maximisé. Pour l appréciation de l efficience il est nécessaire de tester les sous-critères ci-après : le calcul du prix de revient, les indicateurs de rendement, l organisation du travail et la qualité des produits. 71
1 Sous critère : Calcul du prix de revient 1.1 Tous les intrants utilisés pour l activité, le projet ou le programme sont identifiés et appréciés. 1.2 Les intrants utilisés par des unités comparables pour la même nature d activité, projet ou programme sont identifiés et comparés à ceux utilisés par l activité sous contrôle. Instructions (à titre indicatif) 1.1.1 Évaluer toutes les ressources utilisées pour la réalisation de l activité, notamment les matières consommées, les mains d œuvre directes utilisées et les charges indirectes. 1.2.1 Obtenir la liste des intrants utilisés pour des activités semblables auprès d unités similaires. 1.2.2 Comparer les données obtenues à celles déjà identifiées. Résultats 1.3 Les ratios des différentes composantes des coûts de revient sont analysés. 1.3.1 Calculer à partir des composantes déjà Identifiées les ratios de chaque composante par rapport au coût de revient. 1.3.2 S assurer que les composantes les moins importantes des coûts de revient bénéficient des coûts les plus faibles. 1.3.3 S assurer que les composantes les plus importantes des coûts de revient bénéficient des coûts les plus élevés. Commentaires sur les résultats 1.3.4 Déterminer et évaluer tous les autres facteurs des coûts de production pouvant être jugés non nécessaires ou supplémentaires à la réalisation de l activité, du projet ou du programme sont déterminés. 1.3.5 Déterminer et apprécier les facteurs de production investis en dessous des quantités nécessaires sont appréciés et identifier les causes de cette situation. 1.3.6 Les coûts de stockages sont évalués versus achat par besoin.
2 Sous-critère 2 : Indicateurs de rendement Sous-critères Instructions (à titre indicatif) Résultats 2.1 La définition des indicateurs de rendement pour évaluer la qualité du rendement est appréciée. 2.1.1 Obtenir la liste des indicateurs de rendement et identifier ceux qui touchent le rendement. 2.1.2 Évaluer les indicateurs de rendement en regard des intrants et des extrants. 2.1.3 Rapporter les indicateurs de rendement à des comparables. 2.1.4 Évaluer lesdites données. Commentaires sur les résultats 3 Sous critère 3 : Organisation du travail 3.1 S assurer que l organisation du travail est de nature à garantir une meilleure productivité. Instructions (à titre indicatif) 3.1.1 Vérifier l existence ou non d un manuel de procédures. 3.1.2 Tester certaines phases de la procédure en rapportant les procédures écrites aux pratiques en cours. 3.1.3 S assurer de la séparation des fonctions. 3.1.4 S assurer de la bonne définition des tâches (une bonne définition des tâches doit être de nature à éviter la perte de temps). 3.1.5 S assurer que les agents ou cadres ont tous des attributions. 3.1.6 Lorsqu il s agit de service aux usagers, s assurer que les délais d attente sont organisés et règlementés de façon objective. 3.1.7 Apprécier le système de motivation et/ou d encouragement. Résultats
3.2.1 Comparer les heures travaillées aux résultats. 3.2 La productivité est testée. 3.2.2 S assurer que les outils de travail sont utilisés à leur capacité maximale. 3.2.3 Évaluer le système de motivation et ou d encouragement. 3.3.1 Vérifier l existence d un planning de travail. 3.3.2 S assurer du respect des programmations établies. 3.3 Les processus de production sont évalués. 3.3.3 Évaluer les processus d exécution des activités. 3.3.4 S assurer que les dossiers sont traités suivant un ordre déterminé sur une base objective. 3.3.5 S assurer que l organisation du travail est de nature à utiliser le minimum d intrant pour le maximum d extrant. Commentaires sur les résultats
4 Sous-critère 4: Qualité des produits 4.1 La qualité des extrants obtenus est appréciée. Commentaires sur les résultats Instructions (à titre indicatif) 4.1.1 S assurer que les produits répondent aux normes de qualité. 4.1.2 Comparer la qualité des extrants obtenus à celle escomptée. 4.1.3 Comparer la qualité des extrants à celle des extrants d un secteur référentiel. 4.1.4 Tester l appréciation des usagers sur la qualité des services ou des produits. 4.1.5 Voir si les ratios des différentes composantes des coûts de revient augurent de la bonne qualité des produits. Résultats
Durabilité / viabilité La durabilité se réfère à la possibilité de préserver et de reproduire les bénéfices d'une intervention de la Commission après son retrait. La durabilité / viabilité, permet de déterminer si les résultats positifs du projet/programme sont susceptibles de perdurer après que les financements externes auront pris fin. Une analyse de la viabilité se concentrera sur les aspects ci-dessous : Appropriation des objectifs : Il s agit d apprécier dans quelle mesure toutes les parties prenantes ont été consultées sur les objectifs des programmes / projets. Politique de soutien : Examiner la complémentarité entre la politique de la Commission (donateur) et la politique nationale et apprécier le niveau d appui des autorités gouvernementales, du secteur public, du secteur privé et de la société civile. Capacités institutionnelles : Il s agit de voir le degré d implication des différentes parties prenantes au programme/projet. Viabilité financière : Disponibilité de fonds pour couvrir tous les coûts. C est l analyse des chances que l action se poursuive lorsque l aide extérieure aura cessé. Pour ce faire, les deux sous-critères ci-après seront testés : la vision et la proactivité, l utilité de l action dans la durée. 76
1. Vision et proactivité Instructions (à titre indicatif) Résultats 1.1 La participation des partenaires est examinée. 1.2 La continuité des activités est examinée 1.3. Les modalités de mise en œuvre des aides et/ou financements sont examinées 1.1.1 Évaluer la participation active des partenaires (partenaire au développement) et des organisations faitières créées en vue de la continuité des activités à la gestion du programme/projet. 1.1.2 S assurer que des ressources et capacités sont mises à disposition pour préserver et reproduire les résultats. 1.1.3 Analyser les dispositions prises par les partenaires et les organisations faitières pour reprendre voir continuer les activités du programme/projet. 1.2.1 Analyser le plan d intégration proposé pour l intégration du programme/projet dans les organisations faitières. 1.2.2 Examiner les activités mises en œuvre dans le cadre du renforcement des capacités des organisations faitières. 1.2.3 Examiner les soutiens apportés par les autorités du pays au programme/projet (politiques, les ONG, les religieux, etc.). 1.3.1 Se prononcer sur les conditions posées par les donateurs ou les emprunteurs. 1.3.2 Examiner les mesures d accompagnement proposées et mises en œuvre par les différentes parties prenantes pour la poursuite des activités. Commentaires sur les résultats 2. Sous critère 2 : Utilité de l action dans la durée
Instructions (à titre indicatif) Résultats 2.1 Les connaissances relatives aux conséquences de l action sont évaluées. 2.2 Le transfert des compétences par le programme/projet est évalué. 2.1.1 Obtenir et examiner les études d impact relatives aux activités du programme/projet. 2.1.2 A travers des entrevues, s assurer de la dissémination des résultats des études d impacts. 2.1.3 S entretenir avec les bénéficiaires, et les habitants des environs immédiats des zones d intervention du programme/projet afin de s assurer qu ils ont été informés des risques liés aux activités du programme/projet. 2.2.1 S assurer que le programme/projet s est investi dans le renforcement des capacités des groupes cibles (formations, voyages d études, mise en réseau avec des groupes cibles, organisés par le programme/projet, etc.). 2.2.2 Évaluer les ressources mises à disposition des groupes cibles par le programme/projet (héritage) pour préserver et reproduire les résultats. 2.2.3 Les possibilités de réversibilité de l action en cas de dommage grave après la fin du programme/projet sont analysées. 2.3 Les mesures prises pour la pérennisation des acquis. 2.3.1 Examiner les enseignements tirés des formations et voyages d échange d expérience organisés pour les groupes cibles et autres associations faitières. 2.3.2 S assurer que des mesures ont été prises pour garantir l appui Conseil après le programme/projet. Commentaires sur les résultats 2.3.3 Examiner les partenariats avec les structures pérennes afin de permettre la continuité dans le suivi des actions menées.
Impact Evaluer l impact consiste à apprécier les effets de l action du programme/projet sur les plans technique, économique, social, politique, écologique, médical, etc. L'impact se réfère non seulement aux implications prévues, mais aussi aux conséquences involontaires qui surviennent - de par l'intervention du projet - dans la vie des bénéficiaires, groupes non visés et instances partenaires. Apprécier l impact c est analyser tous les effets positifs et négatifs prévus et inattendus dans différents domaines. L analyse de l impact examine les aspects tels que : Réalisation des objectifs : Il s agit de voir comment le projet/programme a contribué à la réalisation des objectifs. Développement économique et social : Apprécier la contribution du projet au développement économique et social. Hypothèses et risques : Examen de la survenance ou non des hypothèses et risques du cadre logique, et mesures prises lors de la survenance de ces derniers. Pour l analyse de l impact, les sous-critères seront examinés les revenus individus/groupes, l amélioration de la qualité des actions futures. 1. Sous critère 1 : Revenus individus/groupes Instructions (à titre indicatif) Résultats 1.1 Le milieu de vie des groupes cibles des zones d intervention du programme/projet est examiné. 1.1.1 A partir des documents du programme/projet (rapports d activités, études d impact sur la santé, l environnement, etc.) et des entrevues avec les populations, recenser tous les impacts positifs et négatifs qui touchent le milieu de vie du fait des activités du programme/projet. 1.1.2 Etablir les relations entre les changements positifs constatés (dans le milieu de vie des bénéficiaires, et des groupes non visés) et le programme/projet.
1.2 Le mode de vie de la cible touchée par le programme/projet est analysé. 1.1.3 Etablir les relations entre les changements négatifs constatés (dans le milieu de vie des bénéficiaires, et des groupes non visés) et le programme/projet. 1.1.4 Analyser les changements à long terme survenus dans les domaines de l environnement, des relations entre femmes et hommes, des us et coutumes, économie, culture, etc. 1.2.1 A partir des documents du programme/projet, recenser les activités, objectifs spécifiques entrant dans le cadre de l amélioration du mode de vie des bénéficiaires (réduction de la pénibilité des travaux habituellement effectués par les bénéficiaires, augmentation de la productivité, augmentation des revenus, voir au regard des OMD) et les évaluer. 1.2.2 Effectuer des entrevues avec les bénéficiaires afin de savoir dans quelle mesure les méthodes et les pratiques proposées et mises en œuvre par le programme/projet ont modifié positivement leur mode de vie. 1.2.3 Analyser les résultats contenus dans les différents rapports d enquête, d étude, d évaluation et d auto-évaluation afin de s assurer de l adoption par les bénéficiaires des différents protocoles proposés par le programme/projet et l abandon des anciennes pratiques. 1.2.4 Comparer les résultats des rapports d évaluation et d autoévaluation à la situation de référence dans les zones d intervention du programme/projet (les informations de référence se trouvent généralement dans le Project Appraisal Document (PAD) entendez le document de préparation du projet/programme). 1.3.1 S entretenir avec les bénéficiaires afin de savoir si le programme/projet a permis de changer leur mode de vie. Recenser les nouveaux comportements proposés par le programme/projet ainsi que les anciens comportements (abandonnés ou non). 1.3.2 A partir des informations obtenues lors des entrevues effectuées au point précédent, apprécier le niveau d adoption des nouveaux comportements proposés par le programme/projet.
1.3 Les comportements des groupes cibles sont examinés. 1.4 La redistribution de la richesse collective est examinée. 1.3.3 A partir des rapports d activités du programme/projet, évaluer la mise en œuvre des activités prévues dans le cadre du changement ou de l amélioration des comportements des bénéficiaires (activité d IEC (Information, Éducation Communication), etc.). 1.4.1 Recenser les effets induits par les activités de l entité auditée et s assurer qu ils profitent à toutes les couches de la population et spécialement aux groupes cibles. Commentaires sur les résultats 2. Amélioration de la qualité des actions futures Instructions (à titre indicatif) Résultats 2.1.1 Observer le cadre de travail des groupes cibles et relever les différents types de nuisances (salubrité, bruit, poussière, etc.) qui ont pu être générés par les activités du programme/projet. 2.1 Les conditions d hygiène au travail des groupes cibles sont évaluées 2.1.2 Interviewer les groupes cibles afin de recenser les doléances qu ils ont eues à soumettre aux autorités dans le cadre de l assainissement de leur cadre de vie après le programme/projet (il est conseillé d obtenir ces informations des ONG). 2.1.3 Interroger les habitants des zones d intervention (bénéficiaires, et cibles non visées) du programme/projet, afin de recenser leur plainte sur les nuisances crées du fait des activités du programme/projet.
2.1.4 A travers des entrevues, recenser les maladies contractées par les groupes cibles du fait de la mise en œuvre du programme/projet. 2.2.1 Obtenir et apprécier les mesures envisagées en cas de survenance des risques par le programme/projet (comportements à adopter, assistance aux sinistrés, plan de reprise des activités, etc.). 2.2 Le potentiel de dommage est analysé 2.2.2 Les mesures envisagées pour supprimer, réduire, compenser les conséquences dommageables du programme/projet sur l environnement sont examinées. 2.2.3 Apprécier les conséquences de la survenance des risques. 2.2.4 Apprécier les systèmes mis en place pour appréhender les conditions d émergence de nouveaux risques post programme/projet. Commentaires sur les résultats Genre Il s agit d apprécier dans quelle mesure le droit de tous et toutes, à participer au processus de mise en œuvre des programmes/projets et de bénéficier des résultats, est pris en compte et mis en œuvre. L opérationnalisation des critères (sous-critères) qui suivent permettent de savoir si l aspect genre est pris en compte par le programme/projet. la formulation des programmes/projets, la participation et l engagement des bénéficiaires, fiabilité des statistiques sur les catégories des bénéficiaires.
1. Sous critère 1 : Formulation des programmes/projets Instructions (à titre indicatif) Résultats 1.1 La formulation des objectifs et des activités du projet ou du programme est appréciée. 1.2 La cohérence des objectifs et des activités du projet ou du programme avec les potentialités (capacités) des bénéficiaires (groupes cibles). 1.3 La prise en compte des bénéficiaires lors de la formulation du programme/projet est examinée. Commentaires sur les résultats 1.1.1 Demander et apprécier les documents de gestion stratégique (Plan stratégique, politique, tableaux de bord, manuel de procédures, documents de préparation du projet/programme etc.). 1.1.2 Examiner les documents ci-dessus pour s assurer de la prise en compte d actions (activités) qui améliorent les conditions de vie des groupes vulnérables ou marginalisés (femmes, enfants, handicapés etc.). 1.1.3 Apprécier dans la formulation du programme/projet la prise en compte de la réduction des inégalités dans l accès aux services de santé (plannification familiale, lutte contre les IST et le VIH/SIDA, etc.). 1.2.1 Examiner les objectifs et les activités du programme/projet au regard des réalités socio culturelles du milieu, économiques, accès aux ressources productives et aux opportunités, accès à l éducation, etc. 1.2.2 Recenser dans les documents du programme/projet les groupes cibles. 1.2.3 Se prononcer sur l adéquation entre les groupes cibles recensés au point précédent et les objectifs /activités du programme/projet. 1.3.1 Obtenir tous les documents (Etudes, Project Appraisal Document (PAD), etc.) ayant servi à la préparation du programme/projet. 1.3.2 A partir des documents obtenus plus haut, s assurer que tous les groupes cibles ont été consultés lors de la formulation des objectifs/activités du programme/projet. 1.3.3 Examiner l adéquation entre les objectifs du programme/projet avec les besoins des bénéficiaires.
2 Sous critère 2 : Participation et engagement des bénéficiaires Instructions (à titre indicatif) Résultats 2.1 La consultation et la participation des bénéficiaires à la mise en œuvre du programme/projet sont évaluées 2.1.1 S assurer qu il existe un cadre formel de concertation entre les responsables du programme/projet avec les bénéficiaires (documents qui créent le cadre de concertation, documents qui organisent le cadre de concertation, etc.) 2.1.2 S il existe un comité en charge de l organisation des réunions de concertation, apprécier la représentativité des différents groupes cibles. 2.1.3 Obtenir, en vue de les examiner, les PV des réunions de concertation organisées. 2.2 La représentativité et la diversité des groupes et individus impliqués sont testés 2.2.1 S assurer que toutes les parties prenantes sont représentées dans le comité de concertation (liste des membres du comité, liste de présence aux réunions, ou tous autres documents jugés essentiels). 2.2.2 Analyser la composition du comité de concertation afin de s assurer que la plupart des groupes cibles (bénéficiaires) y sont représentés. 2.2.3 Apprécier la prise en compte du genre (jeunes (moins de 30 ans), les femmes, les handicapés, etc.) dans la composition du comité. 2.3.1 Recenser et examiner les documents tenus dans le cadre du comité de concertation.
2.3 La qualité de la gestion participative est appréciée 2.3.2 S assurer de la bonne tenue des documents 2.4 Le niveau de participation des groupes et individus est évalué 2.3.3 S assurer que le programme/projet, les partenaires et les bénéficiaires ont mis en place un système permettant de renforcer la concertation et la coordination des interventions. 2.4.1 S assurer que tous les groupes cibles participent aux réunions de concertation. 2.4.2 Apprécier la participation des jeunes (moins de 30 ans) et des femmes aux réunions de concertation. 2.4.3 Apprécier les recommandations effectuées par les différentes parties prenantes lors des réunions (comptes rendus de réunion). 2.5.1 Recenser les recommandations effectuées lors des réunions de concertation. 2.5.2 Apprécier la pertinence des recommandations. 2.5.3 S assurer de la mise en œuvre des recommandations. 2.5 Les processus décisionnels sont testés 2.5.4 Examiner les délais de mise en œuvre des recommandations 2.5.5 Apprécier l impact des décisions prises par le comité de concertation. Commentaires sur les résultats
3 Sous-critère 3 : Fiabilité des statistiques sur les catégories des bénéficiaires Instructions (à titre indicatif) Résultats 3.1 Les conditions d exercice des rôles des parties prenantes (programme/projet et bénéficiaires) sont examinées 3.2 Le système de communication entre les décideurs et les groupes cible est examiné 3.3 Les mécanismes de suivi évaluation sont appréciés Commentaires sur les résultats 3.1.1 A partir des documents du programme/projet, et en tenant compte de l importance de chacun des groupes cibles, apprécier les rôles dévolus à chacun d eux. 3.1.2 Examiner les rapports d activités produits par le programme/projet en vue d apprécier la concordance entre les activités menées et les rôles. Faire de même avec les PV des réunions entre bénéficiaires et responsables du programme/projet. 3.2.1 Obtenir le diagramme de circulation de l information entre le programme/projet, les bénéficiaires et les partenaires (contributeurs). Le cas échéant, élaborer et faire valider le diagramme à la suite d entrevue avec les parties prenantes. 3.2.2 A partir des registres de «Courrier départ» et «Courrier arrivé» des différentes parties prenantes, obtenir les différentes informations (documents) qu elles ont eues à échanger. 3.2.3 Analyser les enjeux, les axes stratégiques et les recommandations contenus dans les différents documents. 3.2.4 Examiner le système de communication afin de s assurer qu il a permis d améliorer la participation et la prise de décision des groupes vulnérables ou marginalisés (femmes, enfants, handicapés, vieux, etc.). 3.3.1 Analyser la prise en compte par le dispositif de suivi évaluation des disparités de genre. 3.3.2 S assurer que les différentes enquêtes (études) prennent en compte l aspect genre.
Gestion axée sur les résultats La gestion axée sur les résultats est un modèle de planification ayant une logique qui facilite la gestion, l apprentissage et la responsabilisation tout au long d un programme/ projet. En d autres termes, elle permet de gérer les ressources et d améliorer le processus de décision en vue d'obtenir des résultats. L analyse de la gestion axée sur les résultats permet d identifier : les changements observables et mesurables à la suite d un programme/projet réalisé dans le but de répondre à un besoin et suivant un délai précis; le dispositif suivi mis en place pour surveiller l évolution du programme/projet vers l atteinte des résultats souhaités. L opérationnalisation des critères (sous-critères) qui suivent permettent de savoir si l aspect gestion axée sur les résultats est pris en compte par le programme/projet. système de gestion, prise de décision. 1. Sous critère 1 : Système de gestion Instructions (à titre indicatif) Résultats 1.1 Le système de suivi évaluation est examiné. 1.1.1 S assurer que le système de planification du programme/projet tient compte des résultats et facilite d une part la reddition des comptes, et l évaluation de la performance selon les critères des différents partenaires d autre part. 1.1.2 Evaluer le dispositif de suivi évaluation afin de voir s il tient compte des données de référence nationales, des indicateurs consignés dans les documents de stratégies et de politiques nationales, et du cadre de suivi des partenaires au développement. 1.1.3 S assurer que le dispositif de suivi évaluation tient compte de la chaîne des résultats. 1.1.4 Examiner le processus d élaboration des rapports pour s assurer qu il est à même de produire des rapports de gestion axée sur les résultats. 1.1.5 S assurer que les rapports produits rendent compte avec fiabilité
1.2 La gestion financière et budgétaire est examinée. Commentaires sur les résultats et justesse des performances du programme/projet. 1.1.6 Examiner l utilisation faite des outils utilisés pour démontrer que les investissements et les inputs contribuent aux résultats. 1.2.1 Examiner le système de gestion budgétaire, financière et comptable, et s assurer qu il répond aux exigences d une gestion axée sur les résultats. 1.2.2 S assurer que les budgets du programme/projet sont élaborés de manière à permettre la reddition des comptes ainsi que l évaluation de la performance. 1.2.3 Apprécier l adéquation entre les différents tableaux de bord produits par le système de gestion budgétaire et financière et les exigences de reddition de compte avec la gestion axée sur les résultats. 1.2.4 S assurer que les rapports financiers produits indiquent comment les processus de gestion soutiennent l atteinte des résultats 2. Sous critère 2 : Prises de décision Instructions (à titre indicatif) Résultats 2.1 Le processus de prise de décision est examiné. 2.1.1 S assurer que les destinataires des différents rapports du programme/projet sont ceux qui sont à même de prendre des décisions. 2.1.2 Evaluer l institution et la distribution des incitatifs à l action au management, au personnel pour qu il œuvre à la gestion axée sur les résultats. 2.1.3 Se prononcer sur la coordination des efforts faits par les partenaires au développement en matière de suivi évaluation (comparer les différents dispositifs proposés, les canevas de rapport, etc.).
Commentaires sur les résultats 2.1.4 Analyser les décisions prises par les différents acteurs afin de s assurer que ces dernières ont été prises dans le cadre de l amélioration des résultats. 2.1.5 Examiner les décisions prises suite à la production des rapports de suivi et analyser les décisions qui ont été prises.
Environnement L'environnement se réfère au respect d'un usage rationnel et durable ainsi qu'à la préservation des ressources naturelles. La préoccupation ici est de s assurer que le programme/projet a pris toutes les mesures pour le maintien d un équilibre écologique conforme aux normes environnementales pendant et après la phase d exécution du Programme. L élément essentiel à prendre en compte dans l appréciation de la cohérence est : le respect de la capacité de support des écosystèmes. 90
1. Sous critère 1 : Respect de la capacité de support des écosystèmes Instructions (à titre indicatif) Résultats 1.1.1 Analyser les dispositifs mis en place par le programme/projet pour la protection des ressources naturelles. 1.1 Le système de protection des ressources naturelles (espèces animales, minéraux, etc.) est évalué. 1.2 Les processus chimiques, biologiques ou physiques de l écosystème sont analysés. 1.1.2 Vérifier l existence au niveau du programme/projet d une structure ou service de veille environnementale (surveillance de l apparition de nouvelles espèces envahissante ou non, surveillance des espèces endémiques, etc.). Au cas où cette structure existe, à partir de son plan stratégique, ses programmes de travail et ses rapports d activités, apprécier son fonctionnement. 1.1.3 Examiner les rapports des structures de contrôle externes spécialisées (Direction des eaux et forêts, Direction Générale de l eau, ONG, etc.) afin d apprécier la mise en œuvre par le programme/projet des recommandations qui y sont contenues. 1.2.1 A partir, des études d impact environnementales réalisées avant le début des activités du programme/projet, relever les caractéristiques, chimiques, biologiques et physiques des écosystèmes. 1.2.2 S assurer que le programme/projet a commandité des tests afin de s assurer de la préservation des écosystèmes. 1.2.3 Comparer les résultats des tests effectués ou commandités avec ceux relevés au point 1.2.1. Voir dans quelle mesure les activités du programme/projet influent sur les écosystèmes.
1.3 Les capacités d adaptation de l écosystème sont évaluées. 1.4 La préservation du potentiel de production des écosystèmes (en produits, en molécules organiques, en molécules d'intérêt pharmaceutique, en ressources génétiques, etc.) est évaluée. 1.5 Les possibilités de régulation (microclimatique et macro climatique, régulation des inondations et des maladies endémiques, etc.) sont évaluées. 1.3.1 S assurer de l existence de dispositifs de suivi évaluation des écosystèmes et les analyser. 1.3.2 A partir des rapports des services en charge des dispositifs de suivi évaluation des écosystèmes, apprécier les activités de veille menées par le programme/projet. 1.3.3 Analyser les activités menées par l entité auditée en vue d apprécier leur impact sur les écosystèmes des zones où elle intervient. 1.4.1 Apprécier les mesures prises ou envisagées par le programme/projet, en vue de la préservation de la qualité et des quantités des composantes essentielles des écosystèmes (surveillance de l apparition d espèce envahissante, disparition de certaines espèces animales ou végétales endémiques ou non, etc.). 1.4.2 Examiner les rapports des structures de contrôle externes spécialisées (Direction des eaux et forêts, Direction Générale de l eau, Associations de chercheurs, ONG, etc.) afin d apprécier la mise en œuvre par l entité auditée des recommandations qui y sont contenues. 1.5.1 Recenser et examiner les textes en vigueur contenant des dispositions relatives à la protection de l environnement en vue de relever les restrictions et interdictions qu ils contiennent. 1.5.2 Analyser les activités de l entité auditée, afin de vérifier qu elles sont exécutées conformément aux textes recensés au point précédent. Commentaires sur les résultats
Droits des enfants Les droits des enfants se réfèrent à l'éducation, les soins de santé de base, l'accès à l'eau potable et la protection contre la violence. L élément essentiel à prendre en compte dans l appréciation de la cohérence est : le respect des droits des enfants. 1. Sous critère 1 : Respect des droits de l enfant Instructions (à titre indicatif) Résultats 1.1 Le respect des droits des enfants à l éducation est examiné. 1.2 Le respect des droits des enfants aux soins de santé de base est examiné. 1.3 L accessibilité à l eau potable des enfants est examinée. 1.4 Les dispositions mises en place pour lutter contre la violence faite aux enfants sont examinées. Commentaires sur les résultats 1.1.1 Examiner les dispositions prises pour faciliter l accès à l école des enfants. 1.1.2 Voir si les dispositions prises offrent les mêmes chances d accès à l éducation aux garçons et aux filles. 1.1.3 S assurer que des mesures sont prises pour garder les enfants dans le circuit de l éducation. 1.2.1 Examiner les dispositions prises pour faciliter l accès aux soins de santé aux enfants. 1.2.2 Examiner les mesures prises pour la mise en œuvre des dispositions prises. 1.3.1 Examiner les politiques mises en place pour faciliter l accès à l eau potable aux enfants. 1.4.1 Examiner les textes pris pour protéger les enfants contre les violences. 1.4.2 Recenser et examiner le fonctionnement des structures mis en place dans le cadre de la lutte contre les violences faites aux enfants.