Dans le cadre de son programme de soutien des initiatives de développement de l évaluation dans les pays du Sud, et sous l objectif de renforcer l information et le réseautage des professionnels francophones, l Organisation internationale de la Francophonie avait conçu et fait développer courant 2004, un site portail en français dédié aux questions de suivi et d évaluation. Depuis 2007, l OIF s est progressivement désengagé de ce programme tout en gardant l ambition d améliorer la mise en réseau des évaluateurs francophones et de leurs organisations (associations nationales, régionales, ou réseau national informel) pour leur permettre d échanger sur leurs pratiques, leurs outils et le développement des formations. C est à cet objectif que le nouveau portail souhaite apporter une réponse depuis 2008. La perspective générale retenue est en effet de maintenir une dynamique francophone dans le domaine de l évaluation de politiques publiques, de renforcer les compétences et de capitaliser les connaissances et les pratiques dans ce domaine. Ce site vise à: 1. mettre en réseau des praticiens et favoriser les échanges d expériences; 2. favoriser les processus d apprentissage en assurant la promotion des méthodologies et conceptions francophones de l évaluation et le renforcement des capacités des commanditaires/utilisateurs responsables de politiques publiques et des évaluateurs ; 3. renforcer la présence francophone dans les instances internationales dédiées à l évaluation : Organisation internationale de coopération en évaluation (OICE), Association internationale pour l évaluation du développement (IDEAS) ; l Association africaine d évaluation (AfréA) etc Pour encourager la mise en réseau des acteurs francophones de l évaluation, le portail vous offre un nouvel espace interactif tout au long du mois de novembre via son forum sur le thème de : L institutionnalisation de l évaluation : modalités et enjeux au sein de l espace francophone Le forum devrait appuyer une plus grande mutualisation des pratiques francophones de l évaluation et offrir un espace pour continuer les échanges engagés lors des JSE. Il fera par ailleurs l objet d une synthèse publiée sur le portail dans une perspective de capitalisation. Afin de préparer au mieux les débats, nous avons diffusé un questionnaire sur ce thème et nous en profitons pour remercier vivement les personnes qui nous ont déjà répondu. Vous trouverez ci-dessous la synthèse des réponses parvenues. Dès le 3 novembre, nous vous attendons nombreux pour débattre sur le portail. Cordialement, l équipe d animation 1
«L institutionnalisation de l évaluation : modalités et enjeux dans l espace francophone?» Synthèse des réponses Définition Quelle définition donnez-vous à l institutionnalisation de l évaluation? - un fait : la pratique d évaluation se formalise et s inscrit dans des procédures et des exigences au sein des institutions ; des équipes et des budgets sont dédiés à l évaluation ; les principaux décideurs sont eux-mêmes à l initiative des évaluations. - une réglementation : la pratique d évaluation (son contenu et sa forme) est réglementée par des textes législatifs et par des politiques ; la pratique d évaluation est prise en compte dans le processus législatif, politique et administratif. - un dispositif qui existe et œuvre pour : la promotion de la culture d évaluation ; le développement de sa pratique, si ce n est pour la rendre obligatoire. Quel objectif donnez-vous à l institutionnalisation de l évaluation pour votre pays? L institutionnalisation de l évaluation devrait permettre de : - donner à l évaluation une place plus grande dans le processus de décision (Suisse, K.H.-P.) - intégrer l évaluation dans le cycle de gestion de toute politique ou programme de développement (Niger, M.S.), de tout projet/programme public ou privé (Madagascar, B.R.) et ainsi assurer une meilleure gestion des ressources (République Démocratique du Congo, F.S.) - assurer la capitalisation et la valorisation des évaluations (Madagascar, B.R.) - favoriser la définition et l harmonisation des standards et normes d évaluation (Madagascar, Z.R.) - créer une masse critique d individus et d institutions intéressés à l évaluation et à même de conduire un processus d évaluation (Madagascar, Z.R.) - relancer l évaluation au niveau national et local pour rattraper le retard pris vis-à-vis du niveau régional (France, E.M.) 2
Quels leviers identifiez-vous à l institutionnalisation de l évaluation dans votre pays? - les Cadres Stratégique de Lutte contre la Pauvreté (CSLP), documents cadres de politique générale qui instituent et organisent le suivi-évaluation de leur mise en œuvre 1 (Mauritanie, O.B.-T.) - l existence d associations nationales, initiées en accord avec la société civile, l administration et les partenaires du développement. En Mauritanie, l AMSE (Association Mauritanienne pour le Suivi et l Evaluation), dont la vocation est d œuvrer à la promotion du suivi et de l évaluation, siège à ce titre dans les comités de suivi du CSLP. Elle a par ailleurs pour mission de mettre en place et d animer un réseau national, le RéMSE (Réseau Mauritanien de Suivi-Evaluation), censé constituer le cadre de concertation national de suivi-évaluation en Mauritanie. - la dotation, dans tous les départements de l administration, ainsi que dans les projets et programmes d envergure nationale, de responsables de suivi-évaluation (Mauritanie, O.B.- T.) - un exercice d auto-évaluation innovant en partenariat avec le CAD/OCDE (dit CapScan) (Mauritanie, O.B.-T.) http://www.mfdr.org/cap-scan/new/cap-scanmauritanie- RapportFR.pdf - l expertise des agences internationales disposées à se mettre au service des institutions nationales (République Démocratique du Congo, F.S.) et la poursuite des objectifs de l institutionnalisation énoncés plus haut pour les grandes institutions (Madagascar, Z.R.) - la multiplication des projets à financements européens dont l évaluation est obligatoire et le développement des contraintes règlementaires (France, E.M.) - la sensibilisation des niveaux décisionnels (Niger, M.S.) et la formation de la classe politique à l évaluation (Suisse, K.H.-P.) Quels freins identifiez-vous à l institutionnalisation de l évaluation dans votre pays? - absence de vision claire et partagée au niveau national (Mauritanie, O.B.-T.) et manque de clarté de la position des services centraux en matière d évaluation (France, E.M.) - absence de formations adéquates des évaluateurs à tous les niveaux (Mauritanie, O.B.-T.) et donc de ressources humaines compétentes, qualifiées et conscientes de l importance commune de l évaluation (Madagascar, B.R.-Z.R., Niger, M.S.) - conditions de travail (cadre matériel, logistique, salarial et sociaux etc.) démotivantes pour les rares experts œuvrant dans les institutions nationales ce qui empêche la communauté d évaluateurs d être retenue et stabilisée (République Démocratique du Congo, F.S.) - convergence et développement des pratiques voisines à l évaluation (pilotage de la performance, management de la qualité, audit de performance) (France, E.M.) - faible capitalisation-valorisation des bénéfices de l évaluation d où faible prise en compte de la nécessité de son institutionnalisation (France, E.M.) et une faible capacité de mobilisation des acteurs autour de la question faute de cadre adapté (Niger, M.S.) - considération de l évaluation par certaines classes politiques comme un fait de déstabilisation (Madagascar, B.R., Suisse, K.H.-P.) - encore peu d institutions disposent de contraintes règlementaires ou sont concernées par les projets à financements européens (France, E.M.) 1 Le dispositif comprend l organisation d ateliers régionaux, des revues sectorielles, et d autres exercices, mais l essentiel des activités prévues et entreprises concernent plutôt le suivi que l évaluation. 3
Enjeux Quels acteurs appuient l institutionnalisation de l évaluation dans votre pays? Au niveau institutionnel : - les agences du Système des Nations Unies (Mauritanie, O.B.-T.), et de coopération (Madagascar, Z.R.) - la Commission européenne (France, E.M.) - le Ministère des Finances dans sa section en charge des politiques de développement (Mauritanie, O.B.-T.), la Direction générale de l évaluation des programmes de développement (Niger, M.S.) - l administration (Suisse, K.H.-P.), le Parlement (Suisse, K.H.-P., Madagascar, B.R.), les hauts dirigeants (Madagascar, B.R.) - les collectivités locales (France, E.M.) Hors cadre institutionnel : - les ONG et la société civile (Suisse, K.H.-P., Madagascar, B.R.) - les cabinets privés à travers leur implication dans différents réseaux de professionnels (France, E.M.) - les responsables des institutions de formation de gestion sociale et de l administration publique (Madagascar, B.R.) - les associations nationales : l AMSE (Mauritanie, O.B.-T.), le ReNSE (Niger, M.S.), la SFE (France, E.M.), la communauté des praticiens de la gestion axée sur les résultats de développement (Cop-Niger) (Niger, M.S.) - nombreuses initiatives hors cadre (République Démocratique du Congo, F.S.) Quelles initiatives connaissez vous (actuelles et passées) à ce sujet? - La mise en place de structures pilote de dispositifs de suivi-évaluation au sein des ministères : Mauritanie, O.B.-T. : Ministère des Finances qui encadre et pilote les efforts d organisation du RéMSE, dont le secrétariat est assuré par l AMSE Niger, M.S. : Ministère des Finances, Direction Générale de l Evaluation des Programmes de Développement République Démocratique du Congo, F.S. : Ministère du Plan, Unité de Pilotage du Plan d action de mise en œuvre du Document de Stratégie de Croissance et de Réduction de la Pauvreté ; mise en place d une Cellule de Suivi&Evaluation par la Banque Mondiale pour le Programme Agriculture et le Programme de l Enseignement Primaire/Secondaire/Professionnel Madagascar : Ministère de l Economie du Commerce et de l Industrie, Direction de la Statistique - mise en place d une Structure Intégrée de Suivi- Evaluation pour le Madagascar Action Plan (MAP) (B.R.); développement et opérationnalisation d un Système National de Suivi et Evaluation (Z.R.) 4
- l organisation de conférences internationales (une par l OIF, les premières journées francophones de l évaluation, septembre 2004 ; quatre par l African Evaluation Association, dont la dernière à Niamey janvier 2007) (Mauritanie, O.B.-T.) - les études diagnostiques sur les capacités évaluatives conduites au Niger, Congo, Sénégal (Mauritanie, O.B.-T.) - les séances de formations des différents acteurs concernés par la révision de la Stratégie de Réduction de la Pauvreté du Niger (SRP) (Niger, M.S.) - la création d une association nationale d évaluation et l harmonisation et définition de normes et standards d évaluation (Madagascar, Z.R.) - l article constitutionnel expliquant l évaluation de l ensemble des mesures prises de l Etat (Suisse, K.H.-P.) Selon vous y a t-il un renforcement ou un affaiblissement du rôle de l évaluation dans votre pays? - globalement renforcement (Suisse, K.H.-P., Madagascar, B.R.-Z.R., France, E.M., Niger, M.S.) bien que jugé lent (Mauritanie, O.B.-T.) ; - affaiblissement du fait des initiatives isolées (selon les procédures et exigences du bailleur), non coordonnées pourtant bien structurées (République Démocratique du Congo, F.S.) Quels enjeux identifiez-vous à l échelle nationale? - assurer un meilleur suivi et donc une meilleure gestion des politiques publiques au service du citoyen (Mauritanie, O.B.-T.) dont les moyens de contrôle sont renforcés - assurer une meilleure compréhension du rôle, du potentiel et de la valeur ajoutée de l évaluation tant au niveau de l administration centrale, locale, décentralisée que de la société civile, et des élus (Mauritanie, O.B.-T.) notamment ceux de l Assemblée Nationale (Niger, M.S.) - plus grande mobilisation de la société civile pour l institutionnalisation de l évaluation comme principe cardinal de tout processus (Niger, M.S.), promotion du rôle du Parlement et des associations non gouvernementales (France, E.M.) - systématisation et standardisation des outils suivant les secteurs (République Démocratique du Congo, F.S.) - meilleure coordination, affectation et budgétisation de l activité Suivi-Evaluation (République Démocratique du Congo, F.S.) - promotion d une définition plus fine de l évaluation et de sa valeur ajoutée par contraste avec ses disciplines voisines (France, E.M.) - élargissement de l évaluation au niveau cantonal et communal (Suisse, K.H.-P.) Quel rôle a joué ou joue actuellement votre organisme dans cette dynamique? - AMSE - Mauritanie, O.B.-T. : un rôle central qui devrait être mieux compris et mieux appuyé, y compris par les structures et membres qui la composent - ReNSE - Niger, M.S. Renforcement de capacité de ses membres 5
Diffusion d information sur l évaluation au public en général à travers la Lettre du ReNSE - PNUD - République Démocratique du Congo, F.S. la stratégie des diagnostics villageois à l est du pays et celle des Organisations Paysannes à l ouest, approches qui ont aidé les bénéficiaires (communauté locale, rayon des interventions des projets/programmes du PNUD) à participer à tous les stades de gestion d un projet/programme à l échelle locale - UNICEF/RMSE - Madagascar : rôle de promoteur de l institutionnalisation de l évaluation, notamment en mettant en place le Réseau Malgache de Suivi-Evaluation - Masse Madagascar : sensibilisation par l organisation de conférences aussi bien virtuelles que réelles, dissémination de documentations - Eureval France, E.M. : à travers son engagement de longue date, à travers l élaboration des cahiers MEANS de la Communauté européenne et son engagement actuel (contributions à la SFE, formations modulaires et diplômantes, publications ) - Idheap Suisse, K.H.-P. : rôle important de formation des étudiants et responsables politico-administratifs dans les mandats et la recherche Quel rôle joue une «société nationale d évaluation» dans cette institutionnalisation? - contribue à mobiliser des acteurs, favorise leur mise en réseau et le partage d informations (Mauritanie, O.B.-T. AMSE ; France, E.M. SFE ; RDC, F.S. qui ne bénéficie à ce jour d aucune structure nationale dédiée à l évaluation) - met en évidence l importance de l évaluation et de son institutionnalisation et en assure la promotion notamment via des opérations de sensibilisation voire de plaidoyer auprès des acteurs-clés (Niger, M.S. ReNSE ; Madagascar, B.R.-Z.R. MASSE ; France, E.M. SFE ; Suisse, K.H.-P. Seval) - recherche des partenariats avec d autres entités plus expérimentées et intervient au sein des Institutions de Formation publiques ou privées (Madagascar, B.R. MASSE) - pourrait produire un cadre avec des outils standards, mobiliser et affecter un budget conséquent (République Démocratique du Congo, F.S.) 6
Indicateurs Pouvez-vous citer trois indicateurs d institutionnalisation de l évaluation? - l existence d un cadre législatif qui rende l évaluation obligatoire : existence de prescriptions claires dans un document ayant force de loi (convention, décret, arrêté, politique nationale, texte législatif de reconnaissance) institutionnalisant l évaluation ; part des lois qui comprennent une clause évaluative ; niveau d application de cadre juridico-institutionnel et d utilisation de normes et standards nationaux d évaluation. - l existence de structures dédiées à l évaluation : association ou société nationale d évaluation ; réseau ou regroupement de professionnels. - le nombre de formations universitaires reconnues consacrées à l évaluation et/ou le nombre de personnes formées à l évaluation (qui pourrait être affiné par niveau, type de formations reçues) : existence de formations à l évaluation, dans le cadre d un programme cohérent ; existence d instituts de formation, de formations professionnelles, programmes de recherche et de chercheurs dédiés à l évaluation. - le nombre d institutions publiques centrales ou déconcentrées dotées d un service interne d évaluation - le pourcentage d institutions maîtrisant et utilisant l évaluation - le niveau d implication des principaux décideurs et des élus de l exécutif dans la commande d évaluation et dans la prise en compte de l évaluation dans les processus de décision tant en terme de principe qu en terme de moyens humains et matériels affectés. - le niveau de sensibilisation des acteurs-clés à l importance de l évaluation et de son institutionnalisation 7
Ecueils à éviter et expériences à renforcer Quelles sont selon vous, les modalités d institutionnalisation qui se sont avérées être contre productives? N.B. : les réponses n engagent que les personnes qui les ont formulées 1. Absence de volonté politique (Mauritanie, O.B.-T., Suisse, K.H.-P., Madagascar, B.R., RDC, F.S.) - institutionnalisation imposée ou introduite de l extérieur - institutionnalisation de façade : qui ne correspond pas au degré de soutien effectif et de maturité des acteurs 2. Mauvaise structuration des structures dédiées à l évaluation (France, E.M., Madagascar, Z.R.) - mise en place de conseils scientifiques d évaluation au niveau national - coexistence de structures à visée similaire 3. Mauvaise communication (Niger, M.S.) - expérience nigérienne : mauvaise publicité dans un environnement où le niveau d instruction est faible A contrario, quelles sont celles à renforcer? 1. Une meilleure compréhension de l évaluation et de ses enjeux via des opérations de sensibilisation et de formation (Mauritanie, O.B.-T., Niger, M.S., Madagascar, B.R.) - regroupements professionnels et éthiques 2. L application des normes et standards développés et l implication des acteurs politicoadministratifs de l évaluation (Suisse, K.H.-P., RDC, Madagascar, Z.R.) - promulgation de loi cadres (ou lois d orientation) et de lois expérimentales comprenant des clauses évaluatives (France, E.M.) 3. Le rattachement de l unité «évaluation» au Conseil d Administration ou à la Direction Générale (France, E.M.) Enfin, nous tenons d ores et déjà à remercier: - Mme Oumoul BA TALL, Présidente de l IOCE, Secrétaire Générale de l Association Mauritanienne de Suivi-Evaluation, Directrice d OKT Consult - Mme Katia HORBER-PAPAZIAN, Professeure à Institut de hautes études en administration publique, Membre du comité de la Société suisse d'évaluation des politiques publiques (SEVAL)- responsable du dossier «formation en évaluation et relations avec le politique», Co-responsable du groupe de travail de l'association suisse de science politique «Territoires et action publique» - M. Eric MONNIER, PDG et Co-fondateur d Eureval, Professeur à l Université de Genève, membre du Conseil Scientifique de l évaluation et du comité régional de l évaluation en Rhône-Alpes, membre fondateur de la Société Européenne d Evaluation (EES) et de la Société Française d Evaluation (SFE) - Mme Barbara RAKOTONIAINA, Secrétaire Général de Malagasy Association for Evaluation (MASSE) - M. Zazaravaka RANDRIAMIALISOA, Administrateur du Programme Suivi et Evaluation, UNICEF Madagascar - M. Mamadou SANI, GTZ-Coopération technique allemande, Responsables du système de suiviévaluation du programme de lutte contra la pauvreté (LUCOP) au Niger - M. Firmin SEKE, Associé au Programme PNUD/RDC pour leurs réponses. 8