Guide du suivi et de l évaluation axés sur les résultats P ROGRAMME DES NATIONS UNIES POUR LE DÉVELOPPEMENT B U R E AU DE L É VA L UATION

Transcription

1 Guide du suivi et de l évaluatio axés sur les résultats P ROGRAMME DES NATIONS UNIES POUR LE DÉVELOPPEMENT B U R E AU DE L É VA L UATION

2 P ROGRAMME DES NATIONS UNIES POUR LE DÉVELOPPEMENT B U R E AU DE L É VA L UAT I O N Guide du suivi et de l évaluatio axés sur les résultats

3 Bureau de l évaluatio du PNUD 2002 Bureau de l évaluatio Programme des Natios Uies pour le développemet Oe Uited Natios Plaza New York, NY 10017, USA Desig: Coloial Commuicatios Corp., New York, NY, USA

4 A va t - p r o p o s L aide au développemet a toujours eu pour objectif de réaliser le chagemet à log terme mais, bie souvet, o a mis l accet, s agissat de l iformatio à ce sujet, sur des réalisatios positives mais limitées. Même des projets efficaces et bie gérés perdet de leur ses s ils aboutisset pas à ue amélioratio sesible de la situatio du développemet. Fort de cette costatatio, le Programme des Natios Uies pour le développemet (PNUD) s attache davatage aux résultats et à la maière dot il peut cotribuer à les améliorer. Pour opérer cette réorietatio stratégique das le ses des résultats, le PNUD a besoi d u cadre solide et cohéret de suivi et d évaluatio favorisat l appretissage et la mesure des réalisatios. Ce cadre, qui devrait égalemet ous dire si ous accomplissos des progrès et das l affirmative, commet et pourquoi, doit être suffisammet clair et souple pour que le persoel à tous les iveaux (de projet, de programme et cadres des iveaux de pays) puisse l utiliser sas rigidité de faço à reforcer e derière aalyse l efficacité globale de l orgaisatio e matière de développemet. Le cadre de suivi et d évaluatio décrit das le préset Guide répod de ce fait à trois objectifs d importace égale : aliger le mécaisme de suivi et d évaluatio sur la gestio fodée sur les résultats, favoriser la coaissace critique et l appretissage cocerat les résultats, et simplifier les politiques et procédures. Plusieurs élémets de ce cadre appellet u chagemet das l attitude et l approche du persoel. Ce cadre favorise la priorité à la plaificatio cohérete et à log terme axée sur les résultats; les parteariats e vue du chagemet apporté par le développemet; le reforcemet des capacités et la maîtrise cocerat le suivi et l évaluatio; la promotio des coaissaces, de l appretissage et de l utilisatio des idices d évaluatio. Ue certaie formatio sera doc écessaire. Nous etedos tirer des eseigemets de ce ouveau cadre et l actualiser, mais il e faut pas mois souliger que l itroductio de ce cadre costitue u importat pas e avat pour le PNUD. Les istrumets et procédés décrits das le préset Guide viset à aider le PNUD et ses parteaires du développemet à opérer les bos choix s agissat des résultats, à éprouver la précisio de os hypothèses de développemet et démotrer commet et pourquoi le chagemet s opère là où il compte le plus, das l amélioratio des coditios de vie des pauvres. Zéphiri Diabré Admiistrateur associé Javier 2002 i

5 Préface Le PNUD mèe depuis 1999 u vaste programme de réforme et de réovatio visat essetiellemet à démotrer commet et où l orgaisatio apporte ue cotributio mesurable à l élimiatio de la pauvreté. Cette opératio est tributaire de la gestio axée sur les résultats, méthode selo laquelle l efficacité au iveau des objectifs et résultats de développemet est systématiquemet mesurée et améliorée, et les ressources sot gérées de maière stratégique et utilisées de maière maximale afi de reforcer l efficacité de l orgaisatio pour ce qui est du développemet. 1 Pour le PNUD, ce passage à «ue culture des performaces» appelle l aligemet de tous les istrumets de programmatio y compris le suivi et l évaluatio sur la méthode de la gestio axée sur les résultats. Doréavat, l efficacité du PNUD se mesurera à so apport à la réalisatio des effets (les chagemets das le développemet que recherche le PNUD, otammet par ses projets, programmes et parteariats). Il est plus évidet que jamais que l eff i c a c i t é du développemet passe par le reforcemet des istitutios, l amélioratio des cadres d itervetio et la costitutio de parteariats stratégiques. Les activités de suivi et d évaluatio répodet à la priorité accordée aux effets grâce à ue meilleure mesure des réalisatios et à la systématisatio du suivi et de la commuicatio d iformatio; surtout, ces activités favoriset au sei de l org a i s a t i o ue culture d appretissage, de trasparece et de resposabilité. Le préset Guide du suivi et de l évaluatio axés sur les résultats, porte sur le suivi et l évaluatio des résultats du développemet. Il a pour objet d aider les bureaux de pays à aliger leur mécaisme de suivi et d évaluatio sur les méthodes de la gestio axée sur les résultats et plus précisémet à suivre et mesurer l efficacité des itervetios et stratégies du PNUD aisi que leurs apports à la réalisatio des effets. 2 Il s agit de proposer des outils simples, souples et prospectifs. 1 Tout au log de ce Guide, les expressios «axé sur les résultats» et «méthode fodée sur les résultats» désiget d ue maière géérale la méthode de «gestio axée sur les résultats». 2 Le Guide porte expressémet sur le suivi et sur l évaluatio des résultats du développemet. Il aborde pas le suivi des activités de gestio. Toutefois,les cas où les activités de suivi et d évaluatio au iveau des pays itéresset égalemet les activités de gestio serot metioés. i i i

6 Le préset Guide s adresse essetiellemet au persoel des bureaux de pays mais il peut itéresser d autres agets du PNUD qui se fodet sur les iformatios dégagées des opératios de suivi et d évaluatio pour établir des rapports sur les résultats, améliorer les itervetios et predre des décisios e matière de programme et d itervetio. Il sera égalemet utile aux resposables de l évolutio des politiques et des réformes. E dehors du PNUD, il pourra itéresser d autres orgaismes des Natios Uies, des org a i s a t i o s gouveremetales et o gouveremetales, les milieux uiversitaires et les experts idépedats recrutés par le PNUD. Il devrait permettre de reforcer les capacités du PNUD et de ses parteaires atioaux pour ce qui est du développemet axé sur les résultats. Le texte itégral du préset Guide est égalemet dispoible sous forme électroique sur le site du Bureau d évaluatio ( Ce site cotiet des questios fréquetes, des revois à d autres sources et programmes de formatio aisi qu ue mise à jour périodique et la présetatio détaillée de toutes les méthodes de suivi et d évaluatio du PNUD. Khalid Malik Directeur Bureau de l Evaluatio i v

7 C o t e t s Itroductio 1 PARTIE I. LE CADRE DU SUIVI ET DE L É V A L UAT I O N 3 Chapitre 1. Objets et défiitios 5 Chapitre 2. L évolutio vers ue gestio axée sur les résultats 9 PARTIE II. LE SUIVI ET L É V A L UAT I O N 2 1 Chapitre 3. Plaificatio du suivi et de l évaluatio 23 Chapitre 4. Suivi («commet») 31 Chapitre 5. L évaluatio («commet») 45 PARTIE III. SUIVI ET ÉVALUATION DE LA PERFORMANCE 6 1 Chapitre 6. Mesure de la performace 63 PARTIE IV. E X P L O I TATION DES DONNÉES DE SUIVI ET D ÉVALUAT I O N 7 3 Chapitre 7. Savoir (ou coaissaces) et appretissage: Utilisatio des élémets d évaluatio 75 Coclusio 89 A N N E X E 9 1 Sigles et abréviatios 93 Glossaire 95 Documets et sites Web 107 Outils de suivi et d évaluatio 125 Aexe A: Pla d évaluatio et de suivi 126 Aexe B: Termes de référece de l évaluatio 129 Aexe C: Rapport auel de projet 132 Aexe D: Rapport de visite sur le terrai 134 Aexe E: Meu d outils de suivi 136 v

8 I t r o d u c t i o Objet du Guide Le Guide du suivi et de l évaluatio axés sur les résultats vise les objectifs suivats : Reforcer la foctio et les capacités de suivi et d évaluatio axés sur les résultats du PNUD afi d améliorer les programmes et politiques, l appretissage au iveau de l orgaisatio et la resposabilité; Itroduire des méthodes ou outils simplifiés, harmoisés et souples permettat de suivre la réalisatio des objectifs coformémet à la simplificatio de l orgaisatio et sur la base de l expériece du PNUD et de ses parteaires; Proposer des méthodes permettat de relier les produits des projets, programmes, politiques, parteariats et «appui-coseil» du PNUD à la réalisatio des effets selo le cadre de résultats stratégiques; 3 Expliquer les iovatios et méthodes ouvelles du suivi et de l évaluatio axés sur les résultats, y compris le rôle des parteaires; Offrir ue orietatio pratique aux bureaux de pays pour ce qui est du suivi et de l évaluatio de la performace. Structure et coteu Le Guide se compose de quatre parties et d ue aexe : La première partie présete le cadre théorique et foctioel du suivi et de l évaluatio das u cotexte axé sur les résultats. O y trouvera les élémets du ouveau cadre, la défiitio des pricipales otios du suivi et de l évaluatio des effets et la défiitio de leur portée et objet. La deuxième partie costitue le corps du Guide et est coçue pour ue utilisatio quotidiee. O y trouvera ue orietatio pratique cocerat la plaificatio, 3 Voir Glossaire. 1

9 l orgaisatio et l exécutio d activités de suivi et d évaluatio axées sur les résultats du développemet (effet et produits). O y trouvera égalemet des méthodes applicables à la mesure des performaces au moye d opératios de suivi et d évaluatio. Les outils correspodats sot présetés das des aexes. La troisième partie examie la mesure de la performace et l applicatio d idicateurs au suivi et à l évaluatio. La quatrième partie cocere le rôle des idices d évaluatio das l appretissage au iveau de l orgaisatio et la gestio du savoir. L a e x e cotiet des modèles et schémas cosultatifs et souples cocerat certais outils de suivi et d évaluatio tels que le madat type aisi qu u caevas aoté de rapports d évaluatio du iveau de réalisatio, qui serot accessibles sous forme électroique et pourrot aisi être facilemet adaptés. L aexe cotiet égalemet le glossaire, ue liste des sigles et abréviatios aisi qu ue bibliographie. O peut trouver les élémets ci-après e cosultat le site Web du Bureau de l évaluatio du PNUD ( : Modèles et présetatio de certais outils de suivi et d évaluatio; Référeces bibliographiques et électroiques; Sources d iformatio du PNUD et de ses orgaisatios parteaires; Mises à jour, eseigemets tirés et doées d expériece liés au Guide. O trouvera des sources supplémetaires das les publicatios de la «Compaio Series», qui cotieet ue orietatio plus approfodie pour le suivi et l évaluatio das certais domaies et cocerat certais groupes cibles, comme par exemple Guidelies for Outcome Evaluators (Directives pour les Evaluateurs) et Evaluatio Capacity Developmet. Tous les utilisateurs du préset Guide sot ivités à faire coaître au Bureau de l évaluatio leur avis au sujet de la publicatio aisi que les eseigemets tirés de leur expériece, ce qui permettra d améliorer e permaece le cadre de suivi et d évaluatio. Veuillez cosulter le site Web du Bureau de l évaluatio pour y trouver ue mise à jour de l applicatio du suivi et de l évaluatio axés sur les résultats. 2

10 PA RTIE I Le cadre du suivi et de l évaluatio

11 Chapitre 1. Objets et défiitios 5 A. Objets du suivi et de l évaluatio 5 B. Défiitios du suivi et de l évaluatio 6 Chapter 2. L évolutio vers ue gestio axée sur les résultats 9 A. Suivi et évaluatio das le cotexte de la gestio axée sur les résultats 9 B. Icideces pour le bureau de pays 16 Figures, tableaux et ecadés de la première partie Figure 1. Objets du suivi et de l évaluatio 6 Figure 2. Le cycle des résultats 7 Figure 3. Commet l appui «coseil» est-il fouri? 15 Figure 4. Resposabilité des chargés de programme e matière de suivi et d évaluatio 19 Tableau 1. Caractéristiques pricipales du suivi de l exécutio et du suivi des eff e t s 11 Tableau 2. Différeces etre suivi des effets et évaluatio des effets 12 Tableau 3. Chagemets apportés aux outils servat à la programmatio, au suivi et à l évaluatio 17 Tableau 4. Rôles et resposabilités e matière de suivi et d évaluatio au iveau du pays 18 Ecadré 1. Rôles des parteaires das le suivi et l évaluatio 14 Ecadré 2. E tat que chargé de programme, que dois-je chager das mo actio? 19

12 Objets et défiitios CHAPITRE 1 Le suivi et l évaluatio amélioret l efficacité de l aide du PNUD e établissat des lies bie défiis etre les itervetios passées, actuelles et futures et les résultats. Le suivi et l évaluatio peuvet aider ue orgaisatio à retirer des activités passées et e cours des reseigemets utiles qui peuvet servir de base par la suite à affier, réorieter et plaifier les programmes. E l absece de suivi et d évaluatio, il serait impossible de détermier si les activités sot allées das le bo ses, si des progrès et des succès ot été eregistrés, pas plus que la maière dot l actio future pourrait être améliorée. Le préset chapitre met e lumière les pricipaux objectifs du suivi et de l évaluatio et explique commet ces foctios peuvet être utiles à l orgaisatio.o y trouvera égalemet des défiitios liées au suivi et à l évaluatio. Le préset chapitre se subdivise e deux parties : A. Objets du suivi et de l évaluatio B. Défiitios du suivi et de l évaluatio A. Objects du suivi et de l évaluatio Le suivi et l évaluatio permettet d améliorer la performace et d obteir des résultats. Plus précisémet, le but gééral du suivi et de l évaluatio est de mesurer et d évaluer la performace afi de mieux gérer les effets et produits appelés résultats du développemet. La performace se défiit comme la progressio vers la réalisatio de résultats. Avec le priorité que le PNUD accorde actuellemet aux résultats, les bureaux de pays et groupes chargés des programmes doivet répodre à de ouvelles exigeces e matière de suivi et d évaluatio à cause de la écessité de mettre les réalisatios e évidece. Le suivi et l évaluatio ot toujours porté sur l évaluatio des apports et de l exécutio. Actuellemet, l accet est mis sur l évaluatio des cotributios de différets facteurs à u effet de développemet doé, ces facteurs état des produits, des parteariats, l orietatio géérale et le dialogue, le plaidoyer, la sesibilisatio et la médiatio et 5

13 coordiatio. Les directeurs de programme sot appelés à utiliser activemet l iformatio qui s est dégagée du suivi et de l évaluatio pour améliorer les stratégies, programmes et autres activités. Le suivi et l évaluatio axés aujourd hui sur les résultats ot essetiellemet pour objectif : D améliorer l appretissage au iveau de l orgaisatio et du développemet; De permettre la prise de décisios e coaissace de cause; D appuyer la resposabilité foctioelle et le recetrage du PNUD; De reforcer les capacités des pays das chacu de ces domaies aisi que pour ce qui est des foctios de suivi et d évaluatio e gééral. FIGURE 1. OBJETS DU SUIVI ET DE L ÉVALUATION Le suivi et l évaluatio aidet le persoel à Tirer les leços de l expériece Être resposable et à se recetrer Reforcemet des capacités Predre des décisios e meilleure coaissace de cause Ces objectifs sot iterdépedats de maière cyclique, comme l idique la figure 1. C est e tirat les eseigemets du passé que l o peut predre des décisios e meilleure coaissace de cause. Des décisios plus judicieuses coduiset à ue plus grade resposabilité evers les parties preates. Des décisios plus judicieuses amélioret e outre la performace, ce qui permet de recetrer e permaece les activités du PNUD. E costituat des parteariats étroits avec les pricipales parties preates à tous les stades de ce processus, o favorise e outre la créatio de coaissaces et l appretissage e commu, o cotribue à trasférer des compéteces et reforce la capacité des bureaux de pays et des projets du PNUD e matière de plaificatio, de suivi et d évaluatio. Ces parties preates apportet par ailleurs u précieux retour d iformatio qui peut servir à améliorer les réalisatios et l appretissage. Aisi, les boes pratiques qui sot le fodemet même du suivi et de l évaluatio se trouvet reforcées e permaece, cotribuat à l efficacité globale du développemet. B. Défiitios du suivi et de l évaluatio Le suivi peut se défiir comme ue foctio cotiue visat essetiellemet à assurer à la directio et aux pricipales parties preates ue itervetio permaete assortie d idicatios rapides de progrès ou d absece de progrès das la réalisatio des résultats. Ue itervetio permaete peut cosister e projets, programmes ou autres types d appui à u effet. (Voir à ce sujet le chapitre 4 et l aexe.) L évaluatio est ue opératio sélective qui vise à apprécier systématiquemet et de maière objective les progrès das la réalisatio d u effet. Il e s agit pas d ue activité poctuelle, mais d ue opératio qui suppose ue série d évaluatios différetes quat à leur objet et le degré de détail, effectuée à plusieurs momets pour répodre à l évolutio des besois e coaissaces critiques et e appretissage tout au log de la réalisatio 6

14 d u effet. Toutes les évaluatios même les évaluatios de projet portat sur la pertiece, l efficacité et d autres critères doivet être reliées aux effets par rapport à la seule performace ou aux produits immédiats. (Voir le chapitre 5 relatif à l évaluatio.) La commuicatio d iformatio fait partie itégrate du suivi et de l évaluatio. Il s agit de fourir systématiquemet et e temps utile des reseigemets vitaux à itervalles réguliers. Le suivi et l évaluatio se situet à deux iveaux différets tout e état étroitemet liés : U iveau est axé sur les produits ou les produits et services s p é c i f i q u e qui s se dégaget de la trasformatio d apports par le jeu d activités de programme, de projet et autres comme par exemple ue assistace spécifique poctuelle fourie e dehors de projets et programmes. L autre iveau porte sur les effets de l actio de développemet du PNUD ou l é v o l u t i o de la situatio de développemet que le PNUD cherche à opérer au moye de ses projets et programmes. Les effets itègret l élaboratio de produits et les apports des parteaires. Traditioellemet, le persoel du PNUD a toujours été plus à l aise avec le premier iveau : le suivi et l évaluatio fodés sur les programmes et projets et qui evisaget l exécutio du poit de vue des produits. Il s agit actuellemet de dépasser ce iveau et de relier la performace aux effets, avec des évaluatios rigoureuses et crédibles des progrès das la réalisatio des résultats. Les approches, techiques et istrumets de suivi et d évaluatio qui devraiet être appliqués aux deux iveaux sot présetés tout au log du préset Guide. La figure 2 motre commet les produits et effets sot itercoectés pedat la réalisatio des résultats. O trouvera ci-après la défiitio de deux autres termes qui apparaisset fréquemmet das le domaie du suivi et de l évaluatio : Le retour d iformatio est ue opératio s iscrivat das le cadre du suivi et de l évaluatio par laquelle des iformatios et des coaissaces sot diffusées et utilisées pour évaluer les progrès globaux sur la voie de la réalisatio des résultats ou pour cofirmer la réalisatio des résultats. Il peut s agir de costatatios, de coclusios, de recommadatios et d eseigemets tirés de l expériece. Le retour d iformatio peut cotribuer à améliorer l efficacité et sert de base à la prise de décisios et à la promotio de l appretissage das l orgaisatio. (Voir le chapitre 7 cosacré à la coaissace et à l appretissage.) U eseigemet tiré est u exemple istructif fodé sur l expériece qui peut s appliquer à ue situatio géérale plutôt qu à u cas particulier. Il s agit de tirer les eseigemets de l expériece. FIGURE 2. LE CYCLE DES RÉSULTATS APPORTS Experts Matériel Fods PRODUITS Réalisatio d études Nombre de persoes form é e s EFFETS Augmetatio des reveus Créatio d emplois IMPACT Amélioratio des coditios de saté Allogemet de la durée de vie OBJETS ET DÉFINITIONS 7

15 Les eseigemets tirés de telle ou telle activité grâce à l évaluatio sot cosidérés comme des coaissaces tirées de l évaluatio, que les parties preates ot plus de chaces d itérioriser si elles ot été associées à l évaluatio. Les eseigemets tirés peuvet dégager des «pratiques optimales» idiquat commet et pourquoi différetes stratégies se révèlet efficaces das des situatios différetes des reseigemets précieux qui doivet être documetés. 8

16 Le passage à l agestio axée s u rles résultats CHAPITRE 2 Le préset chapitre défiit la gestio axée sur les résultats et présete les pricipales caractéristiques d u système de suivi et d évaluatio axé sur les résultats. Le rôle du suivi et de l évaluatio est situé das le cotexte du passage du PNUD à la gestio axée sur les résultats,qui est sur les rails depuis 1999.O y trouve égalemet ue comparaiso etre les méthodes aciees et l approche actuelle fodée sur les résultats. Grâce à ce chapitre, les usagers devraiet pouvoir idetifier les domaies où u chagemet de comportemet s impose, et aliger e coséquece les activités de suivi et d évaluatio. Le coteu du préset chapitre est le suivat. A. Suivi et évaluatio das le cotexte de la gestio axée sur les résultats Suivi des effets Évaluatio des effets Relatio etre suivi des effets et évaluatio des résultats Importace des parteariats Ses de «l appui-coseil» B. Icideces pour le bureau de pays Modificatio das les outils et procédures Rôles et resposabilités Ejeu pratique pour les directeurs de programme A. Suivi et évaluatio das le cotexte de la gestio axée sur les résultats L accet état mis de plus e plus sur les résultats, l attetio, l approche et l applicatio du suivi et de l évaluatio sot e trai de chager profodémet au PNUD. La gestio axée sur les résultats est au cetre de ces chagemets. La gestio axée sur les résultats est ue stratégie ou méthode de gestio selo laquelle ue orgaisatio veille à ce que ses procédés, produits et services cotribuet à la réalisatio de résultats clairemet défiis. La gestio axée sur les résultats fourit u 9

17 cadre cohéret de plaificatio et de gestio stratégiques e améliorat l appretissage et la resposabilité. Il s agit égalemet d ue large stratégie de gestio visat à chager profodémet le mode de foctioemet des orgaismes, l accet état mis sur l amélioratio de la performace et la réalisatio de résultats par la défiitio de résultats réalistes à viser, le suivi du progrès vers la réalisatio des résultats escomptés, l itégratio des eseigemets tirés das les décisios de gestio et l iformatio au sujet de la performace. SUIVI DES EFFETS Les itervetios du PNUD cosistet e projets, programmes, parteariats et «appui-coseil» tels que des activités de sesibilisatio meées e dehors de projets ou programmes, tous ces élémets cocourat à la réalisatio d effets, ou chagemets du développemet. Le suivi de ces effets représete u chagemet profod par rapport à l accet qui était mis das le passé sur le suivi des produits de projets. Comme o l a vu au chapitre premier, ce chagemet permettra de détermier l efficacité des itervetios du PNUD au moye de leur apport chiffrable aux chagemets du développemet. Le suivi des effets est la collecte et l aalyse cotiues et systématiques de doées afi de mesurer l efficacité des itervetios du PNUD pour ce qui est de la réalisatio des e ffets au iveau du pays. Si le suivi des résultats est cotiu das la mesure où il e s agit pas d ue activité limitée das le temps, le suivi des résultats doit être périodique, de faço que le chagemet puisse être perçu. E d autres termes, les bureaux de pays rassemblerot e permaece des reseigemets au sujet de la réalisatio d u effet puis comparerot périodiquemet la situatio actuelle à la référece pour dégager des idicateurs de résultat et évaluer et aalyser la situatio. Note! Pour pouvoir suivre efficacemet les résultats et produits, le bureau de pays doit défiir avec précisio les projets, programmes et autres activités qui cotribuet à u effet doé. Les autres activités peuvet cosister e coseils et activités de plaidoyer meés e dehors des projets. Le suivi des résultats est cocetré sur les itervetios et stratégies ci-après aisi que sur leurs icideces : Projets; Programmes; Parteariats; Apui «coseil» sous forme d orietatio, de dialogue, d activité de plaidoyer, d e médiatio et coordiatio assurée e dehors des projets ou programmes établis; Stratégies d applicatio. Commet les directeurs de programme procèdet-ils au suivi des effets? Ils suivet les produits et mesuret leur cotributio aux effets e évaluat le chagemet par rapport à la situatio de référece. Les directeurs de programme doivet garder l œil sur les produits clefs (les produits et services particuliers qui résultet du traitemet des apports au moye des activités de programme ou autres) car ils peuvet idiquer si ue stratégie est pertiete et efficace ou o. Das le cotexte des résultats, ue itervetio du PNUD est pertiete si elle cotribue à la réalisatio d u effet clef, va das le ses des priorités atioales e matière de développemet et est bie ciblée. 1 0

18 TABLEAU 1. CARACTÉRISTIQUES PRINCIPALES DU SUIVI DE L EXÉCUTION ET DU SUIVI DES EFFETS ÉLÉMENTS DU SUIVI DE L EXÉCUTION (utilisés traditioellemet pour les projets) ÉLÉMENTS DU SUIVI DES EFFETS (appliqués à ue série d itervetios et stra t é g i e s ) Descriptio du problème ou de la situatio avat l itervetio; Critères pour les activités et produits immédiats; Collecte de doées au sujet des apports, activités et produits immédiats; Iformatio systématique au sujet de la fouriture d apports,etc.; Lie direct avec ue itervetio poctuelle (ou ue série d itervetios); Coçus pour réuir des iformatios au sujet de questios d admiistratio,d applicatio et de gestio au lieu de questios liées à l efficacité du développemet e gééral. Doées de référece décrivat le problème ou la situatio avat l itervetio; Idicateurs d effets; Collecte de doées au sujet des produits et de leur cotributio à la réalisatio des effets; L accet est mis davatage sur la maière dot le chagemet est perçu par les parties preates et «l appui-coseil»; Iformatio systématique, plus qualitative et quatitative, au sujet des progrès liés aux effets; Opérer de cocert avec les parteaires stratégiques; Recueil des iformatios au sujet de l efficacité de la stratégie de parteariat du PNUD das la réalisatio des effets recherchés. Pour bie suivre les effets, les directeurs de programme doivet fixer des doées de référece, choisir des idicateurs de performace et cocevoir des mécaismes icorporat certaies activités telles que visites sur le terrai, réuios des parties preates et aalyses systématiques ou rapports. Il e faut pas oublier que le suivi des effets est autre chose que le suivi de l exécutio, comme l idique le tableau 1. Les directeurs de projet e particulier sot toujours cesés suivre l exécutio de leurs projets. Ce suivi devrait être plaifié et itégré das le suivi des résultats afi d éviter les doubles emplois et de réduire les frais de trasactio. É V A L UATION DES EFFETS L évaluatio des effets porte sur ue série de projets, programmes et stratégies apparetés visat à atteidre u certai effet. Il s agit d évaluer commet et pourquoi les effets sot atteits ou o das u cotexte atioal doé, aisi que le rôle joué par le PNUD. Ces évaluatios peuvet égalemet servir à préciser les facteurs sous-jacets qui ot ue icidece sur la situatio, mettre e lumière les coséqueces imprévues (positives et égatives), recommader des mesures afi d améliorer la performace das la programmatio future et dégager des eseigemets. Ces évaluatios périodiques et approfodies utiliset des doées de suivi «avat et après». Les évaluatios des effets peuvet répodre à des besois différets selo la période, e fourissat dès les premiers stades des reseigemets au sujet des obstacles évetuels, e proposat des améagemets à mi-parcours ou e cotribuat aux eseigemets tirés à la fi d ue itervetio. L évaluatio des effets a pour objet de dégager des eseigemets, des coclusios et recommadatios e évaluat : Les progrès accomplis das la réalisatio de l effet; Les facteurs détermiat l effet (iflueces cocrètes); Les apports clefs du PNUD (produits, otammet au moye de «l appui-coseil») aux effets; L É VOLUTION VERS UNE GESTION AXÉE SUR LES RÉSULTATS 1 1

19 La stratégie de parteariat (la maière dot le PNUD travaille avec ses parteaires). Ces quatre grades composates sot évaluées à des degrés de détail différets selo l objet de l évaluatio. D autres domaies peuvet être ajoutés à l évaluatio, ecore que cela exige davatage de temps et de ressources fiacières sas écessairemet doer des résultats aussi détaillés. Commet les directeurs de programme évaluet-ils les effets? Agissat avec l équipe du bureau de pays, les directeurs de programme orgaiset les évaluatios d effet au iveau de pays au moye du pla d évaluatio (voir chap. 3). Les bureaux de pays doivet réserver des ressources suffisates à cette fi. La plaificatio permet d améliorer sesiblemet la coduite et la qualité de l évaluatio. Les bureaux de pays (et les etités du siège) doivet prévoir, e cocertatio avec les parteaires stratégiques, les aspects des évaluatios d effet, de la défiitio des objectifs à la collecte des doées. Les directeurs de programme, e assurat la liaiso avec les iveaux de gestio appropriés du projet au bureau de pays, doivet faire e sorte que les doées de référece et les idicateurs de performace appropriés soiet établis dès le début d ue itervetio. RAPPORT ENTRE SUIVI DES EFFETS ET ÉVALUATION DES EFFETS Le suivi des effets tout comme l évaluatio des effets vise la collecte et l aalyse systématique de reseigemets afi de suivre les chagemets depuis la situatio de référece jusqu aux effets recherchés et de compredre pourquoi il y a chagemet ou pas. Ces deux foctios sot étroitemet liées aux mécaismes de prise de décisios au iveau des programmes et des politiques. Elles fourisset toutes deux aux directeurs de programme, directeurs de projet et parties preates des reseigemets cohérets afi d améliorer les itervetios et stratégies. E outre, elles peuvet l ue et l autre établir la preuve de la resposabilité. Toutefois, elles diffèret quat à leurs objectifs, aux TABLEAU 2. DIFFÉRENCES ENTRE SUIVI DE L EFFET ET ÉVALUATION DE L EFFET Objectif Cetre d itérêt Méthode Exécutio Utilité SUIVI DE L EFFET Suivre les chagemets depuis la situatio de référece jusqu à l effet recherché. Axés sur les produits des projets, programmes,parteariats et activités «d appui coseil» aisi que sur leur apport aux résultats. Décèle et évalue la performace (progrès das la réalisatio des effets) par l étude et la comparaiso des idicateurs. Cotiue et systématique, par les directeurs de programme et de projet et les parteaires pricipaux. Avertit les directeurs de l existece de problèmes de performace,offre des variates de mesures correctives et aide à démotrer les resposabilités. ÉVALUATION DE L EFFET Établir quels résultats ot été atteits et commet et pourquoi ils ot été réalisés ou pas. Établit ue comparaiso etre la réalisatio de l effet prévu et escompté. Se cocetre sur la maière dot les produits et stratégies ot cotribué à la réalisatio des résultats et sur le pourquoi de cette cotributio. Est axé sur les questios de pertiece, d efficacité, de viabilité et d impact. Évalue la réalisatio des effets e comparat les idicateurs avat et après l itervetio. Part du suivi de doées relatives aux reseigemets proveat de sources extérieures. Poctuelle,périodique, approfodie. Évaluateurs extérieurs et parteaires. Offre aux directeurs des optios e matière de stratégie et de politiques,fourit la base de l appretissage et démotre la resposabilité. 1 2

20 cetres d itérêt et aux méthodes, aisi qu à la maière dot elles sot exécutées et exploitées, comme o peut le voir au tableau 2. 4 Les évaluatios des effets partet de doées produites grâce au suivi des effets, d iformatios proveat d autres sources telles que le Rapport auel axé sur les résultats (RAAR) du PNUD et des reseigemets proveat de sources extérieures telles que des equêtes idépedates auprès des cliets ou les rapports de parteaires. De même, les évaluatios des effets appuiet le suivi des effets. Elles costituet par exemple ue source d eseigemets qui peuvet être appliqués à l élaboratio d iovatios théoriques et méthodologiques applicables à l affiage de la foctio de suivi. Ces iovatios peuvet cosister à cocevoir des résultats et stratégies réalistes, mettre au poit des idicateurs appropriés e vue de futurs projets ou à démotrer l efficacité de certais types d outils de suivi das certais types d itervetio. I M P O R TANCE DES PA R T E N A R I ATS État doé qu o e peut modifier le développemet e vase clos, le PNUD travaille e étroite collaboratio avec ses parteaires pour suivre et évaluer les effets. Les parteaires du PNUD sot d autres orgaismes des Natios Uies, des pouvoirs publics, des orgaismes doateurs, des orgaisatios gouveremetales et o gouveremetales et d autres etités avec lesquelles le PNUD oue des relatios de fod pour réaliser des objectifs commus. Idéalemet, au momet de la formulatio des itervetios visat à réaliser certais effets, les directeurs de programme devraiet evisager la maière d ecourager la participatio des parteaires. Il faut pour cela savoir quels atouts chaque parteaire peut apporter. Aux fis du suivi et de l évaluatio, les directeurs de programme peuvet faire appel aux parteaires de plusieurs maières, comme par exemple : E faisat participer les parteaires et d autres parties preates au choix des idicateurs et cibles, à la collecte et à l aalyse des doées, e tat que participats à des missios sur le terrai ou e tat que membres d ue équipe d évaluatio; E utilisat les sources de doées et statistiques existates d orgaismes parteaires clefs, réduisat aisi le coût de la collecte des doées; E travaillat avec les parteaires à l étude des progrès accomplis e ce qui cocere les effets et à la recherche du meilleur moye de reforcer leur stratégie collective. Les directeurs de programme peuvet faire participer divers types de parteaires à tout u évetail d activités liées au suivi et à l évaluatio. Les rôles de ces parteaires sot décrits das l ecadré 1. 5 I M P O R TANCE DE L APPUI «CONSEIL» L appui «coseil» recouvre les coseils de politique géérale et le dialogue, la sesibilisatio et les services de médiatio et de coordiatio. O le distigue des cotributios «dures» ou cocrètes au développemet que l o peut recoaître das u bâtimet, ue étude ou u programme de formatio. Ce type d assistace était bie souvet égligé das le passé das la plaificatio, l évaluatio et la documetatio de la programmatio et de la 4 Source : Adapté de l UNICEF, du FNUAP et de la Baque modiale. 5 Adapté de la Baque modiale,chapitre sur le suivi et l évaluatio,2000 et du PNUD, Alex Rusita,rapport de fi de missio,2001 L É VOLUTION VERS UNE GESTION AXÉE SUR LES RÉSULTATS 1 3

21 ENCADRÉ 1.RÔLES DES PARTENAIRES DANS LE SUIVI ET L ÉVALUATION L orgaisme public de coordiatio et d autres miistères cetraux (par exemple du pla ou des fiaces), sot gééralemet chargés globalemet du suivi et de l évaluatio des activités de développemet telles qu elles sot décrites das le Pla-cadre des Natios Uies pour l aide au développemet et das le programme de pay s du PNUD. Ils sot bie placés pour coordoer la coceptio et l appui des activités de suivi et d évaluatio, e particulier l exame auel,et predre les décisios requises sur la base des résultats des évaluatios. Les orgaismes des Natios Uies fourisset les reseigemets socioécoomiques de référece sur les populatios et groupes bééficiaires là où le PNUD est préset que depuis peu ou a ue présece réduite. Les orgaismes des Natios Uies part a get des objectifs das l évaluatio commue de pays et le Pla-cadre. Ils fourisset u appui techique pour l évaluatio et le suivi et peuvet égalemet fourir des reseigemets au sujet de l état des effets. Les agets d exécutio (des istitutios désigées pour gérer u projet) sot chargés de la gestio des projets et de l exécutio des produits. Ces istitutios fourisset des iformatios techiques vitales sur l effet et la situatio e matière de développemet, l efficacité de la stratégie d applicatio et la maière dot les produits sot exécutés. Les bééficiaires visés f o u risset des reseigemets au sujet de la pertiece et de la qualité des produits ou services grâce aux réuios et cosultatios de parties preates.ils fourisset égalemet u appui techique au cours des évaluatios. Les offices atioaux de statistique sot les pricipaux fourisseurs de doées et de compéteces e matière de collecte et d aalyses des doées. Les uiversités, cetres de recherche et bureaux d étude peuvet offrir des compéteces e matière de suivi et d évaluatio et ot e outre les moyes d assurer ue formatio das toute ue série d aptitudes et techiques d évaluatio. Ils disposet égalemet d iformatios de base das les domaies de fod utiles à l aalyse des résultats. La société civile peut jouer u rôle de premier pla das l exploitatio des iformatios et costatatios d é gagées du suivi et de l évaluatio e ecourageat u débat e toute coaissace de cause sur les politiques géérales. La société civile peut égalemet idiquer utilemet la maière dot l état des effets est perçu. Les orgaismes d aide au développemet p e u vet reforcer les capacités de suivi et d évaluatio e four i s s a t ue assistace techique, sous forme de coseil,d ecadremet, d orgaisatio de sémiaires, de formatio, de désigatio de cosultats qualifiés et e rédigeat des documets d orietatio,otammet des études de cas.ces orgaismes fourisset égalemet des reseigemets sur les effets et produits et sot ifluets. performace. Il est désormais cosidéré comme u apport importat pour la réalisatio de résultats, ce reversemet de tedaces s expliquat par le recours à la gestio axée sur les résultats et l adoptio des plas d opératio de l Admiistrateur ( ), qui mettet e avat l appui «coseil». L appui «coseil» recouvre les élémets suivats : 1. Coseils de politique géérale et dialogue Les coseils de politique géérale et le dialogue sot au cetre de l actio que mèe le PNUD pour aider les pays à faire des avacées das le développemet, positio éocée das les plas d opératio de l Admiistrateur ( ). Aisi s amorce ue ouvelle orietatio de la maière dot le PNUD coçoit ses activités : Le PNUD abadoe la politique répodat aux projets au profit de projets répodat aux politiques. Sur le pla de l évaluatio, il coviet de oter que les coseils de politique géérale et les dialogues e la matière sot voisis tout e état disticts. Pour évaluer les coseils e matière de politique géérale, il faut examier commet les iformatios et études relatives aux optios fodametales sot commuiquées aux parties preates, après quoi o examiera l impact du poit de vue du développemet humai. E revache, pour évaluer le dialogue de politique géérale, il faut examier la maière 1 4

22 dot l échage d iformatio au sujet des optios fodametales est facilité etre parties preates, puis examier les coséqueces pour le développemet humai. 2. Plaidoyer A plaidoyer suppose que l o représete ou recommade quelque chose ou quelqu u. Le rôle du PNUD e matière de plaidoyer est de favoriser le programme de développemet humai aux iveaux modial, régioal et atioal par le jeu de questios diverses telles que l élimiatio de la pauvreté, l allégemet de la dette, l égalité etre les sexes, le chagemet climatique et la boe gouverace. Pour l évaluer, o pourrait par exemple examier commet les chagemets d orietatio au iveau atioal sot détermiés par les recommadatios du Rapport sur le développemet humai et les rapports atioaux sur le développemet humai, qui sot des aspects fodametaux du travail de plaidoyer du PNUD. Ces rapports cotieet ue aalyse et des recommadatios cocerat les réformes fodametales et istitutioelles, et otammet ue aalyse détaillée des questios istitutioelles itersectorielles. 3. Médiatio et coordiatio Les activités touchat la médiatio et la coordiatio sot si étroitemet liées que les deux termes sot utilisés presque idistictemet au PNUD pour désiger ue série d activités appelées «médiatio-coordiatio». La médiatio-coordiatio désige le rôle d u itermédiaire ou aget impartial qui égocie et pred des dispositios, parfois das des domaies sesibles, de maière à parveir à des résultats harmoieux et efficaces. E tat que forme d appui «coseil», la médiatio-coordiatio peut porter sur la politique, l iformatio ou le parteariat, l évaluatio état différete das chaque cas. La médiatio-coordiatio politique participe du rôle de médiateur impartial que joue le PNUD e favorisat le dialogue etre parties et itérêts e oppositio ou e coflit ouvert. L évaluatio est particulièremet importate das les situatios coflictuelles et trasitoires. La médiatio-coordiatio e matière d iformatio cocere l échage d eseigemets tirés, d iformatio et de coaissaces (otammet sur les pratiques optimales) avec des parteaires du développemet et des parties preates. FIGURE 3. COMMENT L APPUI «CONSEIL» EST-IL FOURNI? APPORT DE L APPUI-CONSEIL Coseil et dialogue de politique gééra l e Sesibilisatio Médiatio-coordiatio CANAL Descriptif de projet/documet d appui au projet Coseillers Cetres de cotact sous-régioaux Représetat résidet-présece du PNUD Ateliers spécialisés EN PARTENARIAT AVEC Les parteaires du développemet Les parties preates PRODUITS Résultats itermédiaires EFFET Chagemets du développemet L É VOLUTION VERS UNE GESTION AXÉE SUR LES RÉSULTATS 1 5

23 La médiatio-coordiatio cocerat le parteariat désige l istauratio de relatios de travail etre et parmi des parteaires iteratioaux et atioaux. Les évaluatios sot axées sur la programmatio e commu et la mobilisatio de ressources e vue de programmes ou opératios spécifiques (par exemple, des électios ou la coordiatio de l aide), et ot pour objet de reforcer la coordiatio etre doateurs. L appui «coseil» cosiste e apports à u système, comme le motre la figure 3. Ce système de base eglobe les différetes formes d appui «coseil», les méthodes d exécutio et sa cotributio aux produits et effets. Ces cotributios sot égalemet apportées au moye de parteariats. Pourquoi suivre et évaluer l appui «coseil»? L appui «coseil» peut réduire la pauvreté et favoriser le développemet humai e iflueçat le cotexte de l actio des pouvoirs publics. Les politiques et réglemetatios atioales doivet à tous les iveaux être favorables à u eviroemet porteur pour le développemet humai. 6 Le PNUD peut promouvoir so programme de développemet grâce aux outils d importace vitale que représetet les coseils aux décideurs, la sesibilisatio et la médiatio. L appui «coseil» est souple, dyamique et à itervetio rapide. Les itervetios au titre de l appui «coseil» représetet u service de plus que le PNUD est e mesure d offrir aux pays e développemet. Cette aide e demade guère de structure formelle, si tat est qu elle e demade, pour ce qui est de l itégratio à u programme ou u cadre de gestio axée sur les résultats, ce qui e l empêche pas de faire progresser cosidérablemet le développemet. Elle peut aussi être fourie rapidemet pour répodre sur le champ aux exigeces des pays. L accet état mis actuellemet sur les effets, il faut que le suivi et l évaluatio dépasset l exécutio des projets pour atteidre l objectif difficile que costitue l évaluatio des progrès das la réalisatio des effets et de la performace das des domaies difficilemet chiffrables. E coaissat les résultats des itervetios du PNUD au titre de l appui «coseil», o aura ue image plus claire des réalisatios et du rôle et de l impact de l actio du PNUD. L évaluatio de l appui «coseil» gagera e importace à mesure que le PNUD se cocetre sur des évaluatios larges et stratégiques. L appui «coseil» occupe ue place de choix das ces types d évaluatios (évaluatios des résultats, évaluatios thématiques, évaluatios globales et évaluatios d impact, etc.). E évaluat la qualité des itervetios au titre de l appui «coseil», le PNUD compredra mieux le commet et le pourquoi de l efficacité et de l échec, ce qui l aidera à réaliser les résultats qui costituet des chagemets souhaitables e matière de développemet. B. Icideces pour le bureau de pays L adoptio de la gestio axée sur les résultats touche les bureaux de pays à de ombreux égards, e particulier pour ce qui est du suivi et de l évaluatio. U chagemet est opéré 6 USAID, Recet Practices i Moitorig ad Evaluatio,TIPS, No 14,

24 TABLEAU 3. CHANGEMENTS APPORTÉS AUX OUTILS SERVANT À LA PROGRAMMATION, AU SUIVI ET À L ÉVALUATION OUTIL Évaluatio Pla d évaluatio Feuille d iformatio sur l évaluatio de projet Exame tripartite Rapport de projet auel Rapport fial Visites sur le terrai Exame auel AVANT L évaluatio est obligatoire pour les projets de 1 millio de dollars ou plus, o u lorsque le PNUD fiace ue istitutio depuis 10 as au mois. L évaluatio est obligatoire e cas d exécutio directe. Le pla d évaluatio au iveau du pays a été établi par le bureau de pays après l approbatio du programme de pays. Période cotiue de trois as,révisée chaque aée. Evoyé au Bureau de l évaluatio (BE). La feuille d iformatio sur l évaluatio de p r o j e t,r a p p o rt ou questioaire présetat l évaluatio du projet accompagée des la otatio des évaluateurs,était établie par le chef de l équipe d évaluatio (ou cosultat recruté par le bureau de pay s ). Evoyée au BE. U exame tripartite auel était orga i s é par le bureau de pays e cosultatio avec le gouveremet et l istitutio désigée; le bureau de pays préparait l ordre du jour et rédigeait u rapport sur la réuio d exame tripartite.exame tripartite fial vers la fi du projet. Le rapport de projet auel était ue é valuatio d u projet au cours d ue aée doée effectué par des groupes cibles, la directio du projet,le gouveremet et le PNUD. Établi par l istitutio désigée et utilisé aux fis de l exame tripartite. Le rapport fial de chaque projet était établi par l istitutio désigée. Le rapport de projet auel de la derière aée serva i t de rapport fial, les eseigemets tirés y état ajoutés.le représetat résidet e voyait le rapport fial aux bureaux régioaux et au BE. Les bureaux régioaux assuraiet u retour d iformatio et preaiet ue décisio quat au suivi. Le BE itroduisait le rapport fial das la base de doées. Le représetat résidet et le persoel du bureau de pays devaiet visiter tous les projets chaque aée et faire rapport dès la fi de la missio. Cette réuio auelle débouchait sur des rapports auels établis par les groupes opératioels sur les progrès au titre du cadre de résultats stratégiques. Base du rapport auel axé sur les r ésultats (RAAR). MAINTENANT Supprimée. Les évaluatios de projet (1 millio de dollars,10 as) e sot plus obligatoires.plusieurs évaluatios d effets doivet être effectués au cours de la période du programme de pays, e foctio du volume du programme total.les évaluatios de projet sot facultatives. Le pla d évaluatio au iveau du pays est établi électroiquemet par le bureau de pays et comporte u système de suivi pour l applicatio des recommadatios e matière d éva l u a t i o. À l ave i r, ce système sera relié au système de suivi axé sur les résultats. Aalyses et retour d iformatio par le BE.Sert de base à la suite doée à l évaluatio. Supprimée.Le bureau de pays soumet u rapport d évaluatio complet sous forme électroique au BE, où il est itroduit das ue base de doées qui réuit les eseigemets tirés et sert à aalyser les tedaces de l Orgaisatio avec u lie futur au système de ge s t i o axé sur les résultats.la otatio de la performace fait partie itégrate des rapports d évaluatio. N est plus obliga t o i r e.peut être effectué à titre facultatif das le cadre de projets exigeat ce iveau d exame. Décisio prise par le Comité directeur des projets, des groupes thématiques chargés des effets ou arragemets aalogues. O recommade des cosultatios périodiques des parties preates auxquelles participet les bééficiaires. Acie format supprimé.raccourci et davatage axé sur les résultats. Rédigé chaque aée par l istitutio désigée à l itetio du bureau de pays. Exceptio das le cas de projets e se prêtat pas à u rapport de projet auel. S u p p r i m é.l a p p r e t i s s a ge doit faire l objet du rapport de projet auel et de l exame auel.les eseigemets tirés doivet être partagés avec le réseau de coaissaces. L exame fial est plus obligatoire. Des visites régulières des projets sot ecouragées. Format souple mais davatage axé sur les résultats. Exceptio das le cas de projets e se prêtat pas à des visites de cofirmatio des effets. La visite d ue istitutio désigée ou des résultats est égalemet icluse. U dialogue de gestio reforcée doit avoir lieu au iveau du pays afi d évaluer l état de réalisatio des résultats (effets et produits). Cela suppose ue forte participatio des parties preates et sert de base au RAAR.Moye de dégager des eseigemets tirés e vue d ue ouvelle programmatio selo le déroulemet du programme de pays. 7 Veuillez cosulter Partie II, Chapitre 5. L É VOLUTION VERS UNE GESTION AXÉE SUR LES RÉSULTATS 1 7

25 à plusieurs iveaux : tout d abord, les outils et procédures de suivi et d évaluatio que le bureau utilise chaget; e deuxième lieu, les rôles et resposabilités du PNUD et du persoel de projet chaget; et troisièmemet, les directeurs de programme doivet relever plusieurs ouveaux défis. CHANGEMENTS DANS LES OUTILS ET PROCÉDURES U suivi et ue évaluatio axés sur les résultats exiget des outils et procédures de type bie précis. C est aisi que les bureaux de pays doivet utiliser périodiquemet, à l appui de la mesure des performaces, des istrumets de suivi souples (rapports de TA B L E AU 4. RÔLES ET RESPONSABILITÉS EN MATIÈRE DE SUIVI ET D ÉVA L UATION AU NIVEAU DU PAY S QUI? Agets, rôles et resposabilités QUOI? Iformatios requises POURQUOI? À quelles fis? Cadres supérieurs du bureau de pays Resposabilités pricipales Collaboratio avec les parteaires atioaux afi de détermier le cetre d itérêt et le résultat escompté de l aide du PNUD au pays Idetificatio et gestio des parteariats Évaluatio de la performace globale de l aide du PNUD au pays (progrès et réalisatio des résultats) Utilisatio stratégique et judicieuse des ressources du PNUD Chagemets das le cotexte du développemet Progrès, problèmes et tedaces liés à la réalisatio des résultats Caractéristiques et questios liées au volume et à l efficacité de l utilisatio des ressources Adapter l aide du PNUD e foctio de l évolutio des coditios du développemet,si écessaire Doer au PNUD ue positio stratégique das le cadre de la coopératio pour le développemet avec le pays Costituer de fortes coalitios pour le chagemet Résoudre les pricipaux goulets d étraglemet empêchat l exécutio pour améliorer les chaces d atteidre les effets Faire cocorder les résultats et les ressources Assurer u suivi et ue évaluatio dyamiques et axés sur les résultats Chargés de programme du bureau de pays Resposabilité pricipale : Portefeuille de programmes et projets du PNUD das u domaie thématique tel que la gouverace ou la pauvreté ou, e d autres termes,apport du PNUD aux résultats Progrès das la réalisatio des effets Progrès des stratégies de parteariat e vue des effets Niveau et efficacité de l utilisatio des ressources Aalyser les progrès et la réalisatio effective des effets Évaluer l efficacité des stratégies de parteariat et predre les mesures c o rrespodates (par exemple, m e i l l e u r e coordiatio avec les parteaires) Suivre l efficacité des stratégies d exécutio pour élimier les obstacles à la réalisatio des effets et predre les mesures correspodates Assurer ue boe utilisatio des ressources, e les mettat e œuvre de faço à pouvoir réaliser au mieux les effets Persoel de projet Resposabilité pricipale: Gestio des projets bééficiat d ue aide du PNUD afi de dégager des produits L effet visé par le projet Les progrès et la réalisatio des produits Problèmes d exécutio Collaboratio pratique au ive a u des projets avec les parteaires et suivi de leur apport Gestio des ressources Acrer le projet das le cotexte plus large Predre les mesures écessaires pour réaliser les objectifs des produits Assurer ue boe collaboratio avec les parteaires Établir des relatios avec les bééficiaires Assurer ue boe utilisatio des ressources 1 8

26 ENCADRÉ 2 : EN TANT QUE CHARGÉ DE PRO G R A M M E,QUE DOIS-JE CHANGER DANS MON AC T I O N? Me cocetrer davatage sur les résultats que sur l exécutio Préciser les attetes cocerat les tâches d exécutio, fixer des repères et laisser faire Préparer dès le départ les modalités, l objet et le momet du suivi et de l évaluatio Mettre au poit et utiliser des idicateurs das les programmes Aalyser la situatio, observer les chagemets et suivre leurs icideces Das les rapports,proposer des mesures à predre Tirer systématiquemet des leços des erreurs projet, plas de travail, visites sur le terrai, réuios de parties preates). Grâce à ces outils, les bureaux de pays peuvet détermier les itervetios qui cotribuet à la réalisatio de résultats et les stratégies qui cotribuet aux réussites. Les outils et procédures ot été ajustés de ombreuses maières, comme o peut le voir au tableau 3 sous les rubriques «avat» l itroductio de la gestio axée sur les résultats et «maiteat». (Voir chapitre 4 relatif à la procédure de suivi et l aexe pour ce qui est des outils de suivi et d évaluatio). et des réussites Collaborer plus étroitemet avec les E plus de ces chagemets, u exame parteaires extérieurs auel permettra à réuir d importats S attacher avec le persoel des projets élémets : l évaluatio au iveau du projet, à expliquer les lies avec les effets l évaluatio des résultats au iveau du Participer, au iveau du bureau, aux travaux de l équipe cocerée par la réalisatio des programme de pays (évaluatios des eff e t s ) et cadre des résultats stratégiques, et apport de l Équipe de pays des Natios Uies sur les objectifs de développemet du Milléaire. Avec l avèemet de la gestio axée sur les résultats, il est d autat plus importat d itégrer le suivi et l évaluatio das le cycle de programmatio, ce qui permet à l Orgaisatio de cocevoir des itervetios de qualité et d appliquer les eseigemets tirés des réussites et des échecs passés. Cela sigifie que le suivi et l évaluatio doivet être omiprésets tout au log du cycle de programmatio. RÔLES ET RESPONSABILITÉS Les rôles et resposabilités du persoel du PNUD sot défiis plus clairemet selo l approche actuelle, fodée sur les résultats, du suivi et de l évaluatio, comme o peut le voir au tableau 4. PROBLÈMES PRATIQUES QUI SE POSENT AUX CHARGÉS DE PROGRAMME Les chargés de programme jouet u rôle importat e mettat e lumière les résultats des programmes et e situat cette iformatio das le cotexte du cadre de résultats stratégiques. E d autres termes, les c h a rg é s de programme apportet ue importate cotributio à la saisie des produits et effets. Das le passé, ils se cocetraiet sur le suivi et l évaluatio de l exécutio des projets. Actuellemet, ils portet leur attetio FIGURE 4. RESPONSABILITÉS DES CHARGÉS DE PROGRAMME EN MATIÈRE DE SUIVI ET D ÉVA L UAT I O N RESPONSABILITÉS DES CHARGÉS DE PROGRAMME EN MATIÈRE DE SUIVI ET D ÉVALUATION Progrès das le ses des effets au iveau des pays Meilleure exécutio des produits des projets L É VOLUTION VERS UNE GESTION AXÉE SUR LES RÉSULTATS 1 9

27 sur l aalyse et la commuicatio des effets, ou, plus précisémet, sur la cotributio des produits des projets, l itervetio douce et le parteariat stratégique aux effets. Plus que jamais, les directeurs de programme doivet faire preuve de rigueur au iveau de la formulatio des projets et de la plaificatio des travaux afi de faire e sorte que les projets réaliset les objectifs, et appliquet les outils à cet effet. O trouvera das l ecadré 2 l éumératio de certaies de leurs resposabilités actuelles. Comme le motre la figure 4, les directeurs de programme ot deux iveaux de resposabilité iterdépedats pour ce qui est du suivi et de l évaluatio. Tout d abord, ils doivet saisir les résultats au iveau itermédiaire (progrès das la réalisatio des effets) aux fis du rapport auel axé sur les résultats. E deuxième lieu, ils doivet améliorer l exécutio des produits par le projet, au moye, par exemple, de la plaificatio des travaux, de visites sur le terrai, de l appui à ue prise de décisios efficace et de l exame de la stratégie d exécutio la plus efficace. 2 0

28 PA RTIE II Le suivi et l évaluatio

29 Chapitre 3. Plaificatio du suivi et de l évaluatio 23 A. Pricipes de base de la plaificatio 23 B. Processus de plaificatio 25 Chapitre 4. Suivi («commet») 31 A. Pricipes de base du suivi 32 B. Approche modulaire : istrumets et mécaismes du suivi 36 Chapitre 5. L évaluatio («commet») 45 A. Préparatio de l évaluatio 45 B. Supervisio de l évaluatio 56 C. Évaluatios commues 57 Figures, tableaux et ecadés de la deuxième partie Figure 1. Pla de travail du bureau de pays 24 Tableau 1. Classemet des mécaismes de suivi par catégorie 36 Tableau 2. Questios à se poser lors de la plaificatio de l exame auel 42 Tableau 3. Caledrier, but et durée de l évaluatio d effet 46 Tableau 4. Caledrier, but, durée et portée de l évaluatio d effet 49 Tableau 5. Répartitio des coûts e foctio du caledrier de l évaluatio 51 Tableau 6. Sources de documetatio et domaies d aalyse correspodats 53 Tableau 7. Différetes approches utilisables pour l évaluatio d effet 56 Ecadré 1. Plaificatio des évaluatios d effet das le cadre du programme de pays 29 Ecadré 2. Coformité d évaluatio 29 Ecadré 3. La mise e œuvre doit-elle égalemet être suivie? 34 Ecadré 4. Parties preates et parteaires clés 47 Ecadré 5. La cotributio du PNUD 48 Ecadré 6. Formatio de l équipe de liaiso pour l évaluatio 54

30 Plaificatio du suivi et de l évaluatio CHAPITRE 3 Le chapitre 3 motre commet élaborer u cadre logique et détaillé de suivi et d évaluatio e liaiso avec les programmes de pay s, le cadre de résultats stra t é g i q u e s,les activités de projet et a u t r e s.o y trouvera des directives pour la mise au poit d u pla de suivi et d éva l u a t i o,a i s i que des critères pour sélectioer et plaifier les éva l u a t i o s.l o b j e c t i f,das ce chapitre, e s t d aider les utilisateurs à plaifier leurs activités de suivi et d évaluatio de faço cohérete e foctio des besois propres au pays et des résultats prévus. Pla du chapitre: A. Pricipes de base de la plaificatio Pla de travail gééral Cosiges miimums Plaificatio au iveau du programme de pays B. Processus de plaificatio Plaificatio du suivi Plaificatio de l évaluatio Plaificatio du projet A. Pricipes de base de la plaificatio PLAN DE TRAVAIL GÉNÉRAL Le pla de travail résume les tâches, caledriers et resposabilités pour ue ou plusieurs aées. Il sert à cotrôler le déroulemet des activités et les progrès eregistrés das la réalisatio des effets. Le pla de travail décrit les activités à réaliser aisi que les produits et effets prévus. C est u outil qui aide à tirer méthodiquemet et cocrètemet parti, sur ue base auelle, des iformatios et des idées. Le pla de travail gééral du bureau de pays compred de ombreux domaies, dot le suivi et l évaluatio. Comme le motre le schéma 1, le pla de travail du bureau de pays est composé de trois élémets iterdépedats : Le pla de travail gééral qui cotiet les iformatios de fod et les décisios de gestio et est supervisé par l équipe de directio du bureau de pays; 2 3

31 FIGURE 1. PLAN DE TRAVAIL DU BUREAU DE PAYS Pla de travail gééral Portée géérale. Iformatio de fod et décisios de gestio. Géré et suivi par la Directio du bureau de pays. Pla de travail pour le cotrôle et l évaluatio Pla de travail du projet Cetré sur les résultats et le rôle des produits das la poursuite des résultats. Géré par l équipe du programme du bureau de pays. Cetré sur les activités et les produits du projet. Géré par l équipe du projet. Le pla de travail pour le suivi et l évaluatio qui est cetré sur les produits et les objectifs et est supervisé par l équipe du programme; Le pla de travail du projet qui est axé sur les activités et les produits et est supervisé par l équipe du projet. La plaificatio des activités au iveau des bureaux de pays reflète, e faisat ue part plus importate à la plaificatio du suivi et de l évaluatio, l évolutio vers ue gestio axée sur les résultats. Les bureaux du PNUD, pour assurer u suivi et ue évaluatio axés sur les résultats doivet teir compte, au iveau de la plaificatio, des besois spécifiques du bureau, des parteaires, du projet aisi que des effets et o pas appliquer mécaiquemet des procédures ormatives. CONSIGNES MINIMUMS Les bureaux de pays peuvet itégrer la plaificatio du suivi et de l évaluatio axés sur les résultats das les systèmes et les structures e place de différetes faços. Néamois, ils devraiet pour leur plaificatio, respecter les cosiges miimums suivates : 1. Plaifier simultaémet les activités de suivi et d évaluatio : l évaluatio est u istrumet de suivi importat et le cotrôle de l exécutio joue u rôle essetiel das l évaluatio. Le suivi et l évaluatio sot doc étroitemet liés. Par coséquet, il est recommadé aux bureaux de pays de plaifier cojoitemet le suivi et l évaluatio. 2. E r egistrer les résultats (réalisatio des effets et des produits): les iformatios pertietes sur les progrès réalisés das la réalisatio des effets et des produits doivet être eregistrées, idépedammet de l uité d aalyse adoptée das le pla de suivi et d évaluatio (effets, produits, projets, activités, thèmes, domaies). 3. Elaborer u pla d évaluatio : le pla d évaluatio couvre les effets défiis pour la période d exécutio du Programme de pays. Tous les bureaux et les groupes des opératios doivet obligatoiremet préparer u pla d évaluatio au cours du premier quart de chaque cycle du programme de pays. Ce pla est u élémet essetiel de l évaluatio de l exécutio des activités. 4. Baser la plaificatio sur u choix stratégique : la plaificatio e se limite pas à la programmatio (caledriers et choix des istrumets). So objet pricipal est de défiir la meilleure approche e foctio des besois et de la ature de l objet du suivi et de l évaluatio. 2 4

32 P L A N I F I C ATION AU NIVEAU DU PROGRAMME DE PAY S La plaificatio du suivi de l exécutio et de l évaluatio doit débuter dès la phase de formulatio du programme de pays. Elle doit être revue régulièremet, chaque aée ou périodiquemet, selo les besois locaux, et à mesure que les plas se cocrétiset et que les programmes évoluet. Elle permet de décider, e coaissace de cause, des élémets pertiets à évaluer, et de choisir le momet propice pour ce faire. E d autres termes, ce type de plaificatio tiet compte de la fialité de l évaluatio, à savoir aider à améliorer la programmatio et la lige d actio. E outre, les résultats de l évaluatio peuvet iciter à predre certaies mesures touchat au pla de travail gééral du bureau de pays, ou au pla de travail du projet ou ecore aux tâches du resposable de programme. Lors de la phase de coceptio et d approbatio des grades liges du programme de pays le documet das lequel est exposé le programme du PNUD pour le pays le bureau de pays, avec ses parteaires : Décide des stratégies du suivi et de l évaluatio et expose ces dispositios das les grades liges du programme de pays. Il défiit la démarche géérale pour le suivi et l évaluatio. Il précise les effets sur lesquels portera l évaluatio (ou la méthode qui sera utilisée pour les défiir). Il idique égalemet, de faço géérale, commet serot suivis les progrès réalisés das la réalisatio des effets et l exécutio des programmes et projets. Note : c est au cours de cette étape que souvet il trouve u terrai d accord avec le gouveremet sur les modalités du suivi et de l évaluatio. Plaifie les évaluatios des effets. Plus précisémet, il sélectioe des effets spécifiques (résultats ou modificatios du développemet) à évaluer et fixe les caledriers des évaluatios. (Voir sectio suivate sur la plaificatio). Plaifie le suivi des effets et met au poit des systèmes pour ce faire. L é v a l u a t i o des progrès réalisés das la réalisatio des effets s appuie sur la collecte cotiue de doées et d iformatios. À ce stade il peut être écessaire de recourir aux mécaismes e place ou de créer des groupes de cosultatio sur les effets, de défiir le mode de collecte des doées pour les idicateurs, de discuter de l orietatio géérale du suivi, etc. (Voir sectio sur la plaificatio du suivi de l exécutio ci-dessous et chapitre 4). Plaifie avec précisio, ue fois les grades liges du programme de pays approuvées et la phase de mise e œuvre egagée, le suivi du programme/projet pour la première aée. Le suivi devrait aller au-delà du suivi plaifié pour l effet coexe. E d autres termes, le suivi du programme/projet devrait porter sur les problèmes liés à la mise e œuvre, sur l exécutio des produits, aisi que sur les progrès réalisés das la réalisatio des effets, alors que le pla de suivi relatif aux effets devrait être plus ciblé. B. Processus de plaificatio P L A N I F I C ATION DU SUIVI La méthode et le caledrier pour suivre l exécutio des activités du PNUD devraiet être discutés dès le début et esuite revus régulièremet. La plaificatio du suivi se fait P L A N I F I C ATION DU SUIVI ET DE L É VA L UAT I O N 2 5

33 e gééral au stade de la coceptio du Programme de pays, de la coceptio du programme/ projet pour être esuite revue chaque aée. Le pla de suivi peut être axé sur les projets et programmes, aisi que sur les chagemets apportés par le développemet (effets). Des projets, programmes et ouvelles activités sot mis au poit ou mis e oeuvre au cours de chaque cycle de programmatio. Parallèlemet, des plas pour leur suivi et leur évaluatio sot égalemet élaborés. Ces plas sot coçus de faço à pouvoir s itégrer das le cadre pour le suivi et l évaluatio déjà établi das le programme de pays. Les resposables de Programme du PNUD sot chargés de défiir les dispositios à predre pour le suivi, compte teu de la ature de l effet, du programme et du projet. Différets dispositifs de suivi peuvet être reteus comme das les exemples ci-après : L effet visé est l amélioratio des moyes de subsistace de la commuauté villageoise, das ce cas ue approche réellemet participative peut être écessaire; L objectif visé implique ue «assistace douce» importate, comme des coseils e matière d orietatio, das ce cas le pla de suivi devrait iclure des dispositios pour suivre le processus d établissemet des politiques das le pays; L e ffet visé implique otammet d importates activités de sesibilisatio, das ce cas le suivi pourrait viser à redre compte de l évolutio des maières de voir (grâce à des equêtes auprès des bééficiaires ou de groupes cibles) plutôt que de l évolutio matérielle (grâce à des ispectios sur les sites de projet); L e ffet visé est régioal ou modial, das ce cas des rapports plus fréquets pourraiet être écessaires, compte teu de la dispersio géographique des pays cocerés. Les bureaux de pays, lorsqu ils plaifiet le suivi des progrès réalisés das la réalisatio des effets (suivi des effets), sot ecouragés à suivre les étapes suivates : 1. Idetifier les besois : e d autres termes détermier la ature de l effet et/ou des programmes et projets meés pour obteir cet effet, décider de l iformatio requise pour pouvoir détermier la ature de l effet, idetifier les élémets à suivre e priorité et défiir des idicateurs de progrès ou de succès. 2. Evaluer le suivi e cours: pour évaluer le suivi e cours (ou celui proposé pour les ouveaux projets), aalyser les istrumets de suivi utilisés das tous les projets et programmes meés pour atteidre u effet doé. Mesurer l efficacité de ces istrumets pour obteir les iformatios requises et le rôle qu ils doet aux parteaires clés. Établir si le suivi porte sur des questios réellemet pertietes pour mesurer l efficacité. Idetifier les possibilités d augmeter l efficacité et la coordiatio. Cette approche aidera à d idetifier, e foctio des besois d iformatio, les isuffisaces de l aalyse. 3. Aalyser la port é e, ou les istru m e t s,du suivi : est-il écessaire d élargir ou de spécialiser la portée, ou les istrumets, du suivi e foctio du programme ou du projet cosidéré? Des programmes complexes ou de grade evergure pourraiet écessiter plus de détails sur la mise e œuvre. Des projets e aval pourraiet demader ue participatio supplémetaire des bééficiaires. Des projets pilotes pourraiet fourir des eseigemets particuliers que devrait idetifier le suivi. 4. Adapter et/ou mettre au poit des mécaismes de suivi : les mécaismes utilisés devraiet permettre d aalyser de faço satisfaisate les effets et de combler le fossé pouvat exister etre l iformatio dispoible et l iformatio requise. Par exemple, si u 2 6

34 Comité directeur, ou autre mécaisme du même type, est utilisé pour le suivi, veiller à y faire participer les parteaires travaillat à la réalisatio du même effet. Si le résultat cosidéré implique u grad ombre de parteaires, itroduire des istrumets supplémetaires comme des réuios des parties preates. (Voir chapitre 4 sur le bo choix des istrumets de suivi). Il y a pas de présetatio stadard pour l établissemet du pla de suivi. E pratique, le pla de suivi peut être iclus das le pla de travail du bureau de pays, les plas de travail du projet, ou das le pla de travail persoel des resposables de programme, ou ecore das les plas établis pour les mécaismes de coordiatio. Néamois, de ombreux bureaux de pays, pour assurer au suivi toute l efficacité voulue, souhaiterot décrire das u documet spécifique l esemble des mesures prises pour le suivi. P L A N I F I C ATION DE L É V A L UATION L évaluatio est importate car elle permet de tirer des eseigemets, de valider les résultats et predre des décisios appropriées. Il est demadé aux bureaux de pays de réaliser u ombre précis d évaluatios d effets au cours du cycle de programmatio et de cocevoir u pla d évaluatio pour ces évaluatios d effets et pour toutes les autres évaluatios de projets, programmes ou thèmes qu ils souhaitet faire. (Voir chapitre 5 sur l évaluatio). La plaificatio de l évaluatio est liée au cycle de programmatio par pays. Au cours du premier quart de chaque Programme de pays, le bureau de pays prépare u pla d évaluatio qu il présete au Bureau de l évaluatio. 8 (Voir aexe B pour le mode de présetatio). Esuite, le pla est mis à jour régulièremet, chaque aée, ou à des dates fixes, selo les besois locaux, deveat aisi pratiquemet u «pla cheille». Par exemple, si u bureau de pays plaifie la première évaluatio d effet trois as après le début du programme de pays, il aura pas besoi de revoir so pla d évaluatio pedat les deux aées qui précéderot l évaluatio. Toute révisio du pla effectuée par le bureau de pays au cours du cycle de programmatio doit d abord être présetée au Bureau de l évaluatio. Parfois la révisio du pla est redue écessaire par ue modificatio imprévue des doées, comme la dimiutio ou l augmetatio des ressources fiacières, ou par la trasformatio du cotexte atioal. Le pla d évaluatio est basé sur les décisios et les choix stratégiques du bureau de pays (plus précisémet de l équipe de directio) cocerat les élémets à évaluer et les caledriers d évaluatio. Le pla est esuite utilisé pour s assurer que les activités d évaluatio se déroulet bie comme prévu. La préparatio de l évaluatio pourrait être facilitée par ue «plaificatio à rebours», c est-à-dire e calculat à partir de la date fixée pour l évaluatio, et compte teu du temps estimé écessaire pour sa préparatio et sa réalisatio, le momet auquel egager le processus de préparatio. Les bureaux de pays peuvet choisir, lors de la phase de plaificatio de l évaluatio, les effets précis qu ils souhaitet évaluer, pour peu qu ils respectet le ombre miimum d effets à évaluer obligatoiremet. Ils devraiet, e s aidat du Cadre de résultats 8 U système gééral pour la plaificatio et le suivi de l évaluatio est prévu pour : a) plaifier le déroulemet des évaluatios; b) aalyser les eseigemets et les résultats des évaluatios et les cosiger; c) cotrôler la suite doée aux recommadatios issues de l évaluatio.ce système fera la liaiso avec les plas d évaluatio et des évaluatios du bureau de pays et itégrera leurs iformatios pour permettre ue resposabilisatio et u appretissage gééralisés.les bureaux de pays vot pouvoir formuler leurs plas d évaluatio et leurs systèmes de suivi de faço à ce qu ils soiet accessibles sur support électroique au iveau du pays. P L A N I F I C ATION DU SUIVI ET DE L É VA L UAT I O N 2 7

35 stratégiques 9 atioal, baser leurs choix sur les critères suivats : 1. But de l évaluatio d effet : les évaluatios d effet peuvet avoir différets buts otammet rassembler des iformatios sur le bie-fodé de la stratégie de parteariat du PNUD dès les premières étapes de sa mise e oeuvre, idetifier les obstacles à la réalisatio de l effet fixé, défiir les ajustemets auxquels procéder à mi-parcours et tirer des eseigemets pour le prochai cycle de programmatio. Le bureau de pays devrait examier les résultats effets das le Cadre de résultats stratégiques pour idetifier ceux écessitat ue évaluatio et décider du momet où la réaliser pour obteir le maximum d iformatios. Par exemple, ue évaluatio e début de cycle pourrait être écessaire das le cas d u effet de gouverace faisat ue part importate à la fouriture de coseils e matière de politique géérale et de plaidoyer alors que le bureau de pays a relativemet peu d expériece das ces domaies. Ce type d évaluatio e début de programme (qui peut même avoir lieu au cours de la première aée) pourrait porter sur la formulatio et l applicatio de la stratégie. Das ue situatio différete, ue évaluatio à moye terme pourrait être écessaire pour procéder à des ajustemets à mi-parcours et vérifier l exécutio des premiers produits (Voir chapitre 5 pour plus de précisios sur les buts des évaluatios de résultat et les différetes optios e la matière). 2. Ressources ivesties par le bureau de pays das la réalisatio de l effet cosidéré : lors du choix du résultat à évaluer, reteir ceux pour lesquels le bureau de pays a ivesti des ressources importates. Éviter de choisir uiquemet les effets pour lesquels le budget est très limité. 3. Probabilité d itervetios ultérieures das le même domaie thématique : l évaluatio d effet peut être extrêmemet utile pour mettre au poit des recommadatios qui guiderot la réalisatio des travaux. Elle permet au bureau de pays de voir das quelle mesure les produits exécutés ot aidé à atteidre l effet cosidéré et d évaluer l efficacité de la stratégie de parteariat élaborée par le PNUD. Il est préférable de choisir d évaluer des effets ayat trait à des domaies auxquels le bureau de pays cotiuera de s itéresser. 4. Aticipatio des problèmes : les évaluatios peuvet aider à éviter certais problèmes et fourisset u poit de vue idépedat sur les problèmes existats. Il est préférable de choisir d évaluer des effets dot la réalisatio risque de poser des problèmes, ou des complicatios, parce qu il s agit de domaies délicats et qu u ombre importat de parteaires est coceré. 5. Eseigemets : quels sot les eseigemets dot o a besoi pour guider la poursuite des activités das ce pays ou das d autres pays de la régio? Ue évaluatio de résultat das u domaie thématique doé est pas seulemet istructive das ce domaie, mais peut égalemet fourir des eseigemets utilisables das d autres domaies thématiques. Les bureaux de pays devraiet choisir les effets à évaluer e foctio des eseigemets qui peuvet être tirés et qui sot utiles pour toute l orgaisatio. Par exemple, ue évaluatio d effet ayat trait à la coceptio et à l applicatio des politiques ou des cadres de réglemetatio u domaie relativemet ouveau pour le PNUD fourira des eseigemets extrêmemet précieux à l Orgaisatio qui a ecore peu d expériece das ce domaie. 9 Le cadre de résultats stratégiques défiit ue approche pour le développemet et la démarche à adopter pour parveir aux résultats escomptés. Il iclut des stratégies, des objectifs et ue aalyse des problèmes et fourit u poit de départ pour ue évaluatio et u suivi axés sur les résultats. Au PNUD, le cadre est préseté das u documet qui défiit les effets,les produits,les parteariats et les idicateurs avec buts et domaies stratégiques d appui. 2 8

36 ENCADRÉ 1. PLANIFICATION DES ÉVALUATIONS D EFFET DANS LE CADRE DU PROGRAMME DE PAYS Le programme meé par le PNUD das u pays X prévoit u iveau de ressources «moye» pour le prochai cycle de Programme de pays. Au début du cycle, le bureau de pays présete au Bureau de l évaluatio u pla d évaluatio prévoyat trois évaluatios d effet pour les ciq aées suivates.le bureau de pays choisit les trois effets à évaluer e foctio de leur importace das le cadre du programme, des ressources allouées à la réalisatio de ces effets et des domaies potetiels d assistace. Il sélectioe égalemet différets types d évaluatio e se basat sur les iformatios que lui et les autres parties preates souhaitet obteir. Le pla d évaluatio préseté au Bureau de l évaluatio au cours du premier quart du cycle de programmatio prévoit, compte teu des différets projets,programmes et activités liés à ces trois effets, ue évaluatio relativemet rapide de l effet 1 à la fi de la première aée,ue évaluatio plus détaillée de l effet 2 au cours de la troisième aée et ue évaluatio complète de l effet 3 à la fi de la quatrième aée. Cycle de programmatio ANNÉE 1 ANNÉE 2 ANNÉE 3 ANNÉE 4 ANNÉE 5 Effet 1 Effet 2 Effet 3 6. Caledrier des évaluatios: le bureau de pays défiit la date des évaluatios e foctio de sa charge de travail prévue pour chaque aée doée. Il cherche à répartir équitablemet les évaluatios, e les écheloat sur l esemble du programme de pays et e variat leur portée. Il alterera les évaluatios e début et e fi de cycle, les évaluatios succictes et les évaluatios plus approfodies, e foctio des besois. U exemple de plaificatio des évaluatios d effet das le cadre du programme de pays est doé das l ecadré 1. Le bureau de pays, ue fois qu il a sélectioé l effet à évaluer, idetifie les projets et programmes qui cotribuet à la réalisatio de cet effet. Ces projets et programmes ENCADRÉ 2. CONFORMITÉ AUX NORMES D ÉVALUATION Pour détermier la coformité aux ormes d éva l u a t i o, les pays sot classés par catégo r i e. À chaque catégo r i e correspod u ombre doé d évaluatios d effet à réaliser au cours du cycle de programmatio calculé e foctio des ressources totales (ressources de base et autres ressources) prévues pour le bureau de pays et du ombre d évaluatios atérieures réalisées. Voir pour la liste des évaluatios prévues par pays. Le mode de classemet adopté pour fixer le taux de coformité est le suivat : Catégorie Fourchette de ressources Nombre d évaluatios d effet obligatoires par Programme de pay s (e millios de dollars) (selo les ressources et les évaluatios précédetes) Miimum de. A < 2 Optioal ou 1 B 2 < 5 1 ou 2 C 5 < 10 2 ou 3 D 10 < 20 3 ou 4 E 20 < 70 4 ou 5 F 70 < 6 Exemple : Le pays Z se rage das la partie supérieure de la catégorie E pour le prochai cycle de programmatio.il devra par coséquet réaliser 5 évaluatios d effet au cours du prochai programme de pays. Ce ombre est iférieur à celui calculé pour le cycle précédet au cours duquel le pays Z a dû faire des évaluatios pour 19 projets d u motat supérieur à 1 millio de dollars. P L A N I F I C ATION DU SUIVI ET DE L É VA L UAT I O N 2 9

37 doivet être précisés das le pla d évaluatio. Les équipes chargées de ces programmes et projets sot aisi teues au courat, ce qui leur permet de predre e compte l évaluatio d effet das la plaificatio et le suivi de leurs activités. Cela aide égalemet le resposable de programme à cotrôler l effet et permet d iclure les cotributios de ces programmes et projets das l évaluatio. U autre aspect de la plaificatio de l évaluatio est la coformité aux ormes d évaluatio. La coformité aux ormes d évaluatio est jugée d après les egagemets qu a pris le bureau de pays de réaliser certaies évaluatios d effet au cours d u cycle doé de programme de pays. Le siège du PNUD utilise le pla d évaluatio préseté par le bureau de pays comme base pour évaluer la coformité aux ormes d évaluatio. Les autres évaluatios que le bureau de pays décide de réaliser e plus des évaluatios d effet e sot pas prises e compte pour calculer le taux de coformité. Le Bureau de l évaluatio est chargé de cotrôler la coformité, d aalyser systématiquemet l iformatio fourie pour favoriser l appretissage et de faire rapport au Coseil d admiistratio du PNUD. Le taux de coformité est calculé suivat la méthode expliquée das l ecadré 2. P L A N I F I C ATION DU PROJET Le pla de travail du projet est u istrumet utilisé pour fixer des buts à l exécutio des produits et pour mettre au poit ue stratégie visat à retabiliser au maximum la cotributio du projet et des activités coexes à la réalisatio des effets fixés das le cadre de résultats stratégiques. Le processus de plaificatio des tâches aide l équipe resposable de la gestio du projet et les autres parties preates à s accorder sur la meilleure stratégie à adopter pour parveir aux résultats escomptés. La plaificatio axée sur les résultats écessite ue révisio régulière du pla de travail. L accet devrait être mis sur les objectifs gééraux du cadre de résultats stratégiques plutôt que sur les objectifs plus limités du projet. Le pla de travail permet de faire la relatio etre les apports, le budget, les activités, les produits et les effets. Ue approche plus souple pour la réalisatio du projet peut deveir écessaire si les eseigemets tirés de cet exame périodique impliquet des ajustemets réguliers du pla de travail. Le resposable de programme s appuie sur les plas de travail du projet pour cotrôler l avacemet des travaux. Les plas de travail du projet permettet aux resposables de programme et aux autres parties preates de s accorder sur les résultats et de s assurer que ceux-ci sot coformes aux objectifs et aux cibles posés das le cadre de résultats stratégiques. Les plas de travail peuvet égalemet fourir u poit de départ pour décider de la démarche à suivre pour l exécutio des produits escomptés, pour fixer les apports et les rubriques budgétaires. Des poits de repère stratégiques pour les activités et les produits fixés das le pla de travail permettrot de oter très tôt si les progrès réalisés das la réalisatio des objectifs correspodet bie aux prévisios. Le resposable de projet devrait iclure les pricipales activités d évaluatio et de suivi de l exécutio du projet das le pla de travail e précisat particulièremet les modalités du suivi des effets. Le pla pourrait égalemet doer des précisios sur la supervisio des activités exécutées sous cotrat, la collecte des doées et de l iformatio, aisi que les activités spécifiques prévues das le cadre du suivi comme les réuios des parties preates. 3 0

38 Le suivi ( «c o m m e t» ) CHAPITRE 4 Le suivi de l exécutio est probablemet la tâche la plus importate du resposable de p r o gra m m e. Le ou la resposable de programme mesure les progrès réalisés das la réalisatio des activités du projet e foctio des effets prévus et choisit les différetes méthodes de s u i v i.le préset chapitre doe des directives pour pouvoir cotrôler efficacemet les résultats, y compris propose différetes méthodes pour établir les ra p p o rt s,coduire les aalyses et vérifier les progrès réalisés das la poursuite des résultats et l applicatio d ue démarche part i c i p a t i v e. Le suivi de l exécutio est basé sur ue plaificatio appropriée, comme aalysé au chapitre 3. Le suivi sert égalemet de poit de départ à l évaluatio, laquelle fera l objet du chapitre 5. Les différets istrumets de suivi sot présetés das les aexes et sot dispoibles à l adresse Pla du chapitre : A. Pricipes de base du suivi Efficacité Portée Resposabilités Istrumets B. Approche modulaire : istrumets et mécaismes de suivi Visites sur le terrai Rapport de projet auel Groupes de discussio sur les effets Exame auel A. Pricipes de base du suivi La gestio axée sur les résultats défiit le «suivi optimal» comme état u suivi cotiu impliquat les parteaires et axé sur les progrès réalisés das la poursuite des effets. U suivi de ce type peut servir de poit de départ pour le Rapport auel axé sur les résultats (RAAR) et pour les évaluatios. Le bureau de pays doit choisir les 3 1

39 bos istrumets de suivi et être capable de trouver le juste équilibre etre les aalyses de rapport, les études et les procédures de validatio, tout e assurat ue réelle participatio des parties preates. L efficacité du suivi d exécutio e tiet pas simplemet à la productio de rapports sous ue forme prescrite à des dates doées. Les bureaux du PNUD doivet adopter de boes pratiques pour décider à la fois de la portée du suivi et de la méthode à suivre. Chaque bureau choisit, tout e respectat u esemble de pricipes de base, les istrumets, modes de présetatio, caledriers et programmes qui permettrot à l équipe de gestio de parveir aux résultats souhaités. Les boes pratiques de suivi et d évaluatio des bureaux du PNUD peuvet être elles-mêmes cotrôlées par des études, des idicateurs de gestio et des vérificatios portat sur le projet ou le bureau de pays. EFFICACITÉ La crédibilité des évaluatios et des costatatios déped e grade partie de la faço dot sot exécutés le suivi et l évaluatio. Il y a des pricipes (ou «ormes miimums») à respecter pour que le suivi ait toute l efficacité voulue, à savoir : Mettre l accet sur les résultats e t le suivi. I d e t i f i e r, e foctio des progrès réalisés das la poursuite des résultats prévus, ce qui «marche bie» et ce qui «e marche pas». Cosiger esuite les résultats de ces observatios das des rapports, faire des recommadatios pour améliorer la situatio, puis leur doer suite e preat des décisios et des mesures appropriées. Veiller à la boe coceptio du projet. Si u projet est mal coçu, ou basé sur des présupposés erroés, même le suivi d exécutio le plus efficace e fera pas so succès. Il est particulièremet importat d articuler logiquemet effets, produits et activités. Les bureaux e devraiet pas chercher à utiliser le suivi pour résoudre des problèmes chroiques qui écessitet e fait des solutios radicales. Prévoir des ispectios régulières de l équipe du bureau de pays axées sur les résultats et le suivi pour vérifier et valider les progrès réalisés. E outre, le resposable de programme devrait orgaiser des visites et/ou des réuios bilatérales pour évaluer les progrès réalisés, obteir ue vue d esemble et idetifier les domaies à problème. Le resposable de programme veille aussi à rassembler régulièremet ue iformatio actualisée sur les résultats obteus et les problèmes qui se poset et atted pas le derier momet pour essayer de se rappeler ce qui est arrivé. Procéder à ue aalyse régulière de certais rapports choisis, dot le Rapport de projet auel. Le respect de cette orme miimum cotribue aussi à l efficacité du suivi. Ces rapports, préparés par l équipe resposable du projet, ou les directeurs, à l itetio des membres du bureau de pays et les autres parteaires sot égalemet utilisés par les resposables de programme du PNUD comme poit de départ pour leurs aalyses. Choisir des mécaismes de cotrôle participatifs pour assurer l egagemet, l appropriatio, le suivi et le retour de l iformatio. Il est idispesable de teir compte, das l évaluatio des progrès, des activités etreprises par les parteaires das le cadre du même résultat. Par mécaismes participatifs o eted otammet les groupes de discussio sur les effets, les réuios des parties preates, les comités directeurs et les etreties avec des groupes de réflexio. 3 2

40 Trouver des méthodes pour évaluer objectivemet l exécutio et l avacemet des activités e utilisat des critères et des idicateurs clairs. Les bureaux de pays, pour pouvoir évaluer plus précisémet les progrès réalisés das la poursuite des e ffets, devraiet chercher à améliorer leur système d évaluatio de la performace e mettat au poit des idicateurs et des poits de repère appropriés. Évaluer la pertiece, la performace et le succès des itervetios du PNUD e matière de développemet pour doer égalemet plus de portée au suivi. Le bureau de pays doit régulièremet s iterroger sur la pertiece de l appui apporté à l activité cosidérée et chercher à juger l exécutio et le succès, ou l échec, e s appuyat sur des iformatios cocrètes. Les résultats de ces aalyses sot utilisés pour les prises de décisio relatives à la programmatio et à l appui au programme Efi, le bureau de pays doit activemet tirer les eseigemets du suivi, assurer l appretissage, adapter les stratégies et éviter de répéter les mêmes erreurs. L utilisatio du support électroique pour cosiger et diffuser ces e s e i g e m e t s fait égalemet partie des ormes miimums. PORTÉE Le suivi vise à mesurer les progrès eregistrés das la poursuite des résultats prévus. Le resposable de programme, grâce à l iformatio rassemblée au cours du suivi, aalyse les activités de projet et de programme cotribuat à la poursuite des résultats prévus résultats qui s iscrivet das les domaies stratégiques d appui défiis das le cadre de résultats stratégiques pour le pays 10 et pred les mesures qui s imposet. Les resposables de programme cotrôlet égalemet le rôle joué par l «appui coseil» et les parteariats stratégiques et rassemblet de la documetatio à ce propos. Toutes ces tâches fot partie du suivi des résultats tel que défii au chapitre 2. Toutes les activités de suivi et d évaluatio devraiet, au miimum, porter sur : Les progrès réalisés das la poursuite des effets : ce qui sigifie otammet aalyser périodiquemet les progrès réalisés das la poursuite des effets et idetifier ceux qui sot atteits; Les facteurs favorisat ou raletissat la poursuite de l effet : ce qui oblige à teir compte de la situatio atioale et so évolutio écoomique, sociale, politique et autre; Les cotributios du PNUD das la poursuite des effets : ces produits peuvet résulter de programmes ou projets, de la fouriture de coseils e matière de politique, d activités de sesibilisatio et autres. Le suivi et l évaluatio de ces produits viset otammet à vérifier qu ils sot exécutés comme prévu et à mesurer leur rôle das la poursuite du résultat fixé; La stratégie de parteariat : ce qui implique d aalyser la forme doée aux stratégies de parteariat, aisi que la compositio et le foctioemet des alliaces coclues. Il est aisi possible de s assurer que les parteaires ayat le même objectif ot ue approche commue des problèmes et des besois et qu ils appliquet ue même stratégique sychroisée. 10 Le mode de présetatio simplifié adopté pour le documet de projet e s aligat sur la gestio axée sur les résultats devrait faciliter le suivi qui devrait s appuyer sur des idicateurs de produits de projet lorsque écessaire.les objectifs figurat das le descriptif de projet devraiet correspodre aux objectifs fixés das le cadre de résultats stratégiques. SUIVI («COMMENT») 3 3

41 ENCADRÉ 3. LA MISE EN OEUVRE DOIT-ELLE ÉGALEMENT ÊTRE SUIVIE? La mise e oeuvre des activités est plus suivie aussi sérieusemet qu elle pourrait l être, e grade partie parce que les efforts se cocetret surtout désormais sur le suivi des effets et des produits. Le compromis courat est d approfodir mois la mise e œuvre mais d isister plus sur les effets. Chaque bureau de pays doit, lorsqu il cotrôle la mise e œuvre, trouver le juste milieu,c est-à-dire rester suffisammet précis sas pour cela se perdre das les détails. Par exemple, ce est pas so rôle de s iterroger sur des détails pratiques comme de savoir si «la voiture a bie été fourie» ou si «l assistat de projet a bie été payé». Des échages réguliers etre le resposable de programme et l équipe du projet devraiet doer suffisammet d idicatios sur les problèmes posés par la mise e œuvre, les activités,les produits et les dépeses. C est l istitutio chargée de gérer le projet (l aget d exécutio) qui orgaise ces échages.das les cas où u suivi plus étroit par le bureau de pays est requis pour assurer la trasparece, il est possible de réduire le iveau de détail du suivi e itroduisat des suivis poctuels et e précisat la plaificatio des tâches grâce à des poits de repère et autres mesures. Il faut oter que les problèmes liés à la mise e oeuvre tels que les faiblesses de gestio et le maque de trasparece e peuvet pas être réellemet résolus par le suivi. Les évaluatios de capacité, u projet bie coçu ou des accords préalables sur les ormes de gestio permettrot beaucoup plus efficacemet de résoudre ces problèmes. Les bureaux de pays peuvet ajouter à cette liste d autres élémets lorsque cela est écessaire pour la gestio ou l aalyse, tout e veillat à maiteir la portée du cotrôle das des limites réalistes, compte teu des moyes dispoibles, comme aalysé das l ecadré 1 cosacré à la mise e œuvre. Le suivi e se limite pas aux produits du projet. L évaluatio des progrès réalisés das l exécutio des projets et des programmes, das la mise e place des parteariats et das la fouriture de l «appui coseil», das la mesure où tout cela cotribue à atteidre les effets fixés, fait aussi partie du suivi. Le suivi fourit aussi aux resposables des iformatios qu ils peuvet utiliser comme poit de départ pour predre les décisios et les mesures qui s imposet. Das la gestio axée sur les résultats, le suivi joue u rôle ecore plus importat pour les prises de décisio et l appretissage et est cosidéré comme ue étape idispesable das la collecte d iformatios et de doées pour les évaluatios. Des ressources b u d g é t a i r e ss u ffisates devraiet être allouées pour le suivi. Le bureau de pays peut imputer directemet sur le budget du projet le fiacemet des visites prévues pour iformer l istitutio désigée. Le budget du projet peut égalemet couvrir, avec l aval du Représetat résidet, la participatio des parteaires atioaux aux visites. R E S P O N S A B I L I T É S La portée et la resposabilité du suivi variet avec chaque iveau de programmatio. La directio du bureau de pays axe ses efforts sur le Programme de pays, l exécutio géérale du Pla-cadre des Natios Uies pour l aide au développemet et les objectifs de développemet du Milléaire alors que les resposables de programme se cocetret sur le Cadre de résultats stratégiques et les effets et que l équipe du projet se charge de cotrôler les documets et produits du projet. La directio du bureau de pays du PNUD La directio du bureau de pays est étroitemet impliquée das le choix stratégique des mécaismes de suivi. Elle est chargée de s assurer que le programme mis au poit cotribue, de la meilleure faço possible, à la poursuite des objectifs du cadre de résultats stratégiques et du programme de pays (ou cadre de coopératio CCP s il est ecore e place). La directio travaille e parteariat avec les pricipales parties preates 3 4

42 atioales, et tout particulièremet avec le miistère chargé de la coordiatio. Elle supervise l établissemet du RAAR aisi que l exame auel, met au poit des stratégies de parteariat et de sesibilisatio, favorise u meilleur suivi des résultats et crée u eviroemet favorable à l appretissage. E gééral, c est la Directio qui met e place le cadre d aalyse des résultats, qui décide des activités prioritaires et des parteariats. Avec les parteaires, elle s assure égalemet que des évaluatios périodiques sot réalisées pour cotrôler l efficacité de l approche choisie pour parveir aux effets prévus. A ce iveau, l accet est mis sur l esemble de la programmatio du PNUD, aisi que sur la cotributio des Natios Uies aux domaies prioritaires défiis das le Pla-cadre des Natios Uies pour l aide au développemet et le Bila commu de pays. L exame auel est le pricipal istrumet de suivi. Il permet de tirer les eseigemets gééraux et idique les courats d assistace, le iveau gééral d exécutio et les problèmes qu ils soiet liés à des effets précis ou soiet commus à plusieurs domaies. Ce iveau de suivi peut égalemet impliquer la participatio du Représetat résidet/coordoateur résidet du PNUD à ue équipe de coordiatio des Natios Uies chargée d évaluer les progrès réalisés das la poursuite des objectifs appuyés par les Natios Uies das le pays, y compris les objectifs de développemet du Milléaire. Les resposables de programme du PNUD Les resposables de programme du PNUD sot chargés du suivi gééral des progrès réalisés das la poursuite des effets et de la cotributio du projet sous forme de produits stratégiques. À ce iveau, c est le resposable de programme du PNUD qui est pricipalemet chargé du suivi. Il, ou elle, veille à ce que les suivis et les rapports réalisés aux différets iveaux de programmatio par différets iterveats soiet rassemblés pour fourir ue iformatio complète sur les progrès eregistrés. L établissemet d u pla de suivi des résultats peut lui faciliter la tâche. (voir $ chapitre 3 sur le suivi des résultats). Les resposables de programme jouet aujourd hui u rôle plus importat que par le passé das le développemet des parteariats et la sesibilisatio. Ils sot chargés de préparer, pour le RAAR, ue aalyse sythétique des projets et activités assortie de doées basées sur l exame auel et aidet à e tirer des eseigemets utiles pour la poursuite des effets. Ils peuvet égalemet reforcer la valeur du projet et fourir u appui coseil pour améliorer l exécutio des produits. Ils sot supposés jouer u rôle de premier pla das la coceptio du programme, et otammet de veiller au respect des priorités stratégiques. Les resposables de programme aidet aussi à mettre au poit des mécaismes pour assurer la trasparece qu ils utiliset esuite pour suivre périodiquemet le bo emploi des ressources fouries par le PNUD. Les resposables de programme cotrôlet régulièremet les effets, à mesure de l évolutio de la situatio e matière de développemet. Les idicateurs et rapports de projet e suffisat pas pour évaluer les progrès réalisés das la poursuite des effets, ils aalyset aussi régulièremet le cotexte, restet à l écoute des pricipales parties preates pour être au courat de l évolutio des maières de voir, otet les cotributios des parteaires, aalyset les jouraux et les rapports des autres parteaires e développemet, fourisset, à partir des évaluatios, des iformatios sur les progrès réalisés et, das l idéal, réaliset des études de clietèle pour savoir si la perceptio des progrès réalisés correspod bie à la réalité. Le resposable de la gestio du projet Le resposable de la gestio du projet, gééralemet le gouveremet, s occupe de l exécutio des produits du projet, de la réalisatio des activités, de la gestio des apports et de la gestio admiistrative. Il cotrôle égalemet les activités meées sous cotrat. Il élabore le pla de travail du projet et établit, pour le bureau de pays, le rapport de projet SUIVI («COMMENT») 3 5

43 auel. Ce derier fourit des iformatios et des eseigemets extrêmemet utiles pour améliorer l efficacité de la stratégie de mise e œuvre et d exécutio des produits. Le resposable de la gestio du projet peut égalemet participer à la mise e place de la stratégie de parteariat coçue par le bureau de pays. L istitutio qui gère le projet est chargée d articuler les résultats escomptés et les attetes des bééficiaires cibles pour favoriser ue boe maîtrise du projet. Le suivi des activités de projet au quotidie est pricipalemet la resposabilité de l aget d exécutio. Le rapport de projet auel est réalisé par l équipe de projet et accorde ue attetio particulière aux résultats. Il est esuite étudié par l équipe du bureau de pays e vue de l établissemet du RAAR. L istitutio qui gère le projet devrait effectuer u cotrôle détaillé de toutes les «prestatios», et de tous les aspects de la mise e oeuvre. Les membres de l équipe du projet qui sot des experts das leur domaie d activité pourraiet égalemet, das le cadre du cotrôle, faire certaies évaluatios spécialisées qui seraiet esuite utilisées pour le RAAR. I N S T R U M E N T S Les méthodes et istrumets de suivi décrits ci-après sot applicables pour les projets, les programmes, les effets ou pour toute autre activité. Par exemple, bie que les comités directeurs soiet ormalemet créés pour diriger les projets, ils peuvet égalemet être établis pour suivre u résultat impliquat u grad ombre de parties preates. Les resposables de programme travaillet das u cadre axé sur les progrès réalisés das la poursuite des effets et sur la cotributio coexe du PNUD. E respectat ce cadre, ils doivet défiir u assortimet équilibré de méthodes et istrumets de suivi adapté à chaque projet, programme ou effet faisat la part etre : Les rapports/aalyses collecte et aalyse de la documetatio sur le projet pour obteir des iformatios sur les progrès réalisés; La validatio cotrôle ou vérificatio de l exactitude des progrès rapportés; La participatio pour obteir u retour d iformatio des parteaires et des bééficiaires sur les progrès réalisés et les actios proposées. Das le tableau 1 les mécaismes de suivi possibles sot répartis e trois catégories selo leur caractéristique domiate. Par exemple, les ispectios sur le terrai ot pour but pricipal la validatio par observatio directe, mais elles peuvet aussi se rager das le groupe des mécaismes participatifs lorsqu elles impliquet u retour d iformatio des bééficiaires. TABLEAU 1. CLASSEMENT DES MÉCANISMES DE SUIVI PAR CATÉGORIE RAPPORTS ET ANALYSES Rapport de projet auel Rapports trimestriels et/ou d activité Plas de travail Rapports sur l exécutio du projet/ programme et rapports combiés Documetatio de fod pour le projet VALIDATION Visites sur le terrai Vérificatios poctuelles Évaluatios/ suivis exteres Equêtes auprès de la clietèle Évaluatios PARTICIPATION Groupes de discussio sur les effets Mécaismes/Comités directeurs Réuios des parties preates Réuios des groupes de réflexio Exame auel L appretissage est fait grâce à tous les mécaismes et istrumets de suivi 3 6

44 Différets groupes d acteurs utiliserot différets istrumets ou les utiliserot différemmet. Il est pas réaliste de croire qu u istrumet ou u mécaisme de suivi puisse satisfaire tous les besois. Le suivi des résultats peut écessiter u choix d istrumets différets de ceux traditioellemet employés au iveau du projet. Des istrumets tels que les ispectios de projet ou les réuios bilatérales/tripartites peuvet s avérer iappropriés parce que le projet à ue portée trop limitée ou que le ombre de parteaires impliqués est trop restreit. Par cotre, des exames faits par des groupes de discussio sur les effets, les aalyses et les études pourraiet se révéler des istrumets plus utiles das ce cas (voir aexe E pour la descriptio d u assortimet d istrumets de suivi pouvat être utilisé par u bureau de pays moye ou grad). B. Approche modulaire : istrumets et mecaismes de suivi U évetail d istrumets et de mécaismes de suivi, formels et iformels, sot à la dispositio des bureaux de pays visites sur le terrai, rapports de projet auels, g r o u p e s de discussio sur les résultats et exames auels otammet. Ils sot adaptables aux besois locaux à partir du momet où le miimum d iformatio requis (progrès réalisés das la poursuite des effets, das l exécutio des produits et das la créatio de parteariats) est bie fouri. Les bureaux devraiet au mois utiliser les istrumets et mécaismes pricipaux présetés ci-dessous. D autres istrumets et mécaismes sot doés au tableau 1 et à l aexe E. VISITES SUR LE T E R R A I N Les visites sur le terrai sot fréquemmet utilisées comme mécaisme de suivi. Des visites sur le terrai régulières sot deveues ue pratique courate. Le choix de la date de l ispectio, de so objectif et des élémets à cotrôler doit être fait de faço judicieuse pour pouvoir réellemet mesurer les progrès réalisés. Politique du PNUD : u représetat du bureau de pays du PNUD devrait ispecter chaque programme et projet jouat u rôle das la poursuite des objectifs stratégiques du Cadre de résultats stratégiques au mois ue fois par a. Les visites sur le terrai peuvet égalemet être réalisées par le resposable de programme, le coseiller e matière de politiques et/ou par ue équipe du bureau de pays (otammet lorsqu il s agit d u objectif complexe). Le Représetat résidet et l équipe de directio du bureau de pays sot égalemet ecouragés à procéder à des visites sur le terrai. Caledrier : ue visite sur terrai peut se dérouler à importe quel momet de l aée. Si elle a lieu au cours du premier semestre, juste après la réalisatio du RAAR, elle sera orietée plutôt sur la validatio des résultats. Si elle a lieu au cours du deuxième semestre, elle fourira des iformatios actualisées sur les progrès eregistrés das la préparatio du rapport auel. Les rapports des visites sur le terrai sot cocrets et relativemet brefs. Ils doivet être présetés ue semaie au plus tard après le retour de visite. But : les visites sur le terrai sot importates pour la validatio des résultats. Elles permettet de valider les résultats fouris par les programmes et projets, otammet lorsqu il s agit de grads programmes et projets jouat u rôle essetiel das la poursuite des effets du cadre de résultats stratégiques. Elles icluet ue évaluatio des progrès, SUIVI («COMMENT») 3 7

45 résultats et problèmes et peuvet égalemet prévoir des ispectios de l équipe de gestio ou de directio du projet. Ces visites, de plus e plus, sot réalisées cojoitemet par plusieurs parteaires et portet sur plusieurs programmes et projets cosacrés à u effet commu. Ue équipe de resposables de programme, par exemple, peut etrepredre ue série de visites portat sur des projets liés à u effet particulier. Plusieurs parteaires peuvet égalemet visiter esemble toutes les activités meées par le PNUD das ue zoe géographique doée. Les visites commues costituet souvet u moye efficace d obteir ue vue d esemble précise des progrès réalisés. Tous les projets e écessitet pas le temps et les efforts qu exige ue visite auelle sur le terrai comme o peut le voir das les cas suivats : U suivi au jour le jour peut suffire pour les projets qui traitet de questios puremet admiistratives comme les projets d appui logistique au programme, les cetres d activités ou certais projets-cadres sas résultats prédétermiés e matière de développemet; U suivi basé sur des rapports et des cotacts réguliers peut être aussi efficace qu ue ispectio auelle das le cas de petits projets o stratégiques et/ou d ue durée maximum d u a; Lorsque d autres activités de suivi et/ou d évaluatio ot récemmet été meées, le resposable de programme peut reporter sa visite à ue date ultérieure. E d autres termes, si ue évaluatio récete des objectifs a été discutée à ue réuio des parties preates et que le comité directeur du projet a pris esuite certaies décisios, le resposable de projet peut souhaiter laisser s écouler assez de temps pour qu ue suite puisse être doée aux recommadatios. Cible : quelle est la cible d ue visite sur le terrai? L accet est mis sur les progrès réalisés das la poursuite des résultats (effets et produits) qui aidet à atteidre les objectifs du cadre de résultats stratégiques. Le resposable de programme devrait égalemet s itéresser au rôle joué par l «appui coseil», à la mise au poit des parteariats stratégiques et mesurer les progrès réalisés par rapport aux produits et effets prévus. Cotrairemet à ce qui était la orme par le passé, les visites sur le terrai e se cocetret plus sur les détails de la mise e oeuvre (voir aexe D pour la présetatio des rapports de visite sur le terrai). RAPPORT DE PROJET A N N U E L Politique du PNUD : le rapport auel de projet sert de poit de départ pour évaluer, e foctio de l exécutio des produits et des activités de parteariat, la cotributio des programmes et projets à la poursuite des effets prévus. C est u rapport d auto-évaluatio qui e demade pas ue préparatio importate réalisé par le resposable de la gestio du projet à l itetio du bureau de pays. Il peut être utilisé, tel quel, comme poit de départ pour u dialogue avec les parteaires. Il est établi chaque aée pour les grads projets jouat ue rôle essetiel das la poursuite des effets du cadre de résultats stratégiques et sert pour l exame auel et le rapport auel axé sur les résultats. Caledrier : la période couverte par le Rapport de projet auel est relativemet souple das la mesure où l évaluatio de l exécutio du projet peut être faite à importe quel momet de l aée. L idéal serait cepedat qu il soit établi tous les 12 mois et porte 3 8

46 sur la période correspodat à l aée fiacière du PNUD (javier-décembre, e particulier das le cas des grads projets). But : le rapport de projet auel est ue auto-évaluatio réalisée par l équipe resposable de la gestio du projet qui s iscrit das l exame de l exécutio du projet du resposable de programme. Il devrait fourir u bila exact des résultats du projet, idetifier les pricipaux problèmes et proposer des orietatios. Il fourit des élémets au bureau de pays pour ses rapports et est utilisé das le RAAR. So aalyse des raisos sous-jacetes au maque de progrès aide l équipe resposable de la gestio du projet à tirer les eseigemets de l expériece et à predre les mesures qui s imposet pour améliorer l exécutio du projet. Préparatio : le Rapport de projet auel est préparé par l équipe resposable de la gestio du projet les resposables de la gestio au jour le jour (coseiller techique pricipal, coordoateur du projet, directeur atioal ou équivalet). Le resposable de programme reste e cotact avec l équipe resposable de la gestio du projet pour que les pricipaux problèmes soiet pris e compte das le rapport. C est u rapport d iformatio destié au PNUD et aux autres parties preates, ce est pas u istrumet pour ecourager la participatio ou la recherche de cosesus. Le directeur du projet et le resposable de programme mesuret l avacemet de l exécutio des produits das le rapport de projet auel et le resposable de programme mesure les progrès réalisés das la poursuite des eff e t s. Le rapport de projet auel peut être établi périodiquemet ou même supprimé pour les projets plus petits ou ceux qui e prévoiet pas de produits stratégiques destiés au cadre de résultats stratégiques/raar comme o peut le voir das les cas suivats : U suivi de l exécutio du projet fait e mesurat la satisfactio des bééficiaires, les services fouris, ou ecore par d autres moyes, peut se révéler suffisat pour les projets traitat de questios puremet admiistratives, y compris les projets d appui logistique au programme, les projets d appui, les cetres commerciaux et certais projets-cadres ayat pas de résultats spécifiques prévus e matière de développemet; U suivi au jour le jour et u rapport fial sur les résultats peuvet être appropriés pour les petits projets d ue durée maximum d u a; Des mécaismes de suivi de l exécutio peuvet être suffisats pour les petits projets, ceux qui ot i effets i produits stratégiques prévus ou pour ceux qui e sot pas utilisés pour établir le RAAR. Fialité : la productio du Rapport de projet auel s iscrit das le cadre de la gestio, du suivi et de la supervisio du projet dot est chargé, au iveau gééral, le bureau de pays. Il appartiet plus précisémet au module exame auel/raar. Après sa distributio, des cosultatios devraiet être orgaisées, par exemple au iveau du comité directeur, ou par écrit auprès des parteaires. Le bureau de pays pourrait l utiliser, e foctio de so coteu et de so orietatio pour : L évaluatio de la performace : l évaluatio de la performace du projet est liée au cadre de résultats stratégiques et au RAAR. Le resposable de programme du PNUD vérifie l exactitude des iformatios commuiquées das le rapport de projet auel et détermie si les problèmes y sot exposés de faço satisfaisate. Il peut demader u complémet d iformatio si les résultats commuiqués lui semblet peu clairs. Ue fois les éclaircissemets requis apportés, le rapport de projet auel alimete directemet le RAAR. Lorsque des mécaismes comme SUIVI («COMMENT») 3 9

47 les groupes de discussio sur les effets ou les comités directeurs sot utilisés pour vérifier l exécutio du projet, il peut aussi servir de poit de départ pour trouver u cosesus et décider, avec les pricipaux parteaires, des recommadatios à faire pour la poursuite de l actio. Certais de ses élémets clés sot aussi repris pour l exame auel de pays. Il devrait être utilisé comme base pour obteir u retour d iformatio sur l exécutio du projet. L appretissage : le rapport de projet auel fourit des iformatios sur ce qui a bie marché, ce qui a échoué et explique pourquoi. Ces reseigemets devraiet être utilisés pour l Exame auel par les réseaux d appretissage et de praticies des systèmes des ressources sous-régioales, par les baques de coaissaces et les équipes d évaluatio. Il est recommadé d ajouter das le rapport de projet auel établi pour la derière aée du projet des sectios cosacrées aux eseigemets de l expériece et à la plaificatio du suivi (stratégie de sortie). Ces eseigemets peuvet être tirés sous la forme de boes et mauvaises pratiques, de possibilités de succès ou de recommadatios pour le suivi lorsque écessaire. Le rapport de projet auel peut égalemet être utilisé pour discuter des résultats et des problèmes avec les bééficiaires, les parteaires et les parties preates et pour coaître leurs réactios. Les prises de décisio : les parteaires peuvet se servir du rapport de projet auel pour plaifier leurs futures stratégies d actio et de mise e oeuvre, pour mesurer les progrès réalisés das l exécutio des produits et l efficacité de «l appui coseil» et pour faire le bila des parteariats et des alliaces. Le PNUD, les comités directeurs et les parteaires peuvet l utiliser pour trouver des solutios aux pricipaux obstacles à l obtetio des résultats. Le resposable de programme soulige les problèmes et les porte à l attetio de l équipe resposable de la gestio du projet pour qu elle puisse predre les mesures qui s imposet, ou e teir compte das l exame auel de pays, cotribuat aisi au débat sur les résultats obteus, les pricipaux problèmes et la poursuite de l actio. Coteu et présetatio du rapport de projet auel : le rapport doit être très bref et coteir les élémets de base miimums requis pour l évaluatio des résultats, des pricipaux problèmes et des actios proposées. Ces élémets sot otammet : L aalyse de l exécutio du projet au cours de la période sur laquelle porte le rapport, y compris les produits exécutés et, lorsque possible, des iformatios sur les progrès réalisés das la poursuite de l effet; Les obstacles à l obtetio des résultats, et les raisos sous-jacetes; Trois (maximum) grads obstacles à l obtetio des résultats; Les eseigemets tirés; Des recommadatios claires sur la démarche à suivre pour traiter les pricipaux problèmes faisat obstacle à l obtetio des résultats. Des élémets supplémetaires peuvet être ajoutés à cette liste miimum lorsque le PNUD, l équipe de gestio du projet ou les autres parteaires l estimet écessaire. Certais bureaux peuvet, par exemple, souhaiter iclure des questios de gestio comme les dépeses pour l exécutio des produits, les problèmes de mise e œuvre (les décisios et les modalités de gestio), l efficacité des approches et des stratégies adoptées pour cette mise e œuvre, l ifluece des facteurs extérieurs, les problèmes posés par le 4 0

48 persoel et le travail d équipe. Néamois, plus o élargit le champ du rapport, plus il deviet difficile de se cocetrer sur les questios clés. E outre, das u souci d harmoisatio, il est préférable d utiliser le même mode de présetatio que celui adopté pour les rapports des doateurs, pourvu que les iformatios sur les effets, les produits et les stratégies de parteariat requis figuret bie das le rapport. (Voir aexe C pour le mode de présetatio des rapports de projet auels). GROUPES DE DISCUSSION SUR LES EFFETS Des mécaismes de coordiatio réuissat les parteaires pour discuter et procéder à des aalyses commues costituet u autre moye de suivi importat. Ces mécaismes sot gééralemet regroupés sous l expressio «groupes de discussio sur les effets». Politique du PNUD : les bureaux de pays doivet utiliser des mécaismes impliquat les parteaires et permettat des discussios et des aalyses périodiques d effets. Pour plus de commodité, ces mécaismes de coordiatio sot désigés par l expressio «groupes de discussio sur les effets». Ces groupes cocetret leurs travaux sur le suivi des résultats et le rôle des produits das la poursuite des effets. Ils e s occupet i de l échage gééral d iformatio i des détails du projet. L idéal serait que ces groupes de discussio sur les effets se greffet sur des mécaismes déjà costitués comme les comités directeurs de programme, les groupes thématiques ou les groupes de coordiatio sectorielle. Si aucue etité de ce type existe, le bureau de pays pourrait orgaiser périodiquemet des réuios pour les parteaires clés. Les équipes de projet devraiet participer à ces groupes de discussio sur les effets pour se faire ue idée de l effet à la poursuite duquel sot supposés cotribuer leurs produits. But : les groupes de discussio sur les effets permettet ue évaluatio cotiue des eff e t s utilisables pour le cadre de résultats stratégiques et le Rapport auel axé sur les résultats. Ils reforcet par ailleurs les chaces de parveir aux résultats escomptés. Ils ecouraget égalemet la créatio de parteariats. E regroupat différets projets visat u même effet ils peuvet aider à créer u effet syergique et à reforcer la stratégie commue axée sur les résultats appliquée par les parteaires et les équipes de projet du PNUD. Participatio: Les resposables de programme et les directeurs de projet du PNUD participet aux groupes de discussio sur les effets. L assistat du Représetat résidet, ou l adjoit du Représatat, aisi que leurs homologues gouveremetaux, participet égalemet au iveau techique. Les parteaires extérieurs devraiet aussi predre part aux groupes de discussio au mois ue fois par a, même s ils e souhaitet pas être présets à toutes les réuios. Cible : à quoi s itéresset les groupes de discussio sur les effets? Ils évaluet les produits stratégiques et les iitiatives coexes des parteaires qui cotribuet à la poursuite d u résultat doé. Pour ce faire, ils étudiet l iformatio fourie par les projets, les rapports atioaux, les rapports des doateurs, et par d autres sources. E réuissat les parteaires, les groupes de discussio aidet à défiir la stratégie à adopter pour parveir aux effets e t à la formuler. Ue de leurs tâches les plus importates cosiste à arrêter u pla de suivi de l effet et à superviser so applicatio. Ils jouet aussi le rôle d équipe de coordiatio pour les évaluatios d effets. Les groupes de discussio sur les effets devraiet, e outre, permettre d idetifier les eseigemets tirés et de les diffuser. Lorsque des parteaires sot impliqués, le groupe peut predre part à l exame auel au cours duquel ot lieu les pricipales cosultatios sur l objectif doé. Cela peut aider la directio du bureau de pays à idetifier les problèmes ou questios qui pourraiet être commus à plusieurs SUIVI («COMMENT») 4 1

49 TABLEAU 2. QUESTIONS À SE POSER LORS DE LA PLANIFICATION DE L EXAMEN ANNUEL QUESTIONS CLÉS Quel est l objectif de l exame auel Qui doit participer à l exame auel? Quelle est la cible de l Exame auel? DANS LE CAS OÙ... Les parteaires e sot pas réellemet impliqués ou iformés quat aux résultats et à l approche du PNUD U objectif, ou u domaie, prête à cotroverse. Les vues sur les progrès réalisés diverget. Les progrès sot lets et les résultats obteus isuffisats das certais ou tous les domaies clés. U grad ombre de parteaires, ou u très grad programme du PNUD, sot impliqués. Certais parteaires sot impliqués das la poursuite de plusieurs (deux ou plus) effets. Il y a peu de parteaires clés das le pays. Le gouveremet est fortemet egagé das la coordiatio de l aide apportée par le PNUD. Il y a u ou plusieurs effets qui présetet plus de difficultés ou sot plus cotroversés que les autres. Certais effets/projets bééficiet déjà d ue excellete coordiatio «sectorielle». Il existe des programmes atioaux dotés de mécaismes de coordiatio efficaces. Ue évaluatio d effet ou ue réuio des parties preates sur u projet viet juste d avoir lieu. Pour certais effets ou projets, les progrès ot été réguliers ou les effets sot maiteat atteits.... LE BUREAU DE PAYS POURRAIT ALORS : Isister plus sur le part a ge de l iformatio et mois sur la plaificatio et la recherche de solutios aux problèmes. Faire participer les pricipaux alliés ou le gouveremet pour susciter leur itérêt. Tirer parti des possibilités d impliquer les parteaires Chercher à dégager u cosesus. Idetifier les zoes de dissesio. Faire appel à des facilitateurs? Recotrer et cosulter idividuellemet les «adversaires» puis les réuir. Utiliser l exame pour améliorer les progrès. Se cocetrer pricipalemet sur la défiitio des stratégies et la plaificatio. Faire participer les pricipaux décideurs. Isister plus sur la plaificatio et mois sur l établissemet des rapports. Éviter les grades réuios qui risqueraiet d être trop lourdes. Plutôt tirer parti des mécaismes existats, comme les groupes thématiques ou orgaiser des réuios de secteur/de projet/sur l effet. Se cocetrer sur les pricipaux effets du cadre de résultats stratégiques. Éviter de surcharger les parteaires avec trop de réuios. Orgaiser plusieurs cosultatios thématiques,ou sur les effets, pourrait être plus efficace, tout comme se cocetrer sur les effets «exceptioels» et les projets. Des réuios plus restreites avec les resposables de toutes les parties peuvet,au bout du compte, permettre des égociatios plus géérales. Orgaiser ue réuio pour les rassembler tous. C est probablemet la mesure la plus efficace et cela permet de faire u tour d horizo avec les pricipaux parteaires. Néamois, cela demade beaucoup d efforts et e permet pas d étudier e profodeur toutes les questios. Cosulter le gouveremet sur l orgaisatio de l Exame, ou l orgaiser e collaboratio avec lui. Cetrer les débats sur les résultats difficiles ou cotroversés. Pour les effets e présetat pas de difficultés, se coteter se produire le RAAR et de commuiquer l iformatio aisi rassemblée. Comme probablemet de ombreuses cosultatios ot déjà été orgaisées sur ces effets, se coteter de simplemet produire le Rapport auel axé sur les résultats et de commuiquer l iformatio aisi rassemblée.se cocetrer sur d autres questios ou effets. Utiliser l iformatio fourie par les cosultatios pour le RAAR. L exame auel traite de ces évaluatios ou ces réuios uiquemet si certaies questios doivet être résolues par l esemble des parties. Il est das ce cas possible de se limiter au RAAR et de commuiquer l iformatio aisi rassemblée. 4 2

50 résultats ou domaies. Les groupes de discussio sur les effets devraiet veiller à e pas augmeter les coûts de trasactio e s itéressat à tous les détails de projet. Orgaisatio : c est le resposable de programme qui est chargé de s assurer que des cosultatios sot orgaisées et des aalyses effectuées pour appuyer le suivi des effets. Pour des raisos pratiques, das la mesure du possible, les bureaux de pays recouret aux istaces existates. Si les effets du Cadre de résultats stratégiques sot ombreux, certais bureaux de pays pourraiet souhaiter les regrouper par domaies stratégiques d appui ou par domaies thématiques. EXAMEN ANNUEL Politique du PNUD : l exame auel cosiste à faire, à partir des rapports, des retours d iformatio, des évaluatios et des eseigemets tirés, ue aalyse de l exécutio du projet qui servira de base au rapport auel axé sur les résultats. Il est importat que le rapport auel axé sur les résultats soit établi à partir d aalyses basées sur les cosultatios avec les parteaires. L exame auel est coduit vers la fi de l aée (etre octobre et décembre) pour que ses coclusios puisset être utilisées lors de la préparatio du RAAR. Il est etièremet orgaisé au iveau du pays, sous la supervisio du bureau de pays du PNUD. But : l exame auel pred la forme d u échage de vues orgaisé au iveau du pays pour évaluer les progrès réalisés das la poursuite des résultats (produits et effets). Il peut être utilisé pour dégager u cosesus et permettre au PNUD et à ses parteaires de s accorder sur des objectifs commus (résultats). Il iclut ue évaluatio, par la directio du bureau de pays et les parteaires, des effets du cadre de résultats stratégiques et de leur cotributio aux buts fixés das le programme de pays (ou cadre de coopératio). Cette évaluatio sert esuite de base au RAAR. Les débats devraiet aider à plaifier l assistace du PNUD pour les 12 mois à veir. L exame auel, e idetifiat les eseigemets gééraux et globaux et e aalysat les recommadatios coteues das les évaluatios d effets est u vecteur o égligeable d appretissage. Participatio : le bureau de pays, e particulier so équipe de directio, est impliqué, au grad complet, das l exame, à différets iveaux. Les parteaires clés, y compris l équipe de coordiatio des Natios Uies pour le pays, l istace gouveremetale chargée de la coordiatio, l équipe resposable de la gestio du projet et ses homologues sot égalemet impliqués. Le Bureau régioal peut égalemet participer à l exame, soit e preat part directemet ou sur support électroique, soit e demadat tout simplemet à être iformé de ses pricipales costatatios. Orgaisatio : l Exame doit avoir ue portée suffisammet large pour fourir des iformatios de valeur mais e doit pas être trop complexe. Sa portée déped du succès des efforts déployés par le bureau de pays pour faire participer activemet les parteaires au cours de l aée écoulée. Si le suivi des effets e collaboratio avec les parteaires a été régulier, l Exame e sera simplifié d autat car certais des domaies qu il devrait traiter aurot déjà été couverts. Ue approche ciblée est recommadée pour que les questios clés et/ou les effets soiet bie aalysés. Le bureau de pays peut souhaiter adapter l approche à mesure qu évolue le programme de pays. Pour détermier l approche la plus e fficace, il se posera les trois questios de fod figurat au tableau 2, à savoir : quel est l objectif de l exame auel? Qui doit y participer? Quelle est la cible de l exame auel? SUIVI («COMMENT») 4 3

51 Documetatio : aucue documetatio officielle est requise pour l exame auel das la mesure où différetes approches sot possibles. Le travail préparatoire s appuie sur les débats iteres du bureau de pays cosacrés à l aalyse de l exécutio sur la base des rapports auels de projet, du programme de pays (ou cadre de coopératio), du cadre de résultats stratégiques, des questios de gestio, des évaluatios et des autres iformatios pertietes dispoibles sur l exécutio du projet et les progrès réalisés das la poursuite des effets. Das certais pays, il pourrait être utile d utiliser comme base de discussio le cadre de résultats stratégiques et/ou le projet de RAAR établi à partir des rapports de projet auels. Cela permettra aux parteaires de se mettre d accord sur les résultats commuiqués. Das d autres cas, l iformatio relative aux pricipaux résultats est présetée sous différetes formes. Les rapports auels de projet pourraiet être distribués au cours des réuios restreites cosacrées à u e ffet spécifique. Das les réuios plus larges, il pourrait cepedat s avérer plus eff i c a c e de distribuer ue liste résumat les questios soulevées par les rapports auels de projet et précisat les problèmes, les recommadatios, les évaluatios et les costatatios des délibératios du comité directeur. Les progrès eregistrés das la poursuite des effets lors de l exame auel sot repris das le Rapport auel axé sur les résultats. Pour s assurer qu ue suite est doée aux autres poits aalysés au cours de l exame, le bureau de pays devrait préparer des résumés des décisios, costatatios et eseigemets tirés au cours de l exame auel et les commuiquer aux parteaires locaux aisi qu aux autres parties et réseaux itéressés. Cela favorisera l appretissage et aidera les resposables de programme à suivre l applicatio des accords résultat de l exame auel. Exame du Pla-cadre des Natios Uies pour l aide au développemet et du Bila commu de pays : la cotributio fourie par le PNUD das le cotexte du Pla-cadre des Natios Uies pour l aide au développemet porte sur le suivi régulier des produits et des objectifs. L exame auel peut être utilisé comme source d iformatio pour les exames périodiques du Bila commu de pays et du Pla-cadre, lorsque ces documets existet. (Voir pour des directives sur le Pla-cadre et le Bila commu de pays.) 4 4

52 L é valuatio («commet») CHAPITRE 5 Commet est-ce que les bureaux de pays préparet et réaliset l évaluatio? Et commet est-ce que l équipe d évaluatio coduit cette évaluatio? Le préset chapitre propose ue méthodologie d évaluatio des effets et fait des suggestios pour améliorer les évaluatios de projet. Il vise é galemet à aider les utilisateurs à réaliser ue évaluatio et à fixer des ormes pour assurer la qualité des évaluatios axées sur les résultats. (Des «Directives pour les évaluateurs» complètes ferot l objet d u autre fascicule de la série à laquelle appartiet ce mauel.) Pla du chapitre : A. Préparatio de l évaluatio But et caledrier Participatio des parteaires et des parties preates Cofirmatio de l effet Portée de l évaluatio Rédactio du madat Budget Documetatio Équipe de liaiso du bureau de pays Équipe d évaluatio B. Gestio de l évaluatio Collecte et aalyse des doées Appui et retour d iformatio Établissemet du rapport Suivi C. Évaluatios commues A. Préparatio de l évaluatio La préparatio d ue évaluatio demade du temps et de la réflexio. La préparatio d ue évaluatio d effet, gééralemet, bie que ce e soit pas toujours le cas, demade ecore plus de temps et de réflexio que les évaluatios de projet. 4 5

53 BUT ET CALENDRIER Décider précisémet quad et commet réaliser ue évaluatio d effet est u processus complexe qui commece dès le début du cycle de programmatio. Comme cela est oté das le chapitre 3, les plas d évaluatio sot élaborés e s appuyat sur les effets (dot le ombre peut varier) que chaque bureau de pays doit évaluer obligatoiremet au cours d u cycle de programme de pays doé. Différetes évaluatios d effets chacue avec des buts, ue portée et u caledrier différet sot prévues pour chaque cycle. Les bureaux de pays devraiet chercher à défiir, du mois e gééral, le but et le caledrier de leurs évaluatios de faço précise et cohérete, le plus tôt possible. Le caledrier de réalisatio d ue évaluatio d effet devrait être directemet liée à so but (comme oté au chapitre 3). Ue évaluatio d effet qui vise à favoriser l appretissage ou à aboutir à des modificatios de la ature des produits ou de la stratégie de parteariat doit être réalisée assez tôt pour permettre la prise e compte de ces chagemets das la programmatio. E d autres termes, si le PNUD commece à travailler à la réalisatio d u effet doé dès la première aée du cycle de programme de pays, l évaluatio de cet effet devrait être stratégiquemet placée à la fi de la troisième aée de faço à laisser assez de temps s écouler pour qu il y ait quelque chose à évaluer mais aussi de se réserver assez de temps pour esuite appliquer les leços tirées de l évaluatio. D u autre côté, si le bureau de pays souhaite tirer des eseigemets quat à la qualité des produits et la validité de la stratégie de parteariat cotribuat à la réalisatio d u effet précis, ou leur e fficacité, l évaluatio d effet devrait stratégiquemet se dérouler au début de la ciquième aée.. Le même pricipe vaut pour les évaluatios de projet (si les bureaux de pays décidet d e réaliser) : le but de l évaluatio devrait dicter so caledrier et sa portée. Le tableau 3 doe plus d iformatios sur le caledrier, le but et la durée des évaluatios d effet. (Voir égalemet l Aexe C). TABLEAU 3. CALENDRIER, BUT ET DURÉE DE L ÉVALUATION D EFFET CALENDRIER Début du cycle de programme de pays : Aées 1 2 Milieu du cycle de programme de pays : Aées 2 3 Fi du cycle de programme de pays : Aées 4 5 BUTS POSSIBLES Cotrôler, dès le début du cycle, la stratégie adoptée pour u effet particulièremet ambitieux Accélérer les ajustemets à mi-parcours de l exécutio des produits Utiliser les eseigemets tirés pour la mise au poit du prochai programme de pays. DURÉE Court terme Moye terme Log terme PA R T I C I PATION DES PARTENAIRES ET DES PARTIES PRENANTES E mettat l accet sur les résultats, o est ameé à isister ecore plus sur la participatio des parteaires (ceux qui sot activemet egagés avec le PNUD das la réalisatio des résultats) et des parties preates (celles qui ot u rôle et/ou u itérêt das les résultats), quel que soit le type d évaluatio. E particulier, les parteaires clés, otammet ceux qui figuret sur la liste de l ecadré 1, devraiet être impliqués à chaque étape de l évaluatio d effet. Les parties preates cocerées devraiet aussi participer, mêmes si elles e cotribuet pas directemet au programme ou à la réalisatio de l effet. Elles pourraiet predre part à ue réuio orgaisée pour discuter les premières costatatios de l équipe 4 6

54 d évaluatio. Souvet, mais pas toujours, les mêmes acteurs et orgaismes sot parteaires et parties preates. Souvet les parteaires, les parties preates et les bééficiaires sot liés et ot les mêmes itérêts, mais comme ce est cepedat pas toujours le cas il est importat de bie faire la distictio etre les trois expressios. Das u cotexte doé, u acteur peut être u parteaire, u autre u bééficiaire et u troisième ue partie preate. Das u projet visat à reforcer les activités de plaidoyer de la société civile auprès du Parlemet, celui-ci peut être partie preate, u orgaisme gouveremetal doateur à la fois parteaire et partie preate et des orgaisatios de la société civile à la fois parteaires, parties preates et bééficiaires. ENCADRÉ 4. PARTIES PRENANTES ET PARTENAIRES CLÉS Istitutios atioales Orgaisatios de la société civile ONG atioales et iteratioales Orgaismes des Natios Uies Secteur privé Autres doateurs Établissemets uiversitaires Les différets parteaires et parties preates s egaget à des degrés différets aux diverses étapes de l évaluatio. Certais ot seulemet besoi d être iformés du déroulemet de l évaluatio, alors que d autres doivet participer aux prises de décisio. L évaluatio état u importat facteur de développemet des capacités et d appretissage, les décisios cocerat le choix des participats et leur degré de participatio aurot u impact sur les résultats. E gééral, plus le degré de participatio est importat, plus les résultats de l évaluatio aurot des chaces d être exploités. Il faut oter qu ue participatio accrue des parties preates ou des parteaires, ou des deux, etraîe souvet ue augmetatio des coûts, et parfois même ue dimiutio de l efficacité. Néamois, ue évaluatio participative, e impliquat stratégiquemet les parties preates et les parteaires, peut positivemet ifluecer le degré de maîtrise des résultats de l évaluatio et leur durabilité. Certais moyes peuvet aider à impliquer les parteaires et les parties preates das le processus complet de l évaluatio, otammet : Procéder à ue pré-sélectio des parteaires et des parties preates à cotacter das les premiers stades de la plaificatio de l évaluatio (sélectio de so effet, défiitio de sa portée, choix du caledrier, etc.); Diffuser le madat de l équipe d évaluatio et le curriculum vitae des cadidats présélectioés pour obteir u retour d iformatio de la part des parties preates et des parteaires qui peuvet jouer u rôle importat das la défiitio de la portée de l évaluatio d effet; Préseter les membres de l équipe d évaluatio aux parteaires et aux parties preates; Iviter les parteaires et les parties preates aux ateliers orgaisés avec l équipe d évaluatio ( sur la formulatio des questios d évaluatio, la présetatio du rapport d évaluatio, etc.); P r o c é d e r, avec les parteaires, à ue aalyse cojoite de la documetatio pertiete pour l évaluatio et commuiquer cette aalyse, pour exame, à l équipe d évaluatio; Orgaiser des visites sur le terrai avec les parteaires, lorsque pertiet; O rgaiser ue réuio avec les parteaires et les parties preates après l élaboratio de la première mouture du projet de rapport d évaluatio pour e discuter esemble les costatatios; Assurer le suivi avec les parteaires et les parties preates pour veiller à l exploitatio des eseigemets et des recommadatios de l évaluatio. L É VA L UATION («COMMENT») 4 7

55 C O N F I R M ATION DE L E F F E T L ue des premières étapes de la plaificatio est de cofirmer la valeur de l effet choisi pour l évaluatio. Il s agit de s assurer que l effet est toujours pertiet et d idetifier clairemet les pricipaux produits, projets, programmes, activités et itervetios des parteaires qui lui sot liés. L équipe du bureau de pays devrait pouvoir obteir ces iformatios sas difficulté à partir des rapports périodiques de cotrôle, du cadre de résultats stratégiques/raar et du pla d évaluatio. Le pla qui est préparé par chaque bureau de pays expose e détail les projets, programmes, assistace douce, etc. ayat trait à u effet doé. Das l idéal, cette cofirmatio de l effet devrait avoir lieu au mois six mois avat l évaluatio elle-même. PORTÉE DE L É V A L UAT I O N Normalemet la portée d ue évaluatio de projet se défiie d elle-même das le descriptif de projet. Das la plupart des cas, la portée de l évaluatio d effet sera plus large que celle d ue évaluatio de projet. 11 L équipe de directio du bureau de pays, l équipe du programme, l équipe du Rapport atioal sur le développemet humai (qui peut fourir ue aalyse cotextuelle très utile de l objectif), les pricipaux parteaires et, si possible, le Chef de l équipe d évaluatio, devraiet tous participer à la défiitio de la portée de l évaluatio d effet. La portée d ue évaluatio d effet devrait être composée au miimum des quatre domaies d aalyse suivats, chacu plus ou mois détaillé selo les cas : 1. Situatio de l effet : l effet a-t-il été atteit? Das la égative, quels progrès ot été eregistrés das sa réalisatio? 2. Facteurs sous-jacets : quels sot les facteurs, dépassat la compétece du PNUD, qui ifluecet la réalisatio de l effet? 3. Cotributio du PNUD : est-ce que les produits, et autres activités, exécutés par le PNUD ot réellemet aidé à atteidre l effet, y compris e cotribuat à l exécutio des produits, programmes, projets et à l assistace admiistrative et techique liés à l effet (Voir ecadré 2); 4. S t ratégie de parteariat : est-ce que la stratégie de parteariat du PNUD a été appropriée et efficace. ENCADRÉ 5. LA CONTRIBUTION DU PNUD Les évaluatios d effet mettet e lumière le lie de cause à effet probable etre l esemble des activités etreprises par le PNUD avec ses parteaires et les progrès ou succès eregistrés das la réalisatio des effets. Exemple : U bureau de pays pose comme effet : «ue meilleure réglemetatio pour ue décetralisatio muicipale». Il ote das le cadre de résultats stratégiques /RAAR que le PNUD aide le pays à 1) faciliter le débat sur les réglemetatios juridiques pour la décetralisatio, 2) réaliser des essais pilotes d exécutio décetralisée du budget das des muicipalités choisies, et 3) favoriser la resposabilisatio de la commuauté pour la plaificatio du développemet local.ces trois produits ot clairemet cotribué à l istauratio d u processus de décetralisatio plus efficace et peuvet doc être cosidérés comme ayat activemet aidé à atteidre l effet. Par cotre, le PNUD e pourra pas revediquer avoir cotribué à l approbatio de la loi (qui relève du Parlemet) i à so applicatio efficace (qui relève de la muicipalité). Source : d après le Rapport sur le pla de fiacemet pluriauel de l Admiistrateur, Il peut cepedat y avoir des exceptios. Par exemple,la portée de l évaluatio d u très grad projet complexe et à log terme pourrait être beaucoup plus large que celle d ue évaluatio d effet rapide réalisée au début, la première ou deuxième aée,du cycle de réalisatio du programme de pays. 4 8

56 Certais bureaux de pays pourraiet souhaiter isister plus sur l ue des catégories d aalyse que sur les autres, ce qui modifiera la portée de l évaluatio. Le tableau 4 repred le tableau 1 e y ajoutat l élémet «portée» afi d illustrer les iteractios etre les caledrier, but, durée et portée de l évaluatio. Outre ces quatre catégories d aalyse, l évaluatio d effet peut aussi s itéresser : à l idetificatio de ouvelles méthodologies pour traiter les grades questios liées au développemet humai durable; au reforcemet des capacités atioales grâce à l assistace fourie par le PNUD (le reforcemet des capacités figure das la plupart des programmes d assistace du PNUD ); à la participatio des parties preates à la réalisatio de l effet (pour établir si l assistace fourie par le PNUD a ecouragé réellemet la participatio (est-ce que la société civile et les représetats des groupes locaux ot été cosultés pour la défiitio d ue politique d ivestissemet social par exemple?); à l idetificatio des bééficiaires directs et idirects et à leur appréciatio de l assistace fourie; aux questios de gestio et/ou d exécutio susceptibles de poser des problèmes, y compris l exécutio das les délais prévus des produits, le degré de participatio des parteaires et des parties preates à l exécutio des produits, et la démarche suivie (trasparece et participatio). Le madat de l évaluatio sera e grade partie détermié par so objectif et ses caledrier, but, durée et portée. TABLEAU 4. CALENDRIER, BUT, DURÉE ET PORTÉE DE L ÉVALUATION D EFFET CALENDRIER Au début du cycle du programme de pays : Aées 1-2 Au milieu du cycle du programme de pays : Aées 2 3 A la fi du cycle du programme de pays : Aées 4 5 BUT ET PORTÉE But : aalyser, e début de cycle, la stratégie adoptée pour u effet particulièremet ambitieux Portée (repred, avec différets degrés d isistace, les quatre catégories d aalyse) : Situatio et pertiece de l effet Facteurs affectat l effet Rôle stratégique du PNUD Formulatio et applicatio de la stratégie de parteariat But : défiir les ajustemets à mi-parcours à faire das l exécutio des produits Portée : Pertiece de l effet (et lorsque possible situatio et facteurs sous-jacets) Rôle stratégique du PNUD Formulatio et applicatio de la stratégie de parteariat Exécutio des produits (lorsque possible avec les parteaires) But : tirer les eseigemets pour la formulatio du prochai programme de pays Portée : Situatio de l effet et facteurs sous-jacets Pertiece du résultat/des produits Rôle stratégique du PNUD Exécutio des produits Formulatio et applicatio de la stratégie de parteariat DURÉE Court terme Moye terme Log terme L É VA L UATION («COMMENT») 4 9

57 RÉDACTION DES TERMES DE RÉFÉRENCE Les termes de référece (TdR) d ue évaluatio, quelle qu elle soit, doiet au mois, coteir les élémets suivats : Itroductio : ue brève descriptio du sujet de l évaluatio (effet, programme, projet, itervetios des différets parteaires, etc.); Objectifs : les raisos de l évaluatio et la liste des pricipales parties preates et pricipaux parteaires; Portée : les questios, sujets, domaies et période couverts par l évaluatio; Produits prévus de l évaluatio : les costatatios, recommadatios et eseigemets, u système de otatio de la performace, ue liste des «choses à faire»); Méthodologie ou approche : la méthodologie proposée à l équipe d évaluatio; Equipe d évaluatio : sa compositio et ses domaies de compétece; Arragemets relatifs à l exécutio : le partage des resposabilités et l org a i s a t i o de l évaluatio. Les TdR doiet être suffisammet souples pour permettre à l équipe chargée de l évaluatio de choisir l approche qu elle estime la meilleure pour la collecte et l aalyse des doées. Par exemple, les TdR pourrait proposer ue approche mixte combiat questioaires, visites sur le terrai et etreties mais l équipe d évaluatio devrait pouvoir revoir cette approche si elle l estime écessaire. Les TdR sot établis e faisat certais choix stratégiques aspects sur lesquels se cocetrer, domaies à cofier à l exame des pricipales parties preates, et das le cas d ue évaluatio d effet, participatio des parteaires à l élaboratio des TdR. (Voir aexe C pour ue iformatio spécifique sur le madat de l évaluatio, y compris des directives détaillées pour les évaluatios de résultat). B U D G E T L établissemet du budget d ue évaluatio déped de la complexité du projet ou de l effet devat être évalué et du but de l évaluatio. Ces facteurs détermiet la durée de l évaluatio et le ombre d évaluateurs. Das le cas des projets, les évaluatios sot fiacées sur les rubriques budgétaires prévues pour le suivi et l évaluatio. De la même faço, les projets et programmes qui cotribuet à la réalisatio de l effet évalué utiliset, pour fiacer so évaluatio, les ressources prévues das leur budget pour le suivi et l évaluatio. Le bureau de pays du PNUD, lorsqu il établit le budget d ue évaluatio d effet, devrait teir compte des facteurs suivats : La p o r t é e,la complexité, et le caledrier de l évaluatio : ue évaluatio d eff e t réalisée au début du programme de pays a toutes les chaces d être peu compliquée, d avoir ue portée restreite et de predre mois de temps qu ue évaluatio plus «lourde» réalisée à la fi du programme de pays. Plus ue évaluatio est complexe et sa portée étedue, plus le travail de l équipe d évaluatio sera log et compliqué et plus élevés serot, par coséquet, les émolumets des évaluateurs. Le caledrier de l évaluatio d effet doit être défiie par so but. Les évaluatios réalisées e début de programme duret mois logtemps et coûtet mois cher 5 0

58 que celles qui sot faites vers la fi du cycle du programme. O trouvera das le tableau 3 ue répartitio des coûts afférets aux évaluatios d effet et leurs variatios e foctio de la portée et du caledrier de l évaluatio. La réductio de la durée et des coûts de l évaluatio :il est recommadé aux bureaux de pays de commuiquer aux cadidats présélectioés pour le poste de chef de l équipe d évaluatio les termes de référece de l évaluatio pour s assurer u retour d iformatio du chef d équipe choisi sur la méthodologie et les dates reteues pour la missio. Cela permettra de réduire le temps cosacré à la préparatio. Ue faço de limiter les dépeses est de cofier le travail à ue etreprise plutôt que de recruter des particuliers lorsque celle-ci propose u forfait pour toute l évaluatio, plus itéressat qu u tarif jouralier. O évite aisi le risque d ue augmetatio des coûts si l évaluatio se prologe pour des raisos imprévues. Das u même souci d écoomie, les bureaux de pays sot égalemet ecouragés à tirer parti des compéteces atioales e matière d évaluatio et à recruter, das la mesure du possible, des experts atioaux pour les missios d évaluatio d effet. Les visites sur le terrai et les etreties : das le cas d ue évaluatio de résultat, les évaluateurs peuvet devoir s etreteir avec certais parteaires, parties preates et bééficiaires pour coaître leur appréciatio des progrès réalisés das la réalisatio des effets ou des produits exécutés par le PNUD. Les visites sur le terrai et les etreties devraiet être brefs lorsque les évaluatios d effet sot faites au début du programme de pays. Pour les évaluatios réalisées plus tard, il pourrait être écessaire que les évaluateurs recotret u plus grad ombre de parties preates et de parteaires, ce qui etraîera ue augmetatio des frais de voyage, des idemités jouralières et du coût des services de cosultat. TA B L E AU 5. R É PARTITION DES COÛTS EN FONCTION DU CALENDRIER DE L É VA L UAT I O N CALENDRIER Première visite du chef de l équipe Etude théorique Missio Projet de rapport d évaluatio Rapport de fi de missio Préparatio du rapport fial TOTAL RÉPARTITION DES COÛTS : Cosultats atioaux - recherche Experts iteratioaux - missio Experts atioaux - missio Frais de voyage AU DÉBUT DU PROGRAMME DE PAYS : ANNÉES jour 4 jours 11 / 2 à 2 semaies, dot : 3 à 7 jours 2 jours 3 à 7 jours 3 À 4 SEMAINES 1 pour 1 semaie 1 pour 1 à 2 semaies 1 pour 3 à 4 semaies Idemité de voyage et idemité jouralière de subsistace pour les experts atioaux et iteratioaux AU MILIEU DU PROGRAMME DE PAYS : ANNÉES jour 11 / 2 jours 3 semaies, dot : 7 à 10 jours 3 jours 1 à 2 semaies 6 À 7 SEMAINES 2 pour 2 semaies 1 pour 2 à 3 semaies 1 pour 4 semaies Idemité de voyage et idemité jouralière de subsistace pour les experts atioaux et iteratioaux À LA FIN DU PROGRAMME DE PAYS : ANNÉES semaie 2 à 3 semaies 4 semaies, dot : 2 semaies 1 semaie 2 semaies 9 À 10 SEMAINES 2 pour 3 semaies 1 pour 6 semaies 2 pour 6 à 7 semaies Idemité de voyage et idemité jouralière de subsistace pour les experts atioaux et iteratioau L É VA L UATION («COMMENT») 5 1

59 Les cosultats atioaux : Il peut être écessaire de faire appel à des cosultats atioaux pour compléter le travail des évaluateurs. Les évaluatios de résultat peuvet écessiter ue aalyse de documetatio avat l arrivée de l équipe d évaluatio das le pays. Des cosultats atioaux peuvet se charger efficacemet de ce travail. L équipe du bureau de pays du PNUD aura, au préalable, rassemblé la documetatio et procédé à so exame, faisat aisi u «premier tri» et e reteat que les doées les plus pertietes. Les domaies de compétece des évaluateurs : les évaluatios de résultat requérat ue approche multidiscipliaire, l équipe d évaluatio devra compredre au mois u évaluateur (atioal ou iteratioal) familiarisé avec les pricipes de la gestio axée sur les résultats. E outre, u évaluateur (atioal ou iteratioal) devrait avoir ue coaissace approfodie de l effet devat être évalué. Le respect de ces deux critères pourrait augmeter les coûts de cosultatio. D O C U M E N TAT I O N Ue fois que la portée de l évaluatio a été défiie, le bureau de pays rassemble la documetatio de base requise et la commuique à l équipe d évaluatio. U travail de recherche théorique prélimiaire peut être écessaire pour recueillir des iformatios sur les activités et les produits exécutés par les parteaires, sur l assistace déjà fourie par le PNUD das le domaie cosidéré, sur l état d avacemet du projet ou du programme, ou sur la situatio de l effet. Cette étape prélimiaire pourrait être prévue das le pla de l évaluatio ou proposée par l équipe d évaluatio. Les sources d iformatio ci-après serot extrêmemet utiles pour l équipe d évaluatio de résultat : le programme des pays (ou cadre de coopératio) : ce programme expose les effets clés fixés par le PNUD et devat être atteits das ue période de 3 à 5 as. Il fourit égalemet ue iformatio de base et doe le poit de vue du PNUD sur le développemet du pays. le Cadre de résultats stratégiques et le Rapport auel axé sur les résultats du bureau de pays : ces deux documets présetet certais des projets et programmes relatifs à l effet visé et devraiet, das l idéal, idetifier tous les projets, programmes, sous-programmes et aide abstraite qui cotribuet à la réalisatio de l effet visé. Ils fourisset des élémets d iformatio sur les produits clés, les parteaires stratégiques, la stratégie de parteariat, les progrès eregistrés au cours des aées précédetes, la qualité des idicateurs d effet, la réalisatio des activités aisi qu ue iformatio de départ. le Bila commu de pays et le Pla-cadre des Natios Uies pour l aide au développemet : ces documets fourisset otammet ue iformatio de base sur le développemet du pays, les parteariats et les activités meées cojoitemet par le PNUD et d autres orgaismes des Natios Uies. les rapports de suivi et d évaluatio : o trouve das ces rapports des rapports d évaluatio sur des sujets coexes, les rapports de projet auels, les rapports de visite sur le terrai et ue documetatio sur les autres effets et programmes et projets importats. les rapports de projets et programmes régioaux et sous-régioaux coexes : ces rapports reseiget sur l appui fouri par ces projets et programmes à la cotributio du PNUD et de ses parteaires à la réalisatio de l effet. 5 2

60 les rapports sur l état d avacemet des activités des parteaires : o trouve das ces documets ue relatio des progrès effectués par les parteaires das la réalisatio du résultat et ue iformatio sur leur stratégie de parteariat avec le PNUD. les doées des sources officielles : des iformatios sur les progrès réalisés das la réalisatio des effets peuvet être obteues auprès de sources gouveremetales, d orgaisatios du secteur privé, des établissemets uiversitaires et des istituts atioaux de recherche. les études : certais sujets relatifs à l effet à évaluer peuvet être traités das des études réalisées par le gouveremet, des ONG, des istitutios fiacières iteratioales, des établissemets uiversitaires, ou das le Rapport atioal sur le développemet humai atioal, ou ecore das des études proveat d autres sources. Les sources susmetioées sot supposées fourir des iformatios utiles pour les quatre domaies d aalyse reteus (la situatio de l effet, les facteurs sous-jacets, la cotributio du PNUD, la stratégie de parteariat) pour l évaluatio d effet. Le tableau 4 motre l appui apporté par ue documetatio pertiete à l aalyse das ces quatre domaies. TABLEAU 6. SOURCES DE DOCUMENTATION ET DOMAINES D ANALYSE CORRESPONDANTS SOURCE D INFORMATION La situatio de l effet DOMAINES D ANALYSE Les facteurs sous-jacets La cotributio du PNUD La stratégie de parteariat Programme de pays/ Cadre de coopératio X X X X Cadre de résultats stratégiques et RAAR du bureau de pays X X X Bila commu de pays/ Pla-cadre des Natios Uies pour l aide au développemet X X X X Rapports de suivi et d évaluatio X X Rapports régioaux/ sous-régioaux X X X X Rapports des parteaires X X X Sources officielles X X Études X X ÉQUIPE DE LIAISON DU BUREAU DE PAY S Pour les évaluatios d effet, il est recommadé à l équipe de directio du bureau de pays de costituer ue petite équipe qui sera chargée, au sei de l uité du programme, d assurer la liaiso (voir ecadré 6). Cette équipe, composée de deux à quatre persoes, org a i s e r a l évaluatio et apportera u appui efficace à l équipe idépedate recrutée pour l évaluatio. Pour assurer la liaiso, ue équipe sera plus efficace qu ue seule persoe car les évaluatios d effet touchet à u grad ombre de sujets. Compte teu de l accet mis par le PNUD L É VA L UATION («COMMENT») 5 3

61 ENCADRÉ 6. FORMATION DE L ÉQUIPE DE LIAISON POUR L ÉVALUATION Il est coseillé de costituer ue équipe de liaiso pour l évaluatio au sei même du bureau de pays dès qu u effet doé a été reteu pour ue évaluatio au cours de la phase de plaificatio. La mise e place de cette équipe au début du processus a plusieurs avatages. Premièremet, elle permet u travail d équipe au sei du bureau de pays pour tout ce qui cocere l évaluatio. Esuite, elle élargit l appretissage et le brassage d idées au sei du bureau. Efi,elle permet u suivi cotiu et automatique de l effet au cours de la période précédat l évaluatio et reforce aisi le lie etre le suivi et l évaluatio de l effet. Le bureau de pays, lorsqu il prépare l évaluatio, das u premier temps cofirme la pertiece de l effet devat être évalué.ce travail est dévolu à l équipe de liaiso qui est, à ce stade,la mieux placée pour ce faire.ue trasformatio du cotexte peut obliger à modifier le caledrier, la portée ou la ature prévues de l évaluatio (ue évaluatio succicte et directe e début de programme peut faire place à ue évaluatio d ajustemet e cours de programme ou à ue évaluatio rétrospective e fi de programme, ou vice versa) pour garder à l évaluatio toute sa valeur. Ue équipe bie structurée peut predre plus efficacemet ce type de décisio qu u particulier. sur les résultats, il est écessaire d impliquer ue petite équipe das le processus. Il e va autremet des évaluatios de projet das lesquels c est le directeur de projet qui se c h a rge de la plaificatio de l évaluatio et qui veille esuite au bo respect de ce madat. Das l idéal, la préparatio de l évaluatio d effet devrait être liée au processus de suivi de l effet et o pas séparée de lui. La même équipe qui a été impliquée das le suivi de l effet devrait être égalemet chargée de préparer l évaluatio avec les parteaires participat au groupe de discussio sur les objectifs lorsqu il e existe u. L équipe de liaiso joue ormalemet u rôle très utile e mettat e relatio l équipe d évaluatio avec le groupe du programme, l équipe resposable de la directio du bureau et les parteaires. E outre, elle s occupe des arragemets matériels et d orgaisatio défiir les tâches de l équipe d évaluatio, rechercher des cadidats (particuliers ou etreprises) pour l équipe d évaluatio, recruter les membres de l équipe, veiller au caractère participatif du processus d évaluatio, cotacter les parteaires, fourir u appui à l équipe d évaluatio et faire des observatios sur le projet de rapport d évaluatio. L équipe de liaiso assure u iveau de participatio élevé au sei du bureau de pays et parmi les parteaires à toutes les étapes du processus d évaluatio. Toutes les parties itéressées restet aisi iformées du déroulemet de l évaluatio, ce qui permet d assurer la crédibilité et la qualité du processus. Les parties ommées ci-après jouet u rôle très importat das le processus d évaluatio : L équipe de directio du bureau de pays : c est elle qui décide de l orietatio et de la perspective de l évaluatio, qui fourit des iformatios sur la stratégie adoptée par le bureau, sur l assistace douce et sur le cadre de résultats stratégiques. Elle doe égalemet ue iformatio de première mai sur l assistace prévue ou potetielle (discussios prélimiaires avec les autorités de haut iveau pour l assistace ou les services spécifiques ou ecore l assistace douce. L équipe du programme : elle erichit le débat grâce à l échage d iformatios sur les iitiatives coexes ou complémetaires meées das d autres domaies thématiques, sur les produits clés des projets et programmes, sur l assistace douce e cours et sur les lies avec les questios trasdomaies (comme la gouverace, l eviroemet, l équité etre les sexes, la gestio des risques). L équipe du rapport sur le développemet humai : lorsqu elle existe, elle peut fourir à l équipe d évaluatio ue iformatio récete sur les variables, statistiques et autres doées relatives au développemet humai. 5 4

62 Les membres de la «cellule de réflexio» : lorsque la cellule existe, ses membres fourir des reseigemets sur le cotexte, des suggestios sur la faço d aborder les questios liées à l effet, aisi que des coseils pour la collecte d iformatios et les cotacts avec les pricipaux parteaires. Les parteaires : ils peuvet aider à mieux compredre les différetes activités meées simultaémet pour atteidre le même effet et aider à évaluer la stratégie de parteariat du PNUD. ÉQUIPE D ÉVALUATION L évaluatio est réalisée par ue équipe officielle d experts désigés. Le choix des évaluateurs est détermiat pour l efficacité de l évaluatio. Les évaluateurs peuvet être recrutés au iveau itere, au sei du PNUD, ou au iveau extere. Les etreprises d évaluatio ou les équipes d évaluateurs idépedats peuvet être atioales, iteratioales ou ue combiaiso des deux. (Voir aexe C pour ue étude comparée des avatages et des icovéiets du recrutemet d etreprises ou de particuliers) Tous les membres de l équipe doivet être idépedats et avoir absolumet aucu lie avec la coceptio, la formulatio ou la mise e œuvre des programmes, projets et activités e questio du PNUD ou des parteaires. L équipe e doit pas compredre de foctioaires gouveremetaux directemet impliqués das les activités cosidérées ou das leurs résultats. Le o-respect de ces coditios risque de compromettre la crédibilité et l idépedace de l évaluatio. Le bureau de pays est ecouragé à iclure das l équipe d évaluatio d effet des membres de l équipe du PNUD veat d autres pays ou régios lorsque cela est possible. L échage de coaissaces et l appretissage au sei du persoel est aisi favorisé, tout comme le développemet des capacités das toutes les régios et tous les pays. Le persoel du PNUD participat ormalemet des membres des bureaux de pays de iveau soit de directio, soit de resposible de programme e doit avoir aucu lie avec la coceptio, la formulatio, ou la réalisatio de l effet cosidéré, i avec aucu des projets, programmes et activités associés. Les domaies de compétece requis pour les membres de l équipe sot otammet : Ue coaissace techique et ue expériece cocrète des domaies thématiques du PNUD, avec ue spécialisatio correspodat au thème spécifique de l évaluatio; Ue coaissace de la situatio et du cotexte atioal; Des compéteces das la gestio axée sur les résultats; Des compéteces das le reforcemet des capacités; Ue pratique des processus de prise de décisio (coceptio, adoptio et mise e œuvre) si l évaluatio touche à des questios d orietatio et de cocertatio sur l actio à meer. Des compéteces das la gestio axée sur les résultats sot de plus e plus écessaires car les évaluatios commecet à appliquer les pricipes et la méthodologie de la gestio axée sur les résultats. Les évaluateurs doivet savoir commet faire le lie etre le reforcemet de l assistace du PNUD et le rôle que joue cette assistace pour faire avacer le développemet. L É VA L UATION («COMMENT») 5 5

63 B. Gestio de l évaluatio Das cette partie sot passées e revue les pricipales étapes de la supervisio de l évaluatio - la collecte et l aalyse des doées, l appui techique et le retour d iformatio, l établissemet des rapports et le suivi. C est l équipe du bureau de pays du PNUD e gééral, le resposable de programme, le groupe de discussio sur les effets ou l équipe de liaiso qui s acquitte de ces tâches. Des coseils détaillés à l itetio des évaluateurs d effet sot doés das ue autre publicatio de la série à laquelle appartiet ce mauel ayat pour titre «Directives pour les évaluateurs». COLLECTE ET A N A LYSE DES DONNÉES La collecte et l aalyse des doées de base pour l évaluatio d effet est pricipalemet la resposabilité du bureau de pays, et plus spécialemet de l équipe de liaiso (si elle existe). Celle-ci décide des méthodes de collecte et d aalyse de l iformatio. Des méthodes qualitatives et quatitatives sot utilisées. Leur choix déped des objectifs. Bie que faisat appel à des istrumets et des méthodologies différets, elles sot parfaitemet complémetaires. La préparatio de l évaluatio ormalemet exige l utilisatio combiée des deux types de méthodes. Les méthodes qualitatives sot utilisées pour les questios posées par les évaluateurs au cours des etreties et des equêtes, aisi que pour aalyser le cotexte social, écoomique et politique das lequel évolue le développemet. Les méthodes quatitatives sot utilisées pour appuyer les stratégies de collecte de doées qualitatives, par exemple des aalyses statistiques pour cotrôler les coditios socioécoomiques das divers domaies d étude. 12 O trouvera das le tableau 5 des exemples des deux approches. APPUI ET RETOUR D INFORMAT I O N L équipe du bureau de pays, ou l équipe de liaiso, est chargée d assurer la liaiso avec les parteaires et de fourir u appui et u retour d iformatio à l équipe d évaluatio. Elle devrait être e liaiso costate avec l équipe d évaluatio. Ces membres du bureau, bie iformés, pousset l équipe d évaluatio à justifier ses coclusios et à les étayer par TABLEAU 7. DIFFÉRENTES APPROCHES UTILISABLES POUR L ÉVALUATION DE RÉSULTAT E F F E T Amélioratio des capacités législatives Reforcemet de la trasparece das le secteur public ANALYSE QUANTITATIVE Nombre de lois promulguées par le Parlemet dates, sujets,auteurs (gouveremet ou membre du Parlemet). Nombre de cas de corruptio jugés et ombre de cas coclus. ANALYSE QUALITATIVE Aalyse de la complexité techique des lois et/ou de leur importace atioale,de leur qualité techique (rédactio et iveau costitutioel) et du caractère participatif et trasparet du processus. Aalyse du processus et de la réactio des citoyes. 12 «Impact Evaluatio»,Baque modiale, avril

64 des faits cocrets et l aidet à approfodir et clarifier ses débats. L équipe de liaiso est le pricipal groupe avec lequel travaille l équipe d évaluatio. Elle répod aux questios, facilite les échages et doe l iformatio requise. Elle fourit égalemet le retour d iformatio écessaire pour l élaboratio du projet de rapport et orgaise ue réuio des parteaires et des parties preates pour examier les costatatios de l équipe d évaluatio. É TABLISSEMENT DU RAPPORT Les coclusios et les recommadatios du rapport d évaluatio sot déjà coteues e germe das le pla établi pour l évaluatio. Si le madat de l évaluatio d effet iclut le résultat à étudier, les raisos du choix, la portée de la missio et la stratégie de collecte et d aalyse des doées, le rapport d évaluatio portera doc, etre autres, sur ces élémets. L équipe d évaluatio est teue de respecter le madat et de traiter ses divers poits de faço appropriée das so rapport, bie qu ue certaie latitude soit permise et que l équipe puisse ajouter au madat d origie les questios qu elle cosidère comme particulièremet pertietes. E gééral, le chef d équipe établit, dès le début de l évaluatio, u projet de table des matières pour le rapport e s appuyat sur les prescriptios du PNUD, le madat de l évaluatio et les coclusios des discussios avec les parties et parteaires itéressés. Le projet de table des matières est u cadre commode pour orgaiser l iformatio à mesure de l avacemet des travaux. Il aide égalemet à mieux cibler le travail à faire sur le terrai e foctio de l iformatio à obteir, à vérifier so exactitude, à tirer des coclusios et des recommadatios et à e discuter. (Voir aexe D pour le rapport d ue visite sur le terrai). Ue fois que le premier projet de rapport d évaluatio a été préseté, l équipe de liaiso, ou le persoel coceré du bureau de pays du PNUD (aget de coordiatio pour l évaluatio, équipe du projet et/ou directio du bureau) devrait e faire l aalyse et préseter ses observatios. Celles-ci serot esuite icorporées das la versio fiale du projet de rapport qui sera alors commuiquée aux parteaires pour u retour d iformatio. C est le chef de l équipe de l évaluatio qui se charge d iclure les observatios faites das la versio fiale du rapport, lequel est esuite soumis à la directio du bureau de pays. Celle-ci pourra, si la complexité des résultats de l évaluatio l exige, evisager d o rg a i s e r, pour préseter le rapport aux parteaires et aux parties preates ue réuio d ue demi-jourée. Ue iterprétatio commue des résultats sera aisi assurée et le retour d iformatio sur le projet de rapport facilité. S U I V I L évaluatio e se termie pas avec la présetatio du rapport d évaluatio et l acceptatio de ses coclusios. Les résultats, costatatios, recommadatios et eseigemets coteus das le rapport doivet être assimilés et doer lieu à des mesures cocrètes. La derière étape d ue évaluatio cosiste doc à s assurer de la suite doée au rapport et de l egagemet das la voie du chagemet. Cette étape est étroitemet liée au processus d appretissage et d approfodissemet des coaissaces discuté plus e détail au chapitre 7. L É VA L UATION («COMMENT») 5 7

65 C. Evaluatios commues 13 Des évaluatios commues peuvet être réalisées, quel que soit le type d évaluatio, e parteariat par le PNUD, les doateurs, les gouveremets et les autres parteaires. Les évaluatios commues serot traitées plus e profodeur das u autre uméro de la série à laquelle appartiet ce mauel. O peut éamois préciser ici les étapes à suivre das la plaificatio et l exécutio d ue évaluatio commue (qu il s agisse d ue évaluatio de résultat ou de projet) : 1. Portée de l évaluatio : la portée de l évaluatio doit être arrêtée e commu par tous les orgaisateurs de l évaluatio. Les domaies d itérêt prioritaires, aisi que les itérêts des parties qui e sot pas écessairemet les mêmes doivet être clairemet défiis. Les questios pratiques doivet être aussi clarifiées, qu il s agisse de l objet de l évaluatio (projet ou objectif), des questios à traiter ou du caledrier de l évaluatio. 2. Divisio des tâches : l équipe de directio du bureau de pays doit défiir la faço dot serot prises les décisios par les acteurs et décider de la répartitio des tâches. Elle doit doc choisir le resposable de chaque étape de l évaluatio, e d autres termes, désiger les resposables d activités. U parteaire peut être chargé de l élaboratio du madat de l évaluatio, u autre du recrutemet de l équipe et u troisième de la logistique de la missio. Les visites sur le terrai peuvet prévoir que différetes parties rassemblet simultaémet des doées das différets edroits. Les différetes istitutios impliquées ot probablemet chacue leur propre approche. Il faut doc pouvoir s adapter et prévoir que ces divergeces de méthode augmeterot la durée de l évaluatio. Même au iveau atioal, les différets doateurs peuvet avoir des pratiques admiistratives, politiques, fiacières et des méthodes variées et cette diversité e peut que raletir l évaluatio. Il est écessaire de défiir clairemet les resposabilités respectives pour les visites sur le terrai et d accorder toute l attetio voulue aux détails préciser qui est resposable du fiacemet du trasport des experts d u site à l autre, qui sera chargé de cosiger par écrit «les réuios idividuelles» pour que les comptes redus de fi d évaluatio soiet étayés par toutes les pièces justificatives requises, décider qui se chargera de recueillir la documetatio lors de la visite sur le terrai et commet celle-ci sera commuiquée aux autres experts au cours des aalyses ultérieures das leurs pays respectifs, etc. 3. Modalités de fiacemet : différetes modalités de fiacemet sot possibles pour les évaluatios cojoites. Le PNUD préfère que le (ou les) parteaire(s) cotribue(t) fiacièremet à l évaluatio das le cadre d u pool de fods (pratiquemet équivalet à u fods d affectatio) géré par le PNUD et couvrat tous les coûts liés à l évaluatio. Ue secode possibilité serait que le (ou les) parteaire(s) fiace(t) certais élémets de l évaluatio et que le PNUD se charge des autres (ue solutio pratiquemet équivalete à u fiacemet parallèle). Bie que ces dispositios soiet parfois écessaires, compte teu des règles fiacières appliquées par les parteaires, elles peuvet éamois exiger du temps et u traitemet admiistratif particulier. 13 Les évaluatios commues serot étudiées plus e détail das u autre uméro de la série à laquelle appartiet ce mauel. 5 8

66 4. Rédactio des termes de référece: e gééral, il est plus efficace que tous les parteaires participat à ue évaluatio commue décidet esemble de la portée de l évaluatio puis désiget la partie qui dirigera la rédactio des TdR. Les TdR être devraiet esuite discutés et acceptés par les istitutios parteaires. Les meilleurs FdR sot eux qui satisfot les itérêts de toutes les parties cocerées. Cepedat cela est pas toujours possible état doé la variété des motivatios à la base de l évaluatio tirer des eseigemets, créer ue base pratique pour ue réorietatio de fod ou du iacemet, satisfaire les exigeces politiques des pays doateurs ou respecter les cotraites istitutioelles particulières aux projets de grade evergure. Le mieux serait de mettre sur pied u programme commu qui défiisse les priorités tout e faisat la part des itérêts e présece et des possibilités pratiques. 5. Sélectio des experts : plusieurs méthodes sot possibles pour sélectioer les experts devat participer à ue évaluatio commue. Ue possibilité est de charger l u des parteaires de recruter l équipe d évaluatio, e cosultatio avec les autres parteaires. Ue autre possibilité est que chacu des parteaires fourisse ses propres experts. Das certais cas, la méthode choisie est foctio des modalités de fiacemet adoptées. Par exemple, si le mode de fiacemet est u fiacemet parallèle, chaque parteaire devra désiger so propre expert pour faire partie de l équipe. Das le cas où l équipe est composée des évaluateurs de chaque partie, ceux-ci peuvet avoir des difficultés à redre compte à u acteur e particulier alors qu ils sot membres de l équipe commue. Pour résoudre ce problème, les resposables de l évaluatio de chaque istitutio impliquée devraiet clairemet préciser aux évaluateurs que l idépedace de l équipe est de rigueur et doit être respectée. Au mois ue sessio de plaificatio réuissat tous les experts impliqués doit être orgaisée avat la visite sur le terrai. E d autre termes, il est pas souhaitable de combier la présetatio des experts avec la collecte des doées. Das certais cas, les experts devraiet recotrer chaque partie preate afi de se faire ue idée géérale du cotexte du projet ou du résultat avat de commecer les visites sur le terrai. Ceci est particulièremet vrai das les cas où les experts sot sélectioés par le PNUD et la (les) cotrepartie(s). 6. Réalisatio de l évaluatio : les experts recrutés séparémet par le PNUD et la (les) cotrepartie(s) doi(ve)t faire les visites sur le terrai esemble, das la mesure du possible. Par exemple, u groupe de quatre évaluateurs deux sélectioés par le PNUD et deux par u pays doateur peut, par souci de gai de temps, travailler par groupes de deux das u pays ou ue régio doée, chaque groupe état das ce cas composé de deux experts de bord différet. La participatio à l équipe d évaluatio d u représetat du PNUD et/ou de la (des) cotrepartie(s) reforcera les possibilités de créatio de capacités au sei de l équipe du PNUD. Cela peut s avérer particulièremet utile durat la phase d equête, à laquelle ils pourraiet participer à titre de simples observateurs. Cet arragemet risque d être relativemet délicat et requiet ue boe commuicatio etre toutes les parties participat à l évaluatio. 7. Préparatio du rapport : c est uiquemet l équipe d évaluatio qui doit aalyser les résultats et se charger d établir le rapport de l évaluatio commue. Cela e sigifie par écessairemet que tous les membres de l équipe doivet coveir de la faço dot les résultats et les recommadatios sot présetés, surtout lorsque l équipe d évaluatio est composée de représetats de différetes istitutios. L établissemet du rapport peut par coséquet être discuté par les membres de l équipe. La versio prélimiaire du rapport devra d abord être présetée au PNUD L É VA L UATION («COMMENT») 5 9

67 et aux istitutios parteaires pour observatios. La versio fiale du rapport sera esuite établie e suivat les procédures de vérificatio et de fialisatio coutumières. 8. Suivi et mise e oeuvre des recommadatios : toutes les évaluatios doivet prévoir le suivi des résultats et des recommadatios du rapport. Das les évaluatios commues cepedat, cela risque d être particulièremet difficile état doé que les résultats et les recommadatios coceret des istitutios, au iveau idividuel et au iveau de leurs parteariats. Les parteaires, par coséquet, doivet s accorder sur les mesures à predre, à titre idividuel et collectif, et décider du mécaisme de suivi à mettre e place pour cotrôler la mise e œuvre des chagemets décidés. 6 0

68 PA RTIE III Suivi et évaluatio de la performace

69 Chapitre 6. Mesure de la performace 63 A. Mesure de la performace 63 B. Choix des idicateurs 66 C. Utilisatio des idicateurs 71 Figures, tableaux et ecadrés de la troisième partie Figure 1. Dimesios de la mesure de la performace 64 Figure 2. Progrès das la réalisatio des résultats 72 Tableau 1. Commet choisir les idicateurs 68 Tableau 2. Classe des idicateurs das u pla de suivi des résultats 70 Tableau 3. Idicateurs et suivi des résultats 72 Ecadré 1. Pricipes de base de la collecte et de l aalyse des doées au moye d idicateurs 71

70 Mesure de la perform a c e CHAPITRE 6 Le préset chapitre cocere les méthode appliquées à la mesure de la performace. Il présete l utilisatio d idicateurs tels que les doées de référece, la fixatio d objectifs, les systèmes de collecte de doées et l aalyse quatitative et qualitative. Ce chapitre devrait aider les utilisateurs à appliquer les idicateurs de faço à mieux pouvoir juger les progrès das le ses des résultats et la performace lors du suivi et de l évaluatio de l aide fiacée par le PNUD. 14 This chapter covers: A. Mesure de la performace Système de otatio B. Choix des idicateurs Les étapes du choix des idicateurs Plaificatio des idicateurs C. Utilisatio des idicateurs Participatio des parties preates Applicatio des idicateurs au suivi A. Measure de la performace Les idicateurs fot partie de la mesure de la performace, mais ils e sot pas le seul élémet. Pour évaluer la performace, il faut coaître davatage que les réalisatios e ffectives. Il faut aussi savoir commet les réalisatios ot été obteues, quels facteurs ot exercé ue ifluece positive ou égative et savoir si les réalisatios ot été exceptioellemet boes ou mauvaises, qui e porte la pricipale resposabilité, etc. Il a toujours été plus facile de mesurer la performace fiacière ou admiistrative, par exemple l efficacité. Aujourd hui, la gestio axée sur les résultats costitue la base de la resposabilité foctioelle et de l évaluatio de la performace, ou efficacité. Les rapports auels de projet, les évaluatios et le Rapport auel axé sur les résultats permettet d évaluer la performace au iveau du bureau de pays. Das tout bureau de pays, la gestio axée sur les résultats peut égalemet alimeter l évaluatio de la performace des projets, programmes, domaies de programme, 14 Les idicateurs de performace cocerat la plaificatio propre au PNUD sortet du cadre du préset guide. 6 3

71 FIGURE 1. DIMENSIONS DE LA MESURE DE LA PERFORMANCE Measure de la performace Aalyse systématique de la performace par r a p p o rt aux objectifs, compte teu de la motivatio, de la performace et des facteurs détermiats. Notatio Idicateurs Jugemet cocerat les progrès positifs ou égatifs sur la base des idicateurs. Peut égalemet comporter la otatio d autres dimesios de la performace. Cofirmatio de la réalisatio de progrès das le sese les résultats. groupes de foctioaires et particuliers, si le bureau de pays le juge utile. La figure 1 illustre les lies etre mesure de la performace, otatio et idicateurs das le cotexte de ces évaluatios. UN SYSTÈME DE NOTATION Grâce à l itégratio progressive de la gestio axée sur les résultats au PNUD, il est possible de développer l applicatio des résultats de la performace sigalés à la gestio itere et aux foctios de supervisio. U élémet fodametal à cet égard est la mise au poit d u système commu de otatio pour tous les résultats sigalés par l orgaisatio das le cadre de la gestio axée sur les résultats. Grâce à ce système, le PNUD peut oter la performace au iveau des résultats et aalyser et comparer les tedaces par catégorie thématique (gouverace, pauvreté, eviroemet, etc.); par iveau d itervetio (projet, produit ou résultat, etc.); zoe géographique (Afrique, Asie, Amérique latie, etc.); ou etité (bureau de pays, bureaux régioaux ou bureaux foctioels, etc.). U système de otatio commu pourrait partir du système de otatio e trois poits élaborés das le cadre du Rapport auel axé sur les résultats. 15 U système de otatio commu peut être appliqué à tous les pricipaux outils de suivi et d évaluatio (le Rapport auel axé sur les résultats, le Rapport auel de projet, les missios sur le terrai et les évaluatios des effets) afi de comparer la performace au regard de tous les résultats. Selo cette formule, il y a deux types de otatios : autootatios (comme das le Rapport auel de projet) et otatios idépedates (comme das les évaluatios des effets). E disposat de deux types de otatio utilisat les mêmes critères, o peut avoir ue image plus précise de la maière dot la réalisatio progressive des résultats est perçue par le bureau de pays du PNUD, le siège du PNUD et les évaluateurs idépedats. Cette double otatio permet égalemet d istaurer u dialogue das et etre le bureau de pays et le siège e cas d écart etre les otatios cocerat les mêmes produits ou effets. Élémets essetiels du système de otatio commu : Das le cas des effets, le système de otatio présete trois poits : chagemet positif, chagemet égatif et absece de chagemet. Ces trois otatios coceret les 15 U système de otatio e trois poits (chagemet positif, chagemet égatif, absece de chagemet) pour les effets et (réalisé,o réalisé,réalisé e partie) pour les objectifs de produit auel a été mis au poit au départ pour le Rapport auel axé sur les résultats.ce système permet au PNUD de détermier les taux de performace des produits et effets et de les comparer etre pays,régios,objectifs,objectifs secodaires,etc.établi par des aalystes du siège,il a pas été partagé systématiquemet avec les bureaux de pays i comparé à la otatio des bureaux de pays cocerat des chagemets aalogues. 6 4

72 progrès das la réalisatio des effets, sas les attribuer à l u ou l autre parteaire. Les trois otatios viset à préseter le degré de progrès, positif ou égatif, par rapport à la réalisatio de l effet. Pour les trois otatios, la méthode cosiste à comparer, e foctio des idicateurs de résultat, les siges d évolutio par rapport aux poits de référece se rapprochat ou s éloigat de l objectif fial du cadre de résultat stratégique (CRS). Chagemet positif mouvemet positif à partir du poit de référece vers l objectif du CRS, mesuré par le ou les idicateurs d effet; Chagemet égatif retour à u iveau iférieur au poit de référece, mesuré par le ou les idicateurs d effet; Pas de chagemet pas de chagemet perceptible etre le poit de référece et l objectif du CRS mesuré par le ou les idicateurs d effet. Das le cas des produits, le système de otatio présete égalemet trois poits : o, partiel et oui. Les trois otatios représetet le iveau de réalisatio des objectifs d u produit. O peut aisi évaluer idirectemet das quelle mesure ue etité doée a réalisé ses produits du CRS. Les trois otatios viset à représeter le iveau de réalisatio des produits par ue comparaiso des poits de référece (absece de produit) avec l objectif (productio du produit). La catégorie «réalisé e partie» s applique aux produits e cours ou particulièremet ambitieux qui exiget des apports cosidérables et ue logue période de maturatio. No o réalisé; Partiel uiquemet si les deux tiers ou davatage d u objectif chiffrable sot atteits; Oui réalisé. Ce système de otatio des résultats s applique au Rapport auel axé sur les résultats, aux évaluatios et à certais rapports de bureau de pays. Le Rapport auel axé sur les résultats (RAAR) ote les progrès das la réalisatio des produits et effets. La otatio est opérée chaque aée par ue équipe d aalystes du siège. Les otatios servet à sigaler les tedaces et les progrès aux parties preates extérieures, aisi qu à mettre le doigt sur les poits faibles que l orgaisatio est appelée à améliorer. Le retour d iformatio aux bureaux de pays cocerat les otatios devrait alimeter le débat au sujet des progrès et des mesures à predre. État doé que les bureaux des pays recevrot des reseigemets par d autres sources évaluatio des effets et pricipaux outils de suivi e utilisat les mêmes otatios, ils aurot aisi la possibilité d examier les résultats et la maière dot les progrès e ce ses sot perçus, avec le siège. Les évaluatios doivet au mois oter les progrès das la réalisatio des effets et produits. Les évaluatios des effets, effectuées par des équipes idépedates, portet égalemet sur d autres dimesios essetielles de la performace telles que viabilité et pertiece. D autres types d évaluatio devraiet égalemet permettre des otatios, comme par exemple les évaluatios des résultats de développemet effectuées par le Bureau de l évaluatio. Les otatios servirot à l aalyse des tedaces et aux eseigemets tirés au iveau de l orgaisatio, aisi que pour la cofirmatio des résultats au iveau du pays et l exame de la performace au iveau du pays (voir «Directives à l itetio des évaluateurs» das le complémet au préset guide qui cotieet davatage de doées au sujet du système de otatio à appliquer par les évaluateurs d effets.) Les rapports de suivi de pays otet, sur ue base volotaire, les progrès das la réalisatio des effets et produits de projet. Das le cadre du Rapport auel de projet (RAP), l évaluatio des progrès das la réalisatio des produits est effectuée chaque aée par le directeur de projet et le directeur de programme et costitue la base d u dialogue au cours duquel les produits sot otés par cosesus. E cas de désaccord etre le persoel MESURE DE LA PERFORMANCE 6 5

73 du projet et le persoel du programme au sujet de la otatio des produits, les deux otatios figuret das le Rapport, avec idicatio de leurs auteurs. Pour ce qui est du progrès das la réalisatio des effets, la otatio est effectuée das le RAP uiquemet par les resposables de programme du PNUD ou d autres agets du bureau de pays. S agissat des missios sur le terrai, les directeurs de programme du PNUD ou d autres foctioaires du bureau de pays otet périodiquemet l évolutio de la réalisatio des produits et effets, et examiet leurs otatios avec le persoel chargé du projet. Les otatios servet au bureau de pays pour évaluer la performace du projet, aalyser les tedaces et dégager les eseigemets tirés. Elles peuvet égalemet être utilisées au iveau de l orgaisatio aux fis de cofirmatio et d eseigemet. Pour bie utiliser l évaluatio et la otatio de la performace, le bureau de pays pourrait : Détermier l usage qui sera fait des résultats attedus du système d évaluatio de la performace, comme par exemple aalyse des tedaces, ciblage de projets aux fis d amélioratio, apport à l évaluatio de la pertiece des résultats et prologatio des cotrats du persoel de projet; Commuiquer au persoel du bureau de pays et au persoel de projet itéressés des reseigemets au sujet de l applicatio du système de otatio, de faço à éviter des maletedus à ce sujet; Défiir les resposabilités collectives et idividuelles cocerat l évaluatio de la performace et la otatio aisi que les mesures de cotrôle afi d attéuer l évetuelle partialité de ceux qui sot chargés de la otatio; Assortir les otatios quatitatives d évaluatios de performace d ordre qualitatif. O trouvera das les «Directives à l itetio des évaluateurs», das le complémet au préset Guide, u exame plus détaillé de l applicatio de la otatio das le cas des outils de suivi et d évaluatio, à savoir le RAP, la visite sur le terrai et l évaluatio des résultats. B. Choix des idicateurs Les paragraphes qui suivet coceret plutôt les resposables de programme et les cadres supérieurs des bureaux de pays que les directeurs de projet, qui s occupet essetiellemet d idicateurs de produit pour lesquels les référeces, les objectifs et la collecte d iformatio sot gééralemet évidets. Les resposables de programme et les cadres supérieurs des bureaux de pays s occupet d idicateurs plus complexes portat sur l évolutio de la réalisatio des effets. O trouvera ci-après quelques opératios fodametales auxquelles doivet procéder les cadres du PNUD s agissat d idicateurs. P R I N C I PALES ÉTAPES DU CHOIX DES INDICAT E U R S Fixer des doées de référece et u objectif : U idicateur d effet présete deux composates, ue base de référece et u objectif. (Les idicateurs de produit exiget raremet ue base de référece état doé que les produits sot des réalisatios ouvelles et que la référece est précisémet qu ils existet pas.) La situatio précédat u programme ou activité est la r é f é r e c e,poit de départ du suivi des résultats. La situatio escomptée à la fi de l opératio est l objectif. Par exemple, si le résultat visé est d améliorer l accès à l éducatio, les taux de scolarisatio peuvet costituer u bo idicateur. O peut suivre le résultat e commeçat par u taux de scolarisatio de référece de 55 % e 1997 pour atteidre u objectif de 80 % e

74 O peut trouver etre la base de référece et l objectif plusieurs jalos correspodat à la performace attedue à des itervalles réguliers. Les doées de référece idiquet ce qui peut être utilisé au momet de la coceptio et de l exécutio des itervetios. Elles costituet égalemet u importat esemble de doées avec lesquelles comparer la réussite (ou au mois le chagemet), ce qui permet de mesurer les progrès das la réalisatio d u effet. La cofirmatio des résultats est foctio d ue visio évolutive du chagemet. Il faut pour cela, avat de commecer toute itervetio, avoir ue idée bie précise du problème de développemet à aborder. L élaboratio de doées de référece et la fixatio des objectifs serot complétées par ue aalyse approfodie des facteurs de base détermiat u problème de développemet. Que faire quad il y a pas de référece? Même si o a pas précisé de référece au momet de la formulatio d u programme ou d u projet, ue référece peut éamois exister. Das certais cas, o pourra peut-être trouver des évaluatios de la situatio approximative au momet du lacemet du programme, grâce au bila commu de pays et aux exames auels, aisi qu e faisat appel à des sources admiistratives atioales. Exemple : l exécutio d u projet de gouverace locale a commecé, mais o e trouve pas de doées de référece. Il est peut-être pas trop tard pour trouver ue mesure du chagemet das le temps. O peut par exemple poser la questio suivate à plusieurs persoes : «Par rapport à il y a trois as, avez-vous l impressio de participer plus ou mois aux prises des décisios locales?» Si les persoes iterrogées ot ettemet tedace à répodre «plus» ou «mois», o peut savoir si u chagemet est iterveu ou pas. Il peut arriver que l o e puisse établir aucue perceptio de chagemet. Das ce cas, établir ue mesure de la situatio actuelle de faço à pouvoir évaluer à l aveir le chagemet. O trouvera davatage de reseigemets au sujet du cotexte et des problèmes à résoudre das le descriptif de projet (ou documet à l appui du projet. Utiliser au besoi des idicateurs supplétifs : Des raisos de coût, de complexité ou de caledrier de la collecte des doées peuvet empêcher de mesurer directemet u résultat. Das ce cas, o peut utiliser des idicateurs supplétifs ou idirects pour dégager les tedaces de la performace et sesibiliser les resposables aux problèmes qui risquet de se poser ou aux chaces de réussite. C est souvet le cas das les effets d i fficiles à mesurer comme das le cas du dialogue de politique géérale et de la gouverace. Par exemple, o mesure souvet l effet «admiistratio équitable et efficace de la justice» e étudiat la cofiace du public das le système judiciaire. Bie qu u degré élevé de cofiace e prouve pas écessairemet que le système soit équitable, il y a très certaiemet ue corrélatio. Autre exemple : das le cadre d u programme de protectio de l eviroemet où le résultat visé est l amélioratio de la salubrité de certais lacs, la teeur e toxies des œufs de caard peut costituer u idicateur supplétif de cette amélioratio. 16 Utiliser des doées vetilées : De bos idicateurs reposet sur des doées de base vetilées selo l emplacemet, le sexe, le iveau de reveu et le groupe social. Il e est de même das le cadre d ue boe gestio des projets et programmes. Ces iformatios, parfois présetées sous forme d estimatios, peuvet être extraites de rapports et études admiistratives publiques et o gouveremetales. O peut utiliser des évaluatios ordiaires de la qualité fodées sur des méthodes qualitatives et participatives pour corroborer, préciser et affier les doées proveat de sources admiistratives. 16 Alle, Joh R.,«Performace Measuremet: How to Do It,How to Use It»,documet préseté e ovembre 1996 à Atlata lors d u atelier parraié par l America Evaluatio Associatio. MESURE DE LA PERFORMANCE 6 7

75 Par exemple, das le cas de l effet «cadre juridique et directif efficace de la décetralisatio», l idicateur «proportio du total des recettes publiques allouées et gérées au iveau sous-atioal» peut idiquer ue augmetatio de la répartitio globale des ressources au iveau local tout e dissimulat de profodes disparités cocerat certaies régios. Faites participer les parties preates : Il faut ecourager la participatio au choix des idicateurs de produit et des idicateurs d effet. La participatio favorise gééralemet la maîtrise et la resposabilité des résultats prévus et l acceptatio de leur réalisatio. Il faudrait arrêter, au stade de la formulatio du projet, ue liste prélimiaire des idicateurs de produit, avec la participatio directe de l istitutio désigée pour gérer le projet aisi que d autres parties preates. Les parteaires sot impliqués das le choix des idicateurs d effet das le cotexte de la formulatio du programme de pays et du cadre de résultats stratégiques. Il est importat que les parteaires se mettet d accord sur les idicateurs à utiliser aux fis du suivi et sur les resposabilités des us et des autres pour ce qui est de la collecte et de l aalyse des doées, ce qui sert de fodemet pour tout chagemet futur das la stratégie d exécutio au cas où les idicateurs motreraiet qu o fait fausse route. Établir ue distictio etre idicateurs quatitatifs et idicateurs qualitatifs : Les idicateurs quatitatifs tout comme les idicateurs qualitatifs devraiet être sélectioés e foctio de la ature des aspects particuliers du résultats escompté. L efficacité, par exemple, se prête bie à des idicateurs quatitatifs. E revache, pour mesurer la viabilité dyamique, qui suppose la faculté d adaptatio de la populatio à u ouvel eviroemet, il faut ue certaie évaluatio qualitative des attitudes et comportemets. O peut appliquer des méthodes telles que l évaluatio des bééficiaires, l évaluatio rurale rapide et les etreties directifs pour trasformer des idicateurs qualitatifs e idicateurs quatitatifs. Essayer de limiter le ombre d idicateurs : U ombre trop élevé d idicateurs est gééralemet cotreproductif. E partat des reseigemets dispoibles, élaborer quelques idicateurs crédibles bie pesés qui saisisset cocrètemet l évolutio TABLEAU 1. COMMENT CHOISIR LES INDICATEURS RÉSULTATS VISÉS INDICATEURS DE PERFORMANCE CLASSEMENT DES INDICATEURS RÉSULTAT TOTAL C H O I X A B C D E F Impact s il y a lieu Effet 1 Idicateur 1 Idicateur 2 [Note 1 par critère respecté] Produit 1 Idicateur 1 Idicateur 2 Choisir les 2 ou 3 idicateurs ayat le meilleur résultat A = le ses de l idicateur est clair B = les doées sot d accès facile C = la collecte des doées peut être effectuée par la directio du projet et exige pas l itervetio d experts aux fis d aalyses D = idicateur est suffisammet représetatif du total de résultats visés (résultats ou produits) E = l idicateur est cocret et F = l idicateur est difficile à qualifier mais d ue importace telle qu il doit être evisagé (idicateur supplétif) 6 8

76 positive de la situatio e matière de développemet. État doé que plusieurs projets peuvet cocourir à u seul effet de développemet stratégique, le bureau de pays doit choisir etre toute ue série d idicateurs. Il s agit de trouver u juste équilibre etre ce qui devrait être mesuré et ce qui peut l être. O peut réduire la liste e appliquat les pricipes SMART et des critères supplémetaires pour affier les idicateurs. Le tableau 1 présete u schéma de sélectio élaboré par le PNUD Mali. Respecter le caledrier : L utilité d u idicateur déped du respect du caledrier et de mesures précises de faço qu ue date butoir pour u idicateur correspode aux progrès escomptés de l assistace. Si des chagemets itervieet, tels que la modificatio de produits ou effets détermiats, il faudra fixer de ouveaux idicateurs pour teir compte des objectifs effectifs. P L A N I F I C ATION DES INDICAT E U R S La pierre de touche d u idicateur est so applicabilité au suivi des résultats, c est-à-dire la maière dot il peut être obteu facilemet et la facilité d aalyse des doées. L obtetio de doées «valides» et «représetatives» peut se révéler ue opératio vaste, complexe et oéreuse. Il est raremet possible de demader l avis de tout le mode au moye d ue equête, par exemple, et il serait plus facile d obteir u échatillo réduit mais représetatif d equêtés. C est pourquoi les idicateurs devraiet être aussi simples et peu ombreux que possible, tout e permettat d établir l existece de progrès ou l ampleur du chagemet. Si les idicateurs choisis sot trop complexes, ils serot difficiles à compredre ou à aalyser correctemet. La collecte et l aalyse des doées icombe essetiellemet aux resposables de programme, qui cosultet au besoi les cadres du bureau de pays et la directio du projet. Pour ce qui est des e f f e t s,le resposable de programme doit s acquitter des tâches suivates : Veiller à ce que des doées de référece ou de situatio cocerat les effets soiet dispoibles au stade de la formulatio du programme. Il sera aisi possible de comparer des doées chroologiques aux doées de référece afi d évaluer les progrès das la réalisatio des effets recherchés. Utiliser des sources et procédures telles que le Rapport atioal sur le développemet humai et l évaluatio commue de pays. La majorité des résultats serot idetifiés au stade de la formulatio du programme de pays/cadre de résultats stratégiques. Certais pourrot toutefois être formulés d ue maière légèremet différete das certais programmes et projets. Certais résultats peuvet égalemet être assortis d idicateurs légèremet différets ou supplémetaires par rapport au cadre de résultats stratégiques. L essetiel est de faire e sorte que des doées de référece ou de situatio suffisates soiet dispoibles au momet du choix de l effet et des idicateurs, quelles que soiet les particularités de l effet et des idicateurs. Veiller à ce que la collecte et l aalyse des doées soiet plaifiées e ce qui cocere le résultat. À titre d exemple, le tableau 3 présete ue grille type pour la plaificatio. Das la mesure du possible, recourir aux sources atioales plutôt qu à la collecte de doées par le bureau de pays ou le projet. Par exemple, pour l effet «sesibilité des politiques atioales aux questios de parité etre les sexes», l idicateur «les programme et plas du pays comportet des objectifs pour l amélioratio de la coditio de la femme» est mesurable, mais il faudra rassembler tous les plas puis les examier afi de détermier si des objectifs sot fixés. Cette opératio devra avoir été prévue. Faire e sorte d obteir des reseigemets auprès des bééficiaires au sujet des effets. Pour ce faire, o peut procéder à des equêtes sur les méages, des equêtes idividuelles et des cosultatios avec des membres de la commuauté et des parties preates. MESURE DE LA PERFORMANCE 6 9

77 Das le cas des produits, le resposable de programme doit : Veiller à ce que les doées soiet rassemblées au moye des projets et à ce que la directio des projets soit cosciete de ses resposabilités. E outre, réuir des doées auprès de diverses admiistratios et de systèmes atioaux. U pla de suivi des effets établi par la directio du programme permet de veiller à ce que le bureau de pays collecte e permaece des reseigemets au sujet de l effet et les aalyse régulièremet afi d orieter l avacemet des travaux, comme o l a examié au chapitre 3. Les bureaux de pays qui dresset u pla de suivi des effets doivet impérativemet iclure des reseigemets au sujet des idicateurs d effet de faço que a) les idicateurs e soiet choisis que si des doées pourrot être dispoibles et b) des doées soiet dispoibles pour les idicateurs choisis. Il est recommadé que le pla de suivi des effets, si les bureaux de pays décidet d y recourir, défiisset ce qui suit : Résultats auxquels s appliquet les idicateurs; Idicateur(s) d effet; Source(s) de doées; Méthode et fréquece de la collecte et de l aalyse de doées. Le pla peut égalemet désiger les resposables de la collecte et de l aalyse des doées et de l exploitatio des reseigemets aisi obteus. O trouvera au tableau 2 u exemple de formule idiquat commet les idicateurs peuvet s iscrire das u pla de suivi des résultats. Des pricipes et élémets gééraux fodametaux à aborder au momet où les directeurs de programme plaifiet la collecte et l aalyse des doées au moye des idicateurs sot éumérés das l ecadré 1. Comme o l a oté plus haut, des idicateurs plus simples sot plus faciles à compredre et aalyser. E plaifiat la collecte et l aalyse des doées au moye d idicateurs, les resposables de programme s apercevrot peut-être que les doées sot difficiles à obteir. E pareil cas, ils devraiet prévoir de réuir des doées au moye d autres istrumets ou formules, comme par exemple : Equêtes et questioaires de sesibilisatio et d attitude; Groupes d experts; Etreties avec des equêtés clefs; Groupes cibles; Techiques de mappage. Les equêtes sur les attitudes permettet ue certaie quatificatio de chagemets d ordre qualitatif. Par exemple, si la proportio de la populatio qui cosidère que la gestio des pouvoirs locaux est «participative» passe de 40 % à 65 % (au cours d ue période doée) ce chiffre idique le degré de chagemet qualitatif. TABLEAU 2. CLASSE DES INDICATEURS DANS UN PLAN DE SUIVI DES EFFETS 1 7 Effets Idicateur(s) d effet Source(s) de doées Méthode de collecte et d aalyse des doées Fréquece de la collecte et de l aalyse des doées Resposable Utilisateur de l iformatio 17 Pla de suivi de la performace d USAID, TIPS No

78 ENCADRÉ 1. PRINCIPES DE BASE DE LA COLLECTE ET DE L A N A LYSE DES DONNÉES AU MOYEN D INDICAT E U R S Pricipes : Élaborer u cadre théorique das lequel peuvet s isérer des idées, f o u rissat ue défiitio et ue orietatio géérale des iformatios dispoibles et de vos propres idées au sujet du projet ou progr a m m e. Po u r le PNUD, cela sigifie ue chaîe de résultats crédibles sur les plas des effets, des produits et des part e a r i a t s. Éocé de l objectif ou du problème : Que prévoyez-vous d étudier? Défiissez les problèmes et les ejeux, recherchez les élémets sigificatifs, cocluez des accords avec les bééficiaires et part e a i r e s.cela suppose ue défiitio du problème de développemet au iveau des objectifs secodaires du cadre de résultats stratégiques. Questios à poser : Ue fois termiée la collecte des doées, quelles sot les grades questios auxquelles o peut s attedre à des réposes raisoables? Quels élémets utiliser pour cofirmer le iveau de réalisatio de l idicateur? Éocé de l effet : Défiissez le ou les effets particuliers que vous allez suivre, fixez des objectifs réalistes et gardez à l esprit les sources de doées et resposabilités e matière de suivi. Coceptio et procédure : Idiquez qui vous allez soumettre à des iterviews, equêtes et qui fera partie de groupes témois; décrivez la procédure de sélectio. Expliquez das quelles coditios les doées serot réuies, les istrumets de mesure ou de collecte de doées qui serot utilisés et la maière dot les doées serot aalysées et iterprétées. Attachez-vous à des doées d accès aisé et évitez les vastes opératios de collecte de doées. Hypothèses : Quelles sot vos hypothèses quat à la ature des problèmes que vous étudiez, vos méthodes et mesures et au rapport etre l equête et d autres problèmes ou situatios? Limites : Quelles sot les limites de vos méthodes ou de votre approche pour ce qui est de la validité itere et extere? C i rcoscriptio : Sur quelle base ave z - vous délimité la portée de la collecte et de l aalyse des doées? Vous êtes-vo u s limité à certais aspects de problèmes ou effets, à certais domaies d itérêt ou à ue gamme limitée de thèmes? Defiitios : Éumérez et défiissez les pricipaux termes et expressios que vous utiliserez, e particulier lorsqu ils ot u ses différet pour des persoes différetes. L accet devrait être mis sur des défiitios opératioelles ou comportemetales. C. Utilisatio des idicateurs PA R T I C I PATION DES PARTIES PRENANTES Le bureau de pays, et plus précisémet le resposable de programme agissat e cosultatio directe avec la directio du bureau de pays, devraiet établir des mécaismes afi de partager l iformatio obteue au moye d idicateurs avec les pricipales parties preates. Cela vaut particulièremet pour les idicateurs d effet. Aisi, l aalyse du progrès sera pertiete sur le pla local grâce à l utilisatio de coaissaces locales, tout e favorisat la «maîtrise» et e développat des techiques de prise de décisios de groupe. Il coviet toutefois de oter que la participatio des parties preates ou parteaires à l aalyse des doées cocerat des idicateurs peut modifier sesiblemet l iterprétatio de ces doées. L observatio participative et les exames participatifs approfodis avec les parteaires d exécutio et les bééficiaires fot partie itégrate de la vérificatio de visu des résultats, qui est ue forme fiable d évaluatio. O peut appliquer des méthodes partat davatage du sommet et mois participatives aux fis de rigueur aalytique, d idépedace, de qualité techique, d uiformité et de comparabilité das l évaluatio. Bie etedu, e derière aalyse, les reseigemets réuis grâce à l aalyse des idicateurs alimetet les évaluatios. Ces doées permettet d évaluer les progrès das la réalisatio des produits et e ffets et comportet ue mesure de la satisfactio des parties preates cocerat les résultats. U T I L I S ATION D INDICATEURS POUR LE SUIVI Le suivi axé sur les résultats de la performace du développemet suppose l exame des résultats au iveau des produits, des effets et, e fi de compte, de l impact. Le tableau 3 MESURE DE LA PERFORMANCE 7 1

79 TABLEAU 3. INDICATEURS ET SUIVI DES RÉSULTATS TYPE DE RÉSULTAT OBJET DE LA MESURE INDICATEURS PRINCIPAL NIVEAU D UTILISATION Produit Actio, ou bies et services produits par les projets et programmes Exécutio d activités Resposible du projet Effet Efficacité, ou résultats du poit de vue de l accès, de l utilisatio et de la satisfactio des parties preates suscités par les bies et services produits par les projets, programmes, parteaires et l assistace douce Utilisatio des produits et productio cotiue d avatages Resposable du progr a m m e Impact Efficacité, ou résultats du poit de vue de l effet combié d u dosage d activités liées aux effets qui amélioret la situatio du développemet au iveau atioal Utilisatio des résultats et chagemet positif durable du développemet Directio du bureau de pay s FIGURE 2. PROGRÈS DANS LA RÉALISATION DES RÉSULTATS u Progrès escomptés référece Progrès effectif u date butoir p é r i o d e / a é e Note: Les progrès sot raremet liéaires. Das l exemple ci-dessus, si l o examie l idicateur au début de l aée 2, o costatera qu aucu p r o grès a été réalisé pour ce qui est des attetes. E reva c h e,si o examie de ouveau l idicateur à la fi de l aée 2, o costatera d import a t s progrès dépassat même les attetes. Il faut procéder à ue aalyse pour pouvoir expliquer la leteur des progrès au cours de la première aée et leur accélératio spectaculaire au cours de l aée 2. motre commet les idicateurs sot utilisés pour chaque type de résultat et idetifie le pricipal utilisateur de l idicateur. Les idicateurs sot utilisés périodiquemet pour cofirmer la maière dot les parteaires perçoivet les progrès et réalisatios, sauvegarder la boe orietatio des projets et programmes et fourir des cligotats cocerat les problèmes. Les idicateurs e fot qu idiquer, ils expliquet pas. Les idicateurs e peuvet être iterprétés que grâce à ue aalyse qualitative. Comme l idique la figure 2, ue aalyse qualitative est requise si l o veut iterpréter ce que les idicateurs révèlet au sujet des progrès das la réalisatio des résultats. Das le cas des idicateurs de produit, le resposable de programme applique le suivi quotidie à la cofirmatio des progrès, aisi que des visites sur le terrai, des rapports ou reseigemets fouris par le resposable de projet. Le Rapport auel de projet (RAP) est pas suffisammet fréquet pour permettre de réagir rapidemet e cas de retard ou de problème das la productio des produits. Das le cas des idicateurs d effet, u suivi auel est plus idiqué, et est assuré au moye d apports des spécialistes du projet das le RAP, des discussios du Comité directeur et de l exame auel. Les effets état mois cocrets que les produits, il est idispesable d utiliser des idicateurs pour pouvoir bie aalyser le progrès. Das le cas des idicateurs d impact (appelés égalemet idicateurs de situatio), l exame peut avoir lieu ue fois par a si les reseigemets écessaires sot dispoibles, mais il a bie souvet lieu mois fréquemmet. Ue discussio peut être orgaisée à l occasio de l établissemet du bila commu de pays, et de la préparatio du programme de pays, de l exame à mi-parcours du programme de pays ou du Pla-cadre des Natios Uies pour l aide au développemet, aisi que vers la fi du cycle du programme de pays ou de la période du cadre de résultats stratégiques. 7 2

80 PA RTIE IV Exploitatio des doées de suivi et d évaluatio

81 Chapitre 7. Savoir (ou coaissaces) et appretissage : Utilisatio des élémets d évaluatio 75 A. Itroductio 75 B. Savoir et leços tirées de l expériece 77 C. Retour d iformatio du suivi et de l évaluatio 78 Coclusio 89 Figures, tableaux et ecadés de la quatrième partie Ecadré 1. Ageda de l appretissage 76 Ecadré 2. Pricipes fodametaux de l appretissage 78 Ecadré 3. Le retour d iformatio, de suivi et d évaluatio 81 Ecadré 4. Commuautés de pratique axées sur les effets 83 Ecadré 5. Réseau d évaluatio du PNUD (EVALNET) 84 Ecadré 6. Caractéristiques de bos élémets 86 Ecadré 7. Marche à suivre pour améliorer le retour d iformatio cocerat l évaluatio 87 Ecadré 8. Istitutioalisatio de l appretissage 87

82 S avoir (ou coaissaces) et appretissage : Utilisatio des élémets d éva l u a t i o CHAPITRE 7 Le préset chapitre a pour objet d aider à exploiter les doées de suivi et d évaluatio afi d améliorer la performace,la prise de décisios et l appretissage.il cocere l exploitatio d élémets d évaluatio, les iformatios de suivi et d évaluatio aisi que les objectifs de l évaluatio. Il décrit la maière d assurer u bo retour d iformatio au sujet des résultats du suivi et de l évaluatio, aborde la questio des élémets d évaluatio et examie les eseigemets tirés. A. Itroductio B. Savoir et eseigemet tiré de l expériece Défiitios Gestio axée sur les résultats et gestio du savoir C. Retour d iformatio du suivi et de l évaluatio Le retour d iformatio Outils et méthodes d iformatio Applicatio des recommadatios du retour d iformatio cocerat le suivi et l éva l u a t i o Publicatio d élémets d évaluatio et documetatio sur le retour d iformatio A. Itroductio Le savoir proveat du suivi et de l évaluatio est au cœur même du processus d appretissage du PNUD e tat qu orgaisatio. Le suivi et l évaluatio fourisset des iformatios et des doées factuelles qui, ue fois acceptées et assimilées, se trasformet e savoir qui favorise l appretissage. L appretissage doit doc être icorporé au cycle global de programmatio au moye d u mécaisme efficace de retour d iformatio. L iformatio doit être diffusée et mise à la dispositio de ses utilisateurs évetuels afi de se trasformer e savoir appliqué. Au iveau du bureau de pays, le PNUD applique l appretissage à partir du suivi et de l évaluatio afi d améliorer la performace globale aisi que la qualité des résultats des projets, programmes et stratégies e cours et futurs. L appretissage est partic- 7 5

83 ulièremet importat pour l appui du PNUD à la réforme d orietatio, qui est bie souvet ovatrice et comporte des icertitudes. Pour que l appretissage soit utile, il faut que les élémets d évaluatio maifestet ue capacité d exécutio e temps réel. Si l o veut fourir aux parties preates des résultats «e temps réel», aucue erreur est admise. L avatage immédiat est que les coclusios peuvet être cotrôlées sur le terrai auprès des equêtés e l espace de quelques semaies, ce qui permet d élimier les fausses iterprétatios, de rehausser le ses de maîtrise des equêtés pour ce qui est de leurs expérieces aalysées et de commuiquer les résultats d évaluatio aux parties preates itéressées au momet où elles sot sas doute les plus utiles. Ue fois que la diffusio d iformatio «e temps réel» sera deveue pratique courate, la publicatio de résultats dépassés ou de recommadatios hors de propos devrait dimiuer. L appretissage viet compléter la mesure de la performace e rehaussat la qualité des évaluatios. Même si les idicateurs liés aux résultats sot médiocres ou obscurs, il est toujours possible de tirer des eseigemets et d utiliser ce savoir pour améliorer le processus. L appretissage est aussi u outil clé de gestio, si bie que la stratégie d applicatio du savoir tiré de l évaluatio est u puissat moteur de réalisatio des effets. Les effets sot ue etreprise plus ambitieuse et complexe que le simple apport d itrats et la simple productio de produits. C est pourquoi la priorité est accordée à la capacité du PNUD d appredre ce qui foctioe du poit de vue de l itérêt des effets, de la stratégie des parteariats, de la coceptio des produits et des idicateurs et d appliquer ce savoir à l aide e cours et future à la réalisatio des résultats. Les résultats présetet davatage de variables permettat et exigeat l appretissage. Il e faut pas cosidérer les évaluatios comme u évéemet, mais comme des élémets d ue opératio permettat à différetes parties preates de participer à la productio et à l applicatio permaete de coaissaces d évaluatio. C est aux cadres de décider des participats à cette opératio et de leur degré d implicatio (iformés, cosultés, activemet impliqués, parteaires égaux ou décideurs clés). Ce sot là des décisios d ordre stratégique que doivet predre les cadres car elles détermiet l appretissage et la maîtrise des résultats. U cadre de suivi et d évaluatio qui est source de coaissaces, favorise l appretissage et oriete l actio, costitue e soi u moye importat de reforcer les capacités et d assurer la viabilité des résultats atioaux. Le suivi et l évaluatio alimetet le corpus de savoir orgaisatioel et global au sujet de ce qui est efficace, de ce qui e l est pas et des raisos de cet état de choses. E outre, le suivi et l évaluatio idiquet das quelles coditios, das tel ou tel domaie examié, les eseigemets tirés devraiet être partagés au iveau modial, par exemple au moye de commuautés de praticies ou de groupes de suivi et d évaluatio. Il faut pour cela que ENCADRÉ 1. AGENDA DE L APPRENTISSAGE le persoel cosige les eseigemets tirés Cosigez les eseigemets tirés et et les partage avec d autres, selo l ageda partagez-les figurat das l ecadré 1. Par ailleurs, Gardez l esprit ouvert Prévoyez les évaluatios de maière l appretissage exige que les cadres soiet stratégique ouverts au chagemet. Faites participer les parties preates de maière stratégique Fourissez des iformatios e temps réel Reliez le savoir aux utilisateurs Appliquez les eseigemets tirés Suivez la maière dot la coaissace est appliquée L accet état mis sur les effets, les eseigem e t s tirés du suivi et de l évaluatio se prêtet davatage à l applicatio au iveau de l orgaisatio, au iveau des politiques géérales et à des fis pratiques. Les 7 6

84 eseigemets tirés du résultat d u cadre de résultats stratégiques mis e œuvre par de ombreux bureaux de pays ot plus de chaces de pouvoir être reproduits e dehors du pays e questio que des eseigemets plus circoscrits et liés à des projets. Les évaluatios d effets peuvet rapprocher des parteaires du développemet. Aisi, l appretissage grâce aux coaissaces d évaluatio dépasse le simple appretissage orgaisatioel et eglobe l appretissage du développemet. Il permet de cotrôler systématiquemet la validité, la pertiece et l avacemet des hypothèses de développemet. Afi de maximiser l appretissage, les bureaux de pays devraiet prévoir et orgaiser les évaluatios de faço qu elles couvret les effets les plus importats, qu elles soiet exécutées e temps voulu et qu elles produiset suffisammet d iformatio au sujet des eseigemets tirés. S il est efficace, le suivi peut déceler les siges précurseurs de sources de difficultés et de sources de réussite. Les resposables de programme doivet doer suite aux costatatios, e appliquat les eseigemets tirés à la modificatio du programme ou projet. Cet appretissage pratique répod aux besois immédiats du programme ou du projet et peut aussi être source de retour d iformatio e vue de la programmatio future. B. Savoir et eseigemet tiré de l expériece D É F I N I T I O N S Le bureau de pays du PNUD doit exploiter judicieusemet l iformatio et les élémets d évaluatio afi de gérer les opératios de développemet et de réaliser des résultats. Le succès part du pricipe que les praticies du développemet tiret les eseigemets de ce qui s est révélé efficace et iefficace afi de pouvoir mieux progresser das la réalisatio des résultats et d obteir des résultats meilleurs. L a p p r e t i s s a g e a été défii comme u processus d ivestigatio cotiu et dyamique dot les pricipaux élémets sot l expériece, la coaissace, l accès et la pertiece. Il exige ue prédispositio à l equête et à l ivestigatio au lieu d ue attitude d itervetio et de commuicatio d iformatio. Il est plus facile de réuir ces coditios lorsqu o offre la possibilité d observer, d iveter ou de découvrir des stratégies et de participer à ces stratégies afi de s attaquer à des types de problèmes particuliers ou à des questios de développemet. 18 Le s a v o i rest u esemble d iformatio précis et circoscrit capable d apporter u chagem e t ou d ispirer des actios plus efficaces das u cotexte élargi pouvat alimeter u ouvel appretissage et u ouveau savoir. La gestio du savoir suppose que l o crée, partage et suscite des coaissaces; il faut pour cela o seulemet mettre e place des mécaismes et procédures pour réuir, orgaiser, préseter et diffuser l iformatio à temps aux décideurs compétets, mais aussi procéder à des évaluatios de ces opératios. Les reseigemets aisi réuis costituet le retour d iformatio (voir le chapitre 1er). Les élémets d évaluatio, e particulier, ous aidet à appliquer les eseigemets tirés de l expériece à l élaboratio de politiques et programmes appropriés, ou à la gestio des projets. Les élémets d évaluatio sot les iformatios ou doées représetat des valeurs qualitatives et quatitatives de mécaismes, effets et impacts de développemet, proveat de diverses sources d iformatio et orgaisés das le cadre de l évaluatio. Les élémets d évaluatio sot fodés sur : 18 Sege, Peter et divers collaborateurs, The Fifth Disciplie Fieldbook: Strategies ad Tools for Buildig a Learig Orgaizatio, New York,Doubleday, S AVOIR (OU CONNAISSANCES) ET A P P R E N T I S S AGE: UTILISATION DES ÉLÉMENTS D ÉVA L UAT I O N 7 7

85 L explicatio des relatios de cause à effet das les itervetios et de leurs coséqueces; Ue aalyse à partir de l observatio directe et détaillée du cotexte du développemet par les equêteurs, qui fait partie des doées empiriques; Ue aalyse partat de la recherche et de l étude d autres documets (sources secodaires) itéressat le cotexte du développemet; et Le souci d éviter tout préjugé das l évaluatio. Des observatios directes et détaillées e sot pas toujours ue source d élémets d évaluatio. Ue boe évaluatio part d ue approche empirique. Les doées empiriques sot des iformatios vérifiables reposat sur l observatio ou l expériece plutôt que sur la cojocture, la théorie ou la logique. Les doées empiriques ot pour objet d idiquer : La validité des cocepts ou questios théoriques; La cohérece des tedaces ou schémas; Les élémets détermiats des effets et impacts effectifs. ENCADRÉ 2. PRINCIPES FONDAMENTAUX DE L APPRENTISSAGE Aider les autres à iterpréter activemet au lieu d eregistrer l iformatio de faço à pouvoir se costituer de ouvelles coaissaces; Utiliser des stratégies de gestio de l iformatio actualisées, efficaces et ovatrices; Dégager des critères de performace et des eseigemets de divers esembles, gr o u p e s et commuautés de pratique avec lesquels le PNUD collabore afi de redre les éva l u a t i o s du PNUD plus part i c i p a t i ve s,mieux axées sur les cotextes et plus idépedates; Situer les tâches abstraites das des cotextes authetiques de faço à faire ressortir la pertiece de la tâche et à iculquer de ouvelles coaissaces; Offrir la possibilité de participer au règlemet des problèmes e part a geat les compéteces et techiques, c est-à-dire par ue iteractio directe sas recourir idûmet à la techologie de l iformatio; D é ga ger la coaissace d u cotexte uique spécifique afi d optimiser le trasfert de coaissaces; Permettre aux autres de recoaître et de respecter ce qu ils savet déjà aisi que le savoir existat das leur commuauté; Doer de ombreux exemples d ue otio o u velle et expliquer commet les pricipales caractéristiques de cette otio se retrouve t das ue série de cotextes; Reforcer sa capacité propre aisi que celle des autres de détermier le momet d appliquer des coaissaces ouvelles. GESTION AXÉE SUR LES RÉSULTATS ET GESTION DU SAVOIR Si le suivi cotribue à dégager les premières leços cocerat l effet, le programme ou projet, l évaluatio a pour objet de tirer des eseigemets de l expériece de faço à pouvoir idetifier des questios géérales aussi bie que particulières et à élaborer des solutios de rechage. La gestio axée sur les résultats suppose implicitemet, e permaece, la plaificatio, l exécutio, le suivi et l évaluatio afi de gérer les résultats et de tirer les eseigemets de l expériece. Il faut pour cela reforcer les iteractios etre parties preates et istitutios e ce qui cocere les résultats. Il s agit égalemet d appliquer les mécaismes de commuicatio et d iformatio pour redre compte de l appretissage et faciliter la circulatio du savoir, de l iformatio et des ressources. La stratégie de gestio du savoir du PNUD met e exergue plusieurs pricipes récets visat à reforcer l appretissage, comme o peut le voir das l ecadré Ces pricipes supposet l exploitatio optimale des outils de suivi et d évaluatio afi d établir des poits de référece qui aiderot les resposables à réaliser l efficacité à deux iveaux. Le premier est l efficacité de développemet, qui 18 Voir 7 8

86 regroupe les résultats (produits, effets et impacts) de l aide. L autre iveau et celui de l efficacité orgaisatioelle, qui désige le iveau de performace de l orgaisatio. C. Retour d iformatio du suivi et de l évaluatio E matière de suivi, la pricipale difficulté cosiste à rassembler, stocker et utiliser des iformatios utiles à différets iveaux d évaluatio. Le suivi devrait être multifoctioel de faço que l iformatio produite à u iveau soit utile au iveau suivat. E outre, le suivi e devrait pas être limité à vérifier si les élémets se déroulet comme prévu. Il importe d examier régulièremet la qualité du mouvemet bidirectioel d iformatio etre le persoel de projet et le persoel de programme au iveau du pays, de même que la circulatio de l iformatio à l itérieur du bureau de pays etre le persoel de programme qui gère différets programmes et surveille les produits proveat des projets aisi que leur impact sur les effets. Cela peut se faire au moye d etreties périodiques, de l exame de rapports auels et autres rapports de programme et de projet aisi que par ue observatio idépedate. L opératio de suivi devrait chercher à améliorer les lies latéraux etre foctioaires resposables des projets et programmes, y compris le retour d iformatio, aux fis d appretissage. L étude des lies existats ou potetiels etre programmes et projets devrait être aussi critique, objective et exhaustive que possible. Les cadres, y compris les cadres supérieurs du bureau de pays, doivet être impliqués tout au log du suivi. L évaluatio est ue opératio axée sur les procédures qui exige la mise e place de doées de référece commues aux fis de comparaiso. Le problème est de savoir dès le départ quels sot les facteurs importats et quelles sot les iteractios etre tous les facteurs. Avat de procéder à toute évaluatio, preez les mesures suivates : Coveez des questios prioritaires exigeat ue iformatio. Obteez u accord au sujet des questios pour lesquelles il est le plus urget de réuir des iformatios afi d optimiser les ressources dispoibles aux fis de la gestio de l iformatio, ces questios sot gééralemet limitées et complexes. D iteses cosultatios doivet aller de pair avec la coclusio de l accord, état doé que les parties preates peuvet avoir des vues très divergetes e ce qui cocere les priorités. U projet de liste de questios prioritaires pourrait être établi et distribué aux parties preates aux fis d observatio. Ue autre possibilité est d orgaiser u atelier où ue autre formule de discussio expressémet pour dégager u cosesus. E cociliat des poits de vue différets grâce à la égociatio d u cosesus autour des questios prioritaires, o peut tisser des lies etre les parties preates et faciliter la coopératio. Détermier les besois e iformatio des groupes de décisio. La clé d ue boe utilisatio de l iformatio est de e se cocetrer que sur l iformatio essetielle. Avat d etrepredre u exame des bases de doées du bureau de pays, des pouvoirs publics ou du PNUD et d autres sources d iformatio, demader aux décideurs de défiir directemet leurs besois. Ue évaluatio précise des besois e iformatio costitue u premier pas d importace vitale. L u des moyes les plus efficaces de dégager des iformatios (eseigemets) commuicables est de procéder à l évaluatio des effets, dot la commuicatio peut faciliter l appretissage d u pays à l autre et etre différets emplacemets géographiques. S attacher aux effets sigifie que le PNUD traite avec des parteaires pouvoirs publics et orgaismes doateurs, orgaisatios o gouveremetales, parlemets dot les S AVOIR (OU CONNAISSANCES) ET A P P R E N T I S S AGE: UTILISATION DES ÉLÉMENTS D ÉVA L UAT I O N 7 9

87 activités de développemet, tout comme les siees, sot tributaires de la performace d autres orgaismes e dépedat pas d eux. Ces orgaismes accumulet bie souvet d éormes quatités de reseigemets qualitatifs pouvat modifier la maière dot les résultats du développemet sot perçus s ils étaiet dûmet pris e cosidératio. E tat que parteaires, o peut les ameer à faciliter le suivi et l évaluatio mais ils e doivet pas orieter ou imposer la marche à suivre. Cette participatio des parteaires devrait favoriser les échages e vue de l appretissage et de la costitutio de savoir. Sas retour d iformatio sûr et régulier, le suivi et l évaluatio e sauraiet atteidre leurs buts. E particulier, il faut isister sur des eseigemets qui se prêtet à ue applicatio plus large, eseigemets qui sot utiles o seulemet à u programme ou projet doé, mais égalemet à des cotextes de développemet plus larges. Si l appretissage exige u retour d iformatio systématique (résultats des évaluatios, études pilotes, doées de cotrôle des idicateurs de produit et d effet, coaissaces autochtoes, etc.), l iformatio que les bureaux de pays sot appelés à orgaiser et gérer pour satisfaire à leurs propres besois doit répodre à des critères particuliers qui sot complexes et dépasset fréquemmet les cloisoemets sectoriels classiques. E pareil cas, les parteaires des pouvoirs publics et des établissemets de recherche peuvet être ivités à aalyser les questios ouvelles de suivi et d évaluatio (méthodes de collecte des doées, d aalyse, dialogues d itervetio et sesibilisatio, etc.) et coseiller le PNUD afi de défiir les lacues et les doubles emplois. LE RETOUR D INFORMAT I O N Lorsque les bureaux de pays effectuet le suivi et l évaluatio, le retour d iformatio suit les quelques opératios de base suivates : 1. Veillez à ce que l accet soit mis sur les résultats Élaborez des projets et programmes fodés sur les effets visés; Détermiez quels élémets sot recherchés, quels écarts peuvet apparaître et la marche à suivre e pareil cas (par exemple ce qui costituerait des élémets positifs ou égatifs pour tout projet ou programme doé); Défiissez, pour chaque iveau de persoel et les parteaires, l objet de la productio de coaissaces ou d iformatio applicables à la prise de décisios aisi que leur portée; Défiissez les priorités de suivi axées sur les produits et effets et établissez des poits de référece ou ormes permettat de formuler des jugemets au sujet du retour d iformatio; Choisissez les idicateurs de coaissaces et d iformatio sur la base des priorités, de l utilisatio et des usagers de l orgaisatio; Ayez le souci d u bo rapport coût-efficacité pour ce qui est du motat des ressources et défiissez les ressources élémetaires écessaires à l évaluatio das les programmes futurs; Itroduisez u caledrier des chagemets futurs das la programmatio; Coveez du système de collecte et d aalyse des doées, assigez les resposabilités et allouez les coûts; 8 0

88 Passez e revue les iformatios qualitatives afi d améliorer l applicatio de certaies techiques de suivi et d évaluatio telles que le cotrôle d hypothèses sur le terrai, ue meilleure articulatio des questios ou problèmes et u choix plus judicieux des domaies d évaluatio; Suivez les processus d appretissage, y compris l utilisatio du retour d iformatio et des produits cogitifs. 2.Posez des questios Reseigez-vous e permaece, au moye de mécaismes de retour d iformatio, sur les raisos pour lesquelles des évéemets semblet s être produits ou se produire da le cadre des projets et programmes; Détermiez les répercussios des projets ou programmes par rapport à d autres facteurs qui détermiet ue situatio de développemet; Précisez où, quad et commet les iformatios serot iterprétées, commuiquées et diffusées, et teez des cosultatios afi d alimeter les procédures courates. 3. Partagez le savoir Documetez, aalysez et examiez différetes expérieces e matière de coceptio de programme, de parteariat, d activités de suivi et d évaluatio; Touchez différets iveaux de l orgaisatio (activités opératioelles, choix stratégiques, missios et priorités de l orgaisatio) coformémet à la stratégie de gestio du savoir du PNUD; Partagez le savoir et l appretissage avec les commuautés de pratique, grâce aux réseaux modiaux de savoir; Défiissez les sources de coaissaces et d iformatio, y compris le type d élémets d évaluatio qu elles fourisset, aisi que leur fréquece. 4. Opérez u ciblage stratégique Produisez des iformatios coveat à différets utilisateurs et opportues pour ce qui est de la prise des décisios et de la resposabilité; Élaborez, e cosultatio avec les utilisateurs, des formats appropriés et appreez au persoel à les utiliser; Sollicitez les poits de vue de toutes les parties preates clés, y compris les bééficiaires des programmes. 5. Recherchez des élémets empiriques Effectuez ue vérificatio et cotrôlez la qualité des élémets d évaluatio afi d assurer u retour d iformatio utile. ENCADRÉ 3.LE RETOUR D INFORMATION, DE SUIVI ET D ÉVALUATION Extraire les eseigemets de l expériece Trasformer les eseigemets e savoir Assurer l accès au retour d iformatio Évaluer la pertiece du retour d iformatio Exploiter le retour d iformatio Les pricipales étapes du retour d iformatio, de suivi et d évaluatio qui sot éocées das l ecadré 3 devraiet appliquer les pricipes décrits plus haut pour boucler la boucle e utilisat le retour d iformatio afi de predre de meilleures décisios. Le retour d iformatio devrait être pratique et S AVOIR (OU CONNAISSANCES) ET A P P R E N T I S S AGE: UTILISATION DES ÉLÉMENTS D ÉVA L UAT I O N 8 1

89 coçu de faço à faciliter la prise des décisios e matière de programmes ou de projets aisi que pour l évaluatio. Les eseigemets tirés des évaluatios doivet pouvoir être exploités avat et pedat la formulatio des ouveaux projets, programmes et résultats. D ue maière géérale, les eseigemets tirés des évaluatios devraiet être dispoibles au momet de la formulatio de ouveaux effets ou de la défiitio, de la coceptio et de l évaluatio de projets ou programmes. Das le même temps, u retour d iformatio au sujet de la réussite ou de l échec de types d aide ouveaux ou origiaux (coseils d itervetio, sesibilisatio, reforcemet des capacités, etc.) peut aider à la formatio de programmes, projets ou effets ouveaux. E effectuat ces opératios, les directeurs de programme et les parteaires devraiet se garder de la tedace à évaluer que les activités, les dépeses et les produits. Par exemple, examiez pas seulemet les facteurs de gestio itere tels que les coûts et le caledrier des apports et produits. Le suivi et l évaluatio doivet dégager des iformatios au sujet des résultats et idetifier les évetuels phéomèes idésirables et leurs icideces. OUTILS ET MÉTHODES D INFORMAT I O N Comme o l a vu plus haut, l iformatio obteue grâce au suivi costitue la base de la prise des décisios et de mesures. Elle sous-ted les besois immédiats e matière de prise de décisios plutôt que de cotribuer au savoir à log terme. E revache, l iformatio proveat de l évaluatio appuie la foctio d appretissage davatage qu elle aide à la prise des décisios immédiate. Le retour d iformatio d évaluatios pred la forme d eseigem e ttiré au sujet de ce qui est efficace et de ce qui e l est pas das certaies coditios. Aussi bie pour le suivi que pour l évaluatio, il faut evisager l iformatio du poit de vue de so exploitatio. Il coviet de commecer par répodre aux questios ci-après au sujet de l obtetio, de l utilisatio et du partage de l iformatio : Quel est l objectif précis de la collecte, du partage et de l utilisatio de l iformatio? Quels sot les pricipaux groupes de décisios et d ifluece qui détermiet la maière dot l iformatio sera réuie, partagée et utilisée das le cadre d u projet, programme ou effet? Commet ces groupes réuisset-ils, partaget-ils et utiliset-ils actuellemet l iformatio? À quelles difficultés se heurtet-t-ils? Le projet, programme ou effet comporte-t-il u mécaisme (ou pricipe directeur) pour la prise des décisios au sujet de l iformatio? Quelle iformatio faut-il pour améliorer le projet, programme ou résultat? Commet, quad et à qui cette iformatio doit-elle être fourie? Ces questios devraiet aider à détermier le type de retour d iformatio écessaire pour favoriser de boes décisios au sujet des projets, programmes ou effets de la part des cadres des projets, programmes, bureaux de pays et du siège. Toutes les activités de suivi et d évaluatio viset à garatir l utilité de l iformatio, à utiliser l iformatio de maière ciblée, opportue et efficace et à exploiter le savoir des pricipales parties preates. Des iformatios qualitatives peuvet améliorer cosidérablemet l applicatio de certaies techiques de suivi et d évaluatio, comme par exemple au moye du 8 2

90 cotrôle opératioel des hypothèses, d ue meilleure formulatio des questios ou des problèmes et d u choix plus judicieux des domaies d évaluatio. Le PNUD et la commuauté iteratioale des doateurs disposet d éormes quatités d iformatios coteat des eseigemets au sujet de la coceptio, de l applicatio, du suivi et de l évaluatio de programmes et projets de coopératio techique das les pays e développemet. O trouvera ci-après quelques-ues des pricipales sources d iformatio à cet égard. Bases de doées et moteurs de recherche cocerat l évaluatio : La CEDAB, base de doées cetrale sur l évaluatio du PNUD, est accessible à / e o / c e d a b et permet de cosulter des évaluatios. Le Bureau de l évaluatio est e trai d élaborer u moteur de recherche sur l évaluatio qui servira de dépositaire de savoir offrat des lies etre le PNUD et différets sites Web sur l évaluatio (Comité d aide au développemet de l OCDE, Baque modiale, etc.) et permettra de cosulter des élémets empiriques. E outre, les bases de doées de la commuauté iteratioale des doateurs portat sur l évaluatio cotieet des eseigemets sur la coceptio, l exécutio, le suivi et l évaluatio de programmes et projets de coopératio techique das les pays e développemet. Il s agit du FIDA, du Comité d aide au développemet de l OCDE, de la Baque modiale et de l UNICEF. (Voir l aexe bibliographique et les lies aisi que qui cotieet d importates bases de doées.) Le cadre de résultats stratégiques et les rapports auels axés sur les résultats désiget et actualiset systématiquemet des iformatios au sujet des priorités stratégiques précises des bureaux de pays, stratégies régioales, programmes, services d appui, plas de gestio et critères de base, à partir des eseigemets tirés. Ils sot égalemet axés sur les réalisatios du PNUD cocerat les parties preates, la sesibilisatio, la costitutio de parteariats, la mobilisatio des ressources et les pricipales préoccupatios liées au développemet humai durable. Le persoel du PNUD peut cosulter le système de gestio axé sur les résultats au sujet du cadre de résultats stratégiques et d u rapport auel axé sur les résultats à l adresse suivate : Autres rapports ou documets de base propres à certais pays. Il s agit de rapports sur les effets et l évaluatio de projets, de programmes de pays et de cadres de coopératio d e pays, de bila commu de pays/pla-cadre des Natios Uies pour l aide au développemet et d exames de pays. Les eseigemets tirés de ces sources seraiet extrêmemet utiles s ils proveaiet d autres pays ou programmes régioaux ayat des effets ou projets aalogues. ENCADRÉ 4 : COMMUNAUTÉS DE PRATIQUE AXÉES SUR LES EFFETS Des commuautés de pratique peuvet être costituées autour d effets afi de faciliter l échage d iformatio etre les bureaux de pays et etre ceux-ci et les pricipales parties preates afi de maximiser la réalisatio des effets. Le Système de plaificatio et de suivi de l évaluatio peut servir à egager le dialogue,car il fourira des iformatios au sujet des évaluatios prévues,aisi que des recommadatios et des mesures de suivi au sujet d évaluatios atérieures (voir le système de suivi de l évaluatio et de la plaificatio à l aexe B. BASE DE DONNÉES NAT I O N A L E S Ces bases de doées ot ue vaste portée et sot gééralemet réparties par secteur etre pouvoirs publics et établissemets atioaux de recherche. O peut les utiliser pour obteir des reseigemets par exemple au sujet d eff e t s, trouver des idicateurs et predre coaissace des eseigemets cocerat le bila commu de pays ou la formulatio de projets. Réseaux modiaux et commuautés de pratique. Les réseaux modiaux et commuautés de S AVOIR (OU CONNAISSANCES) ET A P P R E N T I S S AGE: UTILISATION DES ÉLÉMENTS D ÉVA L UAT I O N 8 3

91 ENCADRÉ 5. RÉSEAU D ÉVALUATION DU PNUD (EVALNET) E VALNET est u groupe de foctioaires du PNUD, p r oveat essetiellemet des bureaux de pays et part i c i p a t aux évaluatios du PNUD, à l élaboratio d outils et de méthodes de gestio axée sur les résultats et au reforcemet des capacités e matière d évaluatio. Ce réseau a pour vocatio de faire du PNUD ue orgaisatio d appretissage et de favoriser le suivi et l évaluatio axée sur les résultats pour e faire u élémet de la culture du PNUD. Au iveau idividuel,les membres d EVALNET acquièret des coaissaces ouvelles touchat des questios de programme tels que le soutie aux pays e trasitio et aux démocraties ouvelles, la décetralisatio et la go u ve race locale, des questios opératioelles telles que l utilisatio de l UNOPS e tat qu aget d exécutio, la gestio axée sur les résultats et otammet les idicateurs; et les méthodes d évaluatio.de même, les membres d EVALNET apportet leurs compéteces et cotribuet à u brassage d idées fécod, tout e ajoutat ue perspective plus large à l appretissage. Par ailleurs,les iitiatives liées à la mise au poit de méthodes de suivi et d évaluatio telles que le préset guide,peuvet faire l objet d u cotrôle cocret grâce à la participatio des membres d EVALNET apparteat au bureau de pays. pratique jouet u rôle importat quat à leur portée et à leur efficacité et costituet ue source de reseigemets précieuse pour le suivi et l évaluatio. Ils ot pour objet : De favoriser le dialogue etre différetes parties preates au moye de réuios, ateliers, échage de correspodace, bulletis et autres formes d échage; D évaluer les capacités et besois des parties preates pour ce qui est de l iformatio, du savoir et de compéteces particulières; De permettre aux parties preates de participer à la gestio de l iformatio et du savoir (aide à la hiérarchisatio des questios de développemet, choix des cosultats, mise au poit de produits liés au savoir et adoptio de ormes d accès à l iformatio, etc.) Les réseaux modiaux jouet le rôle de systèmes d iformatio à parties preates multiples, offrat des iformatios de qualité produites par divers groupes ou praticies du développemet faisat autorité, dot certais s occupet expressémet de suivi et d évaluatio. Ces réseaux peuvet parfois souteir la prise des décisios. Les commuautés de pratique, e particulier, qu elles se situet das le cadre de réseaux modiaux ou qu elles soiet idépedates, peuvet se révéler particulièremet utiles si elles sot axées sur les effets, comme o l a vu das l ecadré 4. Les réseaux modiaux et les commuautés de pratique sot reliées au réseau modial de cetres de cotact sous-régioaux du PNUD ou SURF. Etre autres services importats, le réseau SURF joue le rôle de service d orietatio, répodat aux demades d avis ou d iformatio du persoel chargé des programmes das les bureaux de pays et au siège. Les services d orietatio répodet à des demades liées à l exécutio de programmes ou aux politiques du PNUD e matière de programme (demade de cosultat, expériece comparative, source de fiacemet, documet directif, exemple, modèle ou possibilité de formatio, etc.). Le réseau SURF e diffuse toutefois pas de doées d évaluatio. Le réseau d évaluatio ou «EVALNET» appuie plus directemet que le réseau SURF la coceptio et l élaboratio de produits d iformatio et de savoir à partir d activités de suivi et d évaluatio. Ce réseau, qui est décrit das l ecadré 5, foctioe toujours essetiellemet grâce à la participatio des parties preates. Essetials : Chaque aée, le Bureau de l évaluatio publie ue série de documets ititulée Essetials. Ces publicatios sot thématiques et fourisset des iformatios succictes axées sur les praticies, obteues à partir des élémets théoriques et d évaluatio du 8 4

92 PNUD et d autres orgaisatios de développemet. Essetials peut être cosulté sur le site Web du Bureau de l évaluatio : Questioaires : Les questioaires fot appel à ue méthode bie structurée de collecte d iformatios et de doées e vue du suivi et de l évaluatio selo laquelle les equêtés sot ivités à remplir u formulaire ou à fourir des iformatios ou des avis précis au sujet de choix réduits. De par leur caractère limité et leur formulatio bie circoscrite, ces questioaires costituet des outils précieux de collecte de doées. Ils permettet égalemet d effectuer u tri prélimiaire des istitutios ou foctios à examier plus e profodeur, évetuellemet au moye d etreties. Ue activité doée peut exiger que quelques-ues de ces sources, e foctio de la portée, de la ature de la questio examiée, des destiataires de l iformatio et de l expériece préalable des utilisateurs de l iformatio. Ue fois que l iformatio recherchée a été obteue grâce à ces istrumets, il faut procéder à ue évaluatio approfodie afi de détermier la maière d appliquer les recommadatios proveat du retour d iformatio. A P P L I C ATION DES RECOMMANDATIONS PROVENANT DU RETOUR D I N F O R M ATION CONCERNANT LE SUIVI ET L É V A L UATION Le retour d iformatio obteu grâce au suivi et à l évaluatio cosistera e partie e recommadatios pratiques. Les différets types de recommadatios dégagés du suivi et de l évaluatio devraiet être aalysés séparémet. Il faut pour cela répodre à u certai ombre de questios cocerat le type et les répercussios des recommadatios. Ces questios coceret aussi bie des recommadatios de fod que des recommadatios e vue d ue applicatio. Il faut esuite détermier les possibilités et priorités pour le court, le moye et le log terme, à partir des réposes à ces questios. Les questios éumérées ci-après portet sur le type de recommadatios (de fod ou cocerat l applicatio) et ses répercussios. Questios relatives aux coséqueces de recommadatios de fod émaat du suivi et de l évaluatio : Sur qui ou sur quoi porterot directemet ou idirectemet les recommadatios du poit de vue des produits et effets prévus? E quoi les recommadatios diffèret-elles des précédetes? Quelles sot les pricipales justificatios et méthodes utilisées pour étayer les recommadatios? Commet déduire des recommadatios par rapport à des effets, projets, programmes ou activités aalogues das d autres régios du pays ou das d autres pays? Commet les recommadatios peuvet-elles cotribuer à la réalisatio des produits et effets globaux visés? Les effets prévus cadret-ils avec les effets effectifs? Quel est le lie etre les recommadatios et les objectifs des programmes régioaux et modiaux? Commet la directio du bureau de pays eted-elle réagir aux recommadatios et e suivre l applicatio? S AVOIR (OU CONNAISSANCES) ET A P P R E N T I S S AGE: UTILISATION DES ÉLÉMENTS D ÉVA L UAT I O N 8 5

93 Questios relatives aux répercussios des recommadatios cocerat l applicatio émaat du suivi et de l évaluatio : Quelles serot les coséqueces positives ou égatives pour les pricipaux groupes visés ou les parties preates? Que peut-o faire pour reforcer les effets positifs et compeser les coséqueces égatives? Quelles mesures faut-il predre et qui doit agir? Quel est le caledrier? Qui est habilité pour predre les mesures? Quelles sot les icideces fiacières? Quelles sot les icideces politiques? Quelles sot les ressources humaies écessaires? Des méthodes particulières, otammet des activités de formatio, ou de ouvelles formes de parteariat sot-elles requises? Quel suivi ou cotrôle d exécutio faut-il assurer? L exame de ces questios permettra de défiir plusieurs mesures cocrètes permettat de juger, d améliorer et d appliquer les recommadatios. Certaies de ces mesures devrot être prises das le court terme, mais d autres, surtout celles qui exiget des décisios politiques, ot des icideces sur les structures istitutioelles ou demadet d importates ressources fiacières, e serot appliquées qu à moye ou à log terme. Toutes les recommadatios cocerat le suivi et l évaluatio ot à gager à ue itervetio des dirigeats cocerat les questios de fod et d applicatio soulevées. Pour les évaluatios des effets e particulier, les resposables doivet idetifier les recommadatios acceptés et celles qui e ENCADRÉ 6. CARACTÉRISTIQUES DE BONS ÉLÉMENTS Coçus pour u public bie précis; Adaptés aux besois e matière de décisios, surtout au iveau du persoel des bureaux de pays; Dispoibles lorsque se présete u créeau pour la prise de décisios (opportuité); Clarté; Fodés sur des pricipes méthodologiques judicieux; Diffusés par des voies recoues; Idetificatio claire des domaies d icertitude et de leur importace; Idicatio complète des sources; Reseiget sur les produits et procédures de développemet tagibles et itagibles; Dispoibles aux meilleurs coûts sur les plas temporel, fiacier et admiistratif. le sot pas, idiquer les raisos de cette acceptatio et détermier commet les recommadatios acceptées serot appliquées et suivies. (Voir le pla d évaluatio et de suivi à l aexe B). Le retour d iformatio peut utilemet être diffusé grâce à des séaces de formatio et ateliers à l itetio du persoel du PNUD. Ces eseigemets tirés de l expériece servet à différets stades de la gestio des programmes ou projets, y compris à celui de l évaluatio. La formatio devrait se cocetrer sur l amélioratio de la qualité des programmes et projets du PNUD. Elle devrait égalemet avoir pour objet de développer les compéteces e matière d iovatios méthodologiques telles que l évaluatio participative, la sélectio des idicateurs et l exploitatio et la présetatio 8 6

94 ENCADRÉ 7.MARCHE À SUIVRE POUR AMÉLIORER LE RETOUR D INFORMATION CONCERNANT L É VA L UAT I O N Bie compredre le processus d appretissage à l itérieur et à l extérieur de l orgaisatio (idetifier les goulets d étraglemet); Détermier commet améliorer la pertiece et l actualité du retour d iformatio sur l évaluatio et assurer cette amélioratio; Défiir avec précisio les groupes cibles aux fis de retour d iformatio relative à l évaluatio et justifier le choix de ces groupes,sur le pla gééral comme das les cas particuliers; Se familiariser avec les groupes cibles afi de savoir ce qu ils attedet des évaluatios,commet ils utiliset les doées de l évaluatio et commet les systèmes de retour d iformatio peuvet mieux satisfaire ces demades; Adopter ue approche stratégique de la maière dot les méthodes de retour d iformatio peuvet être adaptées aux besois des différets groupes cibles; Assurer la qualité des produits de l évaluatio,surtout pour ce qui est de la cocisio, de la clarté et de la présetatio; Evisager de diversifier les approches appliquées pour commuiquer avec les groupes cibles,au moye évetuellemet de formules origiales; Améliorer les sites Web et les itraets cocerat l évaluatio, sas oublier que la facilité d accès et d utilisatio est u facteur fodametal; Veiller à ce que la commuicatio complète des rapports d évaluatio soit la orme et que des mécaismes efficaces d approbatio et de otificatio soiet e place pour éviter que les cadres supérieurs ou les parteaires pricipaux soiet pris au dépourvu par des résultats traitat à cotroverse. S efforcer de trouver de meilleurs moyes d associer les parties preates atioales à l évaluatio, y compris au retour d iformatio des eseigemets tirés de l évaluatio, sas perdre de vue l importace primordiale des barrières liguistiques. Recruter si écessaire des spécialistes das des domaies où ils fot défaut, e particulier das le domaie des commuicatios. de l iformatio et du savoir das des domaies qui e sot gééralemet pas examiés, tels que l «appui coseil». P U B L I C ATION D ÉLÉMENTS D ÉVALUATION ET DE RETOUR D INFORMAT I O N Les résultats de l évaluatio devraiet être publiés selo ue présetatio claire, das u souci d équité, afi de dégager des coclusios covaicates et d exclure toute ambiguïté. L iformatio peut être présetée selo diverses techiques d aalyse. L essetiel est toutefois que l iformatio proveat des évaluatios et du suivi soit d utilisatio facile, d accès aisé et utile. O trouvera das l ecadré 5 les caractéristiques de bos élémets d iformatio et les qualités que doivet préseter les publicatios. E ayat ces caractéristiques à l esprit même avat le début de l étude ou la préparatio d ue publicatio, o pourra bie ordoacer les élémets d évaluatio. Les résultats de l évaluatio devraiet être documetés et diffusés aux parties preates aux fis de ENCADRÉ 8. INSTITUTIONALISATION DE L APPRENTISSAGE Descriptif de projet : Les descriptifs de projet devraiet revoyer (y compris au moye de lies) aux coclusios d études ou d évaluatios das la sectio de l aalyse de situatio. Le PAC (à vérifier) devrait répodre à cette exigece. Révisio des descriptifs de projet. Lorsque des révisios budgétaires ou autres sot apportées aux descriptifs de projet, les eseigemets liés à l objet de la modificatio budgétaire devraiet égalemet être idiqués. Rapport auel axé sur les résultats. E présetat so rapport auel axé sur les résultats, le bureau de pays devrait souliger das le texte explicatif les pricipaux eseigemets tirés au sujet de chaque résultat, e particulier das la partie cosacrée aux questios stratégiques et aux mesures coveues. L ue des pricipales sources de ces eseigemets est l exame auel. S AVOIR (OU CONNAISSANCES) ET A P P R E N T I S S AGE: UTILISATION DES ÉLÉMENTS D ÉVA L UAT I O N 8 7

95 retour d iformatio, ce qui permettra de défiir les besois e iformatio. O trouvera das l ecadré 6 plusieurs suggestios visat à améliorer le retour d iformatio cocerat l évaluatio. Ue fois qu ue positio a été arrêtée au sujet des besois e iformatio, o peut cocevoir les produits et services requis. La diffusio des résultats de l évaluatio est aussi importate que leur publicatio. Ce est que grâce à u système efficace de diffusio que les bééficiaires visés recevrot le retour d iformatio cocerat l évaluatio dot ils ot besoi. La commuicatio itégrale de tous les eseigemets est ue tâche redoutable. Le problème est de savoir commet tirer de l expériece des eseigemets trasférables, c est-à-dire qui ot ue applicatio plus large que ceux qui e coceret qu u seul programme ou projet. Pour ce faire, o peut istitutioaliser l appretissage à partir du retour d iformatio, de suivi et d évaluatio. L istitutioalisatio de l appretissage appelle ue meilleure itégratio de l appretissage das les istrumets et procédures existats, tels que la rédactio des descriptifs de projet et de programme, le Rapport auel axé sur les résultats et le RAP. O trouvera das l ecadré 7 des exemples de l istitutioalisatio de l appretissage lié à l évaluatio das le cadre du PNUD. 8 8

96 C o c l u s i o Le cadre de suivi et d évaluatio coteu das le préset guide est pas coulé das le broze, et devrait évoluer et s améliorer avec l expériece de so applicatio. E outre, certais des élémets appellet des chagemets das l attitude metale et le comportemet du persoel, si bie que l orgaisatio doit s attedre à cotiuer de tirer des eseigemets de ce ouveau cadre au cours des aées à veir. Le site Web du Bureau de l évaluatio ( présetera doc des ressources actualisées au sujet des méthodes de suivi et d évaluatio, et le Bureau ecourage les bureaux de pays et les différets services du siège à utiliser ce site Web e faisat coaître les eseigemets tirés aisi que les préoccupatios. Le site cotiedra otammet des questios souvet posées, ue mise à jour permaete et l évolutio de toutes les méthodes de suivi et d évaluatio das le cadre du PNUD, des revois à d autres ressources, des esembles de formatio, des exemples de rapports et d istrumets, aisi que des modèles de madat. O y trouvera égalemet ue série de supplémets au Guide, doc chaque livraiso examiera das le détail u thème lié au suivi et à l évaluatio (exemples : directives à l itetio des évaluateurs des effets; suivi et évaluatio après ue crise; reforcemet des capacités d évaluatio). Les fods et programmes admiistrés par le PNUD dot les activités de suivi et d évaluatio s iscrivet das le cadre gééral de la gestio axée sur les résultats selo les directives du PNUD cocerat le suivi et l évaluatio sot égalemet ecouragés à utiliser le site Web. Toutefois, ces orgaismes pourraiet égalemet devoir se reporter à leurs propres documets pour trouver des directives cocerat leur apport spécifique aux effets, 20 e sus de l orietatio que fourit le préset Guide. E bref, ce cadre représete des chagemets ovateurs, o seulemet pour ce qui est de la simplificatio, mais aussi e ce qui cocere les méthodes de suivi et d évaluatio axées sur les résultats. O a cherché e particulier à abadoer les pricipes de suivi et d évaluatio axés sur les procédures et marqués par le souci du détail e faveur d u système qui permet de se cocetrer plus rigoureusemet sur les résultats, l appretissage et l applicatio effective des élémets d évaluatio et de suivi. 20 Par exemple, le pprogramme des Volotaires des Natios Uies cotribue à réaliser des résultats au iveau commuautaire qui peuvet et doivet ispirer les itervetios du PNUD e amot. Aisi, les Volotaires des Natios Uies vieet compléter l actio du PNUD e faveur d u développemet davatage axé sur les persoes et plus participatif.les bureaux de pays devraiet veiller à redre pleiemet compte des résultats réalisés das le cadre de ces parteariats. 8 9

97 Ressources et aexes

98 Sigles et abréviatios 93 Glossaire 95 Documets et sites Web 107 A. Programmatio et établissemet de rapports au PNUD 108 B. Gestio axée sur les résultats 108 C. Directives des orgaismes des Natios Uies et des doateurs cocerat le suivi et l évaluatio 109 D. Méthodes et outils de suivi et d évaluatio 112 E. Idicateurs et mesure 116 F. Parteariats 117 G. Appretissage et gestio du savoir 118 H. Reforcemet des capacités d évaluatio 119 I. Itervetio e cas de coflit et de crise 120 J. Pauvreté 121 K. Égalité etre les sexes 121 L. Démocratie et gouverace 122 M. Autres référeces 123 Outils de suivi et d évaluatio 125 Aexe A: Pla d évaluatio et de suivi 126 Aexe B: Termes de référece de l évaluatio 129 Aexe C: Rapport auel de projet 132 Aexe D: Rapport de visite sur le terrai 134 Aexe E: Meu d outils de suivi 136

99 Sigles et a b r é v i a t i o s ACDI BCP CAD CRS DANIDA FAO FENU FIDA FNUAP OCDE OIT ONG PAM PNUD RAAR RAP SIDA UNDAF UNICEF UNOPS USAID Agece caadiee de développemet iteratioal Bila commu de pays Comité d aide au développemet Cadre de résultats stratégiques Agece daoise de développemet iteratioal Orgaisatio des Natios Uies pour l alimetatio et l agriculture Fods d équipemet des Natios Uies Fods iteratioal de développemet agricole Fods des Natios Uies pour la populatio Orgaisatio de coopératio et de développemet écoomiques Orgaisatio iteratioale du Travail Orgaisatios o gouveremetales Programme alimetaire modial Programme des Natios Uies pour le développemet Rapport auel axé sur les résultats Rapport auel de projet/programme Agece suédoise de développemet iteratioal Pla-cadre des Natios Uies pour l aide au développemet Fods des Natios Uies pour l eface Bureau des Natios Uies pour les services d appui aux projets Uited States Agecy for Iteratioal Developmet 9 3

100 G l o s s a i r e La plupart des termes et expressios apparaissat das le préset Guide sot d u usage courat das le cotexte du développemet et de l évaluatio.ils sot tous défiis ici das le cadre du suivi et de l évaluatio, ecore qu ils puisset avoir d autres acceptios das d autres cotextes. C est aisi que «termes de référece», par exemple, désige toujours expressémet les termes de référece d ue évaluatio. Les défiitios ot pour objet d harmoiser la termiologie das l esemble de la commuauté du développemet.elles ot été élaborées par le Bureau de l évaluatio du PNUD ou extraites et ispirées des sources suivates : PNUD, Mauel de programmatio du PNUD, PNUD, RBM Techical Note, PNUD, Bureau de l évaluatio, Participatory Evaluatio Hadbook, PNUD, Bureau de l évaluatio, Effectiveess Report, OCDE, Comité d aide au développemet, FNUAP, The Programme Maager s Moitorig ad Evaluatio Toolkit, Directives cocerat le BCP, Directives du Pla-cadre des Natios Uies pour l aide au développemet, Certaies défiitios sot beaucoup plus détaillées das le Glossaire que das le texte, ce qui o seulemet précise davatage les otios, mais aussi eglobe des termes et expressios qui apparaisset das la documetatio de référece du préset Guide. 9 5

101 A Activités. Actios meées das le cotexte de la programmatio qui sot écessaires et s u ffisates et par lesquelles des apports (fiaciers, humais, techiques et matériels) sot mis e œuvre pour doer des produits particuliers ou cotribuer aux résultats, Les activités peuvet égalemet être défiies comme des «itervetios de développemet». Apport. Moye mis e œuvre pour exécuter des activités de programme ou de projet, c est-à-dire des ressources fiacières, humaies et matérielles. Appui coseil. Sesibilisatio, coseils d orietatio et dialogue, commuicatio et médiatio d iformatio, parteariats ou compromis politique. Les coseillers du PNUD, le persoel chargé des programmes et les cadres des bureaux de pays sot les pricipaux fourisseurs d assistace douce soit par le jeu des projets et programmes, soit de maière idépedate, de maière poctuelle et à la demade. L appui coseil est gééralemet offerte e amot, au iveau où sot examiées, formulées et appliquées les politiques atioales ayat ue icidece sur les résultats du développemet humai, ecore qu elle puisse égalemet être fourie e aval par le persoel chargé des projets. Attributio. Relatio de cause à effet etre des chagemets observés (ou attedus) et ue itervetio doée au regard des effets d autres itervetios ou de facteurs iterférets. S agissat de l attributio de la réalisatio d effets, les évaluatios viset à démotrer l existece d u lie crédible etre les produits et actios du PNUD e parteariat avec d autres et le chagemet e matière de développemet (effets). Audit. Exame ou évaluatio documeté de la mesure das laquelle ue situatio, procédure ou prestatio fourie correspod à des ormes ou critères, politiques et procédures prédétermiés. Doit costituer ue activité d assurace idépedate et objective coçue pour apporter ue valeur ajoutée et ue amélioratio aux opératios de l orgaisatio. L audit aide l orgaisatio à réaliser ses objectifs e évaluat et améliorat l efficacité de la gestio des risques, des procédures de cotrôle et d admiistratio selo ue formule systématique et rigoureuse. Auto-évaluatio. Évaluatio effectuée par les gestioaires d u programme ou projet sur le terrai. B Bééficiaires. Particuliers ou istitutios dot la situatio est cesée s améliorer (groupe cible) aisi que d autres dot la situatio pourrait s améliorer. Revoie aussi à u groupe limité de parties preates qui profiterot directemet ou idirectemet du projet. Bila commu de pays. Procédure fodée sur u pays permettat d examier et d étudier la situatio du développemet atioal et d idetifier les pricipaux problèmes aux fis de sesibilisatio, dialogue d itervetio et préparatio du pla-cadre d aide au développemet. Les résultats sot décrits das u documet de bila commu de pays (BCP). 9 6

102 C Cadre de résultats stratégiques (CRS). Cette expressio géérique désige l hypothèse de développemet eglobat les résultats écessaires à la réalisatio d u objectif stratégique, leurs relatios de cause à effet aisi que les hypothèses sous-jacetes. Ce cadre orgaise la mesure, l aalyse et la commuicatio des résultats de l etité opératioelle. Il sert égalemet d outil de gestio et est doc axé sur les résultats fodametaux qui doivet être suivis afi d idiquer le progrès. Il peut s agir égalemet des buts et objectifs globaux de l approche du développemet d u pays doé sur la base de l aalyse des problèmes, assortie de l éocé des priorités. Pour le PNUD, le documet qui décrit ses résultats cocerat ue etité opératioelle du poit de vue des effets, produits, parteariats et idicateurs, avec des buts, buts subsidiaires et domaies stratégiques d appui bie précis. Coclusio. Jugemet raisoé fodé sur la sythèse de costatatios empiriques ou d éocés factuels correspodat à ue situatio particulière. Exemple : le programme de recherche-développemet de l Istitut d agroomie efficace sur le pla techique mais pèche das ses relatios avec les groupes cibles (Voir «costatatio», qui diffère d ue coclusio.) Costatatio. Éocé factuel au sujet du programme ou projet sur la base d élémets empiriques réuis au moye d activités de suivi et d évaluatio. Exemple : bie que ses premières applicatios expérimetales de la ouvelle techologie de prévetio de l érosio des sols ait été positive, l actio de l Istitut d agroomie a suscité qu ue réactio peu ethousiaste auprès du groupe d agriculteurs visés, qui sot mal iformés au sujet des icideces fiacières de cette techologie. (Voir «coclusio», qui a u ses différet de la costatatio.) Critère. Poit de référece ou orme permettat ue comparaiso des progrès ou réalisatios comme par exemple ce qui a été accompli das le passé, ce que des orgaisatios comparables parteaires du développemet réaliset, les objectifs recherchés ou les élémets budgétisés, ce qui aurait pu raisoablemet être réalisé état doé les circostaces. Le critère désige aussi u objectif itermédiaire permettat de mesurer les progrès à ue période doée. D Déformatio. Il s agit de la déformatio statistique. Représetatio iexacte etraîat ue erreur systématique das u résultat de recherche. La déformatio peut se traduire par ue surestimatio ou ue sous-estimatio de caractéristiques ou tedaces. Elle peut être le fait d iformatio icomplète ou de méthodes de collecte de doées erroées, et peut être délibérée ou o. Doées de référece (ou de base). Doées décrivat la situatio sur laquelle doit porter u programme ou projet et qui servet de poit de départ de la mesure de l efficacité dudit programme ou projet. Ue étude de référece doerait la descriptio de la situatio préalable à la fouriture de l aide, qui sert à détermier les résultats et réalisatios d ue activité doée et costitue ue importate référece d évaluatio. Doées. Iformatios ou faits précis d ordre quatitatif et qualitatif. G L O S S A I R E 9 7

103 Durabilité. Viabilité des résultats positifs d u programme ou d u projet après l achèvemet de la coopératio techique caalisée au moye dudit programme ou projet; durabilité statique apport cotiu des mêmes avatages, amorcés par le programme ou projet achevé, aux mêmes groupes cibles; durabilité dyamique applicatio ou adaptatio des résultats d u programme ou projet à u cotexte différet ou u eviroemet e évolutio par les groupes cibles iitiaux ou d autres groupes. Das le cas d u effet, idique si le chagemet positif apporté à la situatio e matière de développemet sera permaet. E Effet. Modificatio effective ou recherchée de la situatio de développemet que les itervetios du PNUD cherchet à souteir. Correspod à u chagemet das la situatio e matière de développemet etre l achèvemet des produits et la réalisatio de l impact. Exemples : amélioratio du redemet des rizières, augmetatio des reveus des agriculteurs. Efficacité du développemet. La mesure das laquelle ue istitutio ou ue itervetio a produit le chagemet visé das u pays ou l existece d u bééficiaire. Elle déped de plusieurs facteurs, qui vot de la qualité de la coceptio du projet à la pertiece et à la viabilité des résultats recherchés. Efficacité. La mesure das laquelle u résultat de développemet est réalisé au moye des itervetios. La mesure das laquelle u programme ou projet réalise les résultats prévus, c est-à-dire les buts, effets et produits, et cotribue aux effets. Efficiece. Trasformatio optimale d apports e produits. Equête. Collecte systématique d iformatio auprès d ue populatio défiie, gééralemet par le jeu d etreties ou de questioaires appliqués à u échatillo d uités de populatio (particuliers, bééficiaires, adultes). Eseigemet tiré. Leço dégagée de l expériece qui est applicable à ue situatio géérale plutôt qu à des coditios particulières. Exemple : u orgaisme s occupat de recherche-développemet a besoi d u cetre d iformatio dyamique pour diffuser les résultats de ses programmes de recherche auprès de groupes cibles et susciter u retour d iformatio de la part de ces groupes au sujet de l utilité de ses résultats de recherche-développemet. Équipe d évaluatio. Groupe de spécialistes chargés de la plaificatio détaillée et de la coduite d ue évaluatio. L équipe d évaluatio rédige le rapport d évaluatio. Évaluateur. Persoe qui iterviet à tous les stades de l évaluatio, de la défiitio du madat et de la collecte et aalyse des doées à la formulatio des recommadatios et à la prise de mesures correctives ou à l itroductio d amélioratios. Évaluatio à mi-parcours. Type d évaluatio effectuée au cours de l exécutio d u projet ou programme. Elle vise essetiellemet à évaluer les progrès accomplis, tirer les premières coclusios e vue de la gestio du programme ou projet et formuler des recommadatios pour la suite des opératios. Elle porte sur les questios opératioelles aisi que sur la performace et permet de dégager les premiers eseigemets. Est parfois qualifiée d évaluatio cotiue. 9 8

104 Évaluatio cojoite. Évaluatio à laquelle cotribuet différets orgaismes doateurs ou parteaires. L évaluatio peut être plus ou mois commue, selo la mesure das laquelle les différets parteaires collaboret à l évaluatio, mettet e commu leurs ressources d évaluatio et combiet l iformatio au sujet de l évaluatio. L évaluatio cojoite permet égalemet de résoudre des problèmes d attributio das l évaluatio de l efficacité de programmes et stratégies, de la complémetarité des actios souteues par différets parteaires, de la qualité de la coordiatio de l assistace, etc. Évaluatio d impact. Type d évaluatio axée sur l impact ou les résultats globaux à plus log terme, itetioels ou o, d u programme ou effet. Par exemple, ue évaluatio d impact pourrait motrer qu ue baisse du taux de mortalité ifatile global d ue commuauté doée est la coséquece directe d u programme de sois préatals et postatals de qualité et d accouchemet assurés par des spécialistes de la saté. Voir égalemet «évaluatio de l impact au iveau du pays». Évaluatio de groupe. Évaluatio d u esemble de projets ou programmes coexes. Ue évaluatio d esemble axée sur u effet de développemet est égalemet appelée «Évaluatio d effet». Évaluatio de l impact au iveau du pays. Évaluatio de la cotributio globale du PNUD, y compris les itervetios douces, das u pays; de l apport du PNUD qui a produit des résultats fials récets, quel que soit le cycle de programme doé au cours des ciq derières aées; et des iteractios du PNUD avec les parteaires du développemet das la réalisatio d objectifs atioaux; par défiitio, cette évaluatio est effectuée à posteriori. Voir aussi «évaluatio d impact». Évaluatio de la performace. Évaluatio extérieure ou auto-évaluatio par uités de programme, qui supposet le suivi d effets, programmes, projets ou particuliers, des études, des rapports de fi d aée et de fi de projet, des évaluatios istitutioelles ou études spéciales. Évaluatio de projet. Évaluatio d u projet ou d ue itervetio particulière e matière de développemet visat à réaliser des objectifs désigés das des délais détermiés et suivat u pla d actio établi. La base de l évaluatio devrait être icorporée au descriptif de projet. Das le cotexte du PNUD, il s agit aussi des évaluatios de programme décrites das les documets d appui aux programmes. Évaluatio des effets. Évaluatio couvrat u esemble de projets, programmes et stratégies visat à réaliser u certai effet. Il s agit d évaluer commet et pourquoi les effets sot atteits ou e le sot pas das u cotexte atioal doé aisi que l apport des produits du PNUD aux effets. Sert égalemet à préciser les facteurs sous-jacets de la réalisatio ou o des effets; a souligé les effets ivolotaires positifs et égatifs des itervetios; à recommade des mesures afi d améliorer l efficacité des futurs cycles de programmatio et de tirer des eseigemets. Évaluatio extere. Évaluatio effectuée par u ou plusieurs évaluateurs qui e participet pas directemet à la formulatio, à l exécutio ou à la gestio de l objet de l évaluatio. Effectuée ormalemet par des persoes apparteat pas aux org a i s a t i o s cocerées. (Syoyme : «évaluatio idépedate»). Évaluatio fiale. Évaluatio effectuée ue fois que l itervetio est e place depuis u certai temps ou vers la fi d u projet ou programme afi de mesurer les résultats; G L O S S A I R E 9 9

105 idique l efficacité et la pertiece des itervetios et stratégies; idique les premiers siges d impact; recommade les itervetios à ecourager ou à abadoer. Évaluatio idépedate. Évaluatio effectuée par des persoes distictes de celles qui sot chargées de la gestio, de l orietatio ou de l exécutio du projet. Elle peut faire iterveir des groupes apparteat à l orgaisatio doatrice. La crédibilité d ue évaluatio déped e partie du degré d idépedace avec lequel elle a été effectuée, c est-à-dire du iveau d autoomie, et de l aptitude à réuir des iformatios, à meer des equêtes et sigaler les costatatios e dehors de toute ifluece politique ou pressio de l orgaisatio. Évaluatio itere. Évaluatio effectuée par les membres de l orgaisatio qui sot liés aux programmes, projets ou questios à évaluer. Voir égalemet «auto-évaluatio». Évaluatio participative. Étude et évaluatio collective d u programme ou projet par les parties preates et bééficiaires. Les évaluatios participatives supposet ue réflexio, sot orietées vers l actio et cherchet à reforcer les capacités. Elles sot essetiellemet axées sur les besois e iformatio des parties preates plutôt que sur le doateur, qui sert de médiateur. Évaluatio rétrospective. Évaluatio récapitulative d ue itervetio eff e c t u é e gééralemet deux aées au mois après so achèvemet. Elle a pour objet d étudier l efficacité de l itervetio (programme ou projet) et de dégager des coclusios e vue d itervetios aalogues. Évaluatio stratégique. Évaluatio d ue questio particulière, bie souvet itersectorielle, ayat d importates icideces sur les grades priorités e matière de développemet de l État et du PNUD et présetat des risques élevés pour les parties preates. Le momet de so exécutio est d autat plus importat que la questio est urgete et soulève des risques élevés pour les parties preates, dot les avis à ce sujet sot cotradictoires. Elle a pour objet de faire mieux compredre le problème, de réduire les icertitudes liées aux différetes optios possibles et de parveir à u compromis acceptable par toutes les parties itéressées et d aider les différetes parties preates à se mettre d accord sur le ses de certaies questios d orietatio, ce qui costitue ue étape importate das la formulatio des politiques. Évaluatio thématique. Évaluatio de certais aspects ou de questios itersectorielles de différets types d itervetios. Il peut s agir de l évaluatio groupée de projets ou de programmes cocerat u thème particulier recoupat plusieurs secteurs ou zoes géographiques. Aalogue à ue «évaluatio stratégique». Exemple : évaluatio de l exécutio atioale, évaluatio de la collaboratio avec la société civile. Évaluatio. Opératio limitée das le temps visat à évaluer systématiquemet et objectivemet la pertiece, la performace et le succès de programmes et projets e cours et achevés. L évaluatio peut égalemet porter sur les effets ou d autres questios de développemet. Elle est opérée de maière sélective pour répodre à des questios précises afi d orieter les décideurs ou resposables de programme et dégager des iformatios sur la validité des théories et hypothèses à la base de l élaboratio des programmes, les actios efficaces et les autres, et les raisos de cette efficacité ou ieff i c a c i t é. L évaluatio a gééralemet pour objet de détermier la pertiece, l efficiece, l eff i c a c i t é, l impact et la viabilité. Elle permet de dégager des eseigemets itersectoriels de 1 0 0

106 l expériece opératioelle et d établir s il est écessaire d apporter des modificatios au cadre de résultats stratégiques. L évaluatio devrait produire des iformatios crédibles et utiles, e permettat d itégrer les eseigemets tirés à la prise des décisios. Voir aussi «évaluatio de projet» et «évaluatio d effet». F Fiabilité. Cohérece et qualité des doées rassemblées grâce à l applicatio répétée d u istrumet scietifique ou d ue procédure de collecte des doées das des coditios idetiques. Ue fiabilité absolue des doées d évaluatio est difficile à obteir. Toutefois, grâce à des listes de cotrôle et à la formatio des évaluateurs, o peut améliorer à la fois la fiabilité et la validité des doées. Suppose la collecte de doées exhaustives et des questios d évaluatio bie coçues. G Gestio axée sur les résultats (GAR). Stratégie ou méthode de gestio appliquée par ue orgaisatio pour veiller à ce que ses procédures, produits et services cotribuet à la réalisatio de résultats clairemet défiis. La gestio axée sur les résultats offre u cadre cohéret de plaificatio et de gestio stratégique e améliorat l appretissage et la resposabilité. Il s agit aussi d ue vaste stratégie de gestio visat à apporter d importats chagemets das le mode de foctioemet des orgaismes, l amélioratio de la performace et la réalisatio de résultats état l orietatio cetrale, par la défiitio de résultats réalistes, le suivi du progrès das la réalisatio des résultats escomptés, l itégratio des eseigemets tirés das les décisios de gestio et la commuicatio d iformatio au sujet de la performace. Gestio de la performace. Créatio d ue demade de gestio cocerat l iformatio sur la performace, et so exploitatio et so applicatio à ue amélioratio permaete. Recouvre la «mesure de la performace». Groupes cibles. Pricipaux bééficiaires d u programme ou projet, segmets de la populat i o qu u programme ou projet cherche à atteidre afi de répodre à leurs besois selo des cosidératios de sexe et sur la base de leurs caractéristiques socioécoomiques. I Impact. Effet global et à log terme d ue itervetio. Résultats d u programme ou projet qui sot évalués e regard des objectifs de développemet ou des buts à log terme dudit programme ou projet; chagemet das ue situatio, prévu ou o, positif ou égatif, qu u programme ou projet cotribue à apporter. L impact est le résultat à plus log terme ou résultat fial attribuable à ue itervetio de développemet, cotrairemet aux produits et aux effets, qui représetet les résultats plus immédiats de l itervetio. La otio d impact est proche de celle d «efficacité du développemet». Exemples : élévatio du iveau de vie, amélioratio de la sécurité alimetaire, accroissemet des recettes d exportatio, hausse de l éparge grâce à la baisse des importatios. Voir «résultats». Idicateur de performace. Caractéristique ou dimesio particulière servat à mesurer les chagemets recherchés défiis par u cadre de résultats d ue etité. G L O S S A I R E 1 0 1

107 Les idicateurs de performace servet à observer le progrès et à mesurer les résultats effectifs par rapport aux résultats escomptés. Ils permettet de détermier si et das quelle mesure ue etité progresse das la réalisatio de ses objectifs au lieu de répodre au pourquoi cocerat ces progrès. Les idicateurs de performace sot gééralemet exprimés sous ue forme quatifiable et devraiet être objectifs et mesurables (exemple : chiffres, pourcetages, otatios et idices). I d i c a t e u r. Témoi de progrès (ou de l absece de progrès) das la réalisatio d objectifs; moye de mesurer les réalisatios effectives au regard des prévisios sur les plas de la quatité, de la qualité et de la rapidité. Il s agit d ue variable quatitative ou qualitative qui permet d évaluer de maière simple et fiable la réalisatio, le chagemet ou la performace. M M é d i a t i o.itervetio d u itermédiaire impartial, parfois das des domaies sesibles. Peut predre de ombreuses formes et cocerer des domaies politiques, l iformatio et le parteariat. Relève de l «appui coseil». Meilleures pratiques. Pratiques de plaificatio ou opératioelles dot l efficacité a été cofirmée das des coditios doées. Les meilleures pratiques servet à démotrer ce qui est efficace et ce qui e l est pas et à costituer et appliquer des coaissaces au sujet des foctioemets das des situatios et cotextes différets. Voir aussi «eseigemets tirés». Mesure de la performace. Collecte, iterprétatio et commuicatio de doées servat aux idicateurs de performace mesurat à quel poit les programmes ou projets fourisset des produits et cotribuet à la réalisatio de desseis supérieurs (buts et effets). Les mesures de la performace sot surtout utiles pour établir des comparaisos das le temps ou etre etités exécutat des tâches aalogues. Mécaisme d évaluatio de la performace des iitiatives e matière de développemet au regard des objectifs défiis. Est égalemet défiie comme la mesure objective de la maière dot ue etité réalise ses buts ou objectifs déclarés. Mesure supplétive ou idicateur supplétif. Variable remplaçat ue variable difficile à mesurer directemet. Méthode du tableau syoptique. Méthode qui établit ue relatio logique etre les pricipaux élémets de la coceptio des programmes et projets et cotribue à faire e sorte que l itervetio ait des chaces de réaliser des résultats mesurables. O peut utiliser la «matrice du tableau syoptique» pour récapituler et assurer la cohérece des effets, produits, activités et apports, aisi que pour détermier d importats risques ou hypothèses. Se défiit égalemet comme ue méthode de plaificatio et de gestio de programme axée sur les résultats. Cette méthode permet de détermier les élémets stratégiques (apports, produits, effets, buts) d u programme, leurs relatios de cause à effet, aisi que les élémets extérieurs pouvat détermier la réussite ou l échec du programme. Cette méthode suppose la mise e place d idicateurs de performace pour suivre et évaluer la réalisatio des buts des programmes

108 P Parteariat. Collaboratio etre istitutios à la réalisatio de buts et objectifs commus et coveus faisat appel aux forces idividuelles et maximisat les syergies. Des parteariats efficaces, où l apport de chaque parteaire est bie compris, sot au cetre de la réalisatio de résultats. Parties preates. Particuliers, groupes ou etités itéressés directemet aux objectifs et à l exécutio d u programme ou projet : commuautés dot le programme cherche à modifier la situatio; persoel de terrai exécutat des activités; resposables de projet et de programme qui superviset l exécutio; doateurs et autres décideurs qui détermiet la coduite à teir e ce qui cocere le programme; partisas, critiques et autres persoes qui jouet u rôle das l eviroemet du programme. Das le cas de l évaluatio participative, les parties preates jouet u rôle de plus e plus actif das l évaluatio e formulat les questios, e plaifiat l évaluatio, e réuissat les doées et e réglat les problèmes. Pertiece. Mesure das laquelle les objectifs d u programme ou projet demeuret valables tels qu ils ot été prévus au départ ou modifiés ultérieuremet à cause d u chagemet de coditios das le cotexte immédiat et l eviroemet extérieur de ce programme ou projet. S agissat d u effet, la mesure das laquelle il répod aux priorités atioales fodametales et bééficie de l appui des pricipaux parteaires. Plaidoyer. Plaidoyer e faveur de quelque chose ou de quelqu u, représetatio ou recommadatio de quelque chose ou de quelqu u. Le rôle de plaidoyer du PNUD cosiste à favoriser le programme de développemet humai aux échelos modial, régioal et atioal par le jeu d élémets tels qu allégemet de la dette, égalité etre les sexes, élimiatio de la pauvreté, chagemet climatique et boe gouverace. Relève de l «appui coseil». Pla de travail. Récapitulatio auelle ou pluriauelle de tâches, caledriers et resposabilités. Costitue u outil de suivi pour assurer la réalisatio de produits et des progrès das la productio d effets. Pla-cadre des Natios Uies pour l aide au développemet. Cadre de plaificatio et de ressources pour les programmes et projets de pays des orgaismes du système des Natios Uies. Élaboré sur la base de l aalyse de l évaluatio commue de pays. Portée de l évaluatio. Cetre d itérêt d ue évaluatio sur le pla des questios à examier, des limites, des élémets à aalyser et des élémets à exclure de l aalyse. Produits. Produits cocrets (y compris les services) d u programme ou projet qui sot écessaires à la réalisatio des objectifs de ce derier. Les produits coceret l achèvemet (plutôt que l exécutio) d activités et costituet le type de résultats sur lesquels les resposables ot ue forte ifluece. Exemple : services de vulgarisatio agricole offerts à des riziculteurs. Voir «résultats». R Rapport auel axé sur les résultats (RAAR). Pricipal istrumet de commuicatio d iformatio sur la performace et les progrès das la réalisatio des résultats par G L O S S A I R E 1 0 3

109 les etités opératioelles cocerat l évetail complet d itervetios du PNUD. Globalemet, le RAAR offre au PNUD ue évaluatio complète des pricipaux résultats réalisés et u exame des ressources au iveau de l orgaisatio. Il a pour objet de servir de base au retour d iformatio et à u ajustemet permaet. Rapport coût-efficacité. Relatio etre les coûts (apports) et les résultats d u projet. U projet est d u meilleur rapport coût-efficacité s il réalise ses résultats au moidre coût par rapport à d autres projets visat les mêmes résultats. Recommadatio. Suggestio de mesures à predre das des coditios doées, les exécutats état désigés. Exemple : à titre de stratégie pour faire accepter les résultats de ses recherches par les utilisateurs visés, l Istitut d agroomie devrait créer u cetre d échage d iformatio avec les utilisateurs visés. Grâce à u programme systématique d échage d iformatio, l Istitut devrait commuiquer aux utilisateurs des reseigemets sur les ouvelles techologies e cours de développemet et solliciter leurs vues sur la maière d améliorer ces techologies. Reforcemet des capacités. Opératio par laquelle des particuliers, groupes, org a i s m e s et pays reforcet, amélioret et orgaiset leurs systèmes, ressources et coaissaces apparaissat das leur aptitude à remplir des foctios, résoudre des problèmes et fixer et réaliser des objectifs, idividuellemet et collectivemet. Resposabilité. Resposabilité liée à la justificatio des dépeses, décisios ou résultats de l exercice du pouvoir et des foctios officielles, y compris des foctios déléguées à u groupe ou ue persoe. Das le cas des resposables de programme, il s agit de la resposabilité de démotrer aux parties preates qu u programme est efficace et correspod aux résultats escomptés tout e répodat aux exigeces juridiques et fiacières. Pour les orgaisatios qui favoriset l appretissage, la resposabilité peut aussi se mesurer à la maière dot les cadres utiliset les résultats du suivi et de l évaluatio. La resposabilité comporte égalemet l obligatio de doer ue image précise et juste de l efficacité et des résultats des opératios. Elle cocere l obligatio qu ot les parteaires du développemet d agir selo des attributios, rôles et prestatios clairemet défiis et d assurer u suivi, ue évaluatio et ue iformatio crédibles. Retour d iformatio. Orgaisatio et coditioemet des iformatios pertietes proveat d activités de suivi et d évaluatio, diffusio de cette iformatio auprès de ses destiataires et surtout exploitatio de cette iformatio e vue de la prise de décisios et de la promotio de l appretissage das ue orgaisatio. E tat que produit, le retour d iformatio désige l iformatio produite au moye du suivi et de l évaluatio et commuiquée aux parties itéressées. Peut comporter costatatios, coclusios, recommadatios et eseigemets tirés de l expériece. S Sources secodaires. Sources telles que rapports d étape, rapports auels, otes, études sectorielles et doées de référece. Fourisset les doées de base et de référece et les ressources écessaires à l évaluatio. Suivi des effets. Collecte et aalyse de doées e vue de mesurer la performace d u programme, projet, parteariat, réforme géérale ou appui coseil pour ce qui est de la 1 0 4

110 réalisatio de effets de développemet au iveau du pays. U esemble d idicateurs défiis est élaboré pour suivre régulièremet les pricipaux aspects de la performace. La performace reflète l efficacité das la trasformatio d apports e produits, résultats et impacts. Suivi. Foctio cotiue visat essetiellemet à doer aux resposables et pricipales parties preates u retour d iformatio régulier et de premières idicatios cocerat les progrès ou l absece de progrès das la réalisatio des effets visés. Il s agit de suivre l exécutio ou la situatio par rapport au projet ou attete sur la base de ormes prédétermiées. Le suivi suppose gééralemet la collecte et l aalyse de doées sur les procédures, stratégies et résultats de l exécutio aisi que la recommadatio de mesures correctives. Système de otatio. Istrumet permettat de former et de cofirmer u jugemet quat à la pertiece, à la performace et au succès d u programme ou projet au moye d ue échelle de codes umériques, alphabétiques ou descriptifs. T Termes de référece. Défiitio des travaux et du caledrier à exécuter par l équipe d évaluatio. Rappelle le cotexte et précise la portée de l évaluatio, idique les pricipales raisos de l évaluatio et les questios posées. Récapitule les coaissaces dispoibles, ébauche ue méthode d évaluatio et décrit la répartitio des tâches et des resposabilités etre les participats à l évaluatio. Précise les qualificatios requises des équipe ou particuliers aisi que les critères à appliquer pour costituer ue équipe d évaluatio. V Validité. Précisio de la mesure ou du test. Pour être valides, les évaluatios doivet teir compte de tous les facteurs pertiets, état doé le cotexte global de l évaluatio, et leur accorder le poids qu il coviet au cours de la formulatio des coclusios et recommadatios. G L O S S A I R E 1 0 5

111 Documets et sites Web utiles Les documets, sites Web et autres ressources ci-après ot aidé à l élaboratio du cadre de suivi et d évaluatio du PNUD. Ils costituet ue source d iformatios détaillées sur cert a i s sujets abordés das le préset Guide. La plupart des référeces sot accompagées d ue brève descriptio de leur coteu. Marche à suivre pour obteir ces ressources : 1. Cosultez le site Web correspodat; 2. Cosultez le site Web du Bureau de l évaluatio du PNUD ( et suivez les lies dispoibles jusqu aux documet; ou 3. Commadez u exemple imprimé au Bureau de l évaluatio du PNUD. Les documets sot classés selo les thèmes suivats : A. Programmatio et établissemet de rapports au PNUD B. Gestio axée sur les résultats C. Directives des orgaismes des Natios Uies et des doateurs cocerat le suivi et l évaluatio D. Methodes et outils de suivi et d évaluatio E. Idicateurs et mesure F. Parteariats G. Appretissage et gestio du savoir H. Reforcemet des capacités d évaluatio I. Itervetio e cas de coflit et de crise J. Pauvreté K. Égalité etre les sexes L. Démocratie et gouverace M. Autres référeces 1 0 7

112 A.Programmatio et établissemet de rapports au PNUD P N U D, Mauel de programmatio du PNUD, avril 1999, o rg / b d p / p m PNUD, Cadre de fiacemet pluriauel, Rapport de l Admiistrateur, 1998 PNUD, Guidelies o the Aual Review ad ROARs for 2000 (révisé le 15 décembre 1999), PNUD, Chage Maagemet, h t t p :// i t r a. u d p g/bom/maitopics/services/bp/bpmai.html. o r Ce site cotiet des documets de base liés à la gestio du chagemet au PNUD, y compris le documet d orietatio géérale sur les bureaux de pays de l aveir et les plas d activités de l Admiistrateur PNUD, Balaced Scorecard, Ce site a pour objet de répodre aux questios relatives à la otio de tableau de bord stratégique et à fourir des iformatios au sujet des progrès accomplis das la costitutio et l applicatio du tableau de bord stratégique du PNUD. Ce derier devrait permettre de mesurer de maière stratégique la maière dot l orgaisatio se repositioe coformémet à la perspective et aux objectifs du pla d activité. Le site cotiet des idicateurs et des objectifs das le cadre du futur système de gestio de la performace du PNUD. Directives relative au Bila commu de pays, avril 1999, Directives cocerat le Pla-cadre des Natios Uies pour l aide au développemet, avril 1999, Directives cocerat le Rapport auel 2000 du Coordoateur résidet des Natios Uies, PNUD, Groupe de supervisio, Discussio Paper o Oversight, 22 ovembre B. Gestio axée sur les résultats PNUD, Results Based Maagemet Ceter Gateway, Le Système de gestio axée sur les résultats est ue base de doées e lige qui cotiet des iformatios au iveau de pays, des régios et de la plaète au sujet du cadre de résultats stratégiques, du rapport auel axé sur les résultats et du pla de gestio des bureaux de pays. PNUD, Techical Note o UNDP Results Framework, Ce site cotiet des otes techiques et des documets didactiques sur le cadre de résultats stratégiques, le Rapport auel axé sur les résultats, le pla de gestio des bureaux de pays, le tableau stratégique des ressources et l évaluatio des compéteces e matière de résultat. Bureau du Vérificateur gééral du Caada. Mise e œuvre de la gestio axée sur les résultats, Implemetig Results-Based Maagemet, 1 0 8

113 Il s agit d ue brève sythèse des eseigemets tirés de l applicatio de la gestio axée sur les résultats das plusieurs cotextes caadies et iteratioaux. Biedijk, Aette, RBM i the developmet cooperatio agecies: A review of experiece, Evaluatio Capacity Developmet i Asia, PNUD/NCSTE/BM, _cap_dev_chia.pdf Orgaisatio des Natios Uies pour l alimetatio et l agriculture, Budgétisatio axée sur les résultats à la FAO, Rome, février 2001). Iayatullah, C., PNUD Pakista, A Review of the 1999 Aual progress reports from the stadpoit of RBM, CCF for Pakista, e préparatio. Marc Holzer, Natioal Ceter for Public Productivity, États-Uis, «Public Performace Evaluatio ad Improvemet: A review of experiece», Evaluatio Capacity Developmet i Asia, PNUD/NCSTE/BM, 2000, To ff l o - Weiss, Melissa, Bertrad, Jae T., Terrell, Staley S. «The Results Framework A Iovative Tool for Program Plaig ad Evaluatio.» Evaluatio Review, Vol. 23, No. 3, jui Cet article présete ue étude de cas de l élaboratio et de l applicatio d u «cadre de résultats»d ue iitiative régioale fiacée par l USAID cocerat la prévetio du VIH/sida e Amérique cetrale. Il est apparu que le cadre de résultats présete de ombreux avatages par rapport aux méthodes d évaluatio traditioelles faisat appel à des cosultats extérieurs. État doé qu il couvre toute la durée du projet, le cadre de résultats offre au persoel du programme, aux doateurs, aux parteaires et aux évaluateurs l occasio de travailler e équipe et de réuir et d exploiter des doées e vue de la plaificatio, de l exécutio et de l évaluatio du projet. PNUD, Measurig & Maagig Results: Lessos for Developmet Cooperatio, Ce rapport examie l état de la mesure de la performace : ce qu elle est, les types d activités qu elle suppose, les orgaismes de développemet qui l utiliset et à quelles fis ils l utiliset, aisi que les eseigemets que l o peut tirer de leur expériece et les meilleures pratiques. Certaies expérieces d etités du secteur public et d orgaismes de développemet sot étudiées afi de détermier la place relative occupée par la mesure de la performace. Les eseigemets tirés, les meilleures pratiques et des recommadatios sot idiqués pour chaque org a i s m e de développemet examié. (Dispoible auprès du Bureau de l évaluatio) C. Directives des orgaismes des Natios Uies et des doateurs cocerat le suivi et l evaluatio DANIDA, «Evaluatio Guidelie», OCDE, Groupe de travail sur l évaluatio de l assistace, Glossary of Terms i Evaluatio ad Results-Based Maagemet, 2001, DOCUMENTS ET SITES WEB UTILES 1 0 9

114 Guide de référece coteat u aperçu des termes figurat das les glossaires des membres de l OCDE et les bases de doées de termes et défiitios de 15 orgaismes. OCDE, Comité d aide au développemet, Priciples for Evaluatio of Developmet Assistace, 1991, Le CAD a élaboré ue série de pricipes gééraux applicables aux pricipaux domaies de la programmatio et de la gestio de l assistace, otammet l évaluatio des projets, l aide au programme et la coopératio techique. Ces pricipes éocet les vues des membres du CAD au sujet des pricipales exigeces de l évaluatio, à partir des politiques et pratiques actuelles aisi que de l expériece des orgaismes doateurs e matière d évaluatio et de retour d iformatio sur les résultats. OCDE, Comité d aide au développemet. Review of the DAC Priciples for Evaluatio of Developmet Assistace, 1998, L étude porte sur l applicatio des pricipes du poit de vue de l évaluatio de leur impact, de leur utilité et de leur pertiece. Ces pricipes sot les suivats : objet de l évaluatio, impartialité et idépedace, crédibilité, utilité, participatio des doateurs et des bééficiaires, coopératio des doateurs, programmatio de l évaluatio, coceptio et exécutio des évaluatios, commuicatio de rapports, diffusio et retour d iformatio, et systèmes d évaluatio décetralisés. OCDE/CAD, Critères d évaluatio, h t t p :// w w w. o e c d. g//dac/evaluatio/htm/evalcrit.htm o r Ce site cotiet les critères gééraux applicables à l évaluatio et au suivi qui sot approuvés par les membres du Comité d aide au développemet de l OCDE. O y trouve égalemet les questios pricipales au titre de chaque critère (pertiece, efficacité, efficiece, impact et viabilité). OCDE, Service de la gestio, Improvig Evaluatio Practices: Best Practice Guidelies for Evaluatio ad Backgroud Paper, 1999, Les directives défiisset les pricipales questios et pratiques permettat de mieux exploiter l évaluatio. Elles sot axées sur la gestio des activités d évaluatio das le secteur public et la gestio des évaluatios particulières plutôt que sur des questios de méthode. Les meilleures pratiques coceret la défiitio d objectifs clairs pour l évaluatio; l applicatio d évaluatio, à l amélioratio de la prise des décisios, de l affectatio des ressources et de la resposabilité; la gestio de l évaluatio de faço qu elle reste ciblée; la participatio des parties preates à l évaluatio; et la commuicatio, itere et extere, des résultats de l évaluatio. OCDE, Comité d aide au développemet, Effective Practices i Coductig a Joit Multi-Door Evaluatio, 1998, Ce rapport présete la marche à suivre pour plaifier et exécuter ue évaluatio cojoite de programmes de développemet e cas d itervetio de plus d u o rgaisme doateur. Avec le reforcemet du rôle du parteariat das le fiacemet et la fouriture de l aide au développemet, il faudra de plus e plus d évaluatio cojoite et d eseigemets tirés de diverses formules de coopératio cocertée pour le développemet. Ce guide costitue u outil utile pour la promotio de l évaluatio commue et de la collaboratio etre orgaismes doateurs. Il est 1 1 0

115 destié aux resposables des orgaismes doateurs participat à la plaificatio et à l exécutio d évaluatios cojoites de programmes d aide au développemet meés avec d autres parteaires doateurs. Directio du développemet et de la coopératio (Suisse), Exteral Evaluatio: Are we doig the right thigs? Are we doig thigs right? Jui Les directives set réparties e deux sectios. La première partie expose la termiologie et les pricipes de l évaluatio. Quat à la deuxième partie, elle examie chacue des ciq étapes d ue évaluatio extere. Ces directives s adresset essetiellemet aux orgaisatios qui parraiet des évaluatios ou y participet et sot chargées de l applicatio de leurs résultats. FENU, Moitorig Guidelies, FNUAP, Moitorig ad Evaluatio Methodologies: The Programme Maager s M&E Toolkit, 2000, Orietatio et optios offertes aux bureaux de pays du FNUAP pour ce qui est de l amélioratio des activités de suivi et d évaluatio das le cotexte de la gestio axée sur les résultats. Les bureaux de pays du PNUD peuvet exploiter e particulier les outils qui examiet la participatio des parties preates à l évaluatio, la plaificatio des évaluatios, la collecte des doées, la gestio de l évaluatio et la commuicatio et l exploitatio des résultats de l évaluatio. UNICEF, A UNICEF Guide for Moitorig ad Evaluatio: Makig a Differece? Février (à vérifier) L objet de ce mauel est les politiques et procédures de suivi et d évaluatio de l UNICEF. La sectio I est cosacrée à l importace du suivi et de l évaluatio. La sectio II cocere l orgaisatio du suivi et de l évaluatio par la défiitio des rôles et resposabilités à l UNICEF (sièges et bureaux de pays) aisi que le rôle de gouveremets. La sectio III présete le champ d applicatio du suivi et la maière dot il peut être exploité au iveau des projets et programmes et des résultats supérieurs du développemet (comme par exemple la situatio des femmes et des efats). La sectio IV présete le champ d applicatio des évaluatios; les directives cocerat la plaificatio, la gestio et l exécutio des évaluatios; et l exploitatio des résultats des évaluatios. USAID, A Sourcebook o Results-Orieted Grats ad Cooperative Agreemets, Il s agit d u mauel de base électroique pour la coceptio, la distributio et l admiistratio des subvetios axées sur les résultats de l USAID et l accord de coopératio sur l exécutio des activités d aide au développemet. Ce documet est essetiellemet destié au persoel de l USAID et à ses parteaires du développemet mais cotiet des orietatios et suggestios utiles das les domaies suivats : Défiitio des itervetios d aide axée sur les résultats; Gestio axée sur les résultats au moye de parteariats avec les gouveremets, les orgaisatios o gouveremetales et d autres etités de la société civile et le secteur privé; Collecte, aalyse et commuicatio d iformatios sur la performace globale au regard des résultats visés; Applicatio des iformatios sur le suivi et l évaluatio des résultats à la prise DOCUMENTS ET SITES WEB UTILES 1 1 1

116 de décisios, itroductio aux besois d ajustemet de maière souple et mise e lumière de la réalisatio des résultats W.K. Kellogg Foudatio, Evaluatio Hadbook, 1998, Ce Guide est coçu pour les évaluatios au iveau des projets. Il offre u cadre de réflexio au sujet de l évaluatio servat d outil de programmatio et défiit la marche à suivre pour cocevoir et meer des évaluatios. Il cotiet e outre des iformatios de base qui permettrot au persoel chargé du projet de procéder à l évaluatio sas l aide d u évaluateur extérieur. Baque modiale, «Moitorig ad Evaluatio Chapter (projet)», Moitorig ad Evaluatio for Poverty Reductio Strategies, 2000, L ouvrage de référece sur les stratégies de réductio de la pauvreté est u documet évolutif qui vise à aider les pays à élaborer et reforcer des stratégies de réductio de la pauvreté. L objet du chapitre cosacré au suivi et à l évaluatio est d orieter l élaboratio de systèmes de suivi des résultats et de stratégies d évaluatio d impact. O trouvera e outre u mode d emploi des résultats du suivi et de l évaluatio afi de créer u retour d iformatio, les moyes de favoriser la participatio aux activités de suivi et d évaluatio et la maière de reforcer les capacités istitutioelles aux fis de suivi des résultats et d évaluatio d impact. Baque modiale, Evaluatio, Moitorig ad Quality Ehacemet Commuity Website, Ce site Web cotiet des études d évaluatio de la Baque modiale dot ue série d évaluatios documetées effectuées au iveau des pays, des secteurs, des thèmes et des impacts et présete les meilleures pratiques et eseigemets tirés. Des lies sot idiqués avec les mauels ou outils de suivi et d évaluatio de la Baque modiale cocerat les idicateurs et la mesure de la pauvreté, aisi que d autres groupes d évaluatio de la Baque modiale. D. Methodes et outils de suivi et d evaluatio PNUD, Bureau de l évaluatio et de la plaificatio stratégique, Who Are the Questio-makers? A Participatory Evaluatio Hadbook, , Ce guide viet compléter le guide du suivi et de l évaluatio des résultats du PNUD et s adresse à ceux qui cherchet u complémet d orietatio au sujet des méthodes d évaluatio participative. O y trouvera u bref aperçu de l évolutio de la méthode participative, ue comparaiso de l évaluatio participative avec des méthodes plus traditioelles, l exame du rôle de la participatio au PNUD, ue descriptio du cadre de l évaluatio participative aisi qu u exame de quelques questios pratiques liées à l exécutio de ce type d évaluatio. Baque iteraméricaie de développemet, A Maagemet Tool for Improvig Project Performace, Ce guide d évaluatio destié au persoel du siège et des bureaux hors siège de la Baque iteraméricaie de développemet présete plusieurs outils d évaluatio aux iveaux de la coceptio, de l exécutio ou du suivi des projets et de l achèvemet des projets et de l impact

117 Fods des Natios Uies pour l eface (UNICEF), A Guide for Moitorig ad Evaluatio, Uited States Agecy for Iteratioal Developmet (USAID), Ceter for Developmet Iformatio ad Evaluatio (CDIE) Performace Moitorig ad Evaluatio Tips, The Gateway to Developmet Iformatio (eldis), Methods, Tools ad Mauals, Ce site cotiet u évetail de directives et de mauels qui aiderot les praticies du développemet à meer des activités de suivi et d évaluatio participatives. The M ad E News, Il s agit d u service d iformatio cosacré aux méthodes de suivi et d évaluatio itéressat les projets de développemet comportat des objectifs de développemet social. Research Methods Kowledge Base, Il s agit d u mauel détaillé iformatisé qui aborde tous les poits d u cours d iitiatio classique aux méthodes de recherche sociale. Il couvre la totalité des opératios de recherche, formulatio des questios, échatilloage, mesure (equêtes, mesure qualitative), coceptio de la recherche, aalyse des doées et rédactio de l étude. Il examie égalemet les grads fodemets théoriques et philosophiques de la recherche, dot l idée de la validité das la recherche, la fiabilité des mesures et la déotologie. USAID, Automated Directives System (ADS), Chapter 200 Itroductio: Maagig for Results, Fuctioal series 200 Programmig Policy, Ce site cotiet les directives écrites officielles de l USAID cocerat les politiques, procédures et délégatios de pouvoir pour la coduite des opératios de l Agece. O y trouve égalemet des coseils cocerat la réalisatio de résultats (chapitre 200), la plaificatio (chapitre 201), l évaluatio et l appretissage (chapitre 203) USAID, Ceter for Developmet Iformatio ad Evaluatio, Le cetre d iformatio et d évaluatio pour le développemet de l USAID publie u large évetail d évaluatios d impact, d évaluatios de programme et d opératio, de rapports de gestio axée sur les résultats, de coseils e matière de suivi de la performace aisi que l USAID Evaluatio News. Ces publicatios résumet et commuiquet l efficacité des iitiatives de développemet durable de l USAID, les eseigemets tirés du portefeuille d activités de développemet de l Agece et les «meilleures pratiques» des opératios de développemet repesées de l USAID. O trouvera das ce site l accès à plus de 60 publicatios produites par le cetre depuis Les rapports y sot ajoutés au fur et à mesure. USAID Evaluatio Publicatios, Published , d e c. o rg/usaid_eval/ Ce site présete plusieurs publicatios cosacrées à l évaluatio:. Coductig a Participatory Evaluatio, TIPS No 1, Cette ote défiit l évaluatio participative, ses caractéristiques et ses objectifs. DOCUMENTS ET SITES WEB UTILES 1 1 3

118 Elle examie les différeces etre évaluatio participative et évaluatio traditioelle. Efi, elle présete les grades étapes d ue évaluatio participative, y compris le momet opportu, la détermiatio du iveau de participatio et la réalisatio d u cosesus au sujet des résultats.. Coductig Key Iformat Iterviews, TIPS, No 2, Cette ote présete les etreties avec des equêtés essetiels, qui costituet ue techique d évaluatio rapide et peu coûteuse. Elle aborde les avatages et les icovéiets de la méthode, la maière d e optimiser l utilité aisi que des istructios précises sur so applicatio... Preparig a Evaluatio Scope of Work, TIPS, No 3, Cette ote cotiet des suggestios pour la préparatio d u bo champ d applicatio de l évaluatio. Elle présete les différets élémets du champ d applicatio et soulige le type d iformatio requis au titre de chacu d eux.. Usig Direct Observatio Techiques, TIPS No 4, Cette ote présete l observatio directe qui costitue u exemple de méthodes rapides et peu coûteuses de collecte d iformatio au sujet de la performace d itervetio e matière de développemet. Elle examie les avatages et les limites de la méthode, la maière d e optimiser l utilité et doe des istructios claires e vue de so applicatio.. Usig Rapid Appraisal Methods, TIPS, No 5, Cette ote présete u évetail de méthodes peu coûteuses appelées méthodes d évaluatio rapide, qui servet à réuir des iformatios au sujet de la performace d itervetio e matière de développemet. Elle e examie les forces et les faiblesses et idique quad elles sot appropriées.. Preparig a Performace Moitorig Pla, TIPS, No 7, Cette ote présete les élémets d u pla de suivi de la performace et cotiet des coseils pour l établissemet de ce pla e vue de la collecte systématique et rapide de doées sur la performace.. Establishig Performace Targets, TIPS, No 8, Cette ote défiit les objectifs de la performace, les raisos de leur importace aisi que les sources et méthodes d iformatio applicables à la fixatio d objectifs.. Coductig Focus Group Iterviews, TIPS, No 10, Cette ote défiit les etreties avec des groupes de réflexio, examie les avatages et les limites de la méthode, idique le meilleur momet et l objet de so applicatio, et présete ue méthode claire pour l orgaisatio et la coduite d etreties avec des groupes de réflexio de faço à obteir des résultats de qualité.. The Role of Evaluatio i USAID, TIPS, No 11, Cette ote examie le ouveau rôle de l évaluatio à l Agece, le chagemet d orietatio de l évaluatio das u cotexte axé sur les résultats e e justifiat l importace. Par ailleurs, elle présete les pricipales étapes de la plaificatio et de l exécutio d ue évaluatio. Guidelies for Idicator ad Data Quality, TIPS, No 12, Cette ote décrit les critères et procédures de l USAID cocerat la qualité des 1 1 4

119 idicateurs et des doées das les systèmes de suivi de la performace au titre de la gestio axée sur les résultats.. Moitorig the Policy Reform Process, TIPS, No14, Cette ote examie les questios et problèmes liés à la coceptio et à l applicatio de systèmes de suivi des réformes géérales. E partat des meilleures pratiques des missios de l USAID das le domaie des réformes géérales, le documet présete les caractéristiques d u bo système de suivi, fourit des exemples de jalos au cours de la formulatio et de l adoptio des politiques et de l applicatio des politiques qui costituet la première étape das le chagemet du suivi, et développe trois méthodes de suivi des réformes géérales : quatitative, qualitative et composite, e e précisat les forces et les faiblesses... Measurig Istitutioal Capacity, TIPS, No 15, O trouvera das ce documet des reseigemets sur la mesure de la capacité istitutioelle, aisi que quelques outils permettat de mesurer la capacité de toute ue orgaisatio et d autres examiat les différetes composates ou foctios d ue orgaisatio. Les capacités iteres des orgaisatios sot examiées. Le documet porte sur les questios suivates : différetes approches de la mesure pour des types particuliers de reforcemet des capacités, forces et faiblesses de chaque méthode, collecte des doées et caractère participatif de l opératio de mesure. Istitut de la Baque modiale, Traiig Evaluatio Toolkit (Versio 1.3) Mis au poit par le service de l évaluatio de l Istitut de la Baque modiale, cet esemble d outils se compose de schémas et de directives permettat à quicoque ayat ou o ue coaissace préalable de l évaluatio, d effectuer ue évaluatio de formatio de iveau I. L esemble d outils peut servir à élaborer des questioaires sollicitat le retour d iformatio des participats cocerat les activités de formatio, réuir les doées et mettre les otatios e tableau. Worthe, Blaie R., James R. Saders et Jody Fitzpatrick, Program Evaluatio: Alterative Approaches ad Practical Guidelies, 2ème Editio, White Plais, NY: Logma Ic., Cet ouvrage costitue u guide de référece pour les évaluateurs et ceux qui s itéresset à l évaluatio des programmes. Il se compose des parties suivates : Méthodes et modèles d évaluatio; Collecte, aalyse et exploitatio de doées qualitatives et quatitatives; Directives pratiques pour la plaificatio, l exécutio et l exploitatio d évaluatios, y compris des listes de cotrôle et guides de procédure; Glossaire de l évaluatio. Agege suédoise du développemet iteratioal, (SIDA), Owership i Focus? Discussio paper for a plaed evaluatio, Sida Studies i Evaluatio, 00/5, 2000, Ce documet examie la otio de maîtrise et présete les opiios courates au sujet des causes et des effets d ue faible maîtrise d u pays parteaire. Il présete ue série de questios pouvat être examiées das le cadre d ue évaluatio s occupat de maîtrise. DOCUMENTS ET SITES WEB UTILES 1 1 5

120 Baque modiale, Impact Evaluatio, avril 2001, Ce site cotiet des iformatios et des ressources à l itetio des particuliers et des orgaisatios s occupat de l évaluatio et de l amélioratio de l efficacité des projets et programmes visat à réduire la pauvreté. E. Idicateurs et mesure PNUD, Selectig Key Results Idicators, docstore1/idex_fial/methodology/documets/idicators.pdf OCDE, CAD, Developmet idicators, Ce site explique le oyau d idicateurs élaboré par le CAD de l OCDE pour suivre la performace et les stratégies de développemet. Il cotiet des cartes, des graphiques et des lies vers des sources de doées pour tous les idicateurs du oyau. Il présete u tableau syoptique du bie-être humai sous ses aspects écoomiques, sociaux et eviroemetaux. ELDIS Participatory Moitorig ad Evaluatio Guide: Idicators, Ce site offre des lies et des iformatios cocerat plusieurs travaux cosacrés à l élaboratio participative d idicateurs. Les documets cités cotieet des exemples d idicateurs. Baque modiale, Départemet de l évaluatio des opératios, Performace Moitorig Idicators: A hadbook for task maagers, , Ce guide présete le cotexte du cadre logique et de la typologie des idicateurs; décrit l élaboratio et l applicatio des idicateurs à la coceptio, à la supervisio et à l évaluatio des projets; examie les questios importates liées au bo usage des idicateurs. Il fourit e outre des exemples d idicateurs de performace élaborés pour des projets fiacés par la Baque et idique commet les idicateurs sot mis au poit sur la base des objectifs de développemet de chaque projet. Fuell, Sue C., «Developig ad Usig a Program Theory Matrix for Program Evaluatio ad Performace Moitorig», New Directios for Evaluatio, No 87, autome L auteur examie les pricipales caractéristiques de la méthode de la théorie des programmes et motre commet e améliorer l utilité pour le suivi et l évaluatio: e itégrat les iformatios relatives au cotexte du programme, e défiissat les critères de réussite et des comparaisos afi de juger et d iterpréter les iformatios relatives à la performace, et e désigat les sources d iformatio sur la performace. Holzer, Mark., Natioal Ceter for Public Productivity, USA. «Public Performace Evaluatio ad Improvemet: A review of experiece», Evaluatio Capacity Developmet i Asia, PNUD, 2000,

121 F. Parteariats Istitut de recherche pour le développemet, Cet Istitut se cosacre à la promotio de la participatio de groupes sousreprésetés et défavorisés au développemet social, politique et écoomique. Das le domaie du parteariat itersectoriel, l Istitut aide à idetifier des stratégies et reforcer la capacité de représetats de la société civile de travailler avec les dirigeats des secteurs privé et public à l élaboratio de politiques efficaces. Kowledge Resource Group, L objectif du KRG est de rassembler, aalyser, relier et diffuser les eseigemets tirés au sujet de parteariats impliquat le mode des affaires, les pouvoirs publics et la société civile. Le groupe part de la base de coaissace existate au sujet de la costitutio de parteariats aisi que de l expériece e matière d élaboratio d outils et de programmes propres à accélérer l appretissage et à reforcer la viabilité des parteariats état doé que des eseigemets sot tirés et appliqués. Parterships for Poverty Reductio, h t t p :// w w w. w o r l d b a k. g/ppr/eglish/ppr_eg.html o r Ce site est parraié par l Iter-America Foudatio, le PNUD et la Baque modiale. Il présete l esemble des coaissaces d u groupe de chercheurs et de praticies au sujet des effets de parteariats sur la réductio de la pauvreté e Amérique latie et das les Caraïbes Stregthe Parterships ad Improve Aid Effectiveess, Ce site fourit des rapports de suivi et des rapports d étape traduisat ue forte collaboratio stratégique avec d autres istitutios multilatérales. Grâce à des lies, il doe accès à des iformatios au sujet du reforcemet de parteariats et de l amélioratio de l efficacité de l assistace. USAID, Parterig for Results: Assessig the Impact of Iter- S e c t o r a l Parterig, 1999, Ce guide cocere le choix d idicateurs, le suivi des progrès et la documetatio des résultats des parteariats itersectoriels etre pouvoirs publics, mode des affaires et société civile. Il examie égalemet certais problèmes propres à l évaluatio des parteariats itersectoriels. Efi, il propose u cadre à utiliser lors du choix des idicateurs pour mesurer l impact des parteariats itersectoriels et examie les idicateurs existats etrat das ce cadre. Ce guide se veut souple et permet aux utilisateurs de choisir à partir d u meu d idicateurs afi qu ils soiet adaptés aux besois particuliers de chaque parteariat. USAID, New Parterships Iitiative (NPI): Resource Guide, Il s agit d ue approche globale du développemet durable faisat appel à des parteariats stratégiques et supposat la participatio active de la société civile, du mode des affaires et des istitutios de gouverace locale démocratique afi de reforcer la capacité des commuautés locales de jouer u rôle moteur das leur propre développemet. Le guide des ressources de la NPI rassemble les résultats d expérieces pilotes das 15 missios de l USAID et offre plusieurs outils de programmatio afi d aider à l itégratio de la NPI das les portefeuilles des missios de l USAID. DOCUMENTS ET SITES WEB UTILES 1 1 7

122 USAID, Participatory Developmet, h t t p : / / w w w.usaid.gov/about/part_devel/docs.html Ce site Web cotiet tous les documets qui sot le fruit de l iitiative participative de l USAID, Il cotiet égalemet des doées au sujet du Réseau de participatio modiale (GP-NET), liste de diffusio, qui permet aux praticies du développemet du mode etier d échager des iformatios et des idées et d examier des questios liées au développemet participatif. Cette page offre égalemet des lies vers d autres sites cosacrés au développemet participatif. World Bak Parterships, Cette page cotiet des syopsis et permet des poits de cotact cocerat quatre parteariats de la Baque modiale, dot les parteariats écoomiques pour le développemet. Il s agit d u réseau modial iformel d etreprises, d org a i s m e s de la société civile et de miistères, qui a pour objet de démotrer les effets positifs de parteariats trisectoriels e partat de l exemple de plusieurs projets ciblés auxquels participet le mode des affaires, les pouvoirs publics et des orgaismes de la société civile et e leur fourissat des apports. L objectif du réseau est de démotrer que ces parteariats sot avatageux pour chacue des trois parties, peuvet être beaucoup plus largemet utilisés das le mode etier et se prêtet à u élargissemet aux iveaux atioal et régioal. G. Appretissage et gestio du savoir Base de doées cetrale sur l évaluatio du PNUD, Il s agit d ue base de doées de la mémoire istitutioelle coteat des reseigemets au sujet de plus de évaluatios de projet et de programme du PNUD. Evaluatio Pla Database du PNUD (EVP), Grâce à cette base de doées, les bureaux de pays du PNUD et d autres etités peuvet préparer leurs projets d évaluatio respectifs e lige et les échager. Base de doées du Comité d aide au développemet (CAD), Ce site cotiet ue liste de sythèses d évaluatio mise à la dispositio du grad public par plusieurs orgaisatios iteratioales de développemet. Departmet for Iteratioal Developmet (DFID), Project Evaluatio, Ce site permet l accès à des versios e lige de toutes les sythèses d évaluatio du départemet et permet de commader des rapports d évaluatio complets. Orgaisatio iteratioale du Travail (OIT), PROGEVAL, P R O G E VAL cotiet des référeces bibliographiques et des résumés de rapports d évaluatio sur des programmes et projets de coopératio techique exécutés par l OIT et d autres orgaisatios iteratioales. O y trouve aussi des revois à des directives d évaluatio et autres publicatios méthodologiques sur l évaluatio

123 Fods iteratioal de développemet agricole (FIDA), Lessos through Evaluatio, Ce site éumère les eseigemets tirés des évaluatios meées par le FIDA. Ces eseigemets sot éumérés par thèmes et régios. Fods d équipemet des Natios Uies (FENU), Evaluatio Idex, Ce site éumère les évaluatios de projet du Fods d équipemet, et cotiet des eseigemets e vue de la coceptio de projets futurs. Bellaet Iteratioal Secretariat, Kowledge Maagemet Implicatios ad Applicatios for Developmet Orgaizatios, À partir d u atelier, ce rapport précise, examie et situe la gestio du savoir das les cultures et pratiques de la commuauté iteratioale du développemet. Ciq thèmes sot étudiés: compréhesio du savoir, défiitio de l idustrie du savoir et objectifs stratégiques, gestio de la structure et du mécaisme du savoir, créatio d ue culture et d ue dyamique du savoir et promotio de réseaux de gestio du savoir. Istitute of Developmet Studies, Efela: evaluatio feedback for effective learig ad accoutability: sythesis report, juillet Ce rapport récapitule les résultats d ue equête sur les politiques, pratiques, philosophies et approches du retour d iformatio d évaluatio des membres de l OCDE. Il examie les problèmes et dilemmes auxquels les orgaismes ot à faire face e cherchat à améliorer leurs pratiques e matière de retour d iformatio d évaluatio, et met e avat les domaies où se dégage ue ouvelle réflexio et où de ouvelles possibilités s offret pour ce qui est d améliorer les pratiques de retour d iformatio d évaluatio et de lies etre le retour d iformatio d évaluatio e vue d u appretissage efficace ave d autres objectifs et iitiatives sur le terrai des politiques de développemet. Le rapport dégage quelques grads domaies de réflexio et d appretissage et idique le développemet de ouvelles pratiques. Morte T. Hase, Niti Nohria, ad Thomas Tierey, «What s Your Strategy for Maagig Kowledge?», Harvard Busiess Review, mars-avril Cet article examie les pratiques de gestio du savoir d etreprises de plusieurs secteurs, et e particulier de sociétés de cosultats e gestio. Il défiit deux stratégies : la stratégie de codificatio et la stratégie de persoalisatio, et examie le choix de la stratégie qui coviet aux différets secteurs. Les auteurs fot valoir qu à mettre l accet sur la mauvaise approche, e foctio de la ature du domaie d ue orgaisatio, ou à les rechercher l ue et l autre simultaémet, o peut uire à l etreprise. H. Reforcemet des capacites d evaluatio PNUD, Evaluatio Capacity Developmet i Asia, Ce rapport présete les travaux de la coférece sur l évaluatio et le reforcemet des capacités teue à Beijig les 27 et 28 octobre Les objectifs de cette coférece étaiet au ombre de quatre : a) stimuler la réflexio sur le rôle de DOCUMENTS ET SITES WEB UTILES 1 1 9

124 l évaluatio das la boe gouverace et la réforme du secteur public; b) examier les iteractios etre la gestio axée sur les résultats et le suivi et l évaluatio das le cotexte de la boe gouverace; c) idetifier les stratégies et ressources propres à susciter l offre et la demade de suivi et d évaluatio das les pays d Asie; et d) ecourager et appuyer la créatio de réseaux atioaux et régioaux afi de faciliter les mesures de suivi. Baque modiale/départemet de l évaluatio des opératios, Sub-Sahara Africa: Lessos from Experiece i Supportig Soud Goverace, E C D Workig Paper Series, No.7, 2000, Ce documet costitue le poit de départ de l idetificatio de questios commues et de syergies opératioelles etre le reforcemet des capacités de suivi et d évaluatio et la gouverace e Afrique subsahariee et de l établissemet de lies etre appui à la gouverace et reforcemet des capacités de suivi et d évaluatio. Baque modiale/départemet de l évaluatio des opératios, Evaluatio Capacity Developmet: A Diagostic Guide ad Actio Framework, ECD Workig Paper Series, No 6, 1999, Ce guide s adresse aux services publics et orgaismes de développemet qui élaboret u système d évaluatio atioale ou sectorielle. Il s articule autour de euf étapes distictes aidat à l idetificatio des optios e matière de reforcemet des capacités d évaluatio et à l élaboratio d u pla d actio das ce domaie. Il offre ue liste de cotrôle détaillée des questios à evisager e reforçat les capacités d évaluatio d u pays. I. Itervetio e cas de coflit et de crise OCDE/CAD, Guidace for Evaluatig Humaitaria Assistace i Complex Emergecies, Cette publicatio s adresse aux resposables du lacemet, de la coceptio et de la gestio des évaluatios de programmes d aide humaitaire. Elle défiit les caractéristiques de situatios d urgece complexes et expose les différeces etre évaluatio de programmes d aide humaitaire et évaluatio de programmes d assistace classique. Elle cotiet des directives cocerat la plaificatio, l exécutio et la gestio de l évaluatio. Overseas Developmet Istitute, Evaluatig Humaitaria Assistace Programmes i Complex Emergecies, Cette étude cherche à améliorer la cohérece et la qualité des méthodes d évaluatio, reforcer la foctio de resposabilité de l évaluatio, participer à l istitutioalisatio des eseigemets tirés et défiir de meilleures méthodes de suivi de la performace des opératios d assistace humaitaire. Les auteurs examiet les aspects fodametaux des évaluatios das u cotexte humaitaire, les mesures propres à reforcer l efficacité de l évaluatio et les moyes d établir les paramètres de base de l évaluatio. O y trouvera des directives cocerat la plaificatio, l exécutio et la gestio d évaluatio das des situatios de coflit, otammet l établissemet d u madat, la compositio des équipes, les sources d iformatio et les techiques de collecte d iformatios et les méthodes de travail

125 HCR, Ehacemet of the Evaluatio Fuctio i UNHCR, 1998, Cette étude examie le rôle de la foctio d évaluatio au HCR. La sectio I présete ue aalyse de situatio, tadis que la sectio II examie les pricipales étapes à frachir pour améliorer l évaluatio e mettat e place ue structure porteuse et e apportat des amélioratios au cycle d évaluatio. HCR, Plaig ad Orgaisig Useful Evaluatios, 1998, Ces directives ot pour objet d aider le persoel du siège et de terrai du HCR à évaluer et aalyser u large évetail d activités meées par le HCR : compréhesio fodametale de la foctio, descriptio des différets méthodes, plaificatio, exécutio et suivi des évaluatios. J. Pauvreté Baque modiale, Evaluatig the Impact of Projects o Poverty: A Hadbook, 2000, Ce guide dote les resposables de projet et les aalystes des moyes écessaires pour évaluer l impact au iveau des projets. Il s adresse à des lecteurs ayat ue coaissace géérale e matière de statistiques. Quatre chapitres et ue série d études de cas couvret ue vaste combiaiso de cotextes atioaux, types de projets et méthodes d évaluatio. Baque modiale, Moitorig ad Evaluatio for Poverty Reductio Strategies, 2000, Le mauel de base sur les stratégies de réductio de la pauvreté est u documet évolutif visat à aider les pays à élaborer et reforcer des stratégies de réductio de la pauvreté. Le chapitre cosacré au suivi et à l évaluatio motre commet mettre au poit des systèmes de suivi des résultats et des stratégies d évaluatio d impact. O y trouve égalemet ue méthode d applicatio des résultats du suivi et de l évaluatio à la créatio d u mécaisme de retour d iformatio; les moyes de favoriser la participatio aux activités de suivi et d évaluatio; et la maière de reforcer des capacités istitutioelles aux fis du suivi des résultats et de l évaluatio d impact. K. Égalité etre les sexes Baque modiale, «Evaluatig Geder ad Developmet at the World Bak,» OED Precis No 200, 2000, Cette ote récapitule les vues des participats à l atelier de la Baque modiale sur l égalité etre hommes et femmes et l évaluatio. Elle examie des questios liées aux projets d évaluatio des dimesios sexospécifiques de l aide de la Baque, de la complexité de ces questios et de l évetail de vues cocerat des méthodes efficaces de règlemet de ces questios PNUD/Geder i Developmet, Guidace Note o Geder Maistreamig, Cette ote précoise l itégratio des objectifs de l égalité etre hommes et DOCUMENTS ET SITES WEB UTILES 1 2 1

126 femmes das tout le cycle de programmatio. Elle présete les pricipales questios et défiit le rôle du persoel, des cadres supérieurs aux représetats résidets e passat par les coordoateurs des questios d égalité etre homme et femmes. Elle motre commet itégrer le souci de l égalité etre hommes et femmes das le cycle de programmatio et commet l itégratio des questios de sexospécificité peut cotribuer efficacemet à développer les relatios publiques. PNUD/BPD, Trackig Geder Maistreamig i MDGD Activities, 1998, Cette ote fait le poit de l itégratio du souci de l égalité etre hommes et femmes das les programmes et activités de la Divisio du reforcemet de la gestio et de la gouverace, examie l iteractio etre égalité etre hommes et femmes et boe gouverace et défiit des moyes et propose des outils permettat de reforcer l itégratio de l égalité etre hommes et femmes das l esemble du cycle de programmatio. L. Démocratie et gouverace Départemet du développemet iteratioal, Strategies for Achievig the Iteratioal Developmet Targets: Makig Govermet Work for Poor People, jui 2000, Il s agit d u documet itere du Départemet du développemet iteratioal du Royaume-Ui, qui présete ue stratégie permettat de mettre les pouvoirs publics au service des pauvres. O y examie les moyes écessaires aux pouvoirs publics pour favoriser les pauvres et les préoccupatios de ces deriers cocerat la maière dot les istitutios publiques les traitet. Sot défiies sept capacités publiques fodametales que l État doit élaborer, e collaboratio avec le secteur privé et la société civile, pour réaliser les objectifs du développemet iteratioal. OCDE, Public Maagemet ad Goverace, Ce site est réparti etre six domaies liés à la gouverace das les pays de l OCDE : budgétisatio du secteur public, participatio des citoyes, éthique et corruptio, gestio des ressources humaies, réforme des réglemetatios, formulatio de politiques stratégiques. Les questios fodametales, des documets et des lies supplémetaires sot idiqués pour chaque domaie. Le site cotiet des statistiques du secteur public et des iformatios sur des iitiatives publiques pour chaque pays membre. Agece suédoise du développemet iteratioal (SIDA), The Evaluability of Democracy ad Huma Rights Projects, 1997, Cette étude des possibilités d évaluatio examie l appui de la SIDA à la démocratie et aux droits de l homme e partat de 28 projets itéressat quatre pays : Afrique du Sud, El Salvador, Guatemala et Nicaragua. L étude suit l évolutio de l approche de la SIDA, les questios géérales liées à l évaluatio des ces projets, le cotexte de la démocratie et de droits de l homme das les pays examiés et la méthode et les activités liées à l évaluatio. O y trouve des eseigemets sur des méthodes utiles d évaluatio de l impact sur la démocratie et les droits de l homme et des pratiques efficaces e vue de la plaificatio et de l exécutio de ces projets

127 PNUD, Evaluatio of the Goverace Programme for Lati America ad the Caribbea, 1998, Cette évaluatio thématique a été effectuée e et couvre les activités du PNUD das le domaie de la gouverace meées das la régio pedat cette période. L évaluatio avait pour objectif de dégager des eseigemets et de formuler des recommadatios afi d améliorer les activités de coopératio das le domaie de la gouverace et d e ecourager l applicatio das d autres cotextes. Kaufma, Kraay ad Zoido-Lobato, «Goverace Matters: From Measuremet to Actio,» Fiace & Developmet (FMI) jui 2000, volume 37, uméro 2. M. Autres référeces PNUD, Simplificatio Task Force, Simplificatio Report to the Executive Team, PNUD, Bureau de l évaluatio, Impact Assessmet of UNDP Coutry Itervetios, Methodology for CLIA Phase I (versio 2.1), PNUD, Alex Rusita, Evalet, Ed of missio report, PNUD, Netarumo Sirimotho, Evalet, Tripartite meetigs, h t t p : / / i t r a. u d p. o rg / e o PNUD, Siv Tokle, PowerPoit Presetatio to the Associate Admiistrator, PNUD, Siv Tokle, IAWG Presetatio o RBM ad M&E, Geève, PNUD, Ouzbékista, New Approach to Moitorig i Uzbekista, RBEC best practice ewsletter No 4, ovembre-décembre 2000, F N U A P, Lida Sherry-Clooa, I AWG Presetatio o RBM ad M&E, Geève, Programme alimetaire modial, Stratégie pour , WFP/EB.A/2001/5-B/1. Programme alimetaire modial, Notes o the developmet of RBM i WFP, 18 juillet Baque modiale, Aid ad Reform i Africa, Étude de la Baque modiale, décembre DOCUMENTS ET SITES WEB UTILES 1 2 3

128 Outils de suivi et d éva l u a t i o Les pricipaux outils du suivi et de l évaluatio axés sur les résultats sot présetés das les aexes qui suivet.ils vieet compléter les chapitres 4 et 5 cocerat les procédures de suivi et d évaluatio. Quatre outils sot présetés : exemples d u pla d évaluatio et de suivi, termes de référece d ue évaluatio, format de rapport auel de projet et format de rapport de visite sur le terrai. Le Guide se termie par u tableau syoptique qui décrit commet les resposables de projet,les resposables de programme et les cadres supérieurs pourrot utiliser la mesure souple d outils de suivi das u bureau de pays moye à grad. Aexe A. Aexe B. Aexe C. Aede D. Aexe E. Pla d évaluatio et de suivi Termes de référece de l évaluatio Rapport auel de projet Rapport de visite sur le terrai Meu d outils de suivi Les formulaires sot aotés afi d idiquer où et commet ils peuvet être adaptés aux circostaces. Les aexes devraiet aider les utilisateurs à appliquer avec souplesse les outils et formats axés sur les résultats et les progrès das la réalisatio des résultats. O peut se procurer ces aexes électroiquemet sur le site Web du Bureau de l évaluatio du PNUD : u d p. o r g / e o.ue partie ou la totalité de ces outils pourraiet éga l e m e t être dispoibles à l aveir grâce à u système itégré

129 Aexe A. Pla d évaluatio et de suivi O B J E T Les objectifs du pla d évaluatio et de suivi sot les suivats : Le siège du PNUD utilisera éga l e m e t ces plas pour évaluer l adhésio aux évaluatios, sur la base des évaluatios qu u bureau de pays s egage à effectuer au cours d u cycle de programme de pays. P R É PA R ATION ET PRÉSENTAT I O N Doter les bureaux de pays et autres etités d u outil de plaificatio pour l exécutio d évaluatios; Eregistrer et aalyser les eseigemets et les costatatios des évaluatios; Aider à suivre l état des recommadatios d évaluatio. Les bureaux de pays préparet leur pla d évaluatio au début de chaque cycle de programmatio et le soumettet par des moyes électroiques (ou sur support papier) au bureau de l évaluatio du PNUD. 21 Cela suppose que la directio pree des décisios stratégiques et sélectives avec le persoel du programme au sujet de l objet et la date de l évaluatio. Par la suite, le bureau de pays utilise le pla pour s assurer que les activités de plaificatio de l évaluatio se déroulet comme prévu. Ue fois achevées les évaluatios, le bureau de pays itroduit, evoie ou télécharge le rapport complet au Bureau de l évaluatio (et das le système lorsqu il sera prêt). C est au bureau de l évaluatio qu il icombe de suivre la coformité de l évaluatio et d aalyser systématiquemet les reseigemets produits afi de favoriser l appretissage. Le bureau de pays itroduit des extraits das le tableau, et otammet des recommadatios. Cela permet de costituer la base du suivi et de la recherche sur les résultats, eseigemets et recommadatios de l évaluatio. Le bureau de pays suit l applicatio des recommadatios de l évaluatio e eregistrat les décisios relatives aux recommadatios de l évaluatio et les mesures de suivi prises à cet effet. CALENDRIER Le bureau de pays soumet le pla d évaluatio au Bureau de l évaluatio au cours du premier trimestre de chaque cycle de programme de pays. Il peut esuite être actualisé e permaece, chaque aée ou périodiquemet, e foctio des besois locaux. Par exemple, si la première évaluatio est prévue au sujet d u effet trois as après le début du cycle de programme de pays, le bureau de pays e devra pas revoir la plaificatio avat l aée précédat l évaluatio. F L E X I B I L I T Y Les bureaux de pays qui e sot pas teus de procéder à des évaluatios e doivet pas élaborer de pla d évaluatio. Les évaluatios de projet se fot sur ue base volotaire et sot eregistrées das le pla lorsqu elle sot arrêtées au iveau du pays. Les bureaux de pays peuvet, s ils le souhaitet, ajouter des élémets décrivat la plaificatio de toutes leurs activités de suivi et d évaluatio. 21 Atérieuremet, le pla d évaluatio était établi par des moyes électroiques et diffusé sur le site Web itraet du Bureau de l évaluatio.e attedat que le pla soit relié au système de gestio axée sur les résultats,les bureaux de pays élaboret le pla sur Word.Les futurs moyes électroiques sot idiqués das le cadre ci-après

130 PLAN D ÉVALUATION ET DE SUIVI [Période du programme (eg, )] [Isérer le om du pays] Modèle rempli OUTILS DE SUIVI ET D ÉVA L UAT I O N 1 2 7

131 SUIVI DES RECOMMANDATIONS D ÉVALUATION

132 Aexe B: Termes de référece de l évaluatio Les termes de référece type ci-après sot coçus pour être adapté et utilisé das les évaluatios de projets et de résultats. Le coteu particulier des évaluatios d effets est idiqué. 1. INTRODUCTION Brève descriptio du coteu du pays de programme, y compris ses besois et priorités e matière de développemet. Les effets, programmes, projets, groupes de projets et autres élémets à évaluer sot situés das ce cotexte et les parties preates, parteaires et bééficiaires pricipaux sot désigés. Das le cas d ue évaluatio d effet, les reseigemets ci-après devraiet figurer : Brève descriptio de l effet (référece de l effet et sa situatio actuelle); Justificatio de la participatio du PNUD à l effet et raisos de l évaluatio; Brève descriptio des produits et iitiatives du PNUD qui devraiet avoir cotribué à l effet; Pricipaux parteaires participat à l effet; Aperçu des progrès accomplis das la réalisatio de l effet. 2. OBJECTIFS DE L É V A L UAT I O N Bref exposé du mode d idetificatio de la écessité de l évaluatio, brève descriptio des pricipales parties preates de l évaluatio, exposé des raisos pour lesquelles l évaluatio est effectuée et exposé du choix du momet. 3. PORTÉE DE L É V A L UAT I O N Descriptio de l objet de l évaluatio et, implicitemet, de ce qui e est exclu. Das le cas de l évaluatio d u projet, la portée devrait comporter : L aire géographique du projet; Le caledrier du projet sur lequel doit porter l évaluatio; Les questios liées à la pertiece, à la performace et au succès du projet ou des projets faisat l objet de l évaluatio. S il s agit d ue évaluatio d effet, les mêmes domaies devraiet être iclus, adaptés aux effets. L évaluatio devrait aussi porter au mois sur les eseigemets tirés, les costatatios et recommadatios das les domaies suivats : L effet a-t-il été atteit et, das la égative, des progrès ot-ils été accomplis? Étude des facteurs sous-jacets sur lesquels le PNUD a pas de prise mais qui ifluecet l effet; Les produits du PNUD et autres itervetios peuvet-ils être reliés de maière crédible à la réalisatio du résultat, et otammet aux pricipaux produits, programmes, projets, aisi qu à l assistace et à l appui coseil, ayat cotribué au résultat? La stratégie de parteariat du PNUD a-t-elle été appropriée et efficace? 4. PRODUITS ATTENDUS DE L É V A L UAT I O N Descriptio des produits que le resposable de l évaluatio veut obteir, comme par exemple u rapport d évaluatio assorti de costatatios, recommadatios, eseigemets tirés, otatio de la performace. O établira égalemet ue liste OUTILS DE SUIVI ET D ÉVA L UAT I O N 1 2 9

133 d opératios ou ue descriptio des meilleures pratiques das u domaie doé ou das le créeau des itervetios du PNUD das u pays de programme spécifique. Das le cas d ue évaluatio d effet, le produit pourrait cosister e u rapport portat sur : Les stratégies de la poursuite ou de l achèvemet de l assistace du PNUD cocerat l effet; Des recommadatios e vue de la formulatio évetuelle de l assistace future cocerat l effet; Les eseigemets tirés au sujet des meilleures pratiques et des pires pratiques das la réalisatio de produits, les reliat aux effets et utilisat les parteariats de maière stratégique; La otatio des progrès das la réalisatio des effets et des produits; La otatio de la pertiece de l effet. 5. MÉTHODE OU APPROCHE DE L É V A L UATION Propositio d élémets fodametaux de la méthode à appliquer par l équipe d évaluatio. Das le cas des évaluatios de projet ou d effet, cette sectio pourrait comporter des iformatios sur les élémets ci-après : Étude de la documetatio (étude sur dossier); Etreties; Visites sur le terrai; Questioaires; Techiques participatives et autres formules de collecte et d aalyse de doées; Participatio des parties preates ou parteaires. Das le cas d ue évaluatio d effet, il est recommadé d ajouter ue brève descriptio de la méthode d évaluatio, e particulier de l accet mis sur le chagemet du développemet et le rôle des parteaires. 6. ÉQUIPE D ÉVALUAT I O N Préciser le ombre d évaluateurs et leurs domaies de compétece, aisi que leurs attributios respectives. C est toujours au chef d équipe qu il icombe de mettre au poit le rapport. Les évaluateurs peuvet être iteres ou exteres, atioaux ou iteratioaux, et être des particuliers ou des sociétés. Il peut être beaucoup plus avatageux d utiliser des sociétés plutôt que des particuliers. O trouvera das le tableau ci-après les avatages et les icovéiets des deux formules. 7. MODALITÉS D EXÉCUTION Détails cocerat les modalités d exécutio : Arragemets e matière de gestio et e particulier rôle du bureau de pays et des parteaires du PNUD. Caledrier d exécutio de l évaluatio, y compris l échéacier des activités suivates : - Étude sur dossier; - Istructios aux évaluateurs; 1 3 0

134 AVANTAGES ET INCONVÉNIENTS DU RECOURS À DES SOCIÉTÉS D ÉVALUATION ET À DES ÉVALUATEURS PRIVÉS Avatages SOCIÉTÉS 1. Les hooraires sot coveus selo u motat forfaitaire qui e variera qu e cas de modificatio des termes de référece. 2. Les membres de l équipe ot l habitude de travailler esemble. 3. La société garatit la qualité des produits. 4. Ue approche pluridiscipliaire est assurée. 5. La procédure de recrutemet est gééralemet plus facile, ecore qu elle soit plus logue que pour u particulier. 6. La société élabore la méthode/ propositio cocerat l évaluatio. PARTICULIERS 1. Les particuliers peuvet être hautemet qualifiés,extrêmemet spécialisés et compter de ombreuses aées d expériece. 2.La diversité des membres de l équipe cotribue à u débat qui peut être erichissat. 3. Peuvet coûter mois cher. Icovéiets 1. Peuvet coûter cher. 2. Si la société a été trop e cotact avec le thème ou l orgaisatio,cela pourrait compromettre la crédibilité de l opératio. 3. Les membres de l équipe ot gééralemet des approches et perspectives aalogues, si bie que l o perd ue partie du bééfice de positios différetes. 4. La procédure d appel d offres peut être logue et lourde. 1. L idetificatio des cosultats pred du temps. 2. La costitutio d ue équipe de professioels qui ot jamais travaillé esemble pourrait uire à la cohésio et à la cohérece des travaux et accroître le risque de coflits etravat les progrès. 3. Toute modificatio du caledrier se traduit par des surcoûts : hooraires, idemité jouralière et voyages. 4. C est le bureau de pays qui doit assurer la logistique. - Visites sur le terrai, etreties, questioaires; - Etretie fial; - Rédactio du rapport - Réuio des parties preates; - Mise au poit défiitive du rapport; - Cosultatios et suivi. Ressources écessaires et appui logistique requis. Combie de cosultats et d experts faut-il et pedat combie de temps? Quels types de voyages faudra-t-il effectuer? Quel sera le matériel écessaire? Les modalités de fiacemet de l évaluatio sot examiées au stade de la plaificatio, mais elles e doivet pas apparaître das le madat propremet dit. Das le cas d ue évaluatio d effet, ce sot l objet et le caledrier de l évaluatio qui détermierot le temps écessaire aux différetes parties. O trouvera das le tableau 3, das le chapitre 5, ue comparaiso type du temps et des ressources écessaires aux évaluatios d effet. Le persoel du bureau de pays chargé de gérer l évaluatio d effet, c est-à-dire le groupe d effet ou l équipe chargée de l évaluatio, devrait s ispirer de ces estimatios temporelles pour établir le budget d ue évaluatio d effet. OUTILS DE SUIVI ET D ÉVA L UAT I O N 1 3 1

135 Aexe C: Rapport auel de projet La présetatio du Rapport auel de projet est ENTIÈREMENT LIBRE. Le rapport doit toutefois porter sur les pricipaux élémets relatifs aux résultats, à savoir les progrès das la réalisatio des résultats, les produits réalisés et l actio meée au sujet des parteariats et de l appui coseil. Chaque bureau peut ajouter tout autre élémet qu il souhaite, selo le projet et les effets. Projet : _ [Isérer le om et u titre court : CTY/99/002/D/99 Attéuatio de la pauvreté] Période cosidérée : _ [Période écoulée depuis le derier rapport auel de projet. Normalemet,l exercice budgétaire,javier 2001-décembre 2002] PERFORMANCE DU PROJET APPORT AUX OBJECTIFS DU CADRE DE RÉSULTATS STRATÉGIQUES (CRS) [Le tableau ci-après aalyse brièvemet l apport du projet, au cours de la période cosidérée, à la réalisatio d u effet. Le resposable du projet se cocetrera sur la coloe «le poit sur les produits»,mais e tat qu expert,il peut égalemet avoir des observatios ou des vues à exprimer das la coloe «le poit sur les effets». Tout projet cotribue à u effet.si le projet ou programme comporte plusieurs composates,il peut cotribuer à plus d u effet.das ce cas,metioer ces effets, ou revoyer les produits aux effets.] OBJECTIF DU CRS : OBJECTIF SECONDAIRE DU CRS : DOMAINE D APPUI STRATÉGIQUE : [extraire du CRS] [extraire du CRS] [extraire du CRS] Effets Le poit sur les effets Produits auels Le poit sur les produits Raisos pour lesquelles les progrès sot e deçà de l objectif Le poit sur les stratégies de parteariat Recommadatios et mesures proposées Produit [extrait du CRS] Bref aperçu de la situatio et de tout chagemet observé,de toute cotributio du projet. Das le cadre des produits du CRS, utilisez les objectifs du CRS. Das le cas des autres produits, utilisez le descriptif de projet ou pla de travail. Réalisatios du projet das les produits (idiquez s ils sot stratégiques).e l absece d objectifs du C R S, utilisez les doées du pla de trava i l. Le cas échéat. Examiez les facteurs sousjacets et les raisos des lacues das le produits et la réalisatio de l objectif. Brève mise à jour sur toute réalisatio ou problème (rapport par exceptio). Itervetios cocerat toute questio liée aux résultats,à l avacemet des produits ou au parteariat. Mesures correctives. Resposabilités. PERFORMANCE DU PROJET QUESTIONS D EXÉCUTION [Certais problèmes peuvet être géériques sas cocerer u produit particulier ou bie ils peuvet s appliquer à tous les produits.das ce cas,le resposable du projet doe des idicatios cocerat les trois pricipaux problèmes. Si c est idispesable, d autres problèmes peuvet être ajoutés, ecore que les autres problèmes doivet ormalemet s améliorer si les pricipaux problèmes sot réglés. Si le tableau ci-dessus a pas couvert ces problèmes,la présete sectio peut être laissée e blac.] Éumérer les trois pricipaux problèmes (au maximum) recotrés au cours de l exécutio et proposez ue solutio. Relevez les mesures déjà prises pour régler les problèmes. 1. _ 2. _ 3. _ 1 3 2

136 N OTATION DES PROGRÈS DANS LA RÉALISATION DES EFFETS [Si le bureau de pays a décidé d utiliser la «otatio de progrès» comme outil,le resposable du projet idique sa otatio des progrès das la réalisatio des produits. Par la suite, le resposable du programme marque so accord (ou ote différemmet) et ote les progrès das la réalisatio de l effet. Ces otatios peuvet être utilisées par le bureau de pays ou le siège aux fis de l aalyse du rapport auel axé sur les résultats ou pour servir d apport aux évaluatios et à d autres fis liées à la validatio des résultats.] DANS LE CAS DES RÉSULTATS : o o o Chagemet positif (détermié par ue évolutio otable à partir de la référece vers l objectif fial du CRS mesurée par u idicateur de résultat) Chagemet égatif (retour à u iveau iférieur à la référece mesurée par u idicateur de résultat) Sas chagemet DANS LE CAS DES PRODUITS : Applicable à chaque objectif de produit [Cela e vaut que pour les produits stratégiques.si les parties veulet ue otatio de tous les produits,ceux qui e figuret pas das le CRS seraiet fodés sur le descriptif de projet, les plas de travail ou tout autre accord quad aux résultats escomptés.] o o o No (o réalisé) Partiel (seulemet si les deux tiers au mois d u objectif quatitatif sot réalisés) Oui (réalisé) APPUI CONSEIL NON FOURNI AU MOYEN DE PROJETS OU DE PROGRAMMES [L appui coseil cotribue à la réalisatio de l effet ou des produits.das cette sectio,le resposable de projet est appelé à fourir des iformatios au sujet d activités exécutées sas avoir été prévues das le pla de travail ou qui ot pas ecore doé de résultats cocrets.cette sectio a pour objet de défiir des activités supplémetaires ou spécifiques à exécuter pour progresser das la réalisatio de l effet.cette sectio du Rapport auel de projet pourrait alimeter la sectio d iformatio du Rapport auel axé sur les résultats pour le texte relatif à la sesibilisatio et au dialogue d itervetio. Elle permet au bureau de pays et au projet de travailler das le même ses pour ce qui est de la sesibilisatio et du dialogue.si l appui coseil e cocere pas le projet ou si elle costitue u sujet trop sesible,cette sectio peut e pas être remplie.] Quelles sot les pricipales activités d assistace douce exécutées par le projet? _ Quels sot les pricipaux obstacles au progrès das la réalisatio de l effet qui appellet u appui coseil? 1. _ 2. _ 3. _ Veuillez proposer des élémets d ue stratégie d appui coseil pour l aée prochaie : ENSEIGNEMENTS TIRÉS [Les eseigemets tirés du Rapport auel de projet devraiet alimeter l aalyse de performace du Rapport auel axé sur les résultats aisi que l exame auel, qui permet aux parteaires de rassembler et d échager les eseigemets tirés de tous les projets et Rapports auels de projet.] Décrivez brièvemet les pricipaux eseigemets tirés au cours de l aée : 1. _ 2. _ 3. _ Établi par : (Directio du projet,om _ et titre) [Note : Les rapports devat das la mesure du possible être établis sous forme électroique, ue sigature est pas écessaire.le resosable de projet peut la commuiquer das u message électroique,au moye d u site Web ou par u programme iformatique] OUTILS DE SUIVI ET D ÉVA L UAT I O N 1 3 3

137 Aexe D: Rapport de visite sur le terrai Le coteu du rapport de visite sur le terrai dépedra de l objet de la visite. E tout état de cause, u rapport de visite sur le terrai doit au mois examier les progrès das la réalisatio des effets, l état des produits, les parteariats, les pricipaux problèmes et les mesures proposées. Le bureau de pays ou le Comité directeur des projets peut évetuellemet demader des reseigemets complémetaires. LA PRÉSENTATION DU RAPPORT CI-APRÈS PEUT ÊTRE MODIFIÉE AU NIVEAU DU BUREAU DE PAYS EN FONCTION DES BESOINS LOCAUX. Date de la visite : _ Objet et lieu de la visite : [Numéro et titre du (ou des) projet(s),edroit visité] Buta de la visite sur le terrai o o o o o o o Exame des progrès das la réalisatio des résultats Appui à la prise des décisios Règlemet de problème Satisfactio et retour d iformatio des bééficiaires Appretissage Resposabilité Autres (précisez) _ [Aux fis de cohérece,même tableau que pour le Rapport auel de projet.] OBJECTIF DU CRS : OBJECTIF SECONDAIRE DU CRS : DOMAINE D APPUI STRATÉGIQUE : [extraire du CRS] [extraire du CRS] [extraire du CRS] Effets Le poit sur les effets Produits auels Le poit sur les produits Raisos pour lesquelles les progrès sot e deçà de l objectif Le poit sur les stratégies de parteariat Recommadatios et mesures proposées Résultat No 1 [du cadre de résultats stratégiques] Brève aalyse de la situatio et de tout chagemet observé,de toute cotributio de projet. Das le cas des produits au titre du cadre de résultats stratégiques, utilisez les objectifs de ce cadre. Pour les autres produits, utilisez le descriptif de projet ou pla de travail. Réalisatios du projet das les produits (idiquez s ils sot stratégiques). E l absece d objectifs du CRS, utilisez les doées du pla de travail. Le cas échéat. Brève mise à jour sur toute réalisatio ou problème (rapport par exceptio). Itervetios cocerat toute questio liée aux résultats,à l avacemet des produits ou au parteariat.. Mesures correctives. Resposabilités/ temps. Résultat No 2 Si le projet cotribue à plus d u résultat

138 PERFORMANCE DU PROJET QUESTIONS D EXÉCUTION [Si la persoe qui coduit la visite sur le terrai observe des problèmes gééraux qui e sot pas liés à u produit part i c u l i e r ou qui s appliquet à tous les produits,examiez les trois pricipaux problèmes.] Éumérez les trois pricipaux problèmes (au maximum si tat est qu il y ait des problèmes) recotrés das l exécutio et proposez ue solutio. 1. _ 2. _ 3. _ N OTATION DES PROGRÈS DANS LA RÉALISATION DES EFFETS [Si le bureau de pays a décidé d utiliser des otatios das le Rapport auel de projet, il est utile d iclure ici ue sectio aalogue aux fis de validatio.le resposable de programme du PNUD ou toute autre persoe meat la visite,idique sa otatio des progrès.le bureau de pays ou le siège peut utiliser cette otatio aux fis de l aalsye du Rapport auel axé sur les résultats et le Comité directeur peut l utiliser aux fis d aalyse et de suite à doer aisi qu aux fis d évaluatio.] DANS LE CAS DES EFFETS : o o o Chagemet positif (détermié par ue évolutio otable à partir de la référece vers l objectif fial du CRS mesuré par u idicateur d effet) Chagemet égatif (retour à u iveau iférieur à la référece mesurée par u idicateur d effet) Sas chagemet DANS LE CAS DES PRODUITS : Appliqué à chaque objectif de produit [Cela e vaut que pour les produits stratégiques.si les parties veulet ue otatio de tous les produits,ceux qui e figuret pas das le CRS seraiet fodés sur le descriptif de projet, les plas de travail ou tout autre accord quad aux résultats escomptés.] o o o No (o réalisé) Partiel (seulemet si les deux tiers au mois d u objectif quatitatif sot réalisés) Oui (réalisé) ENSEIGNEMENTS TIRÉS [Si,au cours de la visite,des eseigemets se dégaget des etreties avec les resposables ou les bééficiaires du projet, ou que le resposable du programme observe directemet des eseigemets,la présete sectio peut être remplie.] Décrivez brièvemet les pricipaux eseigemets tirés au cours de l exécutio du projet : 1. _ 2. _ 3. _ Participats à la visite sur le terrai : [Si plus d ue persoe ot effectué la visite.] Rédigé par : (Nom,titre et orgaisatio) [Note: La sigature est pas requise état doé que les rapports devraiet das la mesure du possible être établis par voie électroique.le resposable de programme peut le trasmettre das u courrier électroique,au moye d u site Web ou par u programme iformatique.] A N N E X E S Liste des persoes recotrées [facultatif] Autres aexes OUTILS DE SUIVI ET D ÉVA L UAT I O N 1 3 5

139 Aexe E: Meu d outils de suivi Le tableau ci-après décrit commet les trois pricipaux groupes cocerés par l assistace du PNUD resposables de projet, resposables de programme et cadres supérieurs utiliseraiet ormalemet le meu souple d outils de suivi das u bureau de pays moye ou grad. Les parties e grisé désiget u outil particulièremet importat pour le iveau doé. PRINCIPALES RESPONSABILITÉS ET USAGES DES DIFFÉRENTS OUTILS DE SUIVI OUTIL/ MÉCANISME DE SUIVI Rapport uifié d exécutio, Rapport sur d exécutio des projets Plas de travail de projet. Rapports d étape ou rapports trimestriels Réuios de groupe de réflexios Réuios bilatérales ou tripartites Documetatio techique du projet RESPONSABLE DE PROJET Rédige et applique les rapports sur l exécutio des projets aux fis de budgétisatio et d évaluatio des dépeses. Rédige et applique le pla de travail.le commuique au persoel du projet, au bureau de pays et au mécaisme directeur évetuel. L utilise pour appliquer et examier la stratégie du projet et plaifier l utilisatio des ressources. Établi comme coveu das les descriptifs de projet ou avec le PNUD. Commuiqué au persoel du projet,au bureau de pays et au mécaisme directeur évetuel.sert à préseter les progrès et problèmes. Peut les orgaiser périodiquemet avec les bééficiaires du projet. Devraiet idéalemet être prévues das le descriptif de projet.les utilise pour adapter la stratégie.commuique les résultats. Peut e predre l iitiative.servet au règlemet de problèmes et à l exame de la stratégie. L établit das le cadre du pla de travail. L utilise pour commuiquer les réalisatios ou de ouvelles réflexios. Peut égalemet l utiliser aux fis de dialogue de politique géérale. RESPONSABLE DE PROGRAMME DU PNUD Aalyse du poit de vue des dépeses e regard de la lige budgétaire et du pla de trava i l. Révise le budget au besoi. Participe à l établissemet de critères das le pla de travail. L examie pour arrêter les pricipaux résultats et veiller à ce que ces résultats correspodet au cadre de résultats stratégiques. Peut égalemet l utiliser pour examier les activités et apports correspodats,aisi que le budget.utilise les jalos critiques aux fis d alerte rapide e cas d écart par rapport aux objectifs. Aalyse les rapports du poit de vue des résultats et progrès.pred les mesures écessaires.les commuique évetuellemet aux parteaires das les effets. Peut les utiliser pour évaluer l exécutio du pla de travail et aux fis de ouvelles demades de crédit. Utilise les résultats pour aalyser et revoir la stratégie.défiit les eseigemets tirés. Peut égalemet les utiliser avec les parteaires pricipaux pour obteir u retour d iformatio sur les effets, les experts chargés du suivi et de l évaluatio sous cotrat orgaisat la réuio. Peut e predre l iitiative.servet à fourir u retour d iformatio,régler des problèmes et examier la stratégie. L aalyse du poit de vue du coteu, de la qualité,des mesures à predre. E cas de résultats importats,s assure de la coformité avec le pla de travail. Défiit les questios de politique géérale.sert à suivre les effets. CADRES SUPÉRIEURS DES BUREAUX DE PAYS DU PNUD No utilisé,sauf e cas de problèmes d exécutio isuffisate ou de dépassemet des coûts. N utiliset pas le pla de travail.le resposable de programme peut les iformer d évéemets importats les itéressat ou écessitat leur appui. Ne l utilise pas,à mois que le resposible de p r o gramme e les iform e de problèmes graves. Ne l utiliset pas. Ne sot iformés par le resposable de programme qu e cas de problème d orietatio ou de mécotetemet. N y participet qu e cas de problème d orietatio ou de prise de décisios ou e cas de part i c i p a t i o des homologues du gouveremet. Ne l utiliset pas.ne reçoivet ormalemet que des rapports essetiels c o c e rat des questios fodametales; le resposable de programme peut attirer leur attetio sur c e rtaies questios

140 OUTIL/ MÉCANISME DE SUIVI RESPONSABLE DE PROJET RESPONSABLE DE PROGRAMME DU PNUD CADRES SUPÉRIEURS DES BUREAUX DE PAYS DU PNUD Rapport auel de projet (RAP)* Établi par le Coseiller techique pricipal ou le Directeur. Commuiqué au persoel de projet, au bureau de pays et au mécaisme directeur é ve t u e l.note les progr è s das la réalisatio des produits. Doe des istructios au projet au sujet des questios supplémetaires à iclure. Aalyse du coteu,de la qualité et des mesures à predre.note les progrès das la réalisatio des produits et effets et examie l auto-évaluatio des produits par le projet.commuique ce rapport aux réseaux d iformatio. Preet les décisios cocerat les optios fodametales ou le suivi si le resposable de programme sigale des problèmes importats. Peuvet examier les rapports auels de projet das le cas de grads programmes. Examiet les tedaces. Évaluatio du projet Peut demader cette évaluatio,qui est ormalemet prévue das le descriptif de projet. Peut être appelé à participer à l orgaisatio de l éva l u a t i o.f o u rit u appui et des iform a t i o s. Pred des mesures. Peut e predre l iitiative. Peut orgaiser l évaluatio pour le compte du gouveremet.commuique les eseigemets tirés.suit les mesures prises. Peuvet décider qu ue évaluatio de projet est requise.arrêtet les décisios de pricipe avec les parteaires au sujet des recommadatios et préparet u e itervetio. Visites sur le terrai Fourit u appui et des iformatios à la missio. Visitera les opératios d exécutio sur le terrai. Examie ormalemet au mois ue fois par a chaque effet ou programme ou projet cotribuat au cadre de résultats stratégiques.la visite peut être effectuée par le resposable de programme,le coseiller, ue équipe du bureau de pays, avec ou sas parteaire.cofirme les résultats et recommade des mesures. Le représetat résidet et la directio du bureau de pays sot égalemet ecouragés à effectuer certaies visites sur le terrai.preet des décisios au sujet des optios fodametales ou du suivi si le resposable de programme sigale des problèmes importats. Visites de sodage Ne sot ormalemet pas effectuées,sauf évetuellemet pour les cotractats. Veille à ce que des systèmes soiet e place e vue de sodage par le bureau de pays. Très utiles pour cotrôler la resposabilité e matière d admiistratio et de ge s t i o. Effectuées par le groupe d appui des programmes,le resposable du programme ou le persoel admiistratif. Vérifie la resposabilité,formule des recommadatios,idetifie les goulets d étraglemet et ote les progrès. Ne preet des décisios que si des problèmes importats sot sigalés et suivet les tedaces e cas de problèmes de resposabilité géérale. Equêtes auprès des cliets Peut orgaiser ces equêtes pour obteir u retour d iformatio des bééficiaires au sujet de la performace ou des besois du projet Peut faire procéder à des equêtes auprès des cliets afi d obteir u retour d iformatio au sujet des progrès des effets. Les utilise aux fis de validatio des résultats ou idicateurs, et de mesures correctives. Preet des mesures e foctio des résultats des equêtes,c est-àdire sesibilisatio ou mesures correctives, stratégie des effets. Évaluatios ou suivi exteres No utilisé. Peut charger des spécialistes exteres d effectuer ue validatio techique idépedate des résultats de projet, ue aalyse de la situatio des effets, ou des travaux de recherche. Décidet de l utilisatio stratégique de spécialistes extérieurs.utiliset les résultats aux fis de retour d iformatio aux parteaires au sujet des effets. Évaluatio des effets Fourit des iformatios et u appui à l évaluatio.pred des mesures de suivi si les progrès das la réalisatio des effets sot faibles. Pricipal orgaisateur avec l équipe du bureau de pays et les parteaires.fourit des iformatios au sujet des effets à s é l e c t i o e r. R e c rute l équipe d éva l u a t i o. Coduit l élaboratio des termes de référece.assure la participatio et les cosultatios. Preet les décisios stratégiques au sujet des résultats à réévaluer avec les parteaires. Commuiquet le rapport d é valuatio aux pricipaux parteaires.coduiset l itervetio de gestio. Preet les mesures de suivi.suivet l applicatio des recommadatios. OUTILS DE SUIVI ET D ÉVA L UAT I O N 1 3 7

141 OUTIL/ MÉCANISME DE SUIVI Comités/ mécaismes directeurs Réuio des parties preates ou atelier Groupe chargé des effets Exame auel Groupe de coordiatio des doateurs Évaluatio des bilas commus de pays et du Pla-cadre des Natios Uies pour l aide au développemet Évaluatios thématiques et évaluatios d impact Rapport auel axé sur les résultats RESPONSABLE DE PROJET Commuique les rapports auels de projet et autres documets.orgaise les réuios.doe suite aux décisios et adapte la stratégie. Assure ormalemet l orgaisatio,selo le pla de travail.sert à adapter la stratégie sur la base du retour d iformatio des bééficiaires. Participe.Fourit des iformatios au sujet des résultats et activités das le cas de projet lié aux produits et aux effets. Modifie l approche e foctio du retour d iformatio du groupe. Fourit les rapports auels de projet e tat qu outils de discussio. Peut participer selo la questio examiée. Adapte la stratégie sur la base de l exame. Raremet utilisé. Raremet utilisé. Peut fourir des reseigemets sur des questios thématiques ou techiques. Raremet utilisé. Fourira des iformatios au moye du rapport auel de projet. Peut recevoir ce projet aux fis de retour d iformatio. RESPONSABLE DE PROGRAMME DU PNUD Tr availle avec le projet afi d assurer le cetrage de la plaificatio et des résultats aisi que le suivi. Commuique les approches de gestio axée sur les résultats. C o t r ô l e le suivi.[das le cas des comités directeurs chargés des effets, voir le groupe chargé des effets]. Ecourage les réuios de parties preates cosacrées aux résultats ou aux projets qui pourraiet être utiles.assure le suivi du pla d actio résultat de l atelier. Sert à évaluer les réalisatios des résultats au moye des vues des bééficiaires.sert à réorieter les opératios afi de progresser das la réalisatio des effets. Orgaise et participe,et peut assurer la directio des travaux de groupe.évalue l état des produits et effets stratégiques, assure l exécutio cocerat le suivi des effets.élabore et commuique des eseigemets. Défiit l approche stratégique e vue des résultats. Participe à l évaluatio des effets. Commuique les poits saillats des rapports,des évaluatios et des eseigemets tirés sur la base des tedaces et questios essetielles des rapports auels de projet. Cosige les coclusios et assure le suivi de chaque résultat. Participe aux réuios d exame. Participe à l établissemet du r a p p o rt auel axé sur les résultats. Peut participer. Assure le retour d iformatio aux projets. Peut participer. Applique les eseigemets tirés à la programmatio.assure le retour d iformatio aux projets. Peut être cosulté aux fis d iformatio.applique les eseigemets tirés à la programmatio. Prépare le projet das le cadre d ue équipe,sur la base des rapports auels de projet et de l exame auel.fourit u retour d iformatio aux projets. CADRES SUPÉRIEURS DES BUREAUX DE PAYS DU PNUD Peuvet coduire les réuios. Ne peuvet être iformés par les resposables de programme que des grades questios d orietatio ou des problèmes ouveaux. Suivi des questios d itervetio.sesibilisatio aux fis de chagemets évetuellemet dégagés de l atelier. Sert à réaliser u cosesus autour des priorités. Sert d apport à l exame et aux évaluatios auelles. Peuvet diriger le groupe, surtout si des parteaires extérieurs e fot partie. Appliquet les apports des groupes chargés des effets à l exame auel.itervieet e cas de questios de politique géérale. Directio et cosultatio. C o s t i t u e u cosesus et ue etete mutuelle avec les parteaires au sujet des résultats et de la performace.sert d apport à l évaluatio par l équipe de pays des Natios Uies des progrès das la réalisatio des objectifs du Pla-cadre des Natios Uies pour l aide au développemet. Coduiset la plaificatio des travaux du bureau de pays pour l aée suivate.suivet l applicatio des pricipales décisios. Diriget les groupes au iveau des resposables des orga i s m e s ou y participet.assuret le c e t r a ge des résultats. F o u r i s s e t u apport aux rapports auels axés sur les résultats. Diriget les groupes au iveau des resposables des orga i s m e s ou y participet.assuret le c e t r a ge des résultats. F o u r i s s e t u apport aux rapports auels axés sur les résultats. Décidet de l exécutio et de l utilisatio de ces évaluatios. Coduit le suivi et l appretissage. Apport aux rapports auels axés sur les résultats L utiliset comme u outil de gestio.assuret la liaiso avec le siège.commuicatio aux pricipaux parteaires

142 P ROGRAMME DES NATIONS UNIES POUR LE DÉVELOPPEMENT Bureau de l évaluatio du PNUD, 2002 Bureau de l évaluatio Programme des Natios Uies pour le développemet Oe Uited Natios Plaza New York, NY 10017, USA Tel. (212) , Fax (212) Iteret: or