Appui à la mise en place (ou à l amélioration) d un dispositif interne de suivi évaluation Finalité : Place dans le cycle du projet : Favoriser le pilotage de projets au cours de leur mise en œuvre. 1 Présentation de l outil 1.1 Définition Au cours de la mise en œuvre d un projet, il est possible de se doter d une boussole pour analyser régulièrement le chemin parcouru et ajuster sa direction. En d autres termes, il s agit d adapter ses activités face aux imprévus pour essayer de se remettre dans la direction du but qu on s est fixé au départ (et/ou réévaluer ses objectifs). C est l objet d un dispositif de suivi-évaluation. Ainsi, un dispositif de suivi-évaluation est destiné à aider les acteurs à suivre et analyser en continu leurs projets et programmes, tout au long de leur mise en œuvre (à la différence d une évaluation finale qui, elle, est ponctuelle). Ceci s effectue avec les principaux partenaires et «bénéficiaires» impliqués. Le but est d améliorer le pilotage des actions et leur future évaluation finale. Le F3E offre donc à ses membres la possibilité d un accompagnement méthodologique par un consultant, afin de les aider à mettre en place de tels dispositifs (de la conception à l expérimentation). Le consultant apporte un appui dans la définition des objectifs du dispositif, des critères et indicateurs, des méthodes de recueil de données, des modalités d analyse et d exploitation des informations, mais aussi d utilisation des données recueillies (modalités de reporting, de mise en débat des données, d utilisation des données pour la décision ). Exemple : Appui à l amélioration du dispositif de suiviévaluation du renforcement des capacités des Organisations Paysannes (OP) partenaires de l AFDI (2007) Le programme : Il vise à renforcer les OP en tant qu acteurs majeurs de la société civile rurale. Axé sur des thématiques techniques, institutionnelles et politiques (cadres de concertation et lobbying), il développe différents volets d activités basés sur la formation et les échanges d expériences entre agriculteurs Sud-Sud, Nord-Sud et Sud-Nord. L appui : Un dispositif de programmation-suivi-évaluation a déjà été élaboré par un groupe Afdi avec l aide d un consultant du Gret. Il s agit donc là d améliorer le dispositif existant. Afdi a besoin d un appui pour délimiter le champ de travail sur les critères et indicateurs afin de mettre en place un dispositif simple et utile. En effet, le champ de travail est très vaste : le renforcement de capacités des OP sur les plans stratégiques, techniques, organisationnels, financiers. Afdi souhaite par ailleurs que la démarche soit appropriée par son réseau Nord et par les OP Sud (et, à cet effet, que les indicateurs soient créés et/ou validés par eux-mêmes).
1.2 Caractéristiques Les dispositifs de suivi-évaluation dont le F3E appuie la mise en place (ou l amélioration) sont établis en lien avec le cadre logique du projet ou au minimum sa logique d intervention. Pour simplifier, la présente fiche évoque un projet dont il s agit de faire le suivi-évaluation. Toutefois, ces dispositifs peuvent porter sur différents objets : - un projet ou un programme ; - une relation de partenariat ; - un processus (renforcement des capacités, appropriation, autonomisation, plaidoyer ). Selon les cas, les dispositifs de suivi-évaluation peuvent s intéresser aux activités et aux résultats des projets mais aussi à leurs effets, en vue d accroître leur impact 1. Ils ont donc une dimension qualitative forte, en analysant ce que l action du commanditaire produit au quotidien : en particulier en quoi cette action affecte les conditions de vie des populations, leurs comportements et représentations. Pour le commanditaire, le dispositif de suivi-évaluation permet de : - favoriser les relations entre les acteurs impliqués : ainsi, la structure commanditaire 2, les partenaires et les autres acteurs locaux disposent d un outil commun d analyse du projet ; - dialoguer avec les partenaires financiers. En effet, la validation du dispositif de suiviévaluation par un consultant renforce sa crédibilité. Le dialogue commanditaire / bailleur s établit autour de constats partagés qui permettent d envisager d éventuelles renégociations du cadre contractuel ; - communiquer sur son projet auprès des électeurs et des élus (si le commanditaire est une collectivité), ou auprès de donateurs (si le commanditaire est une ONG). Cet outil s inscrit plus particulièrement en complémentarité des outils «évaluation finale» et «étude des effets et de l impact», dans la mesure où ces dernières atteignent toute leur efficacité quand elles s appuient sur les données recueillies par un dispositif de suivi-évaluation. 2 Critères d éligibilité spécifiques La logique d intervention du projet doit être explicite (objectifs général et spécifiques, résultats attendus, activités), à défaut de l existence d un cadre logique en tant que tel, même si le travail sur le dispositif de suivi-évaluation peut amener à la préciser. Le projet, objet de la conception ou de l ajustement du dispositif de suivi-évaluation, doit être en cours de démarrage ou de mise en œuvre. 3 Modalités spécifiques d instruction et de mise en œuvre 3.1. Instruction La structure commanditaire présente d abord à l Équipe technique du F3E une note d intention. Celle-ci servira de base à leurs échanges. Elle permettra en particulier de vérifier l adéquation de l outil avec les besoins de la structure et la conformité de sa demande avec les critères définis par le F3E. 1 Voir aussi la fiche de présentation de l «étude des effets et de l impact», pour quelques éléments d explication sur la notion d impact. 2 Par exemple : siège et équipes terrain dans le cas où le commanditaire est une ONG ; collectivité, maître d œuvre et éventuel maître d ouvrage délégué dans le cas où il s agit d une collectivité locale, etc. - 2 -
Les termes de référence de l appui seront ensuite rédigés en vue d une présentation au Comité d Examen du F3E pour instruction (modalités d instruction variables selon les modes d accompagnement «rapproché» ou «allégés»). 3.2. Mise en œuvre La mise en place d un dispositif de suivi-évaluation comporte des enjeux de dialogue multi-acteurs ainsi que de construction négociée et concertée du dispositif. Aussi le F3E encourage-t-il le commanditaire à associer l ensemble des partenaires et «bénéficiaires» Nord et Sud (ou Est) concernés par le projet dans la conception et l utilisation du dispositif de suivi-évaluation. Cette implication pourra notamment prendre la forme d un comité de pilotage de l appui à la mise en place du dispositif de suivi-évaluation, comité qui pourra ainsi d autant mieux s impliquer dans le suivi ultérieur de l action. La durée de l appui du consultant est limitée dans le temps. Elle ne doit pas excéder 6 mois (pour la phase principale d appui présentée ci-dessous). 4 Expertise et méthodologie 4.1 Type d expertise Un consultant est mobilisé pour accompagner le commanditaire et ses partenaires dans leur démarche. Doté d une mission d appui - conseil, son rôle est de : accompagner la démarche ; fournir un apport méthodologique ; aider le commanditaire et ses partenaires à s interroger en identifiant les intérêts et apports du dispositif de suivi-évaluation existant ainsi que ses contraintes et limites ; alimenter la réflexion et aider les acteurs à élaborer ou à préciser des indicateurs objectivement vérifiables permettant le suivi des activités, des résultats et/ou des effets ; et à élaborer des outils de collecte, d analyse et d utilisation des données du suivi-évaluation ; valider la conception du dispositif et le réajuster si nécessaire après une phase d expérimentation. Le consultant met en œuvre une démarche participative et itérative : il accompagne le commanditaire étape par étape dans le processus. Ses interventions sont discontinues mais inscrites sur une certaine durée. 4.2 Points de repère méthodologiques L accompagnement peut se décomposer en deux phases : une phase principale d appui qui peut comprendre elle-même quatre étapes (diagnostic, construction, validation, test et mise en œuvre) ; une phase de suivi réalisée quelques mois plus tard (ajustements éventuels du dispositif) ou éventuellement dans la durée du projet (appui à l exploitation / utilisation des données du suiviévaluation. De façon indicative, on peut attendre plusieurs étapes : analyse des dispositifs de suivi-évaluation existants, de leurs points forts et limites ; analyse des modes de communication, de circulation de l information ; analyse bibliographique (notamment rapports d activités et financiers, éventuellement rapports d évaluation ) ; réunions collectives 3 et entretiens pour définir : - les objectifs du suivi, l objet et l utilité du dispositif ; - les critères en fonction des objectifs du suivi (et donc de leur traitement) ; 3 Ces réunions collectives peuvent réunir salariés et administrateurs pour une ONG, fonctionnaires territoriaux et élus pour une collectivité locale, partenaires, «bénéficiaires» si nécessaire, - 3 -
- leur traduction en indicateurs réalistes, qu il est possible de renseigner, et capables d évoluer en fonction du programme ; - les modes de collecte des données (fiches de suivi, entretiens individuels, enquêtes et sondages, observations de terrain ), leur fréquence ; les acteurs impliqués ; la vérification de leur faisabilité ; - les modes d analyse, de traitement et d utilisation des données (notamment par quels acteurs) ; présentation et validation collective du dispositif 4 ; temps de travail pour le suivi de la mise en œuvre, notamment avec ceux qui en ont la charge (phase de test). 4.3 Produits attendus Au terme de l appui, il est attendu plusieurs résultats : Le dispositif de suivi-évaluation est conçu. En particulier, les acteurs impliqués et leur rôle, les informations collectées et leur usage sont précisés. Un cadre logique amélioré et ré-ajustable en fonction des données fournies par le dispositif de suivi-évaluation peut être élaboré. Cet outil aura un double usage : - il permettra de discuter de l évolution du projet, au sein de la structure commanditaire et avec ses partenaires, et favorisera la prise de décision ; - en externe, il sera une base de discussion fiable et crédible, notamment avec les bailleurs, sur les attendus de l action et les ajustements à envisager. Ces résultats impliquent des produits attendus, en termes de rendus au F3E, à savoir : de la part du consultant : Un document de présentation analytique du dispositif de suivi-évaluation : description schématique du dispositif, accompagnée d explications sur les raisons des choix opérés en particulier. Les atouts et les limites du dispositif sont analysés. Une note méthodologique décrivant la méthodologie utilisée et analysant les points forts et points faibles de la démarche. Ceci inclut les difficultés rencontrées au cours de cet appui et des recommandations pour une amélioration de cet appui si c était à refaire. de la part du commanditaire : Une note de commentaires donnant l avis du commanditaire sur l ensemble de la démarche, en particulier sur l appui apporté par le consultant (si c était à refaire, que faudrait-il améliorer? etc.) ainsi que sur l utilité du dispositif mis en place. Ces notes de commentaires peuvent alimenter un entretien de bilan de l étude entre le consultant, le commanditaire et le F3E. 5 Bénéfice collectif et valorisation Le F3E diffuse les documents décrits au 4.3, en particulier sur son site internet. Il peut être amené à les valoriser de différentes manières (ateliers d échange, analyses transversales, capitalisations, ) au service du bénéfice collectif 5. Cette valorisation peut alimenter la réflexion sur la constitution de référentiels d évaluation sectoriels et thématiques et utiliser les résultats de l appui pour réaliser des guides méthodologiques. La note méthodologique du consultant sert à enrichir la capitalisation méthodologique menée par le F3E. Consultez notre site www.f3e.asso.fr pour lire et télécharger des exemples de rapports sur la mise en place (ou amélioration) de dispositif de suivi-évaluation et des ressources méthodologiques sur le suivi-évaluation. 4 Cette validation peut réunir salariés et administrateurs pour une ONG, fonctionnaires territoriaux et élus pour une collectivité locale, partenaires, «bénéficiaires» si nécessaire, 5 Le bénéfice collectif constitue l un des principes du F3E. Toute étude appuyée par le F3E doit «alimenter le bénéfice collectif», c est-à-dire être utile au plus grand nombre possible de ses structures membres et, au delà, aux autres acteurs de la solidarité internationale et de la coopération décentralisée. - 4 -