«Accompagner un processus de renforcement des capacités avec un partenaire»

Transcription

1 Note de synthèse du module de formation : «Accompagner un processus de renforcement des capacités avec un partenaire» Sessions de formation des février 2007, des mars 2007 et des mars 2009 Note de synthèse réalisée par South Research (An Dewaele)

2 Table des matières Introduction 3 1. Concepts liés au suivi-évaluation d un processus de renforcement de capacités (RC) En partant du diagnostic organisationnel (DO) en passant par le concept de «renforcement des capacités (RC)» pour arriver au suivi-évaluation (S-E) Défis spécifiques au suivi-évaluation d un processus de renforcement de capacités Conception d un système de suivi-évaluation Elements clés d un système de suivi-évaluation Indicateurs de renforcement des capacités Méthodes et outils de suivi-évaluation Le suivi-évaluation d un processus de renforcement des capacités dans un contexte de partenariat Questionnaire : «Suis-je un bon partenaire?» Droits et obligations dans une relation de partenariat Les conséquences pour le suivi-évaluation d un processus de renforcement avec un partenaire 35 Bibliographie 37 2

3 Introduction Cette note de synthèse reprend les grandes lignes et les éléments clef du module de formation sur le thème «Le suivi-évaluation d un processus de renforcement des capacités avec un partenaire», développé à travers trois sessions de formation organisées par le F3E en février et mars 2007 et en mars 2009, réalisées par des formateurs de South Research (et de INTRAC pour la session de mars 2007). Ce module de formation est repris en janvier 2010, avec un allongement de sa durée (4 jours) et un ajustement de son titre pour refléter les évolutions de son contenu : «Accompagner un processus de renforcement des capacités avec un partenaire». Ce titre ajusté est repris pour cette note de synthèse. Ce module de formation fait suite à plusieurs sessions de formation organisées par le F3E entre 2003 et 2006 sur le thème «Introduction au diagnostic organisationnel avec un partenaire» 1, réalisées initialement par INTRAC puis en binôme avec South Research. Cette note de synthèse se base sur les supports utilisés et/ou distribués aux participants lors des différentes sessions de formation organisées. Ce document est en premier lieu destiné aux participants des sessions de formation, mais devrait pouvoir fournir plus largement des points de repère aux personnes intéressées par ces questions. Nous souhaitons souligner que ce document a été conçu comme une synthèse, un document d accompagnement de la formation, pour rappeler la logique d ensemble et le déroulement du module, sans pour autant prétendre présenter de façon approfondie «la manière de faire» sur ces questions. Cette synthèse écrite ne doit pas faire passer le lecteur à côté de l esprit et du sens de la formation, notamment la prise de conscience de la relativité de n importe quel instrument ou outil, pour le renforcement de capacités ou pour tout autre type d intervention. Ces instruments et outils demeurent des moyens pour atteindre des objectifs, et ne sont pas des buts en eux-mêmes. Dans une telle démarche, il est primordial de communiquer et de clarifier les objectifs du processus de renforcement des capacités et de son suivi-évaluation en dialogue avec son partenaire, d être dans une logique d apprentissage, d avoir le sens critique et l attitude créative requis pour adapter et développer des outils / instruments en fonction de l approche, des acteurs, de la culture, du contexte Sans une attention particulière portée à ces éléments «soft» et intangibles, tout processus de renforcement de capacités avec un partenaire, et de suivi-évaluation de celuici, risque de passer à côté de l effet d apprentissage mutuel et d empowerment. An Dewaele (South Research) 1 Une note de synthèse du module «Introduction au diagnostic organisationnel avec un partenaire» est disponible sur le site internet du F3E, 3

4 QuickTime an d a de compres sor are ne ed ed to s ee this pictur e. 1. Concepts liés au suivi-évaluation d un processus de renforcement de capacités (RC) 1.1. En partant du diagnostic organisationnel (DO) Dans le module précédent «Introduction au diagnostic organisationnel avec un partenaire», le diagnostic organisationnel (DO) était considéré comme une étape intermédiaire dans un processus de renforcement des capacités (RC), comme le montre la Figure 1.1 ci-dessous. S-E et le processus de RC S&E du renforcement des capacités Préparer le DO Pourquoi? Quoi? Comment? Le(s) but(s) Le champs L approche Méthodes/outils Mise en oeuvre du plan de RC Mener un DO Elaborer un plan d action de RC Identifier les priorités de Renforcement des capacités Figure 1.1 : Le diagnostic organisationnel dans un processus de renforcement de capacités. Le diagnostic organisationnel permet d identifier les domaines prioritaires de renforcement des capacités. Il fournit les éléments essentiels pour monter un plan de renforcement des capacités. La note de synthèse du module de formation «Introduction au diagnostic organisationnel avec un partenaire» 2 présente plus en détail les définitions, objectifs, fonctions, domaines et champs, approches, éléments de mise en œuvre liés au diagnostic organisationnel en passant par le concept de «renforcement des capacités (RC)» Dans le cadre de la coopération au développement, le renforcement des capacités fait référence aux approches, stratégies et méthodologies appliquées par un pays en voie de développement ou par des parties concernées externes en vue d améliorer la performance 3. Au niveau d une organisation, on peut dire que sa capacité est le potentiel qu elle a à être performante, c est-à-dire à atteindre ses buts et à réaliser sa mission 2 Téléchargable sur le site internet du F3E, 3 Traduit de CIDA (ACDI), «Capacity development», Occasional Series, May

5 globale. Le renforcement des capacités vise alors à améliorer la performance potentielle de l organisation (CRDI, 2004). Les capacités peuvent se situer à plusieurs niveaux (cf. Figure 1.2) : le niveau individuel, organisationnel, inter-organisationnel et le niveau de la société. Dans la littérature sur le renforcement des capacités, il existe d autres termes pour identifier les différents niveaux des capacités comme individuel, organisationnel et environnement «enabling» (PNUD, 2004) ou individuel, organisationnel, sectoriel/réseau et environnement «enabling» (ACDI, 2000). L idée sousjacente est le même et se réfère au fait que les capacités se situent à différents niveaux qui sont liés entre eux et qui forment ensemble un système intégré. Il s agit d un système où le renforcement des capacités n est pas un processus linéaire mais une intervention qui touche et influence les différentes dimensions du système. Les interrelations entre les différents niveaux de capacité impliquent qu un processus de renforcement des capacités doit prendre en compte les capacités à ces différents niveaux afin d aboutir à un réel changement. Prenons par exemple un infirmier très capable mais qui ne fonctionne pas bien parce que ses efforts ne sont pas appréciés au niveau de l hôpital. Il est inutile de le former davantage sur un encadrement de qualité des patients sans influencer au niveau organisationnel le système de reconnaissance du travail. Tout d abord on se concentre sur chacun des niveaux de renforcement des capacités pour ensuite monter un plan intégré de renforcement des capacités. L objectif que l on se fixe pour le renforcement des capacités peut se situer à chacun des 4 niveaux : En commençant par l intérieur des cercles, une action de renforcement des capacités individuelles vise l accroissement des capacités spécifiques d une ou plusieurs personnes : leurs connaissances, compétences, aptitudes, expériences. Il pourrait s agir de capacités d animation des vulgarisateurs, de connaissance du système de cofinancement, des capacités à motiver une équipe Ces interventions de renforcement de capacités individuelles peuvent se traduire par exemple par des formations, des échanges, le coaching (accompagnement en miroir par une personne interne ou externe à l organisation) ou le mentoring (apprentissage à travers un appui par un collègue plus expérimenté). Le renforcement organisationnel (le niveau suivant) est défini comme le processus continu par lequel une organisation accroît sa capacité à formuler et à atteindre des objectifs pertinents. Le renforcement des capacités organisationnelles telles que la politique interne, les systèmes et procédures, la structure requiert d autres types d intervention, par exemple le renforcement de la politique de gestion des ressources humaines, une restructuration, une planification stratégique Le niveau suivant de renforcement de capacités se situe entre deux ou plusieurs organisations, par exemple la gestion d un réseau, le montage d une alliance pour une action commune spécifique, les capacités de gestion de conflit... Finalement, on pourrait s orienter vers le renforcement des capacités dans la société telle que les politiques, la législation, les relations de pouvoir, les normes sociales... qui, à son tour, requiert des interventions spécifiques comme le renforcement des capacités de plaidoyer, de lobbying, pour développer un contrepoids aux structures gouvernementales... 5

6 RC dans la société RC inter-organisations RC organisationnelles Renforcement de capacités individuelles Figure 1.2 : Différents niveaux de renforcement des capacités. Dans les différentes approches, on peut distinguer le renforcement des capacités comme un moyen ou du renforcement de capacités comme une fin : Dans le premier cas, une organisation est renforcée pour qu elle accomplisse des activités spécifiques (parmi lesquelles, par exemple, renforcer les capacités d animation pour que l organisation puisse mieux accompagner des groupements de base). Dans le cas où le renforcement d une organisation est défini comme une fin en soi, l organisation est alors renforcée pour «survivre», se développer et accomplir sa mission telle qu elle l a définie. La même logique est applicable si on se place dans une démarche de renforcement des capacités au niveau de la société. S il s agit d un renforcement de capacités comme moyen, les acteurs sont renforcés pour mettre en œuvre des activités spécifiques (par exemple les ONG sont renforcées pour sensibiliser la population sur le VIH/Sida). Au cas où le renforcement de capacités dans la société est considéré comme une fin, alors les acteurs de base sont renforcés pour participer à la vie politique et socio-économique, en tenant compte des objectifs qu ils ont définis eux-mêmes. Par exemple, en renforçant les associations des PVVS (personnes vivant avec le VIH/sida) pour qu elles atteignent leurs objectifs concernant l accès aux médicaments, le respect des droits au travail... Le diagnostic organisationnel permet d identifier les domaines des capacités à renforcer et est donc une étape préparatoire pour identifier le ou les objectif(s) du renforcement des capacités du partenaire. Les résultats d un diagnostic organisationnel peuvent constituer la base d un plan ou programme de renforcement des capacités. Ensuite on peut déterminer le(s) niveau(x) approprié(s) d intervention (individuel, équipe, entre-équipes, organisationnel, institutionnel ou au-delà) et les méthodes à mettre en œuvre (types d actions) pour y arriver. Le Tableau 1.1 ci-dessous présente quelques méthodes de renforcement des capacités. 6

7 Tableau 1.1 Quelques méthodes de renforcement des capacités à différents niveaux. Niveau d intervention Individu Equipe Entre-équipes Organisation Institutionnel Méthode - Formation individuelle - Coaching et mentoring - Visite d échange - Team building - Gestion de conflit - Intervision - Gestion des connaissance dans l équipe - Gestion de conflit entre équipes - Apprentissage organisationnel - Réorganisation - Restructuration - Développement d une politique de GRH - Développement organisationnel - Conduite du changement - Mise en réseau - Lobby et plaidoyer Comment établir un plan intégré de renforcement des capacités? Quand on monte un plan de renforcement des capacités dans une perspective systémique, on ne recherche pas seulement les changements aux différents niveaux des capacités mais on intègre surtout les liens entre ces niveaux (cf. Figure 1.3). On développe alors un plan intégré de renforcement des capacités, où on considère les interventions de renforcement des capacités aux différents niveaux en tenant compte des interrelations potentielles entre les niveaux. Figure 1.3 : Différents niveaux de renforcement des capacités et les interrelations. 7

8 L exemple d un département forestier montre comment un plan intégré de renforcement des capacités peut être monté en suivant des étapes consécutives : On commence par la priorisation des domaines de capacités à renforcer (suite à un diagnostic organisationnel, une évaluation, un changement important dans le contexte, une réflexion interne ). On détermine le point d entrée à un des différents niveaux de capacités : individuel, organisationnel, inter-organisationnel et au niveau de la société. Pour le cas du département forestier, nous sommes entré par le niveau interorganisationnel parce que la collaboration entre le département forestier et les communautés locales était un facteur clé. On pourrait s imaginer d entrer à d autres niveaux de capacités. L essentiel est d adapter le plan à la réalité particulière de chaque situation. Ensuite on cherche les liens ou les conditions nécessaires aux autres niveaux de capacités pour arriver à réaliser un vrai changement. Par exemple, en faisant le lien avec le niveau organisationnel, on se pose la question : quelles structures, systèmes, leadership, mission, vision sont nécessaire dans le département forestier pour pouvoir collaborer avec les communautés locales? La réponse donne les objectifs de renforcement des capacités au niveau organisationnel. Ensuite suivent le niveau individuel et le niveau de la société pour identifier les objectifs de renforcement des capacités. Par objectif de renforcement des capacités on peut identifier différentes activités de RC (troisième colonne). Point d attention : L appropriation du plan intégré de renforcement des capacités revient au partenaire du Sud. Le partenaire du Nord peut se servir de cet outil pour mener la réflexion avec le partenaire du Sud. Il revient au dernier d organiser et de combiner les différentes interventions de renforcement des capacités (avec éventuellement différents partenaires du Nord) pour aboutir à une action cohérente qui tient compte des différents niveaux de renforcement des capacités et des liens et conditions entre eux. 8

9 Figure 1.4. : Exemple d un plan intégré de renforcement des capacités d un département forestier. Points à améliorer suite au diagnostic organisationnel : Trop peu de gardes forestiers pour effectuer leur travail de contrôle Agents forestiers corrompus et pas motivés Une structure et manière de travailler beaucoup trop cher (pas efficient) Peu d engagement des communautés dans la gestion des forêts Objectif du plan de renforcement des capacités : Développer un système durable pour la gestion communautaire des forêts Niveau de la SOCIETE : Quels sont les éléments importants dans l environnement pour atteindre les objectifs (loi, les règlements, la culture, mentalité )? OBJECTIF Appuyer la gestion durable des forêts communautaires Assurer l appropriation par les communautés locales du thème de foresterie communautaire ACTIVITES Réforme législative pour le transfert de propriété de l état aux communautés des forêts communautaires Accompagner l union des comités forestiers Niveau INTER-ORGANISATIONNEL : Comment faut-il travailler ensemble, en réseau, pour atteindre les objectifs? Le département forestier collabore avec les communautés locales : arriver à développer une foresterie communautaire Mettre en place et accompagner des comités forestiers au niveau des villages Monter une collaboration avec des ONGs travaillant dans d autres domaines pour sensibiliser la population Chercher une synergie avec le département agricole, des parcs nationaux, des chasseurs, marchands de charbon Niveau ORGANISATIONNEL : Quelles structures, systèmes, leadership, mission, vision, sont nécessaires pour atteindre l objectif? Réorganiser le département forestier en fonction d une foresterie communautaire : Définir de nouvelles tâches, compétences, du garde forestier Développer des fiches de poste d une manière participative Définir les nouvelles régions de travail Commencer avec des réunions d équipe et 9

10 Développer une nouvelle couverture géographique (régions de travail) Installer un système pour plus d échange d expériences l intervision Monter un système de coaching Niveau INDIVIDUEL : Quelles connaissances, compétences, comportements et attitudes sont nécessaires pour atteindre l objectif? Améliorer les capacités et les connaissances des gardes forestiers dans l animation des groupes, le travail participatif Accompagner les gardes forestiers individuellement dans ce processus de changement Organiser des formations pour les gardes forestiers sur les thèmes de la participation, l animation des groupes Intégrer un module de foresterie communautaire dans la formation diplômante de garde forestier Organiser des formations pour les chefs des gardes forestiers sur l accompagnement personnel dans des processus de changement 10

11 1.3. pour arriver au suivi-évaluation (S-E) Dans le cadre du suivi-évaluation (S-E) d un processus de renforcement de capacités, il importe de : Définir l objectif du suivi-évaluation : sa fonction, pourquoi et pour qui le suiviévaluation sera-t-il mené? Définir le champ du suivi-évaluation : sur quels aspects va-t-on faire du suiviévaluation, avec quels indicateurs? (cf. 2.2) Déterminer comment le suivi-évaluation sera mené : avec quelle approche, quelles méthodes et quels outils? (cf. 2.3) Les objectifs et fonctions du suivi-évaluation d un processus de renforcement des capacités peuvent être multiples : Vérifier l état d avancement du renforcement des capacités afin de pouvoir adapter ou introduire des mesures correctives dans le processus. Rendre compte auprès des parties prenantes concernées internes ou externes des résultats obtenus, de ce qui s est passé pendant le processus de renforcement de capacités. Apprentissage : le suivi-évaluation peut servir à tirer des leçons en interne ou à partager ces leçons en externe. Cet apprentissage peut mener à des changements au niveau de la politique de renforcement des capacités de l ONG, au niveau des pratiques, au niveau des relations partenariales... L empowerment peut être un objectif explicite ou implicite du suivi-évaluation. Il s agit là d augmenter les connaissances, capacités, attitudes et pouvoir des parties prenantes impliquées dans le suivi-évaluation pour qu elles les appliquent et les utilisent à leur gré. Selon la ou les fonction(s) / objectif(s) mis(es) en avant, les acteurs et bénéficiaires du suivi-évaluation varient. Par exemple, la fonction d apprentissage peut apporter quelque chose à l organisation partenaire (au niveau individuel, organisationnel ou inter-organisationnel), à ses bénéficiaires, à l ONG du Nord (ONGN), à d autres ONG ayant des activités dans le même domaine De même, pour la fonction de redevabilité, le suivi-évaluation peut permettre de rendre compte auprès des bénéficiaires des services fournis par l organisation partenaire du Sud (ONGS), auprès du bailleur de fonds de l efficience et l efficacité dans la mise en œuvre de l action de renforcement des capacités, auprès de l ONG du Nord qui est partenaire de l organisation du Sud, auprès de la Direction de l organisation partenaire du Sud... Dans le cadre d une relation partenariale, il est important d expliciter entre ONGN et ONGS les attentes par rapport aux fonctions du suivi-évaluation. Du reste, la prise de décision et les responsabilités sont à discuter et à clarifier (cf. 3) Défis spécifiques au suivi-évaluation d un processus de renforcement de capacités La suite de la formation concernant le suivi-évaluation du processus de renforcement des capacités et le choix des méthodes et outils se base sur quelques inputs théoriques, et privilégie la mise en situation et le travail en groupe, à travers deux études de cas préparées par les formateurs. Cette démarche permet aux participants de découvrir au fur et à mesure, de manière déductive, les défis spécifiques au suivi-évaluation d un processus de 11

12 renforcement de capacités. Trois études de cas ont été développées au cours des sessions de formation : DMOS-COMIDE, une ONG belge du réseau de Don Bosco, qui a aidé à mettre en place et accompagner le renforcement des capacités des partenaires locaux. Jandira une maison d accueil des orphelins au Brésil qui était devenu «victime» de son succès. CABUNGO une organisation qui fait des prestations de services aux ONG et organisations de base au Malawi dans le domaine de développement organisationnel. Les groupes de travail, pendant les formations, ont progressivement développé les éléments d un système de suivi-évaluation en passant par les étapes suivantes : A. Développer les options d un plan de renforcement des capacités : Après la présentation de l étude de cas, chaque groupe a identifié des domaines de compétences / capacités du partenaire à renforcer En cas de besoin, les groupes de travail ont priorisé ces domaines de compétences / capacités en utilisant différents outils Les groupes ont défini les objectifs de renforcement de capacités Les groupes ont identifié plusieurs options / méthodes pour renforcer ces capacités B. Développer des méthodes / outils de suivi-évaluation selon les domaines de compétences / capacités à renforcer : Pour chaque domaine de capacité à renforcer, le groupe a échangé les points de vue sur «Comment suivre et évaluer ce processus?» Les groupes ont identifié des méthodes / outils pour faire le suivi-évaluation Les groupes ont défini l implication des acteurs dans le suivi-évaluation (qui et comment?) C. Faire une analyse critique et adapter au cas de besoin les méthode(s) de suivi-évaluation choisi(e)s à l étape précédente : En tenant compte des inputs théoriques apportés par les formatrices sur les systèmes de suivi-évaluation et les indicateurs, les groupes ont pu identifier des changements à apporter dans les méthodes développées à l étape précédente Les groupes ont décrit les avantages et inconvénients des méthodes / outils proposé, de façon générale et pour les études de cas Notons que le suivi-évaluation d un processus de renforcement de capacités comporte des défis spécifiques, tant au niveau conceptuel, méthodologique que pratique 4 : Souvent, les objectifs des programmes de renforcement des capacités ne sont pas précisés. Si le cadre conceptuel d un programme est imprécis, cela complique l élaboration d un système de suivi-évaluation. 4 Adapté de INTRAC, Praxis Paper N 2, 2005, 12

13 La répartition des rôles en termes de contrôle et de pouvoir sur le processus de suivi-évaluation, et les enjeux d appropriation de celui-ci, ne sont pas toujours clarifiés. Le défi consiste à identifier, à reconnaître et à comprendre les besoins, les motivations et les priorités (explicites ou implicites) des parties concernées. Comment mesurer des changements aussi complexes et intangibles? Afin de pouvoir procéder à l analyse de processus aussi complexes, il faut se doter de cadres de travail intégrés et multidimensionnels comme par exemple une approche systémique. Comment démontrer / prouver la causalité et l attribution? L interaction de facteurs internes et externes, en plus des circonstances changeantes, complique l établissement d une relation causale entre une action et un changement plus vaste, et l attribution de la responsabilité d un changement à tel ou telle action. Il paraît plus réaliste de chercher à identifier la contribution d une action à un changement que de chercher à démontrer ou prouver l attribution d un changement à telle ou telle action. La difficulté de bien prendre en compte et de répondre au contexte et à la culture environnante du processus de renforcement des capacités. Les différences culturelles et contextuelles sont des facteurs clés pour la réussite des processus de renforcement des capacités, et donc aussi pour les systèmes de suivi-évaluation dans ce domaine. La réflexion et les travaux des groupes autour des études de cas pendant les formations ont permis de faire émerger quelques éléments de solutions et de réponses aux défis spécifiques du suivi-évaluation d un processus de renforcement des capacités : Assurer la participation des parties concernées pour identifier les priorités. Adopter une démarche d auto-évaluation. Adopter une démarche participative dans la préparation et la conduite du suivi-évaluation. Assurer la triangulation des sources et méthodes / outils d information. Utiliser une variété et / ou une combinaison de méthodes / outils qui incitent à la réflexion et la participation. Adopter un système de suivi-évaluation simple et pratique. Accepter l association plausible et non la causalité directe (cf. le modèle des ondes dans l eau). Prévoir des ressources nécessaires (en termes de temps, de personnel ). Situer le suivi-évaluation du processus de renforcement des capacités dans une perspective de changement (donner une suite, intégrer des leçons apprises...). Pour plus d explications, nous nous référons au document de base «Pour être à la hauteur des défis : l évaluation des impacts du renforcement des capacités organisationnelles» de John Haily, Rick James et Rebecca Wrigley (INTRAC, Février 2005, in Praxis Paper, no. 2, Oxford, 33 p., téléchargeable en plusieurs langues sur 13

14 2. Conception d un système de suivi-évaluation 2.1. Elements clés d un système de suivi-évaluation Un système de suivi-évaluation est constitué des éléments suivants : L information nécessaire : analyse du besoin d informations, quel degré de précision, quelles sources d informations (cf. aussi 2.2). On peut développer un système de matrices, tableaux, formats dérivé de la planification et de l apporche du cadre logique (du plan de renforcement des capacités dans ce cas précis). Le flux d information : comment collecter l information à la source mais aussi là où les informations sont utilisées pour la définition d une politique de renforcement des capacités, l adaptation d une méthode (cf. aussi 2.3). Les tâches et responsabilités des différents acteurs dans le système de suiviévaluation (collecte de données, traitement et analyse, interprétation, prise de décision ). La communication (interne et externe) sur les résultats du suivi-évaluation. Traditionnellement cette communication s effectue par des rapports de suivi, mais il existe d autres formes de dissemination comme par exemple des ateliers, des débriefings avec différentes parties concernées, un article sur un site web Les conseils suivants peuvent être utiles pour le montage d un système de suiviévaluation : L utilisation de l information est l unique justification pour la fournir. On évite ainsi de collecter des masses de données sans qu elles soient traitées, analysées, bref utilisées. L utilisation est également un facteur de motivation pour les personnes qui collectent les informations de base. Garder la simplicité au cœur du système de suivi-évaluation. Eviter le piège d entasser des données. Si un seul indicateur est suffisant pour l interprétation, alors n allez pas en cherchez d autres. Souvent on constate que les systèmes de suivi-évaluation contiennent un nombre excessif d indicateurs, qui peuvent s avérer trop détaillés. Fréquence ou moment de collecte de données les plus appropriés. Assurez-vous que la fréquence et les moments de collecte de données soient adaptés à la réalité sur le terrain et garantissent en même temps la fiabilité des données collectées. N imposez pas d indicateurs ou de méthodes / outils aux partenaires. Le développement même des indicateurs appropriés est un processus d apprentissage et de dialogue entre l ONGN et l ONGS. Il peut arriver que ce soit au moment de la formulation d indicateurs qu on réalise qu on ne parle pas forcément des mêmes choses. Introduisez un système de filtre pour les informations. Cela veut dire qu il ne faut pas «collecter et envoyer» les informations, mais les sélectionner et les analyser avant de les transmettre au niveau suivant. Il est important de définir qui a besoin de quelles informations à quel niveau pour éviter que par exemple l ONGN reçoive des pavés de rapport contenant 14

15 des détails inutiles, tandis qu une analyse et un résumé de 4 pages pourraient être suffisants. Monter ou concevoir un système de suivi-évaluation est un processus en soi. N oubliez pas qu il vaut mieux monter un système de suivi-évaluation basique et flexible que vous pouvez adapter et optimiser par la suite plutôt que de commencer avec un système trop compliqué qui démotive tout le monde dès le départ. Soyez clair sur les utilisateurs de l information du suivi-évaluation. Il faut être clair sur la / les parties prenantes concernée(s) qui vont utiliser le système de suivi-évaluation et pour quoi faire. La Figure 2.1 résume les facteurs de réussite d un système de suivi-évaluation de qualité. Règles et procédures de prise de décision spécifiés à l'avance Collecte d'information et communication concentré sur ce qui est vraiment essentiel Système de S-E bien défini et planifié en avance Syst me de S-E de qualitˇ Les résultats du S-E sont utilisés Concevoir le S-E comme un processus de RC Collecte d'information et rapportage simples automatisme Figure 2.1 Les facteurs de réussite d un système de suivi-évaluation Parmi les différentes composantes d un système de suivi-évaluation, il nous semble essentiel de se concentrer, à travers les parties suivantes, sur ces aspects : «Qu est-ce qu on suit dans le renforcement des capacités? Relativité des indicateurs» et «Comment peut-on faire un suivi-évaluation du processus de renforcement des capacités? Avec quelles méthodes et outils?» Indicateurs de renforcement des capacités Formulation d indicateurs de renforcement des capacités Quelques questions à se poser pour formuler des indicateurs de renforcement des capacités (avec un exemple en italique) : La capacité de qui? Des vulgarisateurs/trices La capacité à faire quoi? A travailler d une manière participative avec les villageois(es) 15

16 Quel est le niveau de capacité actuel (existant)? Rudimentaire, dépend de la volonté ou de l attitude des individus, pas très cohérent avec la culture du département Comment peut-on améliorer ce niveau? Combinaison de formation, on-thejob training («formation sur le tas»), travail en binôme... Comment peut-on savoir que cette capacité est renforcée? Pour chaque décision prise lors d une AG villageoise, au moins 3/4 des membres du comité villageois sont présents (dont 50% sont des femmes) et ils témoignent d avoir contribué au développement du plan d action Le type d indicateur formulé dépend de trois facteurs clés : a. Le moment de la définition des indicateurs de renforcement des capacités. b. Le niveau auquel les indicateurs de renforcement des capacités sont définis (qu est-ce qu on veut mesurer?). c. L implication des parties concernées dans la conception des indicateurs de renforcement des capacités. A. Le moment de la définition des indicateurs de renforcement des capacités Trois cas de figure peuvent se présenter : Avant ou au début du diagnostic organisationnel. Dans ce cas-là on se base sur une référence externe ou on la prend comme benchmark. Par exemple, le pourcentage de participantes qui réussit le test après avoir fini les cours d alphabétisation fonctionnelle avec la méthode de la calebasse et du bâton. Le % pourcentage de réussite moyen avec cette méthode est connu et est alors la référence. A la fin du diagnostic organisationnel. Sur la base de l analyse des priorités des domaines de capacités à renforcer et des changements attendus. Par exemple, à la fin du diagnostic organisationnel, il s avère qu une personne seulement de l équipe est sensible au genre et que les autres sont neutres ou «aveugles» par rapport au genre. Après 2 ans, l organisation s engage à avoir exposé au minimum ¾ du personnel à une formation sur le genre, dont la moitié peut donner des exemples concrets d application des acquis ou d influence sur leur manière d agir dans leur travail quotidien. En rétrospective. Après le diagnostic organisationnel et les actions de renforcement des capacités, les parties concernées peuvent identifier des changements qui ont eu lieu. Dans ce cas, on peut identifier des changements prévus et imprévus sans qu il y ait eu des indicateurs préétablis. Par exemple l existence de liens plus rapprochés avec des acteurs externes à l organisation du fait que les collaborateurs se sentent plus impliqués et engagés dans le changement organisationnel et qu ils ont envie de le communiquer / partager avec l extérieur. B. Le niveau auquel on définit les indicateurs et donc le niveau d intervention de renforcement des capacités On peut définir des indicateurs de renforcement des capacités au niveau de : L input ou l action / activité de renforcement des capacités. L output ou résultats de l intervention de renforcement des capacités. 16

17 QuickTime and a decompressor are needed to see this picture. QuickTime and a decompressor are needed to see this picture. L effet ou objectif spécifique de l intervention de renforcement des capacités. L impact ou objectifs généraux de l intervention de renforcement des capacités. Le processus de renforcement de capacités tel qu il est présenté dans la Figure 2.2 ci-dessous montre qu il ne s agit pas d un processus linéaire. Plus on s éloigne des inputs initiaux (les actions menées, par exemple une formation, un accompagnement ), en passant par les outputs (résultats), les effets et l impact d une intervention de renforcement des capacités, plus il y a d autres facteurs qui interfèrent. A la fin, il est difficile, voire impossible d attribuer l impact d un processus de renforcement des capacités à une intervention spécifique. Néanmoins, il importe de réfléchir aux indicateurs à ces différents niveaux, mais alors plutôt en termes de contribution que d attribution (cf. Figure 2.2 ci-dessous). Activitˇs Rˇsultats Effets Impact Impact Effet Rˇsultat/output Changements dans la sociˇtˇ Elargir lōapproche Effets sur tiers/groupe cible Augmentation de la performance organ. Changement interne dans le fonctionnement Intˇgration des produits/services dans le fonct. Application des acquis des services/produits Satisfaction des services et produits Utilisation des services et produits Input Prestation de services Dˇlivrance de produits 19 Figure 2.2 : Le renforcement des capacités n est pas un processus linéaire mais un continuum divergent Les participants à la formation ont développé des indicateurs à plusieurs niveaux de renforcement des capacités pour les études de cas. Un exemple est fourni dans le tableau ci-dessous : 17

18 Tableau 2.1 : Exemples de formulation d indicateurs à plusieurs niveaux de renforcement des capacités Intervention de RC (ACTION) Une formation de 15 jours en méthodes participatives pour 4 membres du personnel Un atelier de planification stratégique pour tout le personnel et le CA Un processus de capitalisation des expériences de planification des projets sur 2 ans INPUT La qualité de l intervention Questionnaire / fiches d évaluation : qu avez-vous retenus, test des connaissances, satisfaction des participants (note/20) Questionnaire / fiches d évaluation, satisfaction des participants (note/20), l existence d un plan stratégique Les études de cas sont préparées ; les réunions sont régulières ; les résultats des débats sont notés et partagés RESULTAT/OUTPUT Les méthodes participatives utilisés dans la programmation : dans quel %age des cas, %age des bénéficiaires des projets qui se souviennent de la méthode utilisée et se sentent impliqués dans le projet Le plan stratégique est connu par x % du personnel ; la planification du travail de chaque équipe est guidée par le plan stratégique La pratique de planification de projet évolue dans le sens des leçons retenues du processus de capitalisation IMPACT Les innovations faites par le personnel dans les méthodes participatives pour mieux les adapter au contexte : le personnel présente ses méthodes dans des ateliers, les enseigne aux autres ONG locales La vision de l organisation est clairement exprimée, le travail contribue à la réalisation de cette vision Les donateurs expriment leur satisfaction du progrès fait par l ONG, les bénéficiaires expriment leur satisfaction pour des projets mieux gérés 18

19 C. L implication des parties concernées dans la formulation d indicateurs de renforcement des capacités Différentes parties concernées peuvent être impliquées dans la formulation d indicateurs de renforcement des capacités comme par exemple l ONG du Sud, l ONG du Nord, les bénéficiaires ou les groupes cibles, les bailleurs de fonds, des experts thématiques Souvent la meilleure manière consiste à partir des connaissances locales (ceux qui connaissent ou vivent la réalité ont souvent moins de problèmes à donner des exemples d indicateurs). Le processus de formulation d indicateurs peut être complexe, mais il est d autant plus bénéfique quand le partenaire y participe et se l approprie Deux modèles pour concevoir des indicateurs de renforcement des capacités Deux modèles ont été présentés et discutés lors de la formation pour leur intérêt particulier dans le cadre du suivi-évaluation des processus de renforcement des capacités : Le modèle d évaluation d une formation de Kirkpatrick ( ). Le modèle du continuum éducatif (Manuel pour la qualité intégrale, ACCO ). Tableau 2.2 : Le modèle d évaluation d une formation de Kirkpatrick qui distingue 4 niveaux d évaluation Niveau Qu est-ce qu on d évaluation mesure? 1. Réaction Ce que le participant pense de la formation 2. Apprentissage L acquisition de connaissances 3. Comportement Le degré d application des acquis dans le travail quotidien, le changement dans le comportement Commentaires Souvent avec des formulaires d évaluation, questionnaire ou réaction à chaud Vite et facile à obtenir Pas trop cher à collecter et à analyser Par des tests pré et post formation, interview, observation Relativement simple à monter Clair pour des compétences quantifiables mais plus difficile pour des apprentissages plus complexes Observations, interview, questionnaires avec un décalage pour diagnostiquer la pertinence et la durabilité du changement Suivi-évaluation dans le temps 5 Kirkpatrick Donald L, «Evaluating training programs : the four levels», ASTD, 1998, 6 De Bock G, Dereymaeker K, Dekeyser L, Servaes J, «IKOS. Handboek integrale kwaliteitszorg voor ontwikkelingseducatie», ACCO Leuven, 2003, 148 p. 19

20 4. Résultatsperformance Les effets induits sur l organisation et l environnement du participant (requiert l accord et la collaboration des supérieurs, de l organisation, de l individu ) Dépend des outils déjà en place dans le système de gestion et de rapportage = défi pour les lier ou les attribuer à l apprentissage du participant Le mécanisme d attribution doit être clair Plus facile au niveau de l individu qu au niveau de l organisation Les trois premiers niveaux se situent au niveau de l individu tandis que le quatrième situe le changement à un niveau au-delà de l individu (organisation, environnement, famille ). Le modèle théorique du continuum éducatif distingue 4 fonctions d éducation au développement : la sensibilisation, la conscientisation, l activation et l ancrage. Ces fonctions forment un continuum éducatif comme visualisé à la page suivante (Figure 2.3). 20