Fondation Rurale de l Afrique de l Ouest Compte rendu de la réunion de réflexion sur l évaluation d impact des formations organisées dans le cadre du PRCG Du 05 au 06 juin 2009 s est tenue au siège de la FRAO à Dakar-Sénégal sis à Sacré cœur III une réunion d échange sur l évaluation d impact des formations organisées dans le cadre du PRCG. Elle a enregistré la participation de 07 personnes (cinq de la FRAO et deux de l équipe d évaluation). L idée de cette étude date de l année dernière (2008), mais elle n a cependant pu se concrétiser faute d un manque de convergences sur la démarche à suivre. L objectif de cette rencontre était, donc, de définir le mécanisme de mise en œuvre de l évaluation de l impact des formations organisée dans le cadre du programme PRCG depuis 2007. Les résultats attendus sont: une démarche concertée, des outils validés et les critères de choix des thèmes de formation, projets ou personnes à visiter ou interroger. La rencontre s est tenue sur deux journées: Jour 1: Echanges sur les objectifs et la démarche de l évaluation d impact entre la FRAO et Gilles Van Wijk de l équipe d évaluation Après s être mis d accord sur les objectifs de la mission d évaluation à savoir l évaluation de l impact de formation dispensées dans le cadre du PRCG et non de la pertinence de faire une formation; la question de la démarche à adopter a été abordée. Trois démarches avaient été proposées par le consultant Gilles Van Wijk, à savoir : - la démarche 01 basée sur la comparaison d une situation dite Avant formation à la situation après formation,
- la démarche 02 basée sur la comparaison d une part entre une situation dite avant avec formation - après avec Formation et d autre part une situation dite avant sans formation - après sans formation et la démarche 03 basée sur la comparaison entre les données historique provenant des Institutions Coopérantes et des projets avant les formations et ces mêmes données après les formations. Après échanges sur les implications, contraintes et limites de chaque démarche, la démarche 01 a été retenue, tout en notant que la reconstitution de la situation de référence des projets avant les formations pouvait constituer une contrainte. Les facteurs bloquant pourraient être: o le turn-over très élevé au sein des projets o Le passage à la supervision directe o Le réaménagement du portefeuille des CPM o L éventuelle perte de mémoire des personnes interrogées. Il a aussi été retenu que les missions se feront de manière participative avec la FRAO. Jour 2 : Etude des modalités opérationnelles de l évaluation d impact La deuxième journée a été l occasion de partager avec monsieur TERA absent la veille, les résultats de la journée 01. Après validation donc de la démarche, la deuxième journée a été entièrement consacrée à son opérationnalisation. Cinq points ont ainsi fait l objet de partage, à savoir les sources de collectes d information, les thèmes de formation à évaluer, les outils de collecte d informations, et le chronogramme de la mission. Sources fondamentales de collecte d informations : les différentes sources de collecte d information retenues dans le cadre cette mission sont les suivantes : o Les projets à travers une auto-évaluation o Documents d identification des besoins élaborés par les IRF o Revue de portefeuilles (Cotonou, Niamey) o Document du programme o Document d évaluation des projets o PRCG 2009 2/9
Thèmes de formation à évaluer : le critère de choix a été les formations effectuées depuis plus d un an. Quatre thèmes de formations répondent à ce critère : Team building (Esprit d équipe) : 09 formations organisées Management Opérationnelles : 03 formations organisées Passation de marché : 04 formations organisées Demande de retrait de Fonds : 02 formations organisées Il a donc été retenu de porter l évaluation des formations sur ces quatre thèmes. Outils de collecte d informations : Les outils de collecte d information retenus sont les suivants Les questionnaires à envoyer aux projets ayant pris part aux différentes formations organisées. Ils devront faire ressortir les préoccupations ayant motivé la participation aux formations et les changements qui se sont opérés après la participation aux différentes formations Les interviews : elles permettront d approfondir avec les agents l analyse des changements qui découlent des formations. Elles se feront avec une diversité d informants pour trianguler l information. La revue documentaire : elle étudiera divers types de documents (revue à mi-parcours, rapport de supervision, rapport d identification besoins) qui renseigneront sur les problèmes de départ et les changements postérieurs PRCG 2009 3/9
Méthodologie d approche pour chaque thème Thèmes Esprit d équipe Passation de marché DRF Sources collecte de données (avant formation et après formation) Revue à mi-parcours Rapport de supervision Rapport d identification besoins Acteurs du projet Revue des DNO (Demande de Non Objection à obtenir du FIDA) Rapport de supervision Acteurs projets(responsables formés et/ou collaborateurs Acteurs du projet Rapports de supervision Méthodes de collecte questionnaire et entretien autour des préoccupations revue documentaire entretien avec CPM et assistante questionnaire et entretien autour des problèmes types revue documentaire et entretien CPM et assistante questionnaire et entretien autour des problèmes types revue documentaire et entretien CPM et assistante Management Opérationnel Coordonnateurs formés Rapport de supervision Questionnaire (auto évaluation) Entretien avec CPM pour avant et après PRCG 2009 4/9
Chronogramme des Activités Il est apparu que le rapport de l évaluation devait être disponible au plus tard le 20 décembre afin de prendre en compte ces recommandations dans le plan de travail annuel de l année 2010. Le retro-planning a donc permis d aboutir à ce chronogramme : ACTIVITES Juillet Août septembre Octobre Novembre Décembre Revue documentaire au FIDA Elaboration de questionnaires par thème, autour des problèmes et/ou préoccupations par thème Création des listes de projets concernés Questionnaires diffusés aux projets ayant reçu la formation Suivi et réception des réponses aux questionnaires Exploitation des questionnaires Sélection de l échantillon pour entretiens Conception de la grille d entretien Entretiens sur base des résultats du questionnaire Exploitation et rédaction du rapport PRCG 2009 5/9
ANNEXES 01 Liste des participants Ndèye Coumba Fall Directrice Exécutive / FRAO Ngagne Mbao Coordonnateur du PRCG/FRAO Adama Ndiaye Expert en Suivi évaluation PASSE/ FRAO Ousmane Timéra Consultant-formateur/ FRAO Lofigué Karnon Assistant de Programmes FRAO Moulaye Idriss Téra Consultant Equipe d évaluation Gilles Van Wijk Consultant- Equipe d évaluation
ANNEXES 02 TERMES DE REFERENCES POUR LE DEVELOPPEMENT D UN SYSTEME D EVALUATION DE L IMPACT DES FORMATIONS DU PRCG ET DU PROSUME SUR LA PERFORMANCE DES OPERATIONS Contexte et Justification L objectif général du Système d Evaluation De l Impact des Formations est de mesurer le rapport entre la participation des acteurs d une équipe à un module de formation et l amélioration sur les dimensions pertinentes de la performance du projet dont ils sont les porteurs. La mise en place du programme de renforcement des capacités en gestion des équipes des projets (PRCG) ainsi que du programme de suivi/ évaluation (PROSUME) a pour objectif d améliorer la performance de la mise en œuvre des projets et programmes. Dès lors, une évaluation de l impact effectif s impose qui dépasse le cadre de la formation elle-même. L efficacité des formations se mesure au niveau de la mise en œuvre du projet, et particulièrement des progrès accomplis sur les aspects spécifiques de la formation où des besoins ont initialement été identifiés. L évaluation de l impact des formations permettra donc de faire un diagnostic et, en outre, de mettre en œuvre un processus d amélioration permanente. Objectifs : 1- Développer un système opérationnel longitudinal et comparatif d évaluation de l impact des formations au niveau des projets. PRCG 2009 ii
2- Tirer parti des bases de données existantes, comme les rapports d audit, actuellement disponibles auprès des Institutions Coopérantes comme l UNOPS. 3- Répondre efficacement aux contraintes du FIDA en matière de suivi du processus stratégique de formation, et de disposer d un outil de diagnostic simple. Reconnaissance et résultat : La FRAO et le FIDA disposeront grâce à cet outil d une évaluation de l efficacité du programme et d un moyen de suivre son évolution sur plusieurs années d un outil de diagnostic permettant d analyser de façon différenciée l acquis des participants au niveau opérationnel et la qualité de la prestation des IRF L outil d analyse peut également révéler des points d amélioration des rapports d audit pour assurer le meilleur suivi des projets. Mandat et tâche de l équipe de consultants Dans ce cadre les tâches à mener par les consultants chargés du développement du système d évaluation sont les suivantes : Durant la phase préparatoire 1. Etudier les sources documentaires, rapports d audit en particulier, disponibles auprès des Institutions Coopérantes. 2. Etablir une proposition méthodologique identifiant à partir des données disponibles, le rapport entre le module de formation et les indicateurs permettant d observer l impact, pour chaque module. 3. Proposer une stratégie d analyse de ces données qui soit simple, et qui permette une évaluation à différents niveaux, projet, formation, programme. Durant la mise en place 4. Développer un système de collecte de données permettant une saisie et/ou une transcription aisée et fiable, au fur et à mesure de la disponibilité. 5. Tester le système, et prévoir une structure de rapport avec une échéance annuelle. PRCG 2009 iii
6. Prévoir un comité FRAO-FIDA-Institutions Coopérantes qui étudiera l analyse et élaborera ses conclusions en termes d actions à entreprendre. Après la mise en place 7. Faire le bilan du système d analyse de l impact des formations, en revoyant le cas échéant les changements à apporter au niveau des indicateurs pris en compte, et au niveau du rapport de synthèse. Thèmes La liste des thèmes suit normalement la liste des formations proposées par le PRCG, mais a priori des thèmes plus qualitatifs comme «Esprit d Equipe» et plus techniques comme «Passation de Marchés» seront analysés en priorité pour évaluer la faisabilité de ce type de système.. PRCG 2009 iv