MODULE V METHODOLOGIE DE COLLECTE DE DONNEES ET EVALUATION DE LA PERFORMANCE
SOMMAIRE Eléments de base du système de suivi évaluation Point de départ de la planification La maitrise du plan de S & E Source de données Outils et méthodes Type de données Quantification et qualification des données Les points fort et faible des données Méthodes qualificatives
COLLECTE DE DONNEES ET SUIVI DES ACTIVITES: DES ELEMENTS DE BASE DE L EVALUATION DES PERFORMANCES
COLLECTE DE DONNEES : UN DES ELEMENTS DE BASE DU SYSTEME DE SUIVI EVALUATION Progrès significatifs réalisés mais on constate que les plans de suivi évaluation lorsqu il existe évolue de façon isolée en ne prenant pas toujours en compte un système cohérent de coordination et d assurance qualité des données Exemple : Système de surveillance HIV existe mais fonctionne mal: Études de comportement sont réalisées mais sans harmonisation des méthodes d échantillonnage ou sans les mêmes indicateurs, Évaluation approfondie financée par un bailleur dans un domaine important sans que les résultats soient jamais diffusés à d autres acteurs s
Composantes d une stratégie de S&E La stratégie de S&E doit également comporter les points suivants: Planifier comment collecter et analyser les données Système de rapports assorti de présentations standards Information en retour (feedback), évaluation et examen Plan d exécution du S&E et budget
Collecte de données : point de départ de la planification Point de départ ou situation de votre indicateur avant l opération Base d une évaluation du changement avant et après l opération Sans étude de référence, il est difficile de mesurer les performances Collecte et analyse de données pour définir la situation avant l opération Habituellement, le premier cycle de collecte de données de la matrice de votre plan de suivi constitue la base de votre étude de référence Collecte de données périodiques pour mesurer la progression vers les résultats
La matrice du plan de S&E Tous les types de suivi et de gestion des performances exigent une approche structurée de la collecte de données un plan de S&E Les données n apparaissent pas par génération spontanée. Tout d abord vous devez parvenir à un accord sur les points suivants: Quel est le but spécifique dans lequel les données sont rassemblées Méthode précise qui sera utilisée pour traiter les données D où proviendront les données brutes Avec quelle fréquence vous rassemblerez les données et à quel coût Qui s en chargera et comment Comment se fera la coordination? La chaîne des résultats Impact Effet Direct Extrant Activités CADRE LOGIQUE Indicateurs Moyens de vérification Hypothèses
La matrice du plan de S&E Résumé La chaîne des résultats Impact Effet Direct Extrant Activités CADRE LOGIQUE Indicateurs Moyens de vérification Hypothèses Que comprend la matrice du plan de S&E? Des indicateurs de performances sélectionnés Des sources de données identifiées Résultat escompté - Indicateurs clés I.1 I.2 I.3 Source des données Matrice du plan de S&E Moyens de vérification Fréquence et coût des opérations de collecte Responsabilité de la collecte de données Méthode de collecte Utilisation de l'information Les méthodes de collecte et d analyse des données La fréquence de la collecte des données Les rôles et responsabilités respectifs pour tous les éléments mentionnés ci-dessus Soyez précis, utilisez des noms lorsque cela est possible Comment les informations seront utilisées et diffusées Dans quel rapport, qui sera utilisé par qui?
Sources de données Que sont les sources de données? L indicateur nous dit quelles sont les informations qui seront rassemblées La source de données pour chaque indicateur nous dit d où La source de données pour chaque indicateur nous dit d où proviendront les données (études, enregistrement vital, registres d entrées/sortie des patients, études d infrastructures, inventaires, rapports de surveillance, sentinelles )
des données de S&E Discussions préalables
Collecte de données: Outils et méthodes Principaux outils et méthodes utilisés pour la collecte de données o Des méthodes différentes sont utilisées pour rassembler les données o Évaluation des méthodes et outils pertinents
Rassemblez-vous trop d informations? Je n aurais pas demandé autant d informations si j avais su que je suis censée ne pas les utiliser! La collecte de données de suivi doit être axée directement sur les indicateurs clés sélectionnés pour une opération
Ne compliquez pas les choses Ignorance optimale (Chambers, 1992) Restons ignorants de ce que nous n avons pas besoin de savoir Imprécision appropriée (Ilchman, 1972) Faisons correspondre le degré de détail à ce qui est nécessaire pour la prise de décisions Trop de détails est un gaspillage de ressources
La collecte de données vous cause du souci?
Collecte de données : Outils et méthodes de collecte L échantillonnage consiste à sélectionner parmi un groupe plus nombreux un sous-groupe de l ensemble de la population à étudier Échantillonnage probabiliste Est fondé sur la théorie statistique pour tirer des conclusions de la population prise comme échantillon Échantillonnage non probabiliste Utilise des moyens subjectifs pour déterminer la mesure dans laquelle un sous-groupe ou un échantillon est représentatif de l ensemble de la population
Deux grands types de données Primaires Secondaires
Utilisez des données secondaires si possible Vérifiez tout d abord quelles sont les données qui existent déjà ou essayez d améliorer celles qui sont déjà disponibles Ne procédez à une collecte de données primaires que si cela est nécessaire Si les données par exemple que vous recherchez existent mais que leur synthèse et leur collecte sont lentes et peu précises, il est préférable de s attacher à renforcer les capacités des structures locales présentes pour que les données existantes répondent à vos besoins
Méthodes de collecte de données quantitatives et qualitatives les plus communément utilisées Méthodes quantitatives enquêtes par échantillonnage questionnaires observations visuelles et dénombrements Mesures matérielles Méthodes qualitatives entrevues approfondies de groupes ou d individus discussions thématiques en groupe interrogations de personnes bien informées tournées/évaluations visuelles
Quels sont les points forts et les points faibles de la collecte de données quantitatives et qualitatives? Points forts Points faibles Collecte de données quantitatives Collecte de données qualitatives Estimation précise reposant sur la théorie statistique Données considérées comme robustes et efficaces pour la prise de décisions et le plaidoyer Données plus riches (exposent en détail le point de vue de la personne interrogée ) Donnent une interprétation et un contexte pour évaluer les comportements Demande des compétences spécifiques pour l interprétation méthodes difficiles à concevoir et exigent souvent des compétences hautement techniques Beaucoup de travail et de temps Difficiles à vérifier objectivement sans d'autres recherches et opérations de collecte de données
Méthodes qualitatives fréquemment utilisées Assurezvous d obtenir la réponse recherchée Les mesures qualitatives sont habituellement fondées sur un type ou un autre de barème (par exemple 1=faible 2=modéré 3= significatif 4=élevé) Nous utilisons souvent des mesures qualitatives fondées sur un barème sans aucun point de référence Cependant, s il n est pas utilisé de points de référence, par exemple ce qu il faut entendre par élevé ou faible, chaque personne interrogée appliquera sa propre interprétation, ce qui rendra les comparaisons des résultats très peu fiables Attention à la façon dont vous posez les questions ou concevez les enquêtes des approches différentes vous donneront des résultats différents et utilisez les enquêtes pilotes pour vous aider à prévenir les surprises et à éviter de mauvaises mesures
Coordination et diffusion de données 1. un plan général de diffusion national des données 2. Un rapport annuel informatif et bien diffusé de l unité SE 3. Des réunions annuelles en vue de diffuser et de discuter le résultat des données avec les décideurs politiques, les planificateurs et les responsables de la mise en œuvre 4. Centralisation de la production et de la diffusion des données 5. Base de données ou bibliothèque centralisée de toutes les données sur le secteur y compris les recherches en cours 6. Coordination des besoins nationaux et ceux des bailleurs de fonds en matière de diffusion des données.
COORDINATION DES DONNEES Permet : Réduire la charge des demandes de données de la part des différentes parties prenantes Planification commune permet de réduire le double emploi dans la programmation et la dispersion des ressources
Collecte de données : Résumé CADRE LOGIQUE Les sources de données pour chaque indicateur sont indiquées La chaîne des résultats Impact Effet Direct Extrant Indicateurs Moyens de vérification Hypothèses Activités Résultat escompté - Indicateurs clés Source des données Matrice du plan de S&E Moyens de vérification Fréquence et coût des opérations de collecte Responsabilité de la collecte de données Méthode de collecte Utilisation de l'information I.1 I.2 I.3
La matrice du plan de S&E Résumé Indiquer clairement la méthode technique qui sera utilisée pour rassembler et analyser les données correspondant à chaque indicateur La chaîne des résultats Impact Effet Direct Extrant Activités CADRE LOGIQUE Indicateurs Moyens de vérification Hypothèses Résultat escompté - Indicateurs clés Source des données Matrice du plan de S&E Moyens de vérification Fréquence et coût des opérations de collecte Responsabilité de la collecte de données Méthode de collecte Utilisation de l'information I.1 I.2 I.3
SUIVI-EVALUATION AXE SUR LES RESULTATS EVALUATION DE PERFORMANCE LISTE DE CONTRÔLE ASSORTIE D ECHELLE DE NOTATION
Introduction Cette partie va se focalisée sur les notions de pertinence, d efficacité, d efficience, d impact/effets, et viabilité qui constituent l essence de l évaluation ex ante et ex post des projets/programmes de développement Elles constituent les outils de mesure de la performance
Les critères d évaluation et questionnements Critère Définition Eléments à prendre en compte (questionnement) La pertinence «caractère d un projet répondant aux attentes de tout ou partie des acteurs concernés». Il s agit d apprécier les objectifs retenus par le projet ou le programme par rapport aux besoins des populations concernées. La question fondamentale est de savoir si les objectifs de l action à mener, en cours ou finalisée correspondent aux besoins des populations concernées, du pays, aux priorités globales, aux politiques des ministères impliqués et des bailleurs de fonds. Cette question se pose notamment de façon rétrospective compte tenu de Correspondance avec les besoins et les demandes des bénéficiaires ; Conformité avec les orientations stratégiques et générales du pays ; Le programme/projet est-il bien approprié ou adéquat pour atteindre le but général poursuivi? L objectif est-il toujours d actualité? Le projet/programme correspond t-il toujours aux attentes des parties prenantes?
Récapitulatif des critères d évaluation et questionnements (suite) Critère Définition Eléments à prendre en compte (questionnement) La cohérence «caractère d un projet dont les moyens sont adéquats à l objectif et adéquat entre eux». Il s agit de savoir si les activités mises en œuvre permettent d atteindre les objectifs Cohérence des objectifs à la conception du projet? Les activités prévues permettent-elles d atteindre les objectifs opérationnels? Concordance des divers moyens et instruments mobilisés pour concourir à la réalisation des objectifs (cohérence interne) : Concordance avec les actions entreprises par les partenaires au développement, et d autres partenaires nationaux (cohérence externe) ;
Récapitulatif des critères d évaluation et questionnements(suite) Critère Définition Eléments à prendre en compte (questionnement) L efficacité «caractère d un projet produisant les résultats ou effets attendus» Il s agit d apprécier dans quelle mesure les activités du projet ont permis d atteindre les résultats escomptés. Ce critère ne doit pas masquer certains problèmes organisationnels ou de pérennisation des investissements. Niveau d atteinte de l objectif principal? Résultats attendus et résultats effectifs de l action Résultats imprévus (négatifs ou positifs, effet d aubaine) Analyse des écarts constatés ; Le projet a-t-il eu les effets attendus au niveau des bénéficiaires?
Récapitulatif des critères d évaluation et questionnements(suite) Critère Définition Eléments à prendre en compte (questionnement) L efficience «caractère d un projet dont les résultats ou effets obtenus sont à la mesure des moyens mis en œuvre» La comparaison se fait souvent en terme de moyens par rapport aux normes requis pour obtenir un tel résultat. Les moyens dont il faut tenir compte s entendent au sens large par les moyens matériel, financier et humain mis en œuvre incluant la participation des bénéficiaires. Modalités de mobilisation des ressources financières, techniques, organisationnelles et humaines? Comparaison des coûts avec les éléments de référence pertinente (norme)? Les résultats immédiats escomptés ont-ils été effectivement obtenus et dans quelles conditions de qualité, coût et délais? Rapprochement des résultats avec les
Récapitulatif des critères d évaluation et questionnements(suite) Critère Définition Eléments à prendre en compte (questionnement) L impact «ensemble des effets, positifs ou négatifs, primaires ou secondaires, généré par le projet, directement ou non, intentionnellement ou non» L impact mesure les effets que peut avoir le projet sur l environnement du projet. Il peut être économique, social, culturel, écologique, politique. L effet résultat à moyen terme (changement constaté) au niveau des bénéficiaires, pendant l exécution ou juste après une intervention Le projet a-t-il contribué à corriger le problème visé ou à produire le développement escompté? Description quantitative de l impact de l action Description qualitative de l impact de l action (négatif, positif, attendu, imprévu) : création ou consolidation, renforcement de capacités, etc. L impact est perceptible à moyen et long terme (2 à 4 ans). Le projet a-t-il apporté un changement (escompté ou non) auprès des bénéficiaires. L effet est perceptible au cours de l intervention ou juste après (1 à 2 ans).
d évaluation et questionnements(suite et fin) Critère Définition Eléments à prendre en compte (questionnement) La pérennité ou durabilité «caractère d un projet engendrant des activités ou une structure capable de «vivre» et de se développer.» C est l appréciation de la capacité des actions entreprises à perdurer (viabilité) et à s étendre de manière autonome (reproductibilité). - la viabilité : elle est lié à la pérennité du projet après le départ de l appui ou l assistance technique ; - la reproductibilité : il s agit d apprécier si le projet est transposable dans une autre localité après qu il ait été réalisé dans une localité donnée ; - la représentation : elle mesure la représentation des différents groupes de bénéficiaires dans les instances Viabilité financière et opérationnelle des mécanismes Les effets du projet sont-ils durables? Possibilité de reproduire ou de généraliser l opération
VIII Lien de ces notions avec le cadre logique Pertinence Finalité Impact Pérennité Résultats Efficacité Pérennité Cohérence Produits Efficience Activités Intrants
IX Liste de contrôle et échelle de notation Les définitions et l échelle de notation utilisée pour chaque critère d évaluation sont Présentées ci-après: Pertinence des objectifs : La mesure dans laquelle les objectifs du projet sont conformes aux priorités de développement de l heure du pays et aux besoins des populations bénéficiaires. Évaluations possibles : élevée, appréciable, modeste, négligeable. Efficacité : La mesure dans laquelle les objectifs du projet ont été atteints ou devraient l être, en tenant compte de leur importance relative. Évaluations possibles : élevée, appréciable, modeste, négligeable Efficience : La mesure dans laquelle le projet a atteint ou devrait atteindre un rendement plus élevé que le coût d opportunité du capital et généré des avantages à des coûts inférieurs à ceux des autres solutions de rechange. Évaluations possibles : élevée, appréciable, modeste, négligeable.
IX Liste de contrôle et échelle de notation(suite) Durabilité : La résistance aux risques liés aux flux d avantages nets au fil du temps. Évaluations possibles : très probable, probable, peu probable, très peu probable, impossible à évaluer. Impact sur le développement humain : La mesure dans laquelle un projet améliore les conditions de vie des populations bénéficiaires et également impact sur le développement des capacités institutionnelles, on entend à la fois l impact escompté et l impact non escompté d un projet. Évaluations possibles : élevé, appréciable, modeste, négligeable. Effets : La mesure dans laquelle les principaux objectifs pertinents du projet ont apporté un changement comportemental ou institutionnel significatif. Évaluations possibles : très satisfaisants, satisfaisants, modérément satisfaisants, modérément insatisfaisants, insatisfaisants, très insatisfaisants
IX Liste de contrôle et échelle de notation (suite et fin) Performance du PTF : La mesure dans laquelle les services fournis par le PTF assurent la qualité initiale et favorisent la mise en œuvre par le truchement d un contrôle approprié (notamment assurer des dispositions transitoires appropriées pour l exécution sans heurt du projet). Évaluations possibles : très satisfaisante, satisfaisante, insatisfaisante, très insatisfaisante. Performance de l agence d exécution : La mesure dans laquelle l agence Performance de l agence d exécution : La mesure dans laquelle l agence d exécution a assumé l appropriation et la responsabilité afin de garantir la qualité de la mise en œuvre, et respecté les clauses et accords en vue de la réalisation des objectifs de développement et de durabilité. Évaluations possibles : très satisfaisante, satisfaisante, insatisfaisante, très insatisfaisante
Fin de la journée
Je vous remercie de votre aimable attention