Stage EADSI Rectorat-CASI Bretagne 26 juin 2007 Evaluer un projet de développement François Doligez IRAM/Université de Rennes 1 (f.doligez@iram-fr.org)
Sommaire Propos introductifs sur l évaluation Observations et commentaires sur les projets d évaluation Pour aller plus loin 2
Propos introductifs sur l évaluation
A quoi sert l évaluation? A gérer : estimer la «valeur» des résultats, analyser le passé afin de programmer l avenir pour les parties-prenantes (équipe et porteurs de projets) A informer l ensemble des acteurs et des partenaires A contrôler pour renforcer la transparence et la «confiance» (reddition, redevabilité), parfois pour former 4
Qu est-ce que l évaluation? Une photographie à un instant donné, un constat : dresser l état des lieux à une date donnée, divers points d observations, divers observateurs, mesure ou description des faits (les faits bruts, sans jugement), Un diagnostic, une appréciation avec un avis construit sur des arguments, une analyse des forces et des faiblesses, une valorisation donnant du poids à tel ou tel aspect Des recommandations, une aide à la décision : propositions d améliorations, conseil à la décision (et non pas pouvoir de décision!) comme outil de pilotage Un contrôle : du financeur qui veut connaître l usage des subventions, de l utilisateur/ bénéficiaire à qui on doit rendre compte (redevabilité), des pouvoirs publics qui sont interrogés par le citoyen, d une instance chargée de vérifier la légalité (mais à différencier d un audit : analyse du respect des règles et procédures ou d une inspection : des recommandations contraignantes) 5
Une démarche à 3 acteurs et en 5 temps 1. Une partie-prenante s'interroge sur un objet particulier 2. Elle commandite un dispositif d'analyse 3. Ce dispositif observe et apprécie l'objet 4. Il rend compte de ses observations aux parties-prenantes concernées 5. Ces dernières prennent des décisions quant à l'objet (source : inspiré de Neu, 2001) Une partie-prenante - ONG du Nord - partenaires du Sud - représentants des bénéficiaires - institutions publiques - donateurs (publics et privés) 2 5 4 1 Un dispositif d'analyse - suivi-évaluation permanent - mission ponctuelle au début, en cours ou finale - étude comparée en termes de performances, résultats, méthodes 3 Un objet - une action locale au Nord ou au Sud (un projet) - un ensemble d'actions (programme) - une organisation au nord ou au Sud impliquée dans la mise en oeuvre 6
Comparer pour juger : par rapport à quoi? La situation de référence R apport projet avec avec et sans sans avant projet t 7
Effets et impacts : le problème de l attribution Importance relative des interventions et du contexte par rapport à l impact L aire de changement concernée par une intervention Intervention Triangle des effets = interactions du projet avec son environnement immédiat Effets + Activités Effets - I M P A C T Local Impact = tous les changements significatifs entre une situation initiale et la situation actuelle dans les conditions de vie des populations Contexte international Contexte national 8
Des critères pour évaluer Les critères de conception : La pertinence : adéquation du projet (de son objectif spécifique, sa stratégie) aux finalités (aux problèmes posés) La cohérence : (cohérence entre stratégie du projet, logique d intervention et différentes activités, contexte) La réplicabilité : afin de formuler de nouveaux projets ou dans le cadre de programmes et politiques publiques Les critères de mise en œuvre ; L efficacité : les réalisations répondent-elles aux attentes? (adéquation des résultats attendus à l objectif du projet, mais souvent comparaison prévisions/réalisations) L efficience : «productivité des moyens» (les moyens mobilisés pour le projet ont-ils été utilisés de façon optimale), comparaison résultats et moyens (ou activités) Les critères portant sur son devenir : La viabilité (pérennité) : maintien des avantages nets dans le temps, résistance aux risques, pérennité de l action engagée une fois l accompagnement ou le dispositif arrêté (viabilité économique et financière, juridico-institutionnelle, sociale ou environnementale) L impact : ensemble des effets, positifs et négatifs, primaires et secondaires, générés par une action de développement, directement ou non, intentionnellement ou non (technique, économique, social, environnemental, etc.) 9
Le cadre logique : une base pour l évaluation Hiérarchie des objectifs Objectif d impacts Objectifs d effets Résultats Indicateurs Objectivement Vérifiables Moyens de vérification Postulats et Risques Activités 10
Les étapes du déroulement d'une évaluation (source : Faivre Dupaigre 2001) Les étapes de déroulement d une évaluation Décision d'évaluer Organisation du dispositif et du processus Avant : définir le type d évaluation (interne, externe, mixte), son pilotage (groupe évaluatif), son organisation et des objectifs (TdR) Après : s interroger sur le traitement et l utilisation de l information. Quelles restitutions, auprès de qui, comment et pourquoi? Réalisation de l'évaluation Rédaction des termes de référence Sélection des évaluateurs Suivi et contrôle qualité évaluation Restitution des résultats et diffusion Utilisation et suivi des recommandations 11
Analyse des dossiers d évaluation
Remarques liminaires Une réaction après lecture rapide de dossiers très différents De nombreuses limites pour l analyse (méconnaissance de la thématique, du contexte d intervention, des actions) Et donc un propos à prendre avec réserve 13
Réflexions générales en amont On se situe dans le domaine du «projet pédagogique» comme pratique éducative avec différentes finalités possibles (cf. Boutinet) : Stimuler la motivation des apprenants Négocier des apprentissages concrets Augmenter l efficacité du système de formation Entrée principale des évaluations : «rendre compte de l impact éducatif» (changement de regards, de comportements, d attitudes, pas seulement résultats sur connaissances et compétences) Identifier un impact ou une «plus-value» auprès de qui, sur quoi, par rapport à quoi, pourquoi? Le problème de «l objectivité» ou de «l extériorité» de l évaluation (nécessaire pour convaincre) Evaluer aussi pour apprendre. Veut-on identifier des propositions d améliorations (et donc aussi les problèmes ou difficultés), des pistes futures (p.e. choix de la période en fonction de la programmation des activités culturelles locales)? 14
Impacts et finalités de l action Difficile de démontrer un impact des actions dont les finalités renvoient à la solidarité internationale et non à l enjeu éducatif («réduire la fracture numérique Nord-Sud», inégalités N-S) Idem pour la pérennité d un partenariat à moyen terme ( entre deux établissements scolaires) 15
Impacts et changements liés à l action Plusieurs «aires» de changements proposées : En termes de «public» : les élèves, les équipes pédagogiques, les populations du Sud (?) En termes de «savoir-être»? : le changement de regard des élèves sur le développement international (grâce aux nouvelles connaissances sur le pays, les cultures, les conditions de vie ; rencontres inter-culturelles, etc.), le changement de comportement face à l apprentissage (plus actif dans les activités pédagogiques, travail en collectif, autonomie accrue sur certaines activités comme la réparation de matériels, la prise en charge de la logistique de certaines activités, etc.), le changement face aux autres matières enseignées (mathématiques réinvesties sur la compréhension des enjeux liés à l eau, le travail en atelier pour les réparations, etc.) ou par l investissement sur de nouveaux supports diversifiés (contes, journaux, internet, etc.). 16
Impacts et situation de référence sans action Le problème de construire la situation de référence sur les différentes «aires» et de démontrer l attribution par rapport à l action : Mesurer la situation «avant» action comme référence, possibilité de comparer entre plusieurs classes, plusieurs années, plusieurs établissements? Recueillir l expérience des élèves directement (témoignages des changements vécus et des prises de conscience?) Interpréter les changements dans les travaux, les comportements des élèves? 17
Quels indicateurs? Des «indicateurs objectivement vérifiables» (IOV) comme : la participation aux activités (fonds ou outils collectés) le nombre de recherches (fréquentation CDI, club) la qualité des productions des élèves leurs connaissances (évaluation spécifiques, résultats scolaires en général?) Certains très centrés sur l action (plus indicateurs d activités et de résultats que d impact) comme les «lettres de motivation» sur la prise de conscience des élèves à chaque étape de l action 18
Autres sources d information? D autres sources trop générales avec un fort risque de «biais» et des difficultés d attribution (impact sur comportement quotidien, la mobilisation vis-à-vis des autres, la responsabilisation face aux enjeux du DD) Couplage des indicateurs avec des approches participatives intéressantes pour l expression des élèves, mais avec un risque de «biais» au niveau de l évaluation (si répétition d activité)? 19
Quels modes de collecte? (1) Recueil d IOV Recueil direct de l expérience des élèves sur leur vécu dans l action et ce qu il a produit comme changement Intérêt du recueil de l appréciation des partenaires (enseignants du Sud) Des questionnaires avec «biais» : risque de réponses soit systématiquement positives, soit choix «neutre» (si nombre de choix impairs) 20
Quels modes de collecte? (1) Apprécier les activités des élèves et leurs évolutions comme «marqueur» de changement de comportement Journal (sources information, choix des rubriques, organisation, etc.) Animations par les élèves (auprès d autres élèves) Activités spécifiques (avec «bonhommes») Des pratiques spécifiques (risque de centrage sur l évaluation des activités, mais vecteur possible du recueil de l expérience vécue par les élèves) : Activités spécifiques (avec «bonhommes» ou cibles symbolisant l appréciation des élèves) 21
Pour aller plus loin : Bibliographie complémentaire et documentaire?
Bibliographie complémentaire IRAM, 1996 : L évaluation, un outil au service de l action, F3E, 70 p. (www.f3e.asso.fr) Neu D., 2001 : Evaluer : apprécier la qualité pour faciliter la décision, GRET, Document scientifique n 21, 91 p. (www.gret.org) 23