L'évaluation des projets Objectifs de la formation Concepts-clés Le cycle des opérations Source cc-by-sa : Wikimédia Commons 1
Confort de lecture? mode 1080p/haute définition mettre la vidéo en mode «plein écran» Mettre en pause, varier la vitesse youtube.com/html5. Objectifs de la formation Concepts-clés Le cycle des opérations gestiondeprojet.pm originaux des diapositives vidéos en téléchargement, quizz Cours distribué sous licence Creative Commons 2
Objectifs Au terme de cette formation, vous devez pouvoir :. Objectifs de la formation Concepts-clés Le cycle des opérations 1. Établir des termes de référence 2. Évaluer un projet : Connaître les «bonnes pratiques» Des exemples, tirés de projets/organisations sont signalés 3. Construire et mettre en œuvre des indicateurs d impact 4. Comprendre et partager des concepts-clés (Présentés sur la page suivante) Lightbulb Jon Phillips public-domain-photos 3
Vocabulaire de l évaluation Finalité Moyens Restitution Termes de référence critères Objectifs/Résultats buts Objectifs de la formation. Concepts-clés Le cycle des opérations suivi-capitalisation Impact prévu/réel Objectifs Effets Situation de départ Indicateurs 4
Le cycle des opérations Décision sur la manière d utiliser les résultats dans les projets futurs Programmation Plan Stratégique Domaines prioritaires, Objectifs globaux Rapport d évaluation, Livraison Identification Décision de continuer ou de réorienter le projet (évaluations intermédiaires) Cadre logique, Termes de référence Objectifs de la formation Concepts-clés Mise en œuvre Formulation. Le cycle des opérations Lancement Etude de montage Rapports d avancement Décision de financement Adapté de : http://democratie.francophonie.org/img/ppt/gestion_cycle_de_projet_et_cadre_logique.ppt 5
Sommaire 1. Fondamentaux de l évaluation 2. Le processus d évaluation 3. Les termes de référence : l exemple d IFADEM 4. Évaluer l impact en mettant en œuvre des indicateurs 5. Critères de réussite, bonnes pratiques 6
Fondamentaux de l évaluation Chapitre 1 Définitions Objectifs et résultats L'évaluation des effets Apprécier l impact Source cc-by-sa : Wikimédia Commons 7
Chapitre 1 Action Résultats Impact. Définitions Objectifs et résultats L'évaluation des effets Apprécier l impact Source : Prise en compte de l impact et construction d indicateurs d impact Gilbert Graugnard - Nicolas Heeren CIEDEL 8
Définitions. Définitions Chapitre 1 Objectifs et résultats L'évaluation des effets Apprécier l impact Résultats = changements produits directement par l action A comparer avec les objectifs formalisés avant le lancement du projet. Effets = incidences directes et indirectes de l action Résultats de l action mais aussi d'autres dynamiques / contraintes provenant du milieu (physique et humain). Les effets peuvent être anticipés, mais avec une marge d incertitude = p.e. objectifs propres des populations. Impact = changement à la suite de l action Prévoir l impact présente encore plus de difficultés, car de nombreux facteurs extérieurs au projet. Le temps est également un facteur, car l'impact se juge à terme 9
Action Résultats Impact Chapitre 1 Définitions. Objectifs et résultats L'évaluation des effets Apprécier l impact 10
L'évaluation des résultats Définitions Chapitre 1. Objectifs et résultats L'évaluation des effets Au vu des objectifs initiaux de l action, comparer : les objectifs définis.. et les résultats atteints Deux visions : quantitative : écart chiffré entre le prévu et le réalisé (p.e. 3 puits construits au lieu de 4) qualitative : différence de nature entre le prévu / réalisé (p.e. un forage au lieu d un puit) Apprécier l impact 11
Définitions Chapitre 1. Objectifs et résultats L'évaluation des effets Apprécier l impact Action et ses objectifs Réaliser 12 puits répondant aux normes techniques Réduire le travail des femmes Diminuer les maladies liées à l eau Résultats Effets Impact 10 puits 60m3 1 forage Diminution des temps d attente aux puits Bonne qualité bactériologique de l eau des puits Source : Prise en compte de l impact et construction d indicateurs d impact Gilbert Graugnard - Nicolas Heeren CIEDEL 12
Chapitre 1 Action Résultats Impact Définitions Objectifs et résultats. L'évaluation des effets Apprécier l impact 13
L'évaluation des effets Définitions Chapitre 1 Objectifs et résultats. L'évaluation des effets Apprécier l impact L évaluation des effets porte sur l interaction entre l action et l environnement du projet. Le public concerné par les effets est plus large que le public-cible de l action Les stratégies menées par les personnes et les populations sont souvent difficiles à prévoir D autres actions ont pu interférer 14
Définitions Chapitre 1 Objectifs et résultats. L'évaluation des effets Apprécier l impact Action et ses objectifs Réaliser 12 puits répondant aux normes techniques Réduire le travail des femmes Diminuer les maladies liées à l eau Résultats Effets Impact 10 puits 60m3 1 forage Diminution des temps d attente aux puits Bonne qualité bactériologique de l eau des puits La population continue de puiser l eau au marigot sauf en saison sèche Le temps libéré permet des activités productives : culture, tissage Les villageois stockent l eau dans des récipients contaminés par l eau du marigot Source : Prise en compte de l impact et construction d indicateurs d impact Gilbert Graugnard - Nicolas Heeren CIEDEL 15
Action Résultats Impact Chapitre 1 Définitions Objectifs et résultats L'évaluation des effets. Apprécier l impact 16
L appréciation de l impact Définitions Chapitre 1 Objectifs et résultats L'évaluation des effets. Apprécier l impact L'impact d'un projet est l ensemble des changements significatifs durables positifs et négatifs prévus et imprévus sur les personnes, les groupes et leur environnement ayant un lien de causalité avec l action 17
Définitions Chapitre 1 Objectifs et résultats L'évaluation des effets. Apprécier l impact Action et ses objectifs Réaliser 12 puits répondant aux normes techniques Réduire le travail des femmes Diminuer les maladies liées à l eau Résultats Effets Impact 10 puits 60m3 1 forage Diminution des temps d attente aux puits Bonne qualité bactériologique de l eau des puits La population continue de puiser l eau au marigot sauf en saison sèche Le temps libéré permet des activités productives : culture, tissage Les villageois stockent l eau dans des récipients contaminés par l eau du marigot L action n a pas amélioré la situation sanitaire des populations. (Pourtant les résultats correspondent aux objectifs des actions) Par contre, les nouvelles activités productives des femmes produisent des revenus, dont une partie sert à améliorer la santé. Source : Prise en compte de l impact et construction d indicateurs d impact Gilbert Graugnard - Nicolas Heeren CIEDEL 18
Il est difficile d anticiper l impact Définitions Chapitre 1 Objectifs et résultats L'évaluation des effets. Apprécier l impact Impact technique : attendu : des villageois autonomes et formés pour l entretien ; inattendu : création d entreprises de réparation des puits dans la zone. Impact économique : attendu : la caisse villageoise est alimentée par le paiement de l eau ; inattendu : la caisse permet le création d emplois dans les entreprises d entretien des puits. Impact social : attendu : les enfants du village sont en meilleure santé ; inattendu : les enfants libérés de la corvée d eau peuvent aller à l école. Impact financier : attendu : constitution d une caisse pour l entretien de chaque puits ; inattendu : l argent d une caisse est détourné Impact organisationnel : attendu : constitution des comités de gestion ; inattendu : certains comités de gestion des puits conduisent d autres action, p.e gèrent un potager pour l école. Source : Prise en compte de l impact et construction d indicateurs d impact Gilbert Graugnard - Nicolas Heeren CIEDEL 19
Anticiper l impact Définitions Chapitre 1 Objectifs et résultats L'évaluation des effets. Apprécier l impact Quels sont les enjeux, acteurs et parties prenantes du projet? Dirigeants, chefs, élus.. Groupes et associations, Fonctionnaires et agents de tutelle, Financeur, bailleurs de fonds Entreprise, opérateurs économiques, etc.. analyser leurs zones d'incertitudes et anticiper leurs stratégies (voir cours d analyse stratégique des projets) 20
Synthèse : retour sur les points fondamentaux. Définitions Chapitre 1. Objectifs et résultats. L'évaluation des effets Action Résultats Impact. Apprécier l impact 21
Sommaire 1. Fondamentaux de l évaluation 2. Le processus d évaluation 3. Les termes de référence : l exemple d IFADEM 4. Évaluer l impact en mettant en œuvre des indicateurs 5. Critères de réussite, bonnes pratiques 22
Le processus d évaluation Chapitre 2 Termes de référence Suivi : évaluation et capitalisation Moyens, objectifs, buts et finalité Photos www.ifadem.org 23
Les termes de référence Chapitre 2. Termes de référence Suivi : évaluation et capitalisation Moyens, objectifs, buts et finalité Établis au début du projet. Ils permettent de délimiter l évaluation, d en préciser les objectifs Qu est-ce que l on cherchera à savoir sur une action : impacts attendus, moyens de les mesurer Être clair sur ce que le commanditaire attend de l évaluation Questions : 1. Contexte? Acteurs, milieu, antériorité 2. Qu est-ce qu il faut évaluer? Questions évaluatives, Critères 3. Impact attendu? Indicateurs, méthodologie d évaluation? 4. Restitution des résultats : à qui, comment? 5. Moyens : budget, étapes du déroulement? Guides méthodologique F3E, Daniel NEU Préparer les termes de référence La préparation collective des termes de référence d une évaluation 24
Le suivi évaluation Chapitre 2 Procéder régulièrement à des évaluations : les jalons et réunions de suivi du projet : Elles peuvent être des auto-évaluations, évaluations externes/audits, etc ou êtres faites pendant des réunions du projet. On peut évaluer les effets, mais aussi le dispositif lui-même (implication des acteurs..). Impact Termes de référence. Suivi : évaluation et capitalisation Action Résultats Moyens, objectifs, buts et finalité situation de départ Evaluation intermédiaire Evaluation finale Evaluation ex-post Source : Prise en compte de l impact et construction d indicateurs d impact Gilbert Graugnard - Nicolas Heeren CIEDEL 25
Le suivi-capitalisation Chapitre 2 Termes de référence. Suivi : évaluation et capitalisation Collecter et analyser régulièrement l information utile à l action. Prendre le temps d observer = écoute et distanciation. S informer sur les autres actions en cours sur la zone. Noter, conserver par écrit les éléments repérés Action Impact Moyens, objectifs, buts et finalité Capitalisation Source : Prise en compte de l impact et construction d indicateurs d impact Gilbert Graugnard - Nicolas Heeren CIEDEL 26
Lors d une formation animée par Centrale Lille dans un Campus numérique francophone de l AUF pour créer un MOOC. Chapitre 2 Termes de référence Suivi : évaluation et capitalisation. Moyens, objectifs, buts et finalité A la même question Que faites-vous? Le 1er enseignant dira : j apprends à me servir d une plateforme de formation à distance Le second répondra : je me forme à de nouvelles méthodes pédagogiques Le 3ème : avec le MOOC je donnerai accès à l enseignement supérieur à tous, pas uniquement mes étudiants habituels Le 4ème : je contribue à réduire la fracture numérique entre le Sud et le Nord 27
Chapitre 2 Termes de référence Suivi : évaluation et capitalisation. Moyens, objectifs, buts et finalité Se servir d une plateforme de formation est le moyen. Se former à de nouvelles méthodes pédagogiques est l objectif. Donner accès à un public nouveau est le but. Réduire la fracture numérique est la finalité. 28
Chapitre 2 Termes de référence Suivi : évaluation et capitalisation. Moyens, objectifs, buts et finalité La finalité : c est l idéal vers lequel on tend. La finalité fait référence à des valeurs : la dignité, la liberté, l égalité, etc. Le but : c est la matérialisation de la finalité que l on se donne = l impact attendu. Le but est concret, mais il n est pas accessible immédiatement. L objectif : c est le résultat attendu d une action. Atteindre les objectifs doit produire des résultats. Les objectifs sont ordonnés dans le temps et dans l espace : on parle alors d objectifs principaux, de sous-objectifs, etc. Les moyens sont les financements, compétences, outils et méthodes pour atteindre les objectifs. Il est indispensable de mobiliser des moyens et des ressources 29
Synthèse : le processus d évaluation Termes de référence Chapitre 2 Suivi. Termes de référence. Suivi : évaluation et capitalisation. Moyens, objectifs, buts et finalité Moyens, objectifs, buts et finalité 30
Sommaire 1. Fondamentaux de l évaluation 2. Le processus d évaluation 3. Les termes de référence : l exemple d IFADEM 4. Évaluer l impact en mettant en œuvre des indicateurs 5. Critères de réussite, bonnes pratiques 31
IFADEM Initiative francophone pour la formation à distance des maîtres 32
IFADEM : le projet 1 er regroupement 2 jours Autoformation tutorée 6 mois 2e regroupement 2 jours Autoformation tutorée 6 mois 3 ème regroupement 3 jours Evaluation des enseignants / Evaluation du dispositif Parcours de 350 heures de formation + Cas IFADEM développé par Marion Alcaraz, AUF 33
La convention IFADEM-Burundi Parties prenantes AUF OIF Ministère de l enseignement Budget 1,4M AFD 400.000 AUF/OIF dont valorisation personnels et locaux Cadre logique (pour en savoir plus) Objectifs Activités Moyens Résultats attendus Risques encourus Moyens pour surmonter les risques (mitigation) Indicateurs 34
Les deux évaluations finales Audit financier Respects des procédures Bonne gestion des financements Termes de référence Evaluation externe 35
Termes de référence - le contexte Contexte de l évaluation Pays Système éducatif Formation des maîtres IFADEM Présentation du projet IFADEM-Burundi Cadre conventionnel Organisation / acteurs Calendrier Activités menées Réalisations Budgets Etc. 36
Termes de référence - Les objectifs Objectifs quantitatifs Former 1800 instituteurs Développer 7 livrets de formation Créer 4 Espaces numériques Former une centaine de formateurs de formateurs Objectifs qualitatifs Améliorer les compétences professionnelles des enseignants du primaire Tester et valider une stratégie nationale de formation continue 37
Sommaire 1. Fondamentaux de l évaluation 2. Le processus d évaluation 3. Exemples de projets et de leur impact 4. Construire des indicateurs 5. Suivre et valoriser une évaluation 38
Construire des indicateurs Chapitre 4 L'impact attendu Définir les indicateurs La situation de départ Mesure de l impact réel Photos www.ifadem.org 39
Que sont des indicateurs d impact? Chapitre 4. L'impact attendu Définir les indicateurs La situation de départ Mesure de l impact réel Ce sont des signes vérifiables et mesurables qui, par comparaison à une référence, permettent de porter une appréciation on les met au point à partir de l'impact anticipé du projet 40
L'impact attendu permet de trouver des indicateurs Chapitre 4 indicateur. L'impact attendu indicateur Définir les indicateurs La situation de départ Mesure de l impact réel Source : Prise en compte de l impact et construction d indicateurs d impact Gilbert Graugnard - Nicolas Heeren CIEDEL 41
Impact attendu pour IFADEM Impact attendu : Amélioration des compétences 1. Théoriques 2. Pratiques des enseignants Observer des séances de classe Lire des rapports d évaluations de systèmes éducatifs Effets Indicateurs Connaissances professionnelles «connaitre les étapes d une leçon».. Pratiques de classe «travail en groupes» Cas IFADEM développé par Marion Alcaraz, AUF 42
Mesure des indicateurs Indicateurs : Connaissances professionnelles Pratiques de classe Questionnaire «Connaissances professionnelles» Grille d observation «séances de classe» Voir cours Méthodes de recueil de données Les entretiens, conception de questionnaires, observation directe 43
Situation de départ Situation de départ = Recueil des données au démarrage du projet QCM sur les connaissances professionnelles 20% des enseignants interrogés connaissent les étapes d une leçon de compréhension orale. Moyenne de 23,7/45 Observation de séances de classe 13% des enseignants acceptent que leurs élèves utilisent des tournures «français oral» 44% des enseignants font travailler leurs élèves en groupes 44
Démarche déductive Impact attendu Chapitre 4 Indicateurs L'impact attendu. Définir les indicateurs La situation de départ Mesure de l impact réel situation de départ 45
Impact Action Résultats situation de départ Evaluation ex-post 46
Evaluation ex-post Même méthodologie Utilisation des indicateurs Recueil des données après la fin du projet Situation finale 47
Démarche inductive IMPACT REEL Chapitre 4 Indicateurs L'impact attendu Définir les indicateurs La situation de départ. Mesure de l impact réel Situation finale «terrain» 48
Quel impact? Évolution des résultats? Ecarts IMPACT Les enseignants qui avaient obtenu les moins bons résultats à l entrée sont- ils ceux qui ont le plus évolué? Dynamiques Situation de départ Entrée des enseignants en formation. INDICATEURS Evaluation ex-post Sortie de formation pour les enseignants 49
Synthèse : indicateurs et impact L'impact attendu Chapitre 4 Indicateurs. L'impact attendu. Définir les indicateurs. La situation de départ. Mesure de l impact réel Impact 50
Sommaire 1. Fondamentaux de l évaluation 2. Le processus d évaluation 3. Les termes de référence : l exemple d IFADEM 4. Évaluer l impact en mettant en œuvre des indicateurs 5. Suivre et valoriser une évaluation 51
Suivre et valoriser une évaluation Chapitre 5 Les critères À quoi sert l évaluation? Bonnes pratiques Photos www.ifadem.org 52
Les critères. Les critères Chapitre 5 À quoi sert l évaluation? Bonnes pratiques Les angles de vue grâce auxquels on porte une jugement. Les critères les plus courants sont : 1. l efficacité : compare les résultats aux objectifs prévus (en quantité et en qualité), 2. l efficience : compare les résultats avec les ressources utilisées (moyens humains et matériels), 3. la pérennité : l action est durable/soutenable (elle se poursuit de manière autonome sans appui extérieur), La méthodologie de mise en œuvre des critères est également développée dans la vidéo formation au brainstorming. D autres critères peuvent être utilisés : participation, environnement, cohérence avec d autres projets, etc 53
IFADEM : Les critères Pertinence Bien-fondé des activités menées au regard du contexte cohérence interne et cohérence externe. Efficacité Degré d atteinte des objectifs - taux de réalisation du projet. Chapitre 5. Les critères À quoi sert l évaluation? Bonnes pratiques Efficience Rapport activités / moyens étude des coûts Viabilité/ durabilité Capacités des bénéficiaires à pérenniser les actions menées 54
À quoi sert l évaluation? (1/2) Les critères Chapitre 5. À quoi sert l évaluation? Bonnes pratiques Contrôler si ce qui a été prévu a été réalisé, vérifier comment le financement a été utilisé S améliorer Faire mieux la prochaine fois Piloter Indique ce qui a marché ou pas, de ne pas refaire les mêmes erreurs, régulation en cours de projet Capitaliser Mémoriser l expérience, la transformer en savoir partageable 55
À quoi sert l évaluation? (2/2) Les critères Chapitre 5. À quoi sert l évaluation? Bonnes pratiques Former Si l évaluation est participative, elle permet aux acteurs de progresser Communiquer Sur les actions, leur résultat, leur impact Faire participer Si les termes de référence sont construits et négociés avec toutes les parties prenantes Mais aussi Mesurer, réfléchir avant d agir, connaître ses faiblesses, motiver.. 56
À votre avis, qu est-ce qui fait qu une évaluation marche bien ou mal? Les critères Chapitre 5 À quoi sert l évaluation?. Bonnes pratiques Selon : La volonté de progresser Désir de changement? Craintes? L équipe-projet Ouverte? Stabilisée? Les convergences d intérêts des acteurs Concertation? Négociation? Le type de management Autoritaire /vertical? Collaboratif/horizontal? L importance accordée à l évaluation Durée? Moyens financiers et humains? Temps de restitution? Ce qui se passe après l évaluation Des moyens pour appliquer les conclusions, une valorisation, une corvée? 57
Les résultats de l évaluation http://www.ifadem.org «L évaluation de la 2e phase IFADEM a permis de mettre en évidence la nature de la performance de l action de formation continue ( ) Ce rapport montre les potentialités du système en cours de construction par le ministère et les différentes parties prenantes ; il souligne aussi certaines conditions qui déterminent la viabilité d un plan stratégique de formation continue dans les cinq années à venir.» 58
Synthèse : Suivre et valoriser. Les critères Chapitre 5. À quoi sert l évaluation?. Bonnes pratiques Les critères À quoi sert l évaluation? Contrôler, s améliorer, piloter, capitaliser, former, communiquer, faire participer. Bonnes pratiques La volonté de progresser L équipe-projet Les convergences d intérêts Le management L importance accordée à l évaluation Ce qui se passe après l évaluation 59
Merci de votre attention! Pour approfondir Guides et outils F3E : http://f3e.asso.fr Économie de l évaluation : Analyse coût-bénéfice L évaluation d un site internet : Web analytics Méthodes de recueil et d analyse de données 60