L EVALUATION DES ACTIONS ET DES PROJETS Définitions, méthode et démarche

Transcription

1 Familles rurales - Fédération nationale Mercredi 17 octobre 2007 L EVALUATION DES ACTIONS ET DES PROJETS Définitions, méthode et démarche Christelle INSERGUEIX Chargée de mission développement économique et emploi Responsable du pôle évaluation

2 L EVALUATION DES ACTIONS ET DES PROJETS 1. Méthode et définitions Pourquoi évaluer? Intérêt et enjeux pour une association Quoi évaluer? L objet Quand évaluer? Le moment Comment évaluer? La méthode 2. Quel outil pour l évaluation? Construire votre outil d auto-évaluation Utiliser votre outil pour évaluer vos projets 3. Quelle démarche pour la mise en place d une procédure d évaluation?

3 L EXPERIENCE DU RESEAU ECONOMIE SOCIALE ET ENVIRONNEMENT Création du RESE en 1998 Animé par l ARENE, en partenariat avec la DIREN Réseau d acteurs de l économie sociale et solidaire en IDF, générateurs d emplois, et exerçant des activités inscrites dans les enjeux du développement durable, notamment dans le domaine de l environnement. L objectif du réseau est de créer les conditions de rencontre, d échange et de production entre ses membres afin d identifier, transmettre et accompagner la mise en œuvre des pratiques de développement durable.

4 L EXPERIENCE DU RESEAU ECONOMIE SOCIALE ET ENVIRONNEMENT Les actions et projets de développement durable doivent reposer sur cinq modalités de mise en œuvre : Organisation de la décision dans un processus démocratique, Participation des acteurs et du public, Prise en compte de la transversalité des actions, Mise en place d une démarche d évaluation, Poursuite d une stratégie d amélioration. et répondre à cinq finalités : Lutte contre le changement climatique, Préservation de la biodiversité, gestion des milieux et ressources, Accès à une meilleure qualité de vie, Emploi, cohésion sociale et solidarité, Dynamiques de développement selon des modes de production et consommation responsables.

5 L EXPERIENCE DU RESEAU ECONOMIE SOCIALE ET ENVIRONNEMENT Elaboration de la charte de qualité du RESE en 2000 Engagement pour la mise en œuvre de démarches de développement durable reposant sur trois principes de qualité (environnemental, social et économique). Création d un outil d auto-évaluation des projets du RESE en 2002 A partir d une série d entretiens des membres du RESE pour repérer leurs pratiques et besoins en matière d évaluation De l analyse de la bibliographie existante Phase de test auprès de quelques structures volontaires pour validation de l outil

6 L EXPERIENCE DU RESEAU ECONOMIE SOCIALE ET ENVIRONNEMENT L outil d auto-évaluation a pour objectif de donner les moyens à chacun de construire sa propre grille d évaluation, adaptée à son contexte, ses choix et est composé de deux parties : Une partie méthodologique Une grille de référence ou aide mémoire : elle présente pour chacun des trois axes du développement durable, des exemples d objectifs et de moyens à mettre en œuvre, et des indicateurs.

7 L EXPERIENCE DU RESEAU ECONOMIE SOCIALE ET ENVIRONNEMENT Organisation d ateliers de formation en 2003 pour Sensibiliser et former les structures à la pratique de l évaluation Amener les structures à identifier leurs propres indicateurs, vérifier leur pertinence et les mettre en œuvre Etablir une liste d indicateurs adaptés au contexte des structures du RESE en établissant un mode d emploi pour les utiliser

8 L EXPERIENCE DU RESEAU ECONOMIE SOCIALE ET ENVIRONNEMENT Thèmes des ateliers : gestion interne des structures et des équipes, actions pédagogiques, gestion des espaces et gestion des déchets Résultats des ateliers 15 structures associatives ont participé à ces ateliers Une dizaine d indicateurs identifiés pour chaque thème Réalisation d une fiche descriptive pour une douzaine d indicateurs Une série de préconisations

9 PARTIE I METHODE ET DEFINITIONS POURQUOI EVALUER? INTERET ET ENJEUX Une démarche au service de la conduite de projets L évaluation permet de comprendre et d améliorer le fonctionnement d une structure ou l efficacité d une action, et de formuler des objectifs de développement. Elle traduit la dynamique d une structure et de ses actions, et est partie intégrante d un processus d amélioration des pratiques au regard du développement durable. C est une aide à la décision.

10 PARTIE I METHODE ET DEFINITIONS POURQUOI EVALUER? INTERET ET ENJEUX L amélioration de la gestion des services et des activités Elle permet de répartir plus rationnellement les ressources (humaines, financières) entre différentes actions. La valorisation des activités et du projet L évaluation est un travail de capitalisation d un savoirfaire et de l expérience d une association. Cela permet de mieux communiquer auprès des publics accueillis, des clients, des citoyens

11 PARTIE I METHODE ET DEFINITIONS POURQUOI EVALUER? INTERET ET ENJEUX Un moyen de renforcer et / ou développer des partenariats Gain de confiance pour les partenaires actuels Arguments pour en démarcher de nouveaux Anticipation des attentes des partenaires en matière d évaluation (convention pluriannuelle) L évaluation est une démarche constructive, partie intégrante de la gestion d un projet.

12 PARTIE I METHODE ET DEFINITIONS QUOI EVALUER? L OBJET DE L EVALUATION Exemple : une association d éducation à l environnement ASSOCIATION FONCTIONNEMENT INTERNE ACTIVITÉS ADMINISTRATIF ANIMATIONS COMPTABILITÉ COMMERCIAL ÉTUDES ORNITHOLOGIQUES PROJETS ECOMUSÉE DE L OISEAU

13 PARTIE I METHODE ET DEFINITIONS QUOI EVALUER? L OBJET DE L EVALUATION L évaluation peut porter à la fois sur la structure et son projet global, et sur ses activités et projets d actions. Plusieurs niveaux d évaluation se complètent et s alimentent réciproquement : L évaluation de la structure : son organisation, ses principes de fonctionnement Quel était son objectif de départ? Comment répond-elle à cet objectif?

14 PARTIE I METHODE ET DEFINITIONS QUOI EVALUER? L OBJET DE L EVALUATION L évaluation de chacun de ses services, y compris l administration générale L évaluation des activités en cours L évaluation des projets à lancer Quels sont les objectifs de départ de chacun des projets et de chacune des activités? Comment les moyens mis en œuvre permettent-ils d y répondre?

15 PARTIE I METHODE ET DEFINITIONS QUOI EVALUER? L OBJET DE L EVALUATION Evaluation de l impact : à quoi sert cette action? Evaluation de l efficacité est-ce qu on s y est bien pris? la mise en œuvre des objectifs a t-elle permis de répondre au but que l on s était donné? Evaluation de l efficience les moyens mis en œuvre étaient-ils adaptés?

16 PARTIE I METHODE ET DEFINITIONS QUOI EVALUER? L OBJET DE L EVALUATION Évaluer une action c est déjà être d accord sur sa définition: exemple de l évaluation du RESE La finalité du RESE (pourquoi?) Identifier, accompagner la mise en œuvre des pratiques du DD Le but du RESE (quoi?) Créer les conditions de rencontre entre acteurs de l ESS Les objectifs du RESE (comment?) Repérer des pratiques innovantes, créer des outils, valoriser les actions Les moyens (avec quoi?) Veille, animation d ateliers, communication

17 PARTIE I METHODE ET DEFINITIONS QUOI EVALUER? L OBJET DE L EVALUATION A chaque niveau, l évaluation répond à un objectif général : repérer les limites et les points à améliorer, valoriser les points positifs, et ainsi mettre en place l amélioration continue de la structure et des activités qu elle porte.

18 PARTIE I METHODE ET DEFINITIONS QUAND LANCER L ÉVALUATION? LE MOMENT L évaluation peut intervenir à toutes les étapes d une action : Au début de l action : évaluation préalable Exemple : création d une structure Au cours de sa réalisation : évaluation intermédiaire Exemple : fonctionnement d une activité

19 PARTIE I METHODE ET DEFINITIONS QUAND LANCER L ÉVALUATION? LE MOMENT A la fin de l action : évaluation finale Exemple : cycle de sensibilisation et d animations auprès de scolaires Idéalement, l évaluation d une action doit être mise en place le plus en amont possible. Elle doit être continue.

20 PARTIE I METHODE ET DEFINITIONS COMMENT ÉVALUER? LA METHODE La démarche d évaluation nécessite : D établir un état des lieux à un moment t (état initial ou état zéro) et de fixer des objectifs à atteindre De réaliser un état des lieux à un moment t+1 De mesurer l écart entre cet état et l état initial, au regard des objectifs fixés

21 PARTIE I METHODE ET DEFINITIONS COMMENT ÉVALUER? LA METHODE Comment mesurer cet écart? En choisissant des critères d évaluation : caractère ou propriété observable, permettant de juger l action. En utilisant des indicateurs : une indication qui quantifie ou qualifie le critère et dont la variation permet de mesurer cet écart. Exemple: L objectif d une action est l augmentation des partenaires financiers Critère : les partenariats engagés Indicateurs : le nombre et la nature des nouveaux partenaires

22 PARTIE I METHODE ET DEFINITIONS COMMENT ÉVALUER? LA METHODE Qu est-ce qu un indicateur? Un indicateur est un outil permettant de vérifier si un objectif est atteint (partiellement, complètement ou pas du tout) grâce aux actions mises en place. L objectif à atteindre dépend de l état de départ et des attentes des personnes concernées.

23 PARTIE I METHODE ET DEFINITIONS COMMENT ÉVALUER? LA METHODE Il décrit un état, une évolution ou un résultat qu il quantifie à l aide de descripteurs. Un descripteur est une appréciation, un chiffre ou un calcul décrivant un état ou une situation. Il doit être maniable, simple, consensuel. C est un moyen d information entre les différents acteurs concernés par l action qu il sert à évaluer.

24 PARTIE I METHODE ET DEFINITIONS COMMENT ÉVALUER? LA METHODE Comment déterminer des indicateurs? Une démarche spécifique à chaque projet Il n existe pas de batteries d indicateurs standards. Il faut à chaque fois partir d un état des lieux préalable et d objectifs précis. Une approche consensuelle Les indicateurs identifiés doivent être reconnus pertinents par les personnes concernées.

25 PARTIE I METHODE ET DEFINITIONS COMMENT ÉVALUER? LA METHODE Des outils doivent ensuite être définis ou créés pour mesurer ces indicateurs. Indicateur : degré de satisfaction du public accueilli Outil à créer : fiche de satisfaction Il est nécessaire de bien expliquer les conditions dans lesquelles sera utilisé chaque indicateur : question de l étalonnage de l indicateur (un même indicateur peut mesurer plusieurs choses).

26 PARTIE I METHODE ET DEFINITIONS COMMENT ÉVALUER? LA METHODE Un projet peut avoir différents niveaux d objectifs. Il est donc nécessaire de disposer d indicateurs de niveaux variables. OBJECTIF GÉNÉRAL - RANG 1 MOYENS POUR RÉALISER L OBJECTIF DE RANG 1 = OBJECTIFS DE RANG 2 INDICATEURS DE RANG 1 OU INDICATEURS GLOBAUX MOYENS DE RANG 2 = OBJECTIFS RANG 3 INDICATEURS DE RANG 2 MOYENS DE RANG 3 INDICATEURS RANG 3

27 PARTIE I METHODE ET DEFINITIONS COMMENT ÉVALUER? LA METHODE Exemple : cas du recrutement de publics pour une action de formation RANG 1 RANG 2 RANG 3 OBJECTIFS Remplir la formation avec des personnes dont le profil correspond aux critères d entrée de la formation (A) Mobiliser les partenaires pour repérage et information du public (B) Intégrer les partenaires sociaux dans le comité de pilotage (CP) de l action (a)diffusion d informations (b) Organisation de réunions du comité de pilotage INDICATEURS Nombre de candidats intégrant la formation (IA) Nombre de candidats envoyés par les relais locaux un mois avant (Ia) Nombre de documents diffusés ou de journées portes ouvertes organisées. (IB) Nombre de partenaires mobilisés dans le CP. (Ib) Nombre de réunions du CP.

28 PARTIE I METHODE ET DEFINITIONS COMMENT ÉVALUER? LA METHODE Exemples d indicateurs de gestion interne des structures et des équipes Temps de travail passé par action La part administrative consacrée à chaque action La part du budget réel par rapport au budget prévisionnel L adéquation des compétences des personnes au poste Le degré de satisfaction des clients et partenaires Le personnel affecté à chaque action Le budget affecté à chaque action

29 PARTIE I METHODE ET DEFINITIONS COMMENT ÉVALUER? LA METHODE Exemples d indicateurs pour l évaluation d actions pédagogiques La satisfaction du public accueilli et les écarts par rapport aux attentes Le degré d acquisition de connaissances du public accueilli lors d une action d animation L évolution des comportements Les actions provoquées par les participants à la suite d une animation Le nombre de participants La régularité de participation du public

30 PARTIE II QUEL OUTIL POUR L EVALUATION DES PROJETS? CONSTRUIRE VOTRE OUTIL D AUTO-EVALUATION Chaque structure associative étant particulière, il n existe pas une unique grille d évaluation adaptée pour toutes, c est-à-dire présentant une liste standard croisant des objectifs et des indicateurs. Une méthode est proposée pour aider chaque structure à construire elle-même sa propre grille d évaluation en fonction de son contexte et de ses choix.

31 PARTIE II QUEL OUTIL POUR L EVALUATION DES PROJETS? CONSTRUIRE VOTRE OUTIL D AUTO-EVALUATION Il est fortement recommandé d avoir une vision la plus transversale possible et d élaborer un outil qui permette de croiser différentes problématiques. Il a été décidé de considérer dans la démarche les trois grand principe du développement durable : l économique, le social et l environnement.

32 PARTIE II QUEL OUTIL POUR L EVALUATION DES PROJETS? CONSTRUIRE VOTRE OUTIL D AUTO-EVALUATION SITUATION IDÉALE Construire votre outil Au moment de la définition d une action À partir d un état des lieux Y intégrer Une liste d objectifs et de sous-objectifs dans chacun des trois axes (économique, social et environnement) Les moyens à mettre en œuvre pour les atteindre Les indicateurs permettant de les suivre Faire un bilan régulier Vérifier la réalisation, la pertinence des objectifs, Les réajuster, éventuellement.

33 PARTIE II QUEL OUTIL POUR L EVALUATION DES PROJETS? CONSTRUIRE DE VOTRE OUTIL D AUTO-EVALUATION CAS LE PLUS FRÉQUENT Action démarrée depuis quelques années Quelques éléments de suivi mis en place Une amorce de grille d évaluation, des bilans d activités, quelques outils de suivi Il va s agir d identifier les objectifs de l évaluation, les indicateurs et outils de suivi existants Et de les compléter pour construire un outil complet, permettant une analyse transversale sur le fonctionnement et l organisation de la structure et ses actions.

34 PARTIE II QUEL OUTIL POUR L EVALUATION DES PROJETS? CONSTRUIRE VOTRE OUTIL D AUTO-EVALUATION POUR CONSTRUIRE VOTRE OUTIL Savoir d où vous partez et se fixer des objectifs dans chacun des trois axes Pour chacun des axes se poser les questions suivantes Quelle action va être évaluée? Quelle va être l étendue de l évaluation? La structure et ses objectifs globaux, Les activités d un service, Une activité particulière,

35 PARTIE II QUEL OUTIL POUR L EVALUATION DES PROJETS? CONSTRUIRE VOTRE OUTIL D AUTO-EVALUATION POUR CONSTRUIRE VOTRE OUTIL De quoi disposez-vous déjà? Quel est votre point de départ? De quels outils, documents disposez-vous? Quels objectifs vous êtes-vous fixés? Quels moyens avez-vous mis en oeuvre? Quels indicateurs de résultat avez-vous choisi?

36 PARTIE II QUEL OUTIL POUR L EVALUATION DES PROJETS? CONSTRUIRE VOTRE OUTIL D AUTO-EVALUATION Vous pouvez utiliser le Tableau n 1 : votre état des lieux (p18 - Outil d auto-évaluation des projets). Une grille de référence vous propose des exemples d objectifs, de moyens et d indicateurs dont vous pourrez vous inspirer (p20 - Outil d auto-évaluation des projets). Cette grille illustre chacun des trois axes du développement durable par une présentation des questions qu il convient de se poser dans différents domaines.

37 PARTIE II QUEL OUTIL POUR L EVALUATION DES PROJETS? UTILISER VOTRE OUTIL D AUTO-EVALUATION Après un temps à définir (un an, six mois, ) vous allez pouvoir évaluer votre action en utilisant votre outil, pour cela renseignez le Tableau n 2 (p19 de l Outil) : Quels objectifs vous étiez-vous fixés? Quels moyens avez-vous mis en œuvre? Quels indicateurs de résultat avez-vous choisis? Quels sont les résultats obtenus? Il s agit de mesurer l écart entre la situation au moment de l évaluation et celle observée lors de l état des lieux.

38 PARTIE II QUEL OUTIL POUR L EVALUATION DES PROJETS? UTILISER VOTRE OUTIL D AUTO-EVALUATION Quelle appréciation donnez-vous? L objectif est-il atteint? Partiellement atteint? Pas atteint? Quelle décision prenez-vous? Vous définissez de nouveaux objectifs? Vous arrêtez ou poursuivez l action? Vous définissez de nouveaux moyens à mettre en œuvre, de nouveaux indicateurs?

39 PARTIE III QUELLE DÉMARCHE POUR LA MISE EN PLACE D UNE PROCÉDURE D ÉVALUATION? ÉTAPE 1 - Définir l objectif de l évaluation ÉTAPE 2 - Prise de conscience Faire prendre conscience à l ensemble des administrateurs et des salariés de la nécessité de mettre en place une démarche d évaluation Réunion d équipe et du conseil d administration pour montrer l intérêt de l évaluation et valider les principaux objectifs de celle-ci. Organiser une action spécifique (réaliser une exposition photo sur la structure) pour motiver et mobiliser l équipe.

40 PARTIE III QUELLE DÉMARCHE POUR LA MISE EN PLACE D UNE PROCÉDURE D ÉVALUATION? ÉTAPE 3 - Lancement de l évaluation Présenter l intérêt de l évaluation, son objectif dans le cadre de la structure et préciser les étapes de la démarche. Organiser une réunion d équipe animée par le coordinateur, en présence de la direction.

41 PARTIE III QUELLE DÉMARCHE POUR LA MISE EN PLACE D UNE PROCÉDURE D ÉVALUATION? ÉTAPE 4 - Le diagnostic Repartir des objectifs initiaux de la structure pour (re)préciser les objectifs, lister les projets, et construire un cadre logique de gestion de projet. Relire les contrats pour chaque mission (objectif, clients ou organismes financeurs, nature des prestations, budget, partenaires, ), si besoin les clarifier. Relier chaque contrat à l objectif général de la structure (éventuellement à des objectifs secondaires déclinant l objectif général).

42 PARTIE III QUELLE DÉMARCHE POUR LA MISE EN PLACE D UNE PROCÉDURE D ÉVALUATION? Réaliser un diagnostic par thématique (actions, missions, secteurs d intervention, modalités de fonctionnement). Constituer des groupes de travail ou commissions par thématiques en nommant un responsable de groupe. Détailler le travail réalisé par thématique. Vérifier s il existe des évaluations même partielles des objectifs et des projets : le temps passé, budget, utilisation de matériel, satisfaction des usagers

43 PARTIE III QUELLE DÉMARCHE POUR LA MISE EN PLACE D UNE PROCÉDURE D ÉVALUATION? Réaliser une synthèse du diagnostic de l état actuel et la valider. Mettre en perspective les objectifs de la structure, les objectifs de chaque projet, l état actuel des réalisations, les indicateurs Construire le cadre logique de la gestion de la structure. Présenter et faire valider la synthèse lors d une réunion d équipe et/ou d une action conviviale.

44 PARTIE III QUELLE DÉMARCHE POUR LA MISE EN PLACE D UNE PROCÉDURE D ÉVALUATION? ÉTAPE 5 - Le projet de la structure Préciser dans le cadre de l objectif général de la structure, les objectifs secondaires et leur évolution à moyen terme, les axes stratégiques, les projets avec leurs objectifs spécifiques. Définir pour chaque objectif, les indicateurs, outils et modalités de suivi.

45 PARTIE III QUELLE DÉMARCHE POUR LA MISE EN PLACE D UNE PROCÉDURE D ÉVALUATION? Il est indispensable de nommer un référent de l évaluation au sein de la structure, rattaché à la direction, qui aura une mission de coordinateur animateur. Son travail comprendra : Organisation générale de la réflexion, Formation, information des personnes sur la gestion et l évaluation de projet, Animation des temps de travail en groupe, Réponses aux questions spécifiques en interne Réalisation de synthèses, compte-rendu... Référent vis-à-vis des partenaires extérieurs

46 PARTIE III QUELLE DÉMARCHE POUR LA MISE EN PLACE D UNE PROCÉDURE D ÉVALUATION? L AVIS DES ASSOCIATIONS DU RESE La structure doit savoir ce qu elle veut et ce qu elle cherche. L évaluation continue permet de mieux structurer les actions. L évaluation est un travail lourd qui doit s effectuer en équipe. L évaluation pousse à se questionner sur les méthodes.

47 PARTIE III QUELLE DÉMARCHE POUR LA MISE EN PLACE D UNE PROCÉDURE D ÉVALUATION? L AVIS DES ASSOCIATIONS DU RESE La recherche d indicateurs questionne sur les objectifs : c est un nouvel angle d approche. L évaluation permet de rendre lisible ce que l on fait et de gagner en compréhension pour soi et pour les autres. Pour éviter les lourdeurs et la complexité il faut trouver des indicateurs consensuels. Il est nécessaire de diversifier les indicateurs.

48 SELECTION BIBLIOGRAPHIQUE AVISE, avril L évaluation de l utilité sociale, bibliographie raisonnée Délégation Interministérielle à l Innovation Sociale et à l Economie Solidaire, Guide de l évaluation. Circulaire du 1er décembre relative aux conventions pluriannuelles d objectifs entre l Etat et les associations. Culture et Promotion. Eclairages sur l évaluation de l utilité sociale des associations, Dossiers pour notre temps n 99 octdec 2001 Culture et Promotion. Comment évaluer son utilité sociale? Bilan d une expérimentation associative, Dossiers pour notre temps n 98 juil-sept 2001

49 ARENE ILE-DE-FRANCE 94, bis avenue de Suffren PARIS Tél. : Fax. : Site Internet : ch.insergueix@areneidf.org