Do ssier L évaluation de l utilité sociale : débats, enjeux et outils

L évaluation de l utilité sociale : débats, enjeux et outils L utilité sociale et son évaluation. Deux termes pour deux problématiques majeures. Premièrement, l utilité sociale d une organisation s articule autour des finalités de son projet, ce qui soulève la question essentielle de la reconnaissance de l utilité sociale des associations par les pouvoirs publics. Deuxièmement, évaluer l utilité sociale d une organisation conduit nécessairement à s interroger sur l impact social ou sociétal des activités produites, sur lequel l utilité sociale croise le fer avec l intérêt général de l action publique. La rencontre entre ces notions, les différences d enjeux selon que l on se place du point de vue de l acteur public ou de celui des associations, font surgir de nombreuses difficultés mais ouvrent aussi de nouvelles perspectives. L utilité sociale : «terrain de jeu» entre associations et pouvoirs publics L historique des débats entre acteurs publics et têtes de réseaux associatifs sur ce thème confirme à la fois l ancienneté et l acuité du débat. Depuis plus de trente ans, l utilité sociale des associations fait l objet d une définition fiscale considérée comme trop réductrice par les acteurs associatifs et nombre d acteurs publics. En 2008, le débat est toujours aussi vif. > FRANÇOIS ROUSSEAU* L e débat sur l utilité sociale se déplace et évolue au fil des évolutions politiques et sociales. Principalement, il s oriente du national vers le régional à travers la production d outils opérationnels qui aident à une définition contextuelle de l utilité sociale, et du national vers l européen, d une façon moins bien appréhendée qui ne sera qu effleurée. À l origine, un arrêt du Conseil d État de 1973 1 considère que les critères de non-lucrativité et de gestion désintéressée ne suffisent pas à une association pour béné- ficier de l exonération fiscale : l association doit faire, en plus, la preuve de l utilité sociale de son activité. C est ainsi que, depuis 1977 2, l administration fiscale définit l utilité sociale : «Est d utilité sociale l activité qui tend à satisfaire un besoin qui n est pas pris en compte par le marché ou qui l est de façon peu satisfaisante». La dernière instruction fiscale de décembre 2006 3, qui synthétise l ensemble des textes applicables aux associations, confirme cette définition qui reste donc, à ce jour, la seule opposable à d éventuelles autres définitions. * Chercheur associé, centre de recherche en gestion, École polytechnique. 1. CE 30 novembre 1973, req. n os 85.586 et 85.598 et conclusions du commissaire du gouvernement Delmas-Marsalet, D.F. 74, n o 17-18, com. 531. 2. Instr. 4 H-2-77 du 27 mai 1977. 3. Instr. 4 H-5-06 n o 208 du 18 décembre 2006 ; voir JA n o 355/2007, p. 12. 12 1 er avril 2008 - n o 376

L évaluation de l utilité sociale : débats, enjeux et outils Indépendamment de cette approche réglementaire plus que trentenaire, les termes d utilité sociale sont utilisés dans divers textes législatifs depuis la fin des années 90 4. Mais leur manque de précision laisse aux services qui instruisent les dossiers le soin de décider in situ ce qui est ou n est pas d utilité sociale. Cette notion reste donc de toute façon subordonnée à l approche fiscale. Une version fiscale de l utilité sociale Parallèlement à cette définition fiscale de l utilité sociale, une autre approche s est développée autour de la reconnaissance d utilité sociale des associations par les pouvoirs publics. L enjeu n est pas de même nature : la formulation porte de façon explicite une volonté de légitimation politique de l identité associative par la définition et l explication de ses spécificités 5. Il faut rappeler que, dès 1981, le ministre du Temps libre André Henry avait proposé un projet de loi, resté sans suite, sur la reconnaissance de l utilité sociale des associations selon une procédure administrative unilatérale que les associations avaient vivement contestée. En 1986 le Conseil national de la vie associative (CNVA) 6 dénonce la confusion entre «la logique juridique qui préside à la constitution et à la vie interne d une association et ses activités économiques» 7. Pour le CNVA, la reconnaissance de l utilité sociale des associations impose de définir séparément la non-lucrativité et l utilité sociale. Ses travaux aboutissent en 1995 à la production d un rapport et d un avis sur la reconnaissance de l utilité sociale des associations 8. Dix critères étaient énumérés pour permettre de cerner les contours d un «concept évolutif voire conjoncturel» 9 : l utilité sociale des associations. Ainsi, l enjeu de la reconnaissance de l utilité sociale des associations par les pouvoirs publics va au-delà souvent en l incluant de la question de l obtention ou non d avantages fiscaux. Ainsi, en janvier 1996, le Premier ministre de l époque incitait-il le CNVA à poursuivre ses travaux dans le but explicite de permettre une clarification nécessaire des rapports entre l État et les associations. Mais, presque simultanément, il était demandé au CNVA d examiner le projet d instruction fiscale qui traitait de la même question (sous son angle fiscal évidemment). On mesure la difficulté qui résulte d une réflexion simultanée sur la mise en place d un cadre juridique nouveau (la reconnaissance d utilité sociale) et d aménagements à droit constant imposés par la hiérarchie des normes juridiques (l instruction fiscale) 10. Bien que les débats entre les représentants de l administration et ceux des associations aient permis des rapprochements, le désaccord subsistera : la définition de l administration fiscale est considérée comme trop restrictive car la reconnaissance de l utilité sociale des associations suppose une définition de l utilité sociale qui prenne en compte : la primauté du projet sur l activité, la non-lucrativité et la gestion désintéressée, l apport social des associations, le fonctionnement démocratique et l existence d agréments 11. Ce désaccord est toujours d actualité et pèse lourdement sur tous les débats en cours, bien au-delà du cénacle du CNVA. Pour illustration, en 2005, Jean-Pierre Decool a présenté son rapport sur les associations 12. Il déduit des vingt années antérieures de travaux sur l utilité sociale que cette notion est difficile à cerner, trop subjective et évolutive selon les besoins et priorités de la société pour être gérée sur le plan administratif et juridique. Une production intellectuelle et opérationnelle très riche Pourtant, depuis le début des années 2000, beaucoup d initiatives ont été prises au travers d expérimentations et de travaux de recherche sur le thème de l utilité sociale, ce qui confirme l acuité du débat tout en orientant l approche vers la production d outils et de grilles d analyse à visée plus opérationnelle. Mais au-delà de la question de la reconnaissance des associations par la définition de leur utilité sociale, la notion est également débattue sous une approche plus académique dans de nombreux rapports de recherche 13 qui allient réflexion et enquêtes de terrain. 4. Par exemple : loi n o 97-940 du 16 octobre 1997 (développement d activités pour l emploi des jeunes), loi n o 98-657 du 29 juillet 1998 (lutte contre les exclusions), loi n o 2000-1208 du 13 décembre 2000 (solidarité et renouvellement urbain), loi n o 2001-624 du 17 juillet 2001 (création des sociétés coopératives d intérêt collectif), loi n o 2002-2 du 2 janvier 2002 (rénovation de l action sociale et médico-sociale). 5. CNVA, Le CNVA au service de la liberté d association, La Documentation Française, Paris 2001, p. 49. 6. Le CNVA, créé en 1983, étudie les questions intéressant la vie associative, donne son avis sur les projets de textes qui lui sont soumis et propose des mesures utiles au développement de la vie associative. Il est composé de 66 membres représentant les administrations des ministères concernés et les associations, et de personnes qualifiées désignées par le Premier ministre après consultation des associations nationales. 7. Ibid. p. 49. 8. Ibid,p.51. 9. Ibid. 10. CNVA, motion relative à la reconnaissance de l utilité sociale des associations, 23 avril 1997. 11. Ibid., p. 55. 12. J.-P. DECOOL, rapport de mission parlementaire à J.-F. LAMOUR, ministre de la Jeunesse et des Sports, Des associations en général Vers une éthique sociétale, Documentation Française, mai 2005. 13. «Économie sociale et solidaire en région» ; 35 équipes ont participé à ce programme de recherche coordonné par la DIES et la MIRE entre 2001 et 2003. n o 376-1 er avril 2008 13

Soutenus par les chercheurs engagés autour du développement de l économie sociale et solidaire, plusieurs travaux universitaires sont réalisés et publiés. Ils étudient le rapport entre utilité sociale et intérêt général 14 ou s intéressent aux pratiques et représentations mises en œuvre dans certains secteurs comme l insertion par l activité économique 15. En 2003, Jean Gadrey réalise un important travail de synthèse 16 et tente une définition de l utilité sociale : «Est d utilité sociale l activité d une organisation de l économie sociale qui a pour résultat constatable et, en général, pour objectif explicite, au-delà d autres objectifs éventuels de production de biens et de services destinés à des usagers individuels, de contribuer à la cohésion sociale (notamment par la réduction des inégalités), à la solidarité (internationale, nationale ou locale : le lien social de proximité) et à la sociabilité, et à l amélioration des conditions collectives du développement humain durable (dont font partie l éducation, la santé, l environnement et la démocratie).» Volontairement très ouverte, sa proposition sera utilisée au début de l année 2004 pour le lancement par l Agence de valorisation des initiatives socio-économiques (Avise) d une expérimentation sur l évaluation de l utilité sociale auprès de quinze organisations très variées. Les objectifs de départ visaient à constituer un corps de doctrine sur l utilité sociale au regard des enjeux des associations, expérimenter des méthodes et outils sur l évaluation de l utilité sociale, disposer de premiers résultats sur l évaluation de l utilité sociale et enfin repérer les conditions de transférabilité des démarches, outils et méthodes. Cette action d ampleur a permis la publication d un guide intitulé «Évaluer l utilité sociale de son activité» 17 présenté lors d un séminaire de réflexion fin 2007 18 dont le vif succès a justifié la réalisation de ce dossier. L utilité sociale pour redéfinir les politiques territoriales 14. X. ENGELS (Dir.), M. HÉLY,A. PEYRIN, H. TROUVÉ, De l intérêt général à l utilité sociale. La reconfiguration de l action publique entre État, associations et participation citoyenne, L Harmattan, 2006. 15. H. TROUVÉ, «L utilité sociale : des pratiques aux représentations», thèse de doctorat, laboratoire Matisse-Paris 1, 2007. 16. J. GADREY, 2003, «L utilité sociale des organisations de l économie sociale et solidaire», rapport de synthèse pour la DIES et la MIRE, version provisoire, 133 pages. 17. Les cahiers de l Avise n o 5, 2007, «Évaluer l utilité sociale de son activité», 124 pages, www.avise.org/ La diffusion de tous ces travaux, associée aux changements de direction politique à la tête des régions en 2004, permettent à la thématique de l utilité sociale de rebondir régionalement en se transformant : de nouvelles générations d élus veulent s engager dans le développement territorial en renouvelant les approches politiques traditionnelles. La notion d utilité sociale peut être vue alors comme un prisme à partir duquel pourraient être déterminées les politiques régionales selon des conceptions renouvelées de la richesse économique 19 et dont les organisations de l économie sociale et solidaire seraient les partenaires «naturels» en raison de leur contribution socio-économique spécifique au développement territorial. Tout en se régionalisant, la production de réflexions évolue vers la production d outils opérationnels qui permettent de déterminer ce qui est ou n est pas d utilité sociale par l application de critères élaborés selon une logique participative entre les acteurs de l action publique régionale (élus et techniciens), les dirigeants des organisations de l économie sociale et solidaire et les chercheurs ou consultants 20. Dans un souci de cohérence, et peut-être de montée en généralisation d une nouvelle définition normative, l Association des régions de France (ARF) organise un groupe de travail avec l idée de mutualiser les outils déjà produits en PACA, Rhône- Alpes, Languedoc-Roussillon, Pays de Loire, Aquitaine, Midi-Pyrénées, etc. On le voit, d une façon distincte de l approche fiscale, l enjeu posé aux acteurs de l économie sociale est de faire valoir une notion de l utilité sociale appropriée à leur vision, qui fasse référence et, pourquoi pas, aboutisse à une convention sociopolitique mieux établie autour de laquelle le partenariat associations / pouvoirs publics serait équilibré. Devant les difficultés soulevées au plan national par les têtes de réseaux associatifs et l État, le débat ne progresse plus beaucoup à ce niveau 21. Mais au plan régional, les nombreuses expérimentations réalisées ou en cours soulignent un regain d intérêt pour la mise en place de grilles et de critères d analyse de l utilité sociale, toujours dans un contexte donné et selon une démarche participative, qui veut répondre au même enjeu. La production d outils et de méthodes se précise peu à peu, ce qui permet à quelques chercheurs, dont nous sommes, d envisager l identification des quelques critères invariablement utilisés pour spécifier l utilité sociale comme un «terrain de jeux» commun à l action publique et à l action associative, dont le balisage progresserait indubitablement sur plusieurs fronts simultanés. 18. Séminaire Avise, «Évaluer l utilité sociale, démarche, méthodologies, expériences», Paris, 6 décembre 2007. 19. P. VIVERET, Reconsidérer la richesse, Éditions de l Aube, 2003. 20. Par exemple l association Culture et Promotion qui a coordonné l expérimentation Avise et coproduit le cahier Avise n o 5 précité. 21. En fait, le débat national s européanise autour de celui des services d intérêt général (SIG) que beaucoup d entre nous considèrent comme une nouvelle grille de lecture susceptible de s imposer rapidement à tous. 14 1 er avril 2008 - n o 376

L évaluation de l utilité sociale : débats, enjeux et outils L évaluation : «règle du jeu» entre associations et pouvoirs publics L évaluation n est pas un terme moins ancien que celui de l utilité sociale. Sa prégnance est grandissante, elle aussi dans la controverse. Le débat sur l évaluation a évolué, principalement au sein des politiques publiques 1, lorsque ont été abandonnées les formes d évaluation ex ante (la planification) pour privilégier des évaluations ex post. Il accompagne le développement des politiques d évaluation des politiques publiques à la fin des années 80 et l accélération du processus de décentralisation qui transforment profondément l action publique. Par extension, la puissance publique est incitée à évaluer les associations prises comme des partenaires de l action publique. > FRANÇOIS ROUSSEAU* L évaluation est comprise ici comme un processus de formation de jugements de valeurs 2 sur une organisation, un programme ou une activité dans une perspective opérationnelle : rendre des comptes, se mobiliser, apprendre collectivement, aider à la prise de décisions L évaluation est entrée progressivement dans des textes génériques d origine législative ou réglementaire. Par exemple, la Délégation interministérielle à l économie sociale (DIES devenue DIIESES) réalise en 2002 un guide de l évaluation pour la mise en œuvre des conventions pluriannuelles d objectifs qui se sont développées entre l État et les associations 3. La circulaire relative à ces conventions de financement indiquait : «En complément des dispositions prévues par les lois et règlements applicables en matière de contrôle, une politique d évaluation et de suivi des actions financées par l État doit être mise en œuvre [ ] ; celles-ci seront inscrites dans la convention ellemême.» 4 Précisons que le premier des cinq principes listés dans le guide de l évaluation pour justifier la nécessité d une évaluation mentionne que «les actions menées sont destinées à satisfaire des besoins prioritaires, d intérêt général ou d utilité sociale» 5. Quelques mois plus tôt était promulguée la loi du 12 avril 2000 6. Son chapitre III traite des dispositions relatives à la transparence financière, et son article 10 rend obligatoire la conclusion d une convention avec l organisme qui bénéficie d une subvention, dès lors que cette subvention dépasse le seuil fixé par décret 7, qui s élève actuellement à 23 000 euros. Cette convention doit définir l objet, le montant et les conditions d utilisation de la subvention sollicitée. Cet article précise également : «Lorsque la subvention est affectée à une dépense déterminée, l organisme de droit privé bénéficiaire doit produire un compte rendu financier qui atteste de la conformité des dépenses effectuées à l objet de la convention.» L association : un agent économique comme un autre? La présence dans ces textes de la notion d évaluation confirme la transformation des rapports entre associations et pouvoirs publics. Celle-ci a débuté durant les années 80 et tend à assortir le régime juridique de la subvention de contreparties de plus en plus précises. Cette inflation pose d ailleurs un problème de droit délicat puisque le régime de la subvention (qui n est défini * entre de recherche en gestion, École polytechnique. 1. Bien que nous regrettions un peu de ne pas pouvoir aborder ici les travaux importants sur l évaluation tels qu ils sont menés par les associations d éducation populaire depuis plus de deux siècles! 2. B. PERRET, 2001, L évaluation des politiques publiques, La Découverte, coll. Repères. 3. «Guide de l évaluation», DIES, 28 juin 2002, 22 pages. 4. Circ. du 1 er décembre 2000, JO du 2, p. 19160. 5. Ibid., point 1-1 p. 5. 6. Loi n o 2000-321 du 12 avril 2000, JO du 13, p. 5646, relative au droit des citoyens dans leurs relations avec les administrations. 7. Décr. n o 2001-495 du 6 juin 2001, JO du 10, p. 9248. n o 376-1 er avril 2008 15

LES MILITANTS ASSOCIATIFS DOIVENT DISTINGUER LA CULTURE ÉVALUATIVE, QU ILS ONT ABSOLUMENT BESOIN DE DÉVELOPPER POUR MIEUX RENDRE COMPTE DE LEURS PROJETS, DU DÉBAT SUR L ÉVALUATION DE L UTILITÉ SOCIALE QUI NE SE SITUE PAS SUR LE MÊME REGISTRE. que par la jurisprudence) mentionne que la somme d argent versée par la collectivité ne doit pas avoir de contrepartie pour être considérée comme une subvention. Le point essentiel à signaler est que cet environnement légal, réglementaire et même jurisprudentiel suit une tendance constante qui tend à ne plus différencier la catégorie association et à la considérer comme un simple agent socio-économique parmi d autres. La toile de fond sur laquelle la controverse s anime est la suivante : d un côté les associations revendiquent au plan politique la reconnaissance de leur légitimité, laquelle est fondée sur leur identité associative qui ne peut être obtenue que par la définition et l explication de leurs spécificités ; d un autre côté, les évolutions légales, réglementaires et jurisprudentielles renient cette revendication en considérant, texte après texte 7, la catégorie association comme un agent socio-économique indifférencié, vu uniquement sous le prisme des activités qu il exerce 8! L évaluation : une clé pour l obtention de ressources publiques Il faut donc souligner la différence essentielle entre, d une part, l évaluation des activités associatives selon une logique d évaluation des politiques publiques et, d autre part, la démarche de coconstruction d une méthodologie d évaluation qui associe les acteurs locaux (élus, techniciens, militants associatifs, chercheurs, etc.). C est cette seconde approche que les nombreuses expérimentations réalisées sur le thème de l évaluation de l utilité sociale veulent soutenir. Cette transformation des règles du jeu est bien comprise par les dirigeants associatifs ; ils ont pleinement conscience de la place croissante qu occupe l évaluation comme un critère de jugement pesant de plus en plus pour l obtention de ressources publiques (incluant la reconnaissance et les moyens économiques) plus difficiles d accès aujourd hui qu hier. D où la nécessité d acquérir en ce domaine un argumentaire et des outils comme autant de compétences permettant de s adapter à ce nouvel environnement. Une articulation complexe avec le projet associatif Comme si tout cela n était pas assez compliqué, l évaluation concerne également le projet associatif. On découvre peu à peu, grâce aux progrès de la recherche sur les associations 9, qu elles jouent un rôle économique et social de premier plan 10 et que leur développement est considérable. Mais ce développement invite les dirigeants à veiller à une meilleure organisation interne selon une démarche constante de recherche d un compromis acceptable entre rationalisation des ressources et prééminence du projet social. Les outils principalement qualitatifs qui accompagnent toute démarche d évaluation viennent ici enrichir l outillage gestionnaire traditionnel (qui est principalement de nature quantitative), considéré comme un piètre descripteur du projet associatif 11. Mais l évaluation relève d une ingénierie complexe qui rend indispensables des apprentissages nouveaux. Ceux-ci pourront utilement être diffusés au sein de l association pour renforcer son identité, tout en permettant de mieux rendre compte aux parties prenantes de la vitalité et de la cohérence de son projet. Mais nous suggérons aux militants associatifs de distinguer prudemment la culture évaluative, qu ils ont absolument besoin de développer pour mieux rendre compte de leurs projets, du débat sur l évaluation de l utilité sociale qui ne se situe pas sur le même registre, comme nous avons essayé de le montrer. L évaluation de l utilité sociale relève, elle, de l imbrication de deux notions complémentaires mais bien différentes : baliser le terrain de jeu commun entre acteurs publics et associatifs (l utilité sociale) est une chose, définir les règles du jeu communes (l évaluation) en est une autre, complémentaire mais distincte. 8. Voir par exemple l instruction du 28 août 2001 prise pour l application du code des marchés publics (décr. n o 2001-210 du 7 mars 2001, JO du 8, p. 37003), Titre I, Champ d application et principes fondamentaux, article 1 er, «Associations et marchés publics», qui consacre un véritable retournement de la situation d exception reconnue aux associations dans l instruction du 29 décembre 1972. 9. F. ROUSSEAU, «Le gestionnaire associatif et l acheteur public», support de cours, IAE de Paris, 2006. 10. P. KAMINSKI, Les associations en France et leur contribution au PIB, ADDES, 2006, www.addes.asso.fr/ 11. V. TCHERNONOG, Le paysage associatif français :. Mesures et évolutions, Juris- Dalloz, 2007. 12. F. ROUSSEAU, «L Organisation militante», Revue internationale de l économie sociale n o 303, 2007. 16 1 er avril 2008 - n o 376

L évaluation de l utilité sociale : débats, enjeux et outils Les collectivités territoriales face à l évaluation de l utilité sociale On observe depuis une vingtaine d années en France, l émergence progressive d une culture évaluative, mais dont la légitimité n est pas complètement acquise. On a assisté au dépassement progressif d une conception de l évaluation qui se situait entre contrôle et alibi, engendrant une certaine défiance par les organisations qui en étaient l objet. Mais les attentes suscitées peuvent entraîner des désillusions : l évaluation ne peut pas constituer la solution à tous les problèmes et s inscrit dans une perspective de moyen et long terme parfois peu compatible avec les enjeux stratégiques de court terme. > NADINE RICHEZ-BATTESTI* Une évaluation est toujours constituée de deux piliers : une théorie de ce que l on cherche à évaluer (une politique, une organisation ) avec son champ, ses objectifs, ses principes, ses valeurs ; et une stratégie d argumentation par rapport à la formulation d un jugement de valeur. Dans cette perspective, le territoire local est généralement présenté comme un espace pertinent d observation et d intervention, car on y repère plus facilement les comportements des acteurs et les logiques qui les fondent. Mais il ne faut pas sous-estimer la question des remontées au niveau national ou international. Évaluation de l utilité sociale et collectivités territoriales L évaluation de l utilité sociale concerne les organisations de l économie sociale et solidaire (ESS) et, en leur sein, plus particulièrement les associations. Elle signale d abord un questionnement général sur la valeur et les nouveaux indicateurs de richesse qui affectent l ensemble de la société. Elle s inscrit ensuite en lien avec l enjeu de l identification, de la reconnaissance et de la valorisation de l ESS. Elle prend place enfin dans un contexte de volonté de renforcer la performance des organisations, et notamment des organisations non lucratives caractérisées par un processus soutenu de professionnalisation. La question de l uti- * Directrice du master RH-Économie sociale «management des projets et des compétences», LEST et Université de la Méditerranée. lité sociale se pose donc d emblée comme mobilisant les différentes approches de l évaluation : par les objectifs (pertinence), par les moyens (cohérence et efficience), par les besoins selon qu ils sont satisfaits ou non, par les processus et par les acteurs. Elle s adresse à la fois aux décideurs (évaluation récapitulative), aux acteurs impliqués dans l action (endo-formative) ; elle caractérise les effets ou rend lisible des innovations (évaluation cognitive). Et dans le même temps, elle s accompagne de la volonté de construire des référentiels normatifs, voire d induire une transformation du comportement des acteurs (à travers une évaluation instrumentale). Dans ces processus évaluatifs, les collectivités territoriales occupent une place originale. On observe en effet que l évaluation de l utilité sociale est fortement corrélée à la territorialisation des politiques publiques en direction de l ESS. En tant que financeur partiel ou complet d une activité mise en œuvre par une association, voire de l association dans son ensemble, et dans un souci d optimisation de la dépense publique dans un contexte de nécessaire rationalisation, les collectivités territoriales inscrivent leur action en termes d évaluation de l utilité sociale dans une triple perspective. Dans un premier axe, la notion d utilité sociale vient percuter les questions de l évaluation de l action publique et de ses transformations, à la fois du fait de la nature des indicateurs choisis et des procédures d élaboration des critères. Dans un second axe, dans une perspective plus instrumentale, l utilité sociale peut n o 376-1 er avril 2008 17

être considérée comme un nouveau paradigme, ou plus simplement un nouveau référentiel servant de justification au financement public. Enfin dans une troisième perspective, s intéresser à l utilité sociale suppose de s interroger sur la production de l intérêt général sur un territoire et sur les évolutions de la gouvernance locale : quelle place pour les acteurs privés, et notamment les acteurs associatifs, quelle coordination entre acteurs publics et privés pour réaliser un bien collectif, et quel renouveau dans l expression de la valeur? Les tensions La plupart des travaux réalisés sur l utilité sociale dont ceux de Gadrey, Fraisse, Trouvé, Hély la considèrent comme une convention de coordination encore non stabilisée. Elle se caractérise donc par une série de tensions qui sont particulièrement sensibles à l occasion de l élaboration des dispositifs et référentiels d évaluation de l utilité sociale. On identifie généralement des tensions entre une utilité sociale considérée comme un outil de légitimation des pratiques de l ESS (en lien avec un processus identitaire), comme un instrument de régulation publique des activités (en lien avec un processus de normalisation), ou comme un critère de contrôle de l usage des fonds (en lien avec un processus de contrôle, ici de l usage de l argent public). On peut aussi faire le choix de présenter ces tensions deux à deux, de façon à pointer les polarités qu elles opposent. On observe ainsi que les axes de tensions généralement mis en avant par les acteurs privés associatifs ou publics n opposent pas systématiquement ces deux catégories d acteurs entre eux, mais prennent en considération des éléments ayant trait au système de légitimité de l action. Ainsi en est-il des tensions : entre justification de l activité souvent centrée sur la création du lien social, dont certains considèrent qu elle est peu objectivable à court terme, et le couple performance/efficacité supposant des indicateurs plus quantitatifs, notamment à court terme ; entre coût et temps de mise en œuvre d un processus d évaluation de l utilité sociale dans un contexte de contraintes financières croissantes, et opportunité de travail sur la cohérence de l organisation associative et son adéquation au projet ; entre exercice de construction de la transparence de l activité menée et risque de normalisation ou d enfermement dans un modèle unique emprunté à l administration ou au secteur privé lucratif ; entre mode de fonctionnement de l administration publique cloisonné horizontalement et hiérarchisé verticalement, et transversalité du projet associatif supposant souvent de multiples interlocuteurs et financeurs ; entre le temps court de la décision et le temps plus long de l évaluation, surtout lorsqu elle prend une dimension sociétale. Pour être mieux appréhendées et parfois dépassées, ces tensions méritent de faire l objet de débats et de confrontations entre les différentes parties prenantes qui constituent autant d enjeux pour la stabilisation relative de l utilité sociale. Les enjeux Les enjeux de l évaluation de l utilité sociale se situent à plusieurs niveaux. Le premier enjeu concerne la prise en compte élargie des critères d évaluation pour des résultats attendus originaux, tels que des coûts évités par exemple. Cela suppose à la fois de caractériser la manière dont l activité est produite en interne à l organisation, puis les effets directs et indirects de l action menée, à court et moyen terme, selon des procédures originales. Il s agit à la fois de dire ce que l on fait, mais aussi ce que l on permet d éviter et qui supposerait d introduire des formes de compensation ou de réparation le plus souvent assumées par les pouvoirs publics. Le second enjeu porte sur la coconstruction et le coajustement des critères d évaluation. On touche ici aux méthodes de design des critères et donc à la production de l évaluation comme bien commun entre acteurs hétérogènes du point de vue de leurs statuts et des valeurs qui fondent leur action. C est ici la dimension participative qui est mise en avant avec l enjeu de construire des espaces de débats, des arènes au sein desquelles puissent émerger des controverses susceptibles de déboucher sur des visions partagées de l action collective et de ce que l on cherche à évaluer. Ces débats, et la recherche de compromis acceptables sur lesquels ils sont susceptibles de déboucher, donnent lieu à des apprentissages collectifs coopératifs, à l appropriation de savoir-faire et à la constitution d une culture à fort contenu identitaire. Le troisième enjeu est celui de l émergence d un acteur d interface, un marginal sécant au sens de Crozier, susceptible d opérer la traduction entre des intérêts susceptibles d être divergents 1. Constituées de parties prenantes nombreuses et hétérogènes, les associations, pour construire une démarche stratégique, enrichir le processus de décision et renforcer leur légitimité, doivent mettre en œuvre un processus de réinterprétation de leur 1. Ndlr : Michel Crozier, sociologue français né en 1922, est le principal concepteur de l'analyse stratégique en sociologie des organisations. 18 1 er avril 2008 - n o 376

L évaluation de l utilité sociale : débats, enjeux et outils Quelles perspectives pour l utilité sociale? Les dix dernières années ont été caractérisées par de multiples tâtonnements en matière d utilité sociale et l élaboration de compromis locaux entre parties prenantes hétérogènes. Il reste maintenant à construire le processus de diffusion de cette notion au-delà des frontières associatives et d une partie des collectivités territoriales, au-delà aussi de la sphère fiscale où finalement elle reste le plus explicitement définie. Sans cette prétention à plus d universalité dans sa définition et dans les procédures sur lesquelles elle repose, l utilité sociale risquerait fort d être réduite à ce qui ne peut pas être assumé par le secteur lucratif, en bref à caractériser les organisations qui produisent des biens et services en direction de ceux qui ne peuvent en payer le prix. Loin de contribuer au renouvellement des procédures d évaluation et à l élargissement de la prise en compte de la valeur produite, l utilité sociale n aurait alors servi qu à une segmentation du marché, à la construction de frontières explicites avec le secteur lucratif. Pour limiter ce risque, il importe donc de contribuer activement à la reconnaissance de l utilité sociale comme convention, c est-à-dire comme règle partagée par les acteurs et comme cadre cognitif qui oriente les comportements. Sa diffusion large et le processus de généralisation qui en résulterait à partir de l élargissement du réseau d intéressement serait alors susceptible de renouveler les procédures et les modalités du développement économique et social des territoires. activité leur permettant de définir des objectifs lisibles et acceptables par leurs partenaires. Ce processus de traduction est une manière d enrôler dans l action les parties prenantes et de réinterpréter conjointement les intérêts locaux et la manière de les réaliser. Le dernier enjeu qu il nous semble important d évoquer est celui de l expertise partagée. L évaluation de l utilité sociale suppose une démarche d association large des parties prenantes. Elle passe notamment par l association des citoyens et/ou des usagers et par le dialogue avec les élus et les techniciens de l administration. Dans cette triangulation, on mesure l importance du dialogue comme procédure de mise en commun des représentations et, à travers elle, de formalisation du référentiel d évaluation et de sa compatibilité avec les registres de l action collective associative. Un mode de régulation territorialisé L évaluation de l utilité sociale supposerait donc à la fois la convocation du débat et du dialogue comme procédures de construction du référentiel, la prise en compte élargie des parties prenantes et l affirmation des objectifs de renforcement de la transparence et d objectivation des méthodes, stratégies et indicateurs de l activité réalisée. Dans ces dynamiques, la procédure de construction du référentiel d évaluation est donc en elle-même une innovation qui, pour s initier, supposerait une gouvernance locale de type partenariale. En effet, ce type de procédure s accommode mal à la fois d une gouvernance tutélaire, souvent caractérisée par une volonté de contrôler et normaliser l action ou les comportements associatifs (parfois simplement de les orienter à travers une démarche supposée pédagogique) d un côté, et d une gouvernance quasi-marchande fondée sur la mise en concurrence d opérateurs de statuts divers selon des règles fondées sur le libre choix des usagers (libre choix limité par la difficulté à arbitrer sur la qualité d un opérateur pour exercer son libre arbitre) de l autre. Mais ce type de gouvernance partenariale reste peu développé en France, du fait d une relative défiance vis-à-vis des acteurs privés quant à leur capacité à promouvoir le bien commun. On peut donc penser que les configurations locales d acteurs sont déterminantes dans les dispositifs encore expérimentaux d évaluation de l utilité sociale. Ainsi, l ancrage des acteurs associatifs dans le territoire et la plus ou moins grande intensité de leurs liens institutionnels avec les autres parties prenantes du territoire conditionnent leur aptitude à favoriser l émergence de dispositifs participatifs. En ce sens, la production des critères d utilité sociale peut être considérée comme l expression d un mode de régulation territorialisé, c est-à-dire d un ensemble de règles liant les pouvoirs publics, les acteurs privés non lucratifs et les usagers de ces organisations de façon à produire un développement soutenable et adapté dans l espace local. Mais la consolidation de ces stratégies et le passage de dynamiques expérimentales à des processus plus formalisés et généralisables supposent un changement d échelle qui n est pas encore abouti. Chacun cherche encore à coproduire sa propre grille, indépendamment des grilles existantes. Aussi, outre le repérage d invariants, il importe de pouvoir instaurer un dialogue avec d autres partenaires du développement économique et social afin de déboucher sur un référentiel non seulement adapté, mais aussi généralisable à d autres acteurs entrepreneuriaux. n o 376-1 er avril 2008 19

L évaluation de l utilité sociale : attention aux pièges! Préalablement à toute démarche d évaluation de leur utilité sociale, les associations sont invitées par le guide de l Avise «Évaluer l utilité sociale de son activité» 1 à une première étape indispensable : comprendre avant d agir! > FRANÇOIS ROUSSEAU* U ne étape de compréhension, préalable à l évaluation proprement dite, est indispensable. Elle se déroule en trois phases successives : 1. S interroger sur les enjeux de l évaluation de l utilité sociale tels qu ils sont clairement évoqués et sous des angles variés : celui des chercheurs, des têtes de réseaux associatifs, des institutions publiques. 2. Partager au sein de l association une réflexion sur ce que recouvre l utilité sociale : les débats restent ouverts mais la somme des connaissances produites est suffisamment développée pour qu un conseil d administration ou une équipe de militants se les approprie et aboutisse à une définition propre à la structure. 3. Se mettre au clair collectivement sur les raisons qui motivent la démarche d évaluation d utilité sociale. Les attentes exprimées par les organisations qui se sont déjà lancées et ont réalisé leur évaluation de l utilité sociale permettent de dresser une liste de quatre catégories d attentes : renforcer la cohérence du projet de la structure, améliorer les activités et les pratiques, communiquer et construire de nouvelles relations avec les partenaires. Cette réflexion préalable permettra d engager une démarche d évaluation de l utilité sociale qui produira des effets, quelquefois inattendus, et dont l association pourra tirer avantage. À cette première étape, il faut ajouter quelques autres précautions à prendre avant de se lancer d une façon opérationnelle : définir les moyens humains, financiers et le temps à allouer à l évaluation de l utilité sociale : par expérience, même les organismes qui se sont spécialisés sur ce type de démarche éprouvent des difficultés à bien ajuster le couple moyens/résultats qu il faut nécessairement mobiliser ; définir avec précision les parties prenantes qui seront associées : l évaluation de l utilité sociale ne peut pas être considérée exclusivement en interne. Cette démarche concerne forcément des partenaires de l association (élus locaux, financeurs, administrations de tutelle, etc.) et doit être étendue aux usagers ou bénéficiaires finaux des activités de l association. À la différence d autres types d évaluation, l utilité sociale questionne également les impacts sociaux ou sociétaux produits par l activité ; prendre, par principe, la décision de se faire accompagner : l évaluation de l utilité sociale étant une démarche ouverte, elle suppose qu un regard extérieur puisse offrir la distance nécessaire. De plus, des questions méthodologiques importantes se posent, particulièrement au démarrage, pour cadrer correctement l ensemble du processus. Le recours à un conseil (universitaire ou consultant) qui a l expérience de cette thématique permettra de tirer le meilleur parti d une démarche qui reste complexe ; s engager jusqu au terme de la démarche, faute de quoi la construction du référentiel d évaluation risque d aboutir à une forêt d indicateurs difficilement mesurables et qui interdiront de faire le retour indispensable sur les objectifs initiaux de l évaluation. Quelles que soient les caractéristiques de l évaluation de l utilité sociale, il faut se rappeler que les données collectées doivent être analysées en vue de construire un point de vue collectif et partagé. Cette phase est difficile à atteindre si l on a construit une usine à gaz où chacun perd peu à peu le sens de la démarche initiale. Ce d autant plus qu un des effets de l évaluation de l utilité sociale est de découvrir, chemin faisant, des problèmes nouveaux auxquels on n avait pas pensé au départ. * Chercheur associé, centre de recherche en gestion, École polytechnique. 1. Les Cahiers de l Avise n o 5, 2007, «Évaluer l utilité sociale de son activité», 124 pages. Plus de renseignements sur le site de l Agence de valorisation des initiatives socio-économiques : www.avise.org/ 20 1 er avril 2008 - n o 376

Retour sur expériences avec l association Espaces L évaluation de l utilité sociale : débats, enjeux et outils Espaces est une association d insertion par l écologie urbaine créée il y a près de 14 ans au moment de la désindustrialisation de la boucle du Val de Seine. Elle anime des chantiers d insertion entretien des berges de Seine et des talus ferroviaires, chantier hippomobile, jardins solidaires représentant 101 emplois d insertion, 50 permanents, 20 bénévoles et 400 adhérents pour un budget de 4,3 millions d euros en 2008. Yann Fradin, directeur général de l association, nous livre ses impressions après avoir expérimenté une démarche d évaluation 1. Espaces a abordé l évaluation dès sa création à travers l expérimentation du bilan sociétal inventé par le CJDES 2 (dont le rapport d activités de l association s inspire) et la réalisation en 2003 d une étude-action financée par la Diren Ile-de-France 3 (qui souhaitait trouver les moyens de mieux évaluer les associations qu elle subventionne) qui a abouti au rapport «Espaces et le Val de Seine. De l évaluation d une structure à l émergence d un territoire». En 2003, la candidature d Espaces à l appel à projets de l Avise 4 visait à poursuivre la démarche d évaluation engagée. Le travail sur l utilité sociale avait pour objet de mieux appréhender puis valoriser l action menée dans son ensemble. Cette démarche a été mise en œuvre avec l appui d Ariane développement, représenté par Pierre Petitbout, le consultant mis à disposition d Espaces par l Avise. Cette méthodologie d appui a fait ses preuves et est très performante. Le travail a pu être réalisé dans un temps relativement court (un an environ pour la partie élaboration). Nous avons travaillé sur l évaluation de l action de l association ; en particulier un chantier d insertion a fait l objet du test de la méthode créée. Une nouvelle structuration de l évaluation de l action d Espaces a été initiée avec l expérimentation des grilles d évaluation créées. Celles-ci se répartissent sur un arbre stratégique en trois dimensions : la dimension écologique, la dimension sociale et économique, la dimension participative. Cette recherche-action a permis de renforcer encore la culture de l évaluation au sein de l association et avec les partenaires, de même que l habitude de manier les critères d évaluation et de les construire. Le seul regret est que la démarche expérimentale se soit achevée trop vite, et Espaces n a pas trouvé la force de mettre en œuvre sur plusieurs années cette évaluation systématique sur l ensemble de la structure. Une seconde phase avec un accompagnement plus long (trois ans) serait nécessaire pour vraiment intégrer la démarche dans la pratique quotidienne de l association. La plus grande difficulté reste la faible disponibilité des membres de l équipe et le surcroît de travail qu exige une telle démarche expérimentale En clair, de prendre ce temps nécessaire même si l on en connaît le gain à moyen terme. Au quotidien, c est la somme des évaluations particulières (souvent quantitatives) qui fait l évaluation globale, ce qui n est pas satisfaisant. Aussi, tout en incluant les critères spécifiques de chaque financeur, l évaluation permet de rapprocher ces critères multiples qui, en temps normal, amènent à perdre la cohérence globale de l action, en découpant celle-ci en millefeuille. Il y a là une piste importante à travailler pour permettre un renouveau de l action d utilité sociale et sa mise en perspective permanente avec les enjeux réels des territoires. 1. www.association-espaces.org/ 2. Centre des jeunes dirigeants et des acteurs de l économie sociale. 3. Direction régionale de l environnement. 4. Agence de valorisation des initiatives socio-économiques. n o 376-1 er avril 2008 21

Les outils : de la conception à la réalisation Le développement des expérimentations sur l évaluation de l utilité sociale a suscité l intérêt de plusieurs équipes qui ont investi ce domaine d expertise. Il en ressort des apports concrets sur les deux thèmes de l évaluation et de l utilité sociale : la production de plusieurs outils et grilles d analyse susceptibles d aider à une définition de l utilité sociale d un côté, et la diffusion dans le milieu associatif d une ingénierie assez classique de l évaluation, de l autre. > FRANÇOIS ROUSSEAU* S agissant de l évaluation, les méthodes produites s inspirent généralement de l ingénierie d évaluation telle qu elle est présentée et définie, par exemple, par la Société française de l évaluation (SFE), dont le site fournit nombre d informations clés 1. Des exemples de critères et d indicateurs délivrés par le guide de l Avise 2 s avèrent également pertinents. Se poser les bonnes questions de tutelle, etc.) est en mesure de faire valoir des attentes différentes en matière d évaluation. Dire au préalable pour qui évaluer amène vite la question complémentaire «avec qui évaluer?». En conséquence, il faudra également prévoir des dispositions qui permettront de s associer et de s impliquer. Par exemple, la prise en compte des bénéficiaires de l action, qui sont souvent assez éloignés des préoccupations des gestionnaires, reposera sur des méthodes spécifiques pour collecter les points de vue qui ne pourront être satisfaites par de simples réunions de travail. Il s agit toujours de répondre à des questions préalables considérées comme incontournables par tous les experts évaluateurs. Quoi évaluer? Dans notre cas, cela revient à proposer une définition de ce que l on va mesurer : l utilité sociale. Pourquoi évaluer? L équipe doit clarifier les objectifs de son évaluation. Il est en effet très différent de vouloir, par exemple, augmenter la crédibilité en vue d être reconnu par ses financeurs ou prescripteurs, ou de se doter d outils de pilotage et de suivi des activités. Un discernement insuffisant risque d empêcher l utilisation de résultats simples et d entraîner l association dans l élaboration d une usine à gaz qui ne sera pas opérationnelle. Pour qui évaluer? Selon que la demande d évaluation provient de l interne ou de l externe de l association, l autonomie des acteurs sera sensiblement différente. De plus, chaque partie prenante (les usagers ou bénéficiaires, les salariés, les bénévoles, les administrateurs, les prescripteurs, les financeurs, les autorités Comment évaluer? Une démarche d évaluation de l utilité sociale suppose de mettre en place un dispositif structuré, qui comprend différentes étapes et le choix d une méthode. Une évaluation ex ante repose sur une vision planificatrice ; une évaluation ex post s attachera à mesurer les effets voire les impacts de la politique suivie ; tandis qu une évaluation chemin faisant va s intéresser aux processus, au déroulement de l action. Il faut également déterminer si l équipe mène son évaluation elle-même ou si elle se fait accompagner. Mais l accompagnateur doit également avoir une mission précise qui fait l objet d échanges et de concertations. Il a besoin de connaître finement ce qui est attendu de sa contribution : expert, maïeuticien, simple regard extérieur ou aiguillon la palette est très vaste! À l expérience, il faut bien convenir que ces questions sont d un maniement redoutable : y répondre amène les militants à devoir creuser les raisons de leur engagement, à s interroger sur les effets produits par leurs activités, etc. Mais ce temps réflexif est passionnant le plus souvent car il invite à formuler ou carrément repenser clairement le positionnement de l association. * Chercheur associé, centre de recherche en gestion, École polytechnique. 1. www.sfe.asso.fr/ 2. Les cahiers de l Avise n o 5, 2007, «Évaluer l utilité sociale de son activité», 124 pages, www.avise.org/ 22 1 er avril 2008 - n o 376

L évaluation de l utilité sociale : débats, enjeux et outils Construire le référentiel L évaluation repose sur un référentiel qu il faut partager entre les acteurs. Il comprendra des critères et des indicateurs déduits des objectifs initialement fixés. Sa construction permet de faire émerger une représentation «raisonnée» de l action évaluée puis d en vérifier la cohérence, l opportunité, l efficacité et l efficience. Ces distinctions et vocabulaires sont source de confusion, que le référentiel doit lever pour que chacun se comprenne. Par exemple, si mon objectif est de vivre comme un sage selon la célèbre maxime de Juvénal «mens sana in corpore sano». Parmi les nombreuses questions évaluatives que je dois me poser pour atteindre cet objectif, il est cohérent de répondre à celle-ci : «Suis-je en bonne santé physique?» Plusieurs critères sont disponibles pour orienter mon évaluation : la fièvre corporelle en est un, opportun mais non suffisant. La température corporelle est un indicateur qui mesure, selon des normes partagées (par exemple en degrés centigrades ou Celsius) le critère fièvre. L usage du thermomètre médical est un moyen de collecte d une information élémentaire, précise, objective et partageable. L apposition d une main sur le front en est un autre, moins précis et qui se réfère à une norme subjective, plus difficile à partager. Par expérience, nous recommandons de distinguer dans tout projet de ce type cette étape d exploration de la suivante qui consiste à mettre en œuvre la démarche d évaluation : la qualité des réponses, leur clarté, leur partage par les parties prenantes sont en eux-mêmes un premier résultat très stimulant. Et ce résultat n est possible qu à partir d une démarche d exploration préalable à une démarche opérationnelle. Le référentiel qui sera construit doit alors impérativement traduire dans une forme accessible à toutes les parties concernées l articulation entre ces deux phases : on passe de la conception à la réalisation. Comme la mise en œuvre de l évaluation rend indispensable un travail de collecte des données, le bon sens et la recherche systématique de données déjà disponibles doivent être privilégiés pour aboutir. D autre part, il est fréquent d observer que le lancement de la collecte des données, leur traitement, l analyse et la formation d un jugement collectif sur ce que l on a évalué repose sur des personnes différentes et qui ne sont pas mobilisées, impliquées de la même façon dans le processus. La réussite dépendra également du soin qui aura été mis à la gestion de ces interactions. 3. Définitions et exemples issus de démarches d évaluation accompagnées par Culture et Promotion ou expérimentées par l Avise ; Les Cahiers de l Avise préc., p. 109 Pour aller plus loin COLLÈGE COOPÉRATIF PAM, «L utilité sociale dans dix champs d activité de l économie solidaire en PACA», rapport de recherche financé par le programme Dynamiques Solidaires, MIRE-DIES, 2003. FRAISSE L., «Utilité sociale et économie solidaire : un rapport ambivalent au cœur de la reconfiguration des régulations publiques», De l intérêt général à l utilité sociale, L Harmattan, 2006. GADREY J., «L utilité sociale en question : à la recherche de conventions, de critères et de méthodes d évaluation», Les dynamiques de l économie sociale et solidaire, La Découverte, 2007. RICHEZ-BATTESTI N., «Évaluer la production associative par les pouvoirs publics : du contrôle à la coproduction de critères», De l intérêt général à l utilité sociale, L Harmattan, 2006. RICHEZ-BATTESTI N., GIANFALDONI P. (dir.), «Réseaux économiques et utilité sociale. Évaluation de l accompagnement et du financement de la création de très petites entreprises en région PACA», rapport de recherche financé par le programme Dynamiques Solidaires, MIRE-DIES. TROUVÉ H., «L utilité sociale, des pratiques aux représentations : une étude de cas dans le champ de l Insertion par l Activité Économique», thèse de doctorat de Sciences économiques, université Paris 1, 2007. Exemples de critères et d indicateurs 3 Distinguer le critère de l indicateur n est pas toujours chose aisée. Les critères. Il s agit d «instruments d orientation» qui constituent la référence de l évaluation et traduisent les valeurs auxquelles elle se réfère. Ils devront permettre de répondre aux questions évaluatives. Ils se construisent en considérant les finalités et les objectifs du projet. L équité, la cohérence, la citoyenneté, la participation, la cohésion sont des exemples de critères. Les indicateurs. Ce sont des «instruments de mesure» pour évaluer une ressource, une opinion, un changement, une action. On distingue notamment les indicateurs de réalisation, de résultats et d impact. Les indicateurs choisis très en amont de l action permettent de clarifier les buts et les objectifs du projet. Ils peuvent indiquer des résultats attendus de l action. La liste d exemples exposée dans les tableaux pages suivantes n est pas exhaustive 3. Ils permettent néanmoins une première approche, qui devra être adaptée aux structures évaluées. >>> voir tableaux pages 24 à 26 n o 376-1 er avril 2008 23

Dimension économique Critères d utilité sociale de réalisation de résultat d impact Développement de l emploi Nombre d accompagnements à l emploi Niveau des moyens mobilisés pour la création d emploi Nombre d emplois créés Qualité des emplois créés : statut, niveau de salaire, conditions de travail, pérennité Acquisition de nouvelles compétences Nombre et qualité d emplois induits par l activité de la structure Création de richesse et de services Développement d une dynamique économique Niveau des moyens utilisés Montant des investissements Bénévolat et travail domestique valorisés Mise en place d un système d animation (nombre et type de participants, de réunions, temps et moyens mobilisés ) Nombre et type de bénéficiaires de l action sur le territoire Degré de participation aux instances du territoire Augmentation du chiffre d affaires, de la valeur ajoutée Nombre de nouveaux services créés Évolution du volume et de la qualité des activités et services existants Niveau de partenariat avec les acteurs économiques du territoire (nombre, nature, intensité ) Initiation de projets d intérêt local Nombre de bénéficiaires des activités et services nouveaux Niveau des richesses distribuées sur le territoire Synergie avec les autres activités du territoire Nombre et qualité des nouvelles activités Dimension environnementale Source des tableaux : Les Cahiers de l Avise n o 5, 2007, «Évaluer l utilité sociale de son activité», p. 110 à 112. Critères d utilité sociale Gestion et protection de l environnement Sensibilisation à l environnement Pratiques transversales respectueuses de l environnement de réalisation Nombre de participants à des actions de sensibilisation au tri des déchets Nombre d actions de diagnosticconseil sur les économies de flux (électricité, eau, fuel ) Quantifier le nombre et la régularité des participants par type d actions éducatives centrées sur les contenus environnementaux et par type de public Niveau de pratique du recyclage (tri sélectif, utilisation de papier recyclé, de matériel consigné ) Mise en œuvre de modes de travail protecteurs de l environnement Utilisation d énergies renouvelables de résultat Évolution du nombre de ménages pratiquant le tri sélectif Mesures mises en œuvre par les bénéficiaires suite au diagnosticconseil Évolution du nombre de participants lors de manifestations sur des thèmes liés à l environnement Réduction des dépenses énergétiques Nombre de kilomètres économisés d impact Évolution du tonnage de déchets triés Volume de réduction de la consommation de flux Développement qualitatif et quantitatif de l éducation centrée sur les contenus environnementaux Impact sur l empreinte écologique (réduction de la production de CO 2, de la consommation d énergie ) 24 1 er avril 2008 - n o 376

L évaluation de l utilité sociale : débats, enjeux et outils Dimension sociale Critères d utilité sociale de réalisation de résultat d impact Égalité des chances Capabilité, autonomie Équité (territoire, pays) Prise en considération des publics exclus dans des actions spécifiques (adaptation de l action à leurs réalités, conditions d accès privilégiées, place et rôle effectivement proposés ) : nombre de bénéficiaires Prise en considération des publics exclus dans les actions de manière transversale (adaptation de l action à tout public, conditions d accès ouvertes ) : nombre de bénéficiaires Fonctionnement interne donnant la parole aux publics en difficulté : nombre ou pourcentage de participants aux réunions internes Utilisation de produits réalisés par des personnes en difficulté : pourcentage Niveau de prise d initiative dans la mise en œuvre d un projet Degré de prise de confiance en soi Diversification et stabilité des sources de revenus (contractualisation avec différents partenaires, contractualisation pluriannuelle, CDI ) Utilisation de produits locaux ou de produits venant du commerce équitable : proportion Taux de participation des publics exclus Accès possible aux services et aux droits pour les publics exclus Mixité des publics : proportion de chaque catégorie Pour des personnes (indicateurs de type «échelle de notation») : Niveau de prise d initiatives en dehors du projet Capacité à définir ses propres projets Capacité d analyse crtique personnelle, nouvelle clé de lecture de la réalité Mise en œuvre de nouveaux projets choisis par la personne Pour des groupes : Capacité à trouver ses propres financements : pourcentage Capacité à monter un projet : nombre de projets Mise en place de services ou accès aux services dans des territoires défavorisés : taux d évolution, carte Nombre et nature des personnes en difficulté ayant trouvé un emploi. Caractérisation des emplois (nature, contrat, durée ) et pertinence au regard du parcours de la personne Nombre et nature des personnes en difficulté accédant à de nouveaux services et droits Accès des publics exclus à des postes de responsabilté Pour des personnes : Inclusion dans des réseaux d acteurs Diversification du réseau partenarial ou relationnel : taux d évolution Nombre et nature des personnes en difficulté pouvant exercer pleinement leur capacité Pour des groupes : Mise en œuvre de projets choisie et maîtrisée Dimension politique, faire évoluer la société Critères d utilité sociale de réalisation de résultat d impact Innovation Aiguillon Promotion de l intérêt collectif Repérage de besoins émergents Réponses originales à des besoins : innovation en termes de contenu, méthode, démarche, organisation, technique, juridique Nombre d actions, d interpellations réalisées Nombre de participants à des actions de sensibilisation, des projets collectifs Production de références accessibles Production de l innovation Niveau de publicité de l événement (nombre d articles de presse ) Niveau d écoute du message (rendezvous obtenus ) Essaimage, diffusion des innovations : nombre d utilisateurs Modification de la législation Modification des pratiques Respect des espaces collectifs et équipements à disposition du public n o 376-1 er avril 2008 25

Dimension sociétale Critères d utilité sociale Renforcement et diversification des réseaux relationnels de réalisation Degré de mixité des acteurs et publics participant à une action Niveau d échange entre participants à un projet de résultat LIEN SOCIAL Création de relations, d interactions, de synergies entre les participants (nombre, nature) Maintien des relations entre les participants au-delà de l action (nombre, nature) Développement de réseau (nombre d adhérents, nombre de contacts pris ) d impact Amélioration de la qualité de vie (échelle de notation) Partenariat (pour les structures) Nombre et diversité des partenaires à un projet, taux d évolution Participation équilibrée de l ensemble des partenaires Nouveaux modes de coopération et mutualisation avec les partenaires (nombre, nature) Degré de participation aux instances du territoire (taux d évolution) Coconstruction de projets Nombre et diversité des conventionnements Élargissement des réseaux des partenaires Augmentation des interactions au sein du système d acteurs internes (nombre de rencontres, projets communs ) Niveau de partenariat avec les acteurs du territoire (nombre, nature, intensité ) Participation aux projets d intérêt local (nombre, nature, intensité ) Nombre de personnes orientées vers les partenaires Niveau d intégration de l activité, la structure dans le territoire Développement de la dynamique territoriale (nombre de nouveaux projets, de participants, taux de satisfaction ) CITOYENNETÉ ET DÉMOCRATIE Participation Démocratie interne Degré de participation à des démarches de concertation Parole donnée à ceux ne l ayant pas d habitude (nombre, proportion) Possibilité d accès à la prise de décision pour les différentes catégories d acteurs Fonctionnement démocratique interne (mode de désignation, mode de prise de décision, nombre de réunions, CA, bureaux ) Nombre et typologie des adhérents montrant une participation de différents types de personnes Taux de participation des adhérents et usagers au fonctionnement (AG, réunions internes ) Degré de connaissance du projet de la structure par les adhérents Niveau d implication des différents types d acteurs dans le diagnostic, l élaboration, la mise en œuvre, l évaluation d une action Niveau d implication des différents types d acteurs dans la prise de décision Constat de l expression de personnes ou groupes habituellement exclus (nombre, proportion ) Renouvellement régulier dans les fonctions électives Représentation de l ensemble des parties prenantes au conseil d administration Appropriation du projet de la structure par les adhérents Participation accrue des acteurs dans d autres projets, d autres structures, d autres sphères Prise en compte, dans les lieux de décision, de l avis de personnes ou groupes habituellement exclus Degré de satisfaction des parties prenantes sur la gouvernance Investissement des membres de la structure dans d autres fonctions électives (territoire, syndicat ) PROCHAIN DOSSIER Le financement des clubs sportifs 26 1 er avril 2008 - n o 376