Certu. Certu. L évaluation, outil de pilotage des politiques publiques. Repères pour mettre en œuvre cette démarche

Transcription

1 collection Essentiel centre d Études sur les réseaux, les transports, l urbanisme et les constructions Cette collection regroupe les ouvrages dont le contenu est écrit sous forme de synthèse faisant le point sur un thème. Elle vise un public de décideurs, de non techniciens qui ont besoin d avoir une vision générale, une mise en perspective sur un sujet. La rédaction des ouvrages va à l essentiel pour éclairer ce qu il faut retenir sur le sujet traité. Leur lecture est facilitée par un effort important de rédaction directe et précice pour la cible visée. Le publie également les collections Références et Dossiers. L évaluation, outil de pilotage des politiques publiques Repères pour mettre en œuvre cette démarche collection publiques Essentiel L n 10 évaluation est un outil stratégique au service des politiques publiques. Ses enjeux sont nombreux : estimer a priori l opportunité et la faisabilité de ces politiques, ajuster en continu les mesures prises en lien avec les premières analyses, vérifier a posteriori l adéquation entre les résultats obtenus et les attentes initiales, tirer des enseignements pour l avenir... Pourtant, évaluer n est toujours pas une évidence et une pratique partagée par tous les techniciens et les élus en charge des politiques publiques. Au - delà des craintes que l évaluation peut susciter, se pose la question des difficultés et des freins auxquels font face les acteurs publics pour la mener à bien. Dans le cadre de ses Entretiens 2012, le a consacré un atelier à l intérêt de l évaluation des politiques publiques ainsi qu aux facteurs favorisant cette pratique et aux nouveaux défis qu elle doit intégrer, comme la question du développement durable et de la participation citoyenne. Les débats ont montré comment l évaluation s est développée dans certaines collectivités, comment elle peut se pratiquer au sein d une institution et en concertation avec les citoyens et comment elle participe au pilotage de l action publique. Mais il est apparu clairement que les démarches évaluatives sont diverses : elles renvoient à des conceptions et des compréhensions de l évaluation différentes, que le processus est exigeant et que la pratique de l évaluation n est pas encore totalement acquise. Pourtant un certain nombre d éléments permettent de promouvoir durablement de telles démarches au sein des collectivités locales : l institutionnalisation de la fonction évaluation, le portage politique, une meilleure utilisation des outils existants pour faciliter la démarche Sur le même thème Synthèse des deuxièmes Entretiens du, 2012 en téléchargement sur le site ISSN : ISBN : L évaluation, outil de pilotage des politiques publiques Repères pour mettre en œuvre cette démarche Sous la coordination de Géraldine bonnet

2

3 L'évaluation, outil de pilotage des politiques publiques Repères pour mettre en oeuvre cette démarche D'après l'atelier 7 des Entretiens du 2012 mai 2013

4 Collection «Essentiel» Cette collection regroupe les ouvrages dont le contenu est écrit sous forme de synthèse faisant le point sur un thème. Elle vise un public de décideurs, de non techniciens qui ont besoin d'avoir une vision générale, une mise en perspective sur un sujet. La rédaction des ouvrages va à l'essentiel pour éclairer ce qu'il faut retenir sur le sujet traité. Leur lecture est facilitée par un effort important de rédaction directe et précise pour la cible visée. Le publie également les collections Dossiers et Références Éditorial Les deuxièmes Entretiens du se sont déroulés les 31 janvier et 1er février 2012 à Lyon. Cette manifestation a été l'occasion d'échanger sur les phénomènes de métropolisation et les nouvelles formes d urbanités qui émergent dans notre monde d aujourd hui. C'est autour de 13 ateliers thématiques qu'ont été abordées les diverses problématiques qui s expriment dans l espace périurbain. Plutôt que de transcrire les actes globaux de ces deux journées, la valorisation des échanges au sein de la plupart des ateliers ainsi que de la première table ronde et de la restitution finale est publiée dans une série de documents de la collection Essentiel. Les Entretiens 2012, avec plus de 800 participants, ont été un moment fort d enrichissement mutuel entre tous les acteurs de la ville. Les synthèses ainsi publiées contribueront à alimenter et éclairer l'action de chacun. Ces rencontres constituent un véritable espace de partage et de compréhension des phénomènes qui agissent sur les territoires. Que l'ensemble de nos partenaires, des intervenants et des participants qui ont permis une grande qualité des débats et contribué à la réussite de cet événement, soit remercié. Ont participé à la rédaction de cet ouvrage : Géraldine Bonnet, Patricia Varnaison-Revolle, Nicolas Merle, Danielle Vuillet, Jacques Salager () ; Bruno Faivre d Arcier (LET) ; Pascal Delafosse (conseil régional Nord-Pas-de-Calais) ; Benoît Simon (Planète Publique) ; Hans Van Eibergen et Arnaud Saillet (SMTC) ; Guillaume Baudouin et Hervé Le Berre (communauté d agglomération de La Rochelle) ; Michael Orand (Onzus) ; Camille Touzard (préfecture de la région Rhône-Alpes).

5 Sommaire Sommaire...3 Introduction On n a jamais autant eu besoin d évaluation dans les politiques publiques qu en ce début des années L évaluation des politiques publiques est une préoccupation de l État depuis 20 ans Des pratiques d évaluation qui progressent dans les collectivités Mais une démarche qui n est pas acquise Et pourtant, le contexte pousse à plus d évaluation des politiques publiques Quelles sont les pratiques actuelles d évaluation de politiques publiques? Quelques retours d expérience Comment développer la prise en compte de l évaluation au sein d une collectivité? L exemple de la région Nord-Pas-de-Calais La participation de la population à l évaluation des politiques publiques : la pratique du Syndicat mixte des transports en commun de Grenoble (SMTC) dans les réflexions sur le plan de déplacements urbains La participation de la population à l évaluation des politiques publiques : un enjeu de développement durable selon la Société française d évaluation L évaluation des politiques publiques intéresse aussi les collectivités de taille moyenne : l exemple de La Rochelle La mise en place d un organisme dédié à l évaluation d une politique publique nationale : l exemple de l Office national des zones urbaines sensibles (Onzus) Et alors? Quelles sont les clés à retenir pour développer l évaluation des politiques publiques au sein des collectivités locales? Donner une place à l évaluation au sein de l institution Incarner politiquement l évaluation Développer progressivement une culture de l évaluation Faciliter l exercice d évaluation en utilisant mieux les outils existants Faire évoluer les méthodes utilisées dans l évaluation pour coller aux enjeux de la société et assurer la légitimité et la pertinence du processus Partager et faire vivre les résultats de l évaluation pour renforcer son utilité L'évaluation des politiques va-t-elle se répandre dans les années à venir?...25 Pour en savoir plus...26

6

7 Introduction L évaluation est un outil stratégique au service des politiques publiques. Ses enjeux sont nombreux : estimer a priori l opportunité et la faisabilité de ces politiques, ajuster en continu les mesures prises en lien avec les premières analyses, vérifier a posteriori l adéquation entre les résultats obtenus et les attentes initiales, tirer des enseignements pour l avenir Pourtant, évaluer n est toujours pas une évidence et une pratique partagée par tous les techniciens et les élus en charge des politiques publiques. Au-delà des craintes que l évaluation peut susciter, ce constat amène à se poser la question des difficultés et des freins auxquels font face les acteurs publics pour la mener à bien. Dans le cadre de ses Entretiens 2012, le a consacré un atelier à l intérêt de l évaluation des politiques publiques ainsi qu aux facteurs favorisant cette pratique et aux nouveaux défis qu elle doit intégrer, comme la question du développement durable et celle de la participation citoyenne. Cet atelier intitulé «L évaluation : outil de pilotage des politiques publiques» était animé par Bruno Faivre d Arcier, chercheur au Laboratoire d économie des transports (LET) de l université Lyon 2. Il s est appuyé sur des retours d expérience : comment l évaluation s est-elle développée au sein du conseil régional Nord-Pas-de-Calais? Quelle prise en compte du développement durable dans l évaluation des politiques? Comment et pourquoi l agglomération de Grenoble utilise-t-elle la concertation avec les habitants pour accompagner ses décisions? En quoi l évaluation des politiques concerne-t-elle aussi les villes moyennes : exemple de la communauté d agglomération de La Rochelle? Qu apporte l Office national des zones urbaines sensibles (Onzus) à l évaluation des politiques de la ville? L atelier a ainsi montré que l évaluation était plus que jamais un outil de pilotage de l action publique, mais a également mis en évidence un changement d approche dans la façon d évaluer. Ainsi, l évaluation a priori des politiques publiques jouerait un rôle plus important qu auparavant pour éclairer la décision politique, en permettant une analyse des risques de l action projetée et des effets attendus dans un futur incertain. Mais les démarches évaluatives sont diverses et renvoient à des conceptions et des compréhensions de l évaluation différentes. Il s agit également d un processus exigeant dont la pratique n est pas encore totalement acquise, ce qui a d ailleurs fait dire à Jean-Marc Offner, directeur de l agence d urbanisme de Bordeaux, lorsqu il a restitué le propos de l atelier lors des Entretiens du, que «l évaluation des politiques publiques, ça fait 20 ans qu on en parle et on n en fait toujours pas». Pourtant, plusieurs facteurs de succès à la diffusion d une culture d évaluation existent pour promouvoir durablement de telles démarches au sein des collectivités locales. 5

8 Au cœur des débats Il ne faut pas voir l évaluation comme une étude de plus, comme une obligation légale ( ), mais comme une démarche d action, un moyen de piloter l action publique pour vérifier qu on va dans la bonne direction. C est finalement un état d esprit ( ) et un processus continu. Bruno Faivre d Arcier, LET. 6

9 1. On n a jamais autant eu besoin d évaluation dans les politiques publiques qu en ce début des années L évaluation des politiques publiques est une préoccupation de l État depuis 20 ans En France, l intérêt pour l évaluation des politiques publiques remonte à la fin des années Deux rapports commandés par le Commissariat général au plan et par le Premier ministre posent alors les premières définitions de cette nouvelle démarche. Il s agit du rapport Deleau 1 qui souligne qu «Évaluer, c est identifier et mesurer les effets d une politique» et du rapport Viveret 2, pour qui «Évaluer une politique publique, c est former un jugement sur sa valeur.» L inscription au niveau législatif de cette notion interviendra en 1990 avec la loi sur la rénovation du service public qui mentionne «un devoir d évaluation des politiques publiques». Au niveau national, un comité interministériel de l Évaluation (Cime) et un Conseil scientifique de l évaluation (CSE) sont alors créés par décret du 22 janvier 1990, mais fonctionnent difficilement. Fin 1998, ces deux instances sont regroupées dans le Conseil national de l évaluation (CNE) qui évaluera des politiques publiques pendant 4 ans. En 2007, une nouvelle mission en charge de ces questions, la mission d'évaluation des politiques publiques est créée au sein du Centre d'analyse stratégique. Cette compétence est désormais intégrée au secrétariat général pour la modernisation de l'action publique du ministère de la réforme de l'état. En parallèle de ce dispositif d'évaluation interministériel, animé par le Commissariat général au plan entre 1990 et 2002, des instances transversales en lien avec l'évaluation des politiques publiques ont été créées, à la fin des années 90, à l'assemblée Nationale : l'office parlementaire d'évaluation des politiques publiques (supprimé en 2000), l'office parlementaire d'évaluation de la législation (supprimé en 2009), la mission d'évaluation et de contrôle au sein de la Commission des finances. Au niveau législatif, c est la loi organique relative aux lois de finances (LOLF) de 2001, entrée en vigueur en 2006, qui a donné un nouvel élan à l évaluation des politiques publiques, avec l apparition de la notion de performance de l action publique et la possibilité d évaluation de cette dernière par l Assemblée nationale. Depuis 2008, la notion d évaluation des politiques publiques est désormais inscrite dans la Constitution. L article 24 précise ainsi le rôle du Parlement en matière d évaluation des lois et de leur mise en œuvre : «Le Parlement vote la loi. Il contrôle l action du gouvernement. Il évalue les politiques publiques.» Suite à cette réforme, en juin 2009, un comité d évaluation et de contrôle des politiques publiques a été créé à l Assemblée nationale. 1. Rapport Deleau commandé par le Commissariat général au plan (CGP) : Évaluer les politiques publiques : méthodes, déontologie, organisations, Rapport Viveret demandé par le Premier ministre : L évaluation des politiques et actions publiques. Proposition en vue de l évaluation du RMI,

10 Au niveau du gouvernement, un secrétariat d'état en charge de l'évaluation des politiques publiques et de la prospective a été mis en œuvre entre 2007 et Un processus continu d évaluation On distingue traditionnellement trois temps dans le processus d évaluation, selon l avancement de l action publique à évaluer. L évaluation a priori (ou ex-ante) intervient avant la mise en œuvre d une action publique. Elle permet d identifier, d analyser et de mieux comprendre les effets prévus de cette action dans le temps, de vérifier si ces effets sont conformes aux objectifs poursuivis et de situer l action publique envisagée par rapport à une autre en termes d efficacité. Elle apporte ainsi une aide à la décision de réaliser ou non cette action. L évaluation concomitante (ou in-itinere) intervient durant le déroulement de l action publique, pendant sa mise en œuvre. Elle permet de vérifier si les résultats escomptés sont en train d être atteints, si les effets prévus sont ceux qui avaient été estimés initialement et s il n y a pas d effets imprévus. Le cas échéant, elle permet d ajuster l action publique évaluée. L évaluation a posteriori (ou ex-post) intervient suite à la mise en œuvre d une action publique et s intéresse aux effets réels de cette action pour ensuite les comparer aux effets prévus initialement. L atteinte des objectifs fixés à l action est ensuite regardée et les écarts analysés. Grâce aux enseignements qu elle fournit, elle permet enfin de «corriger» l action sur ses effets indésirables et nourrit l élaboration et l évaluation d actions similaires futures. 8...

11 1.2. Des pratiques d évaluation qui progressent dans les collectivités Initialement préoccupation de l État, la question de l évaluation des politiques publiques s est vite posée aux collectivités territoriales, dans lesquelles les démarches évaluatives ont progressé d abord sous la contrainte réglementaire avec l obligation par exemple d évaluation à mi-parcours des plans de déplacements urbains introduite par la loi sur l'air et l utilisation rationnelle de l énergie de Pour ce qui est des politiques décentralisées, c est en 1993 qu une circulaire du Premier ministre demande pour la première fois la mise en œuvre de processus d évaluation dans les politiques contractuelles (contrat de plan État-région, contrat de ville, etc.). La Commission européenne a joué aussi un rôle important dans la diffusion de la culture d évaluation dans les collectivités territoriales, en leur demandant d évaluer les actions qu elle finance ou les projets européens qu elle encadre. Mais c est aussi via sa production réglementaire que l Europe va pousser à plus d évaluation en matière de politiques publiques. C est notamment le cas de la directive européenne du 27 janvier 2001 relative à l évaluation de certains plans et programmes sur l environnement qui induit l évaluation environnementale d outils de planification majeurs de la ville à différentes échelles et pour diverses thématiques, comme les schémas de cohérence territoriale et certains plans de prévention des risques naturels. Évaluation des politiques publiques : de quoi parle-t-on? Il existe plusieurs définitions de l évaluation des politiques publiques. D abord précisées dans la littérature doctrinale, notamment dans les rapports Deleau de 1986 et Viveret de 1989, des définitions officielles ont ensuite été données dans le décret du 22 janvier 1990 et celui du 18 novembre Si ces définitions diffèrent légèrement, elles se complètent plus qu elles ne s opposent et «témoignent d une certaine maturation du concept 3». On retiendra la définition réglementaire de 1998 selon laquelle «l évaluation d une politique publique a pour objet d apprécier l efficacité de cette politique en comparant ses résultats aux objectifs assignés et aux moyens mis en œuvre». 3. Rapport d information sur l évaluation des politiques publiques en France, Sénat,

12 Entre évaluation des politiques publiques et évaluation de projets Les évaluations de politiques publiques et les évaluations de projets diffèrent d abord par la nature de l objet à évaluer. Dans un cas, on évalue un ensemble de mesures (techniques et/ou réglementaires) et/ou de projets concourant à un même objectif général. Dans l autre, on évalue un projet mis en œuvre dans le cadre d une politique publique donnée. Mais les différents projets/mesures n étant pas indépendants les uns des autres, l évaluation d une politique ne se limite pas à la compilation des évaluations de chacun des projets. Ces interactions rendent d ailleurs plus difficiles la démarche évaluative sur les politiques publiques également complexifiée par la difficulté d expliciter les objectifs poursuivis et de les quantifier Mais une démarche qui n est pas acquise Malgré tout, l évaluation soulève encore des réticences chez certains élus pouvant craindre d être dépossédés de leur pouvoir décisionnel par un exercice technocratique qui pourrait être utilisé contre eux. C est par ailleurs un exercice exigeant du point de vue méthodologique. Il s agit par exemple, dans le cadre de l évaluation d impact, de comparer une situation «avec» la mise en œuvre de la politique publique évaluée à une situation de référence «sans» qui peut s avérer difficile à définir. Même avec ces précautions méthodologiques, il reste souvent délicat de démontrer que c est l action publique mise en œuvre, et elle seule, qui est à l origine de la situation observée. C est un exercice exigeant aussi en termes de données et d études à rassembler pour pouvoir analyser les effets d une politique donnée. L évaluation nécessite des moyens et un temps que l action publique n a pas forcément. Ce constat est d ailleurs d autant plus vrai lorsque l évaluation n est pas anticipée. Si les collectivités disposent souvent de divers observatoires qui fournissent des données sur l évolution du territoire, il reste encore bien souvent à «problématiser» ces observatoires de façon à produire une donnée pertinente limitée et pérenne par rapport aux questions que l on peut se poser. Au cœur des débats L évaluation reste un outil d aide à la décision, et la décision du ressort du politique. Bruno Faivre d Arcier, LET. 10

13 1.4. Et pourtant, le contexte pousse à plus d évaluation des politiques publiques Le début des années 2010 est marqué par une multitude de crises : économique, financière, environnementale, énergétique, sociale, sociétale et de gouvernance. Dans ce contexte accru d incertitude, les politiques publiques sont et seront de plus en plus interrogées sur leur pertinence, leur efficience, leur efficacité, leur cohérence et leur impact. Autant de questions que peut éclairer l exercice d évaluation. Des budgets publics contraints Le fort endettement des pouvoirs publics et le besoin de réduire les dépenses publiques sont des contraintes qui pèsent sur les finances publiques et qui obligent à plus d efficience des politiques mises en œuvre. Ce besoin de plus grande rationalisation des choix budgétaires se rapproche ainsi de la logique anglo-saxonne d évaluation des politiques publiques «Value for money» qui consiste à se poser systématiquement la question de l efficience et de l efficacité de chaque décision publique : Est-ce que mon action a un intérêt? Est-ce que j en ai pour mon argent? Est-ce que je pourrais faire mieux en faisant autre chose? Des politiques publiques engageantes Par ailleurs, les politiques publiques mises en œuvre au niveau local sur les questions d urbanisme, de mobilité ou d environnement s inscrivent le plus souvent dans des logiques d actions nationales voire internationales avec des objectifs à atteindre ou des engagements à respecter. Les autorités publiques doivent donc connaître sur leur territoire l efficacité et la cohérence de leurs politiques par rapport à ces objectifs. Par exemple, dans le cadre de la lutte contre le réchauffement climatique, le Grenelle de l environnement pose des objectifs précis et ambitieux en termes de réduction des gaz à effet de serre à respecter : -20 % des émissions de GES à l horizon Au niveau local, toutes les politiques publiques mises en œuvre se doivent donc d intégrer cet objectif dans leur élaboration. Il s agit par exemple de l un des enjeux des évaluations des politiques de déplacements durables avec la quantification de la réduction d émissions de GES qu elles permettent. Une action publique complexe Dans l exercice de leurs missions, les responsables locaux sont confrontés à une complexité accrue de leur action. D une part, le nombre de domaines d intervention qu ils gèrent augmente sur des territoires de compétence qui s élargissent et, d autre part, la technicité de ces interventions est de plus en plus marquée. En outre, les différentes composantes de leur action publique interagissent fortement dans sa mise en œuvre et sur son impact. Il faut ainsi appréhender les différentes actions dans une approche systémique pour mieux anticiper les effets imprévus ou au contraire intensifier les effets souhaités. On ne peut plus, par exemple, parler de politiques d aménagement du territoire sans intégrer les problématiques de mobilité et de protection de l environnement dans les orientations retenues. La prise en compte récente des principes de développement durable dans les politiques amène ainsi à dépasser le cadre classique des politiques sectorielles pour 11

14 une approche plus globale, intégrée et transversale des problèmes à résoudre sur un territoire. Dans un système urbain complexe, l analyse des résultats et des effets d une action publique sur les populations et les territoires permet de mieux la comprendre. L évaluation des politiques publiques participe à ce besoin de connaissance par le processus d apprentissage qu elle permet. Au cœur des débats Les citoyens ne se contentent plus d approches superficielles( ) les élus sont interpellés par rapport à ce besoin de précision dans les réponses pour être à même de rendre légitimes les décisions qu on prend. Guillaume Baudouin, La Rochelle. Une action publique partenariale Outre la complexité intrinsèque de l action publique, cette dernière se caractérise aussi par un nombre aujourd hui plus important de partenaires institutionnels intéressés par la mise en œuvre de cette action, que ce soit en tant que financeur ou du fait de leur rôle sur le territoire. Cette configuration partenariale induit une nécessité plus forte d explicitation et de partage des objectifs des politiques publiques menées ainsi qu un besoin de rendre compte des effets de l action engagée envers ces partenaires. L évaluation contribue à une vision partagée de la politique dans la transparence et l information des partenaires concernés. Enfin, avec l émergence de la société civile en tant qu acteur du dispositif de conception et de suivi de l action publique, l évaluation a aussi un rôle à jouer comme outil de démocratie participative, en permettant d alimenter les débats autour des politiques publiques en données factuelles et analyses objectives. L évaluation permet aussi de rendre des comptes aux citoyens sur la manière dont la politique a été mise en œuvre et sur les résultats obtenus. Ainsi, dans un contexte de complexité accrue de l action publique et dans un environnement socio-économique de plus en plus incertain, l évaluation apparaît comme un moyen de limiter les risques et de mieux gérer ces incertitudes. Cinq questions clé pour conduire une évaluation - Les différents objectifs de l action publique sont-ils cohérents entre eux et avec les autres interventions publiques? Les moyens mis en place sont-ils adaptés aux objectifs? Vérifier la cohérence - En quoi l action publique mise en œuvre est-elle en adéquation avec les problèmes de société à résoudre? Valider la pertinence - Les résultats sont-ils à la mesure des moyens économiques Chercher engagés? l efficience - Dans quelles mesures les résultats de l action publique sont-ils conformes aux objectifs fixés? S assurer de l efficacité - Quels sont les effets de l action publique? Mesurer l impact 12

15 2. Quelles sont les pratiques actuelles d évaluation de politiques publiques? Quelques retours d expérience 2.1. Comment développer la prise en compte de l évaluation au sein d une collectivité? L exemple de la région Nord-Pasde-Calais Depuis plus de 15 ans et sous l impulsion des programmes européens et des contrats de plan État-région (CPER), le conseil régional Nord-Pas-de-Calais cherche à promouvoir et institutionnaliser les pratiques d évaluation au sein de sa structure. Le développement de la pratique de l évaluation au sein de la région s est fait selon quatre étapes. Tout a commencé par l installation de la fonction d évaluation avec la création d un poste de chargé de mission à l évaluation, la mise en place d un dispositif formalisé de pilotage de l évaluation «légitimé» notamment par le besoin d évaluer les actions inscrites au CPER et par la réalisation de deux évaluations importantes sur les aides aux entreprises et les formations professionnelles. La deuxième étape a consisté à professionnaliser les services de la région avec la formation des agents de la région à l évaluation (programme de formation de 2003 à 2005). Un travail interne visant à améliorer la commande d évaluation passée à des prestataires extérieurs a conduit à la réalisation systématique de bilans préalables qui recensent l information qualitative et quantitative de la structure sur la mise en place d une politique donnée (contexte, objectifs, moyens prévus et mobilisés, réalisation et résultats observables, etc.). Dans le cadre de son action de professionnalisation de ses services, la région Nord-Pas-de-Calais a publié un guide sur l évaluation des politiques publiques intitulé «Le petit furet de l évaluation» 13

16 Ensuite, la banalisation de l évaluation au sein de l institution a été recherchée à travers deux grandes actions : l inscription dans les fiches de poste des différents directeurs de la nécessité d évaluer les interventions publiques et la mise en œuvre d un programme pluriannuel d évaluation assis sur un dispositif de pilotage et de suivi associant le service en charge de l évaluation, les élus et les services opérationnels. Depuis 2009, le conseil régional cherche à internaliser davantage certaines étapes du processus d évaluation, voire à réaliser totalement en régie ces évaluations pour une meilleure appropriation de leurs résultats. Cela a conduit à proposer de nouvelles formations sur l évaluation aux services opérationnels. Par ailleurs, pour légitimer ces actions, une vice-présidente en charge des questions d évaluation a été nommée, ce qui rapproche l évaluation de la stratégie politique. Une commission thématique a donc été créée. Elle suit notamment la mise en œuvre des préconisations rendues à l issue des évaluations afin de conforter leur utilité. Les 11 étapes de la démarche d évaluation au conseil régional Nord-Pas-de-Calais Source : Le petit furet de l évaluation du conseil régional Nord-Pas-de-Calais, Portée à l origine par un seul chargé de mission, la fonction évaluation a trouvé aujourd hui une vraie place au sein de l institution avec une mission dédiée de neuf personnes. Malgré la dynamique progressive enclenchée dans cette collectivité, cinq facteurs freinent encore, selon les services, la pleine et entière prise en compte de l évaluation : la difficulté de concilier le temps de l évaluation et l agenda institutionnel ; l évaluation ne réduit pas la complexité des interventions publiques et par là peut ainsi décevoir par rapport aux attentes qu elle génère ; la faible implication des décideurs dans le pilotage de l évaluation ; la difficulté d associer les citoyens/usagers à l évaluation ; la tendance naturelle des administrations à donner la priorité au management de l institution régionale par rapport au management des interventions régionales. 14

17 Depuis 2000, 65 politiques régionales ont fait l objet d une évaluation au conseil régional Nord-Pas-de-Calais. La formation initiale et le transport ferroviaire, bien que compétences majeures de la région, n ont été que partiellement abordés. Ces politiques doivent constituer des priorités pour le prochain programme d évaluation. Au cœur des débats Quand on évalue, on n évalue pas une personne ou un territoire mais bien une politique publique et son mécanisme. M. Orand, Onzus La participation de la population à l évaluation des politiques publiques : la pratique du Syndicat mixte des transports en commun de Grenoble (SMTC) dans les réflexions sur le plan de déplacements urbains À Grenoble, la participation de la population à l élaboration du nouveau plan de déplacements urbains (PDU) s inscrit dans un contexte particulier. C est en effet suite à l annulation, pour la troisième fois en 10 ans, du PDU et à l avis défavorable de la commission d enquête publique à la déclaration d utilité publique du projet de rocade nord en avril 2010, que le SMTC a décidé de relancer une démarche d élaboration d un nouveau PDU donnant une grande place aux échanges avec les habitants. Les démarches participatives autour de l élaboration du plan de déplacements urbains se déclinent en trois actions principales que sont les «cafés du PDU», l «atelier citoyen» et les «universités du PDU». Des «cafés du PDU» pour recueillir les attentes des citoyens Pour l élaboration du PDU , les «cafés du PDU» se sont tenus une première fois en juin 2010 au moment de la définition des grandes orientations du nouveau plan. Dans cette première phase, il s agissait plus d un temps d écoute et d expression des attentes autour de questionnements du type : Comment je perçois la politique de déplacements? Quels sont les déterminants et les contraintes de ma mobilité? Quelles sont mes attentes pour 2020? etc. Ces cafés ont été reconduits deux ans plus tard, lors de la phase de débats autour du scénario et du plan d actions proposés, afin de recueillir les avis sur ces éléments et d éventuelles propositions de modification/amélioration. Ces «cafés du PDU» se réunissent en différents lieux de l agglomération et ces ateliers-débats sont ouverts à tous. Les débats ont été publiés sous forme de document de synthèse des cafés du PDU. Des temps d échanges plus approfondis En parallèle, des «ateliers citoyens» ont été menés, mobilisant un panel représentatif, composé d une trentaine de personnes. Ces ateliers ont travaillé en phase 1 d élaboration du PDU pour formaliser les attentes et rédiger un document de recommandations, et en phase 3 pour réagir aux propositions d actions et faire des propositions d ajustement. Deux sessions de 3 jours de travail en continu, nourris par des interventions d expert, ont permis à l «atelier citoyen» d écrire son point de vue sur le PDU. 15

18 Des «universités du PDU» pour nourrir le débat public Enfin, afin de diffuser les savoirs et nourrir le débat public et politique tout en interrogeant les comportements individuels et les marges de manœuvre de l action publique, des conférences grand public, appelées «universités du PDU», ont été organisées tout au long de l élaboration du PDU. Ces universités ont rassemblé 300 personnes. Plaquette de présentation de la 2e université du PDU du SMTC de Grenoble. Source : SMTC de Grenoble. Une prise en compte des attentes des citoyens qui reste complexe Cette démarche implique que l on tienne compte jusqu au bout des attentes et propositions exprimées lors de la concertation. Elle permet de mettre au centre des débats un certain nombre d idées, comme le besoin d accompagnement personnalisé en mobilité, la simplification de l accès à l information ou la notion de bouquet d offre pour aider aux changements de comportement. Cela se traduit par le fait que le nouveau PDU devrait moins axer son action sur la création d infrastructures, comme par le passé, que sur une combinaison de mesures relevant de la pédagogie, de la régulation de la voiture particulière, de l augmentation de l offre alternative ou de l incitation financière. Cette démarche participative n est par ailleurs pas facile à mettre en œuvre. Elle se heurte notamment au problème de représentativité et d expertise de la société civile qui est réellement impliquée dans les démarches évaluatives. Cela suppose de disposer de temps et de moyens humains et financiers nécessaires pour mener à bien le travail de mobilisation, d information et de formation des acteurs participant au processus et implique un lourd travail d accompagnement du processus. 16

19 2.3. La participation de la population à l évaluation des politiques publiques : un enjeu de développement durable selon la Société française d évaluation L implication et la prise en compte du point de vue des bénéficiaires dans la conception, la mise en œuvre et l évaluation des politiques publiques est un des enjeux majeurs pour les évaluations à venir. En réponse au principe de bonne gouvernance et dans l idée d une démocratie plus participative que prônent les objectifs de développement durable (principe 10 de la Déclaration de Rio de 1992), il s agit en effet d associer les citoyens et toutes les parties prenantes au processus évaluatif. La Société française d évaluation 4 s est ainsi interrogée sur le niveau d implication souhaitable et possible des citoyens dans l évaluation des politiques publiques dans un processus d évaluation ex-post. Ses travaux5 ont ainsi permis de proposer une évaluation participative «idéale» vers laquelle il faudrait tendre. Il en ressort que les citoyens ne doivent pas être associés à toutes les étapes du processus de la même manière. Ainsi il paraît intéressant de les concerter dès la définition du cahier des charges de l évaluation par le maître d ouvrage afin de mieux définir l orientation à donner à la démarche par rapport aux questions à évaluer. Durant la phase de collecte et d analyse de l information, il est possible de s appuyer sur un panel de citoyens pour recueillir de l information sur les questions posées relatives à la politique mise en œuvre. Ensuite, leur participation dans le pilotage et la production du jugement final et pour l élaboration des recommandations de l évaluation paraît importante pour bénéficier : d un regard différent sur le processus et les résultats ; d une meilleure appropriation des résultats de la démarche et de leurs limites dans le cadre d un dialogue construit dans la durée avec le maître d ouvrage ; d une adhésion plus forte à des recommandations plus opérationnelles car formulées par les acteurs eux-mêmes. Enfin, l élaboration du plan d actions faisant suite à la démarche évaluative est davantage le fait des décideurs, les citoyens étant informés des mesures décidées. Ce processus idéal doit toutefois être croisé avec les moyens alloués à la démarche d évaluation pour définir l évaluation participative «contrainte» qui passe a minima par une information des citoyens sur la démarche L évaluation des politiques publiques intéresse aussi les collectivités de taille moyenne : l exemple de La Rochelle L évaluation des politiques publiques n est pas l apanage des grandes collectivités car elle est motivée par des contraintes et des enjeux qui sont partagés par tous les types de collectivités. Ainsi, la communauté d agglomération de La Rochelle voit en l évaluation un moyen de mieux comprendre le territoire sur lequel elle agit et qui s élargit au fil du temps (l intercommunalité est passée de 18 communes à 28 communes début 2013). 4. Fondée en 1998, cette association a pour vocation de contribuer au développement de l évaluation et de promouvoir son utilisation dans la conception et la mise en œuvre des actions publiques et de toute action entreprise au nom de l intérêt général ( 5 La participation dans l'évaluation du développement durable : Qui? Quand? Comment? Groupe SFE «Évaluation et développement durable»,

20 Cette démarche s inscrit dans un contexte de complexification de l action publique qui nécessite des approches argumentées et partagées. Rendre compte de l action publique entreprise et concerter au préalable sur les enjeux, les objectifs et les impacts attendus devient inéluctable par rapport aux attentes des citoyens. L évaluation permet ainsi de donner des éléments précis et objectifs au débat démocratique. Par ailleurs, les contraintes budgétaires sont telles qu il s avère nécessaire de rationaliser les choix budgétaires : par exemple le contexte d «effet ciseaux» pour le budget transport (augmentation des dépenses sans recettes supplémentaires). Enfin la communauté d agglomération de La Rochelle voit dans la «mise en commun d une expertise dans les services techniques» un facteur important d atteinte de l objectif fixé de croisement de cultures différentes dans l approche du territoire et de décloisonnement des services. Au sein de l'agglomération de La Rochelle, l évaluation a progressé notamment du fait de la participation aux programmes européens CIVITAS et INTERREG. Dans le cadre des réflexions sur son plan de déplacements urbains (PDU) , la volonté de la communauté d agglomération de La Rochelle est aujourd hui de mieux intégrer le bilan des actions du précédent PDU et les difficultés rencontrées lors de son évaluation. Ainsi, un travail est engagé sur des objectifs «pédagogiques», chiffrés et atteignables pour le nouveau PDU qui va être construit et suivi en associant les citoyens. La démarche va bénéficier d un positionnement renforcé de l observatoire du PDU, de la mise en œuvre d une enquête ménages déplacements (EMD) et d un portage politique fort avec un nouvel élu en charge des transports et de la mobilité. L enquête ménages déplacements : un outil de l évaluation des politiques de déplacements Les enquêtes ménages déplacements (EMD) sont des outils indispensables à l évaluation des politiques de déplacements urbains. Réalisées tous les 8 à 12 ans dans les agglomérations, elles permettent de dresser un état des lieux complet de la mobilité quotidienne des habitants d un territoire, quels que soient leurs modes de déplacement. En dressant l état zéro des pratiques lors de l élaboration du PDU, elles permettent de mesurer leurs évolutions quelques années plus tard, lorsque le plan est évalué préalablement à son éventuelle révision. Près de 150 enquêtes ont été réalisées depuis 35 ans, sur plus de 60 agglomérations de toutes tailles. Pour en savoir plus : l enquête ménages déplacements DGITM/, janvier

21 2.5. La mise en place d un organisme dédié à l évaluation d une politique publique nationale : l exemple de l Office national des zones urbaines sensibles (Onzus). Depuis le 1er juin 2011 l État s est doté d un organisme dédié pour évaluer la politique de la ville et observer les territoires concernés : l'office national des zones urbaines sensibles. Cet organisme a aussi en charge la coordination des travaux d évaluation des différents acteurs impliqués par la politique de la ville (Agence nationale du renouvellement urbain, secrétariat général du comité interministériel des villes, etc.) L Onzus mène deux grands types d évaluation : Des évaluations a posteriori des dispositifs mis en œuvre, qui sont plutôt des évaluations d impact, le plus souvent quantitatives. Par exemple, l Onzus évalue les programmes de réussite éducative (PRE) qui consistent en la prise en charge individualisée d élèves en difficulté pour un montant de 80 millions d euros par an. L évaluation se fait en interrogeant les nombreuses parties prenantes de ces actions (enfants, parents, etc.) par rapport aux objectifs poursuivis par ces PRE qui sont de réduire l absentéisme, améliorer l investissement scolaire, etc. Elle permet notamment de différencier l impact selon certains critères (âge, sexe, catégorie socioprofessionnelle). Des évaluations de dispositifs expérimentaux qui évaluent à la fois l impact et la mise en œuvre du dispositif et associent donc une analyse quantitative et qualitative. L Onzus évalue ainsi les contrats urbains de cohésion sociale (CUCS) expérimentaux, contrats passés entre l État et les collectivités pour renforcer la mobilisation de droit commun en matière de sécurité, d éducation et d emploi sur des quartiers «politique de la ville». L Onzus représente ainsi un véritable outil pour le pilotage des politiques de la ville. Par exemple, en ce qui concerne l évaluation des CUCS, il s agissait d appréhender les stratégies de mobilisation du droit commun utilisées par les acteurs locaux, d évaluer les résultats des CUCS au niveau de la pertinence, de l efficacité, de l efficience sur les trois thématiques concernées, d identifier les leviers et les freins d une telle mobilisation et de préparer les prochaines contractualisations. Suite aux premières démarches menées, cet organisme s est doté d un comité scientifique pour l aider à avoir un regard global sur la politique de la ville en dépassant la juxtaposition d évaluations de dispositifs isolés. 19

22 3. Et alors? Quelles sont les clés à retenir pour développer l évaluation des politiques publiques au sein des collectivités locales? 3.1. Donner une place à l évaluation au sein de l institution Pour permettre la diffusion de la culture de l évaluation dans une collectivité locale, un des facteurs clefs semble être l institutionnalisation de la fonction d évaluation au sein de la structure. Au niveau organisationnel d abord, avec la création d un poste, d une mission ou d un service dédié à cette question dans l organigramme. Au niveau budgétaire ensuite, avec l allocation de moyens propres aux démarches évaluatives. Afin de proposer, de construire et de conduire des démarches d évaluation, la création d une fonction dédiée à l évaluation des politiques publiques semble fondamentale. Cette fonction servira alors de «diffuseur» des principes et des méthodes de l évaluation aux services opérationnels, de support méthodologique et de référent technique dans la réalisation de missions d évaluation. Elle organise et garantit la démarche d évaluation au sein de la collectivité. Par exemple, le service évaluation des politiques régionales de la région Nord-Pasde-Calais compte aujourd hui neuf personnes sur environ employées au siège de l'institution. Par nature transversale, l évaluation doit par ailleurs être menée de manière partagée entre les différents services de la structure concernés par une politique, entre les différentes thématiques (transports, environnement, etc.) mais aussi par rapport aux approches «métiers» de chacun (ingénieurs, juristes, etc.), ce qui suppose une coordination forte dans l élaboration et le suivi de la démarche évaluative, qui peut être assurée par un service tiers. Les enjeux budgétaires sont eux aussi majeurs, car le budget de l évaluation est souvent celui qu on considère comme «dispensable», dont on peut se passer. L évaluation apparaît ainsi souvent comme un «surcoût». Pour pallier cet écueil, plusieurs solutions sont envisageables : - allouer un budget consacré à l évaluation permettant d inscrire annuellement dans le budget de la collectivité plusieurs actions évaluatives portant sur des politiques diverses ; - anticiper le financement de l évaluation au moment de la programmation de la politique. Si le coût d une évaluation peut être considéré comme important, il reste toutefois faible par rapport au coût de la politique publique mise en œuvre qu il s agit d évaluer. Ainsi, au conseil régional Nord-Pas-de-Calais, le budget géré par le service évaluation en charge de l évaluation des politiques publiques est d'environ /an, soit un peu moins de 1 % du coût des politiques publiques évaluées de la région. 20

23 3.2. Incarner politiquement l évaluation Mettre en place un service d évaluation s avérera d autant plus efficace qu un élu est en charge de l évaluation des politiques dans l institution. Les résultats de l évaluation d une politique publique et la mise en œuvre des recommandations seront d'autant plus légitimés, assumés et suivis qu'il y aura un portage politique de ces questions. En ayant validé en amont la décision d évaluer telle ou telle action publique, rappelé les objectifs par rapport auxquels on doit analyser ses effets et validé le contenu de l évaluation (périmètre, indicateurs, etc.), la fonction politique de cet élu donne en effet toute sa légitimité à la démarche évaluative en la faisant sortir du cercle des techniciens et en inscrivant ses suites et ses enseignements au niveau politique. Par ailleurs, la visibilité politique de l évaluation permet sans aucun doute de mieux intégrer l évaluation comme outil d aide à la décision publique et de rapprocher l agenda politique du temps de l évaluation qui génère des démarches lourdes et souvent longues Développer progressivement une culture de l évaluation Si la mise en place d une fonction dédiée aux questions d évaluation au sein d une collectivité locale est essentielle, cette prise en compte institutionnelle de l évaluation reste cependant insuffisante : l esprit de la démarche doit également être diffusé aux services opérationnels. Il faut donc acculturer ces services aux principes et méthodes de l évaluation pour intégrer ces pratiques dans leur quotidien et produire des analyses de qualité, utiles et pertinentes. Cela passe par des actions de sensibilisation à l évaluation et de pédagogie afin de développer une culture commune sur ce type de démarche, comme l a permis la diffusion d un guide sur les pratiques d évaluation au sein du conseil régional du Nord-Pas-de-Calais. Cela passe aussi par des actions de formation plus formalisées afin de professionnaliser les différents acteurs impliqués. Mais c est surtout en pratiquant des démarches évaluatives que l évaluation a toutes les chances de se banaliser au sein de la collectivité. Une approche pragmatique et progressive est sans doute à privilégier en s essayant sur des domaines à faibles enjeux stratégiques pour la collectivité. Au cœur des débats La culture de l évaluation n est pas venue en un jour, elle s est imposée progressivement. Pascal Delafosse, CR Nord-Pas-de-Calais. 21

24 3.4. Faciliter l exercice d évaluation en utilisant mieux les outils existants Ce qui est long et coûteux dans l évaluation, c est la collecte des données nécessaires à l analyse. Disposer plus facilement de ces données, c est donc simplifier la démarche évaluative. Pour cela, les collectivités disposent déjà d un certain nombre d observatoires sur leur territoire (observatoire du foncier, observatoire des déplacements, etc.) qu elles ont mis en place ou qui sont suivis par d autres acteurs locaux (services de l'état, agence d urbanisme, chambre de commerce et d industrie, etc.). Il s agira donc d utiliser au mieux ces observatoires par un recensement et une organisation de la production de données au niveau local. Il s agira aussi de consolider certains outils existants permettant à la fois de mieux prendre en compte la complexité des politiques et le système urbain dans lequel ils s insèrent et de mieux communiquer les résultats des évaluations au plus grand nombre. Citons par exemple : les systèmes d information géographique (SIG), qui permettent une représentation spatiale des effets d une politique publique et une meilleure visualisation des territoires gagnants et d'éventuels territoires perdants ; l analyse par acteur qui permet de spécifier les résultats de l évaluation selon les types de population et là encore de mieux identifier les gagnants et les perdants. Cela permet aussi de donner une autre vision de la complexité de la politique mise en œuvre puis d évaluer une éventuelle politique de compensation mise en place ; l analyse multicritères qui permet une analyse par objectifs et une vision qui se veut plus exhaustive de tous les effets d une politique. Au cœur des débats Souvent on mélange observatoire et évaluation ( ). L évaluation mesure le degré d atteinte d un objectif d une politique ( ), l observatoire ( ) permet de recueillir les données nécessaires pour vérifier que les objectifs ont été atteints. Bruno Faivre d Arcier, LET Faire évoluer les méthodes utilisées dans l évaluation pour coller aux enjeux de la société et assurer la légitimité et la pertinence du processus. Deux préoccupations montent ces dernières années dans la société civile : le développement durable et l association des citoyens aux décisions publiques. Pour conserver une légitimité, les démarches évaluatives doivent évoluer avec ces enjeux. L évaluation des politiques publiques au regard du développement durable est une pratique qui se développe dans les collectivités territoriales, dans le cadre notamment de l évaluation stratégique environnementale des plans et programmes visant à estimer les effets prévisibles sur l environnement. 22