Pour le réseau des Villes et Territoires Durables de Midi-Pyrénées

Transcription

1 «C est un processus par lequel on définit, obtient et fournit des informations utiles permettant de juger les décisions possibles». Stufflebeam et al «Évaluer une politique, c est rechercher si les moyens juridiques, administratifs ou financiers mis en œuvre permettent de produire les effets attendus de cette politique et d atteindre les objectifs qui lui sont fixés». Décret n du 22/01/90 relatif à l évaluation des politiques publiques «L évaluation [ ] se distingue du contrôle et du travail d inspection, en ce qu elle doit aboutir à un jugement partagé, sur l efficacité de cette politique, et non à la simple vérification du respect des normes administratives ou techniques». Circulaire du 28/12/98 relative à l évaluation des politiques publiques «Action d évaluer, de déterminer la valeur ou l importance (d une chose) : appréciation, calcul, détermination, estimation, expertise». Le Petit Robert, 1993 «L évaluation doit se préoccuper de l utilité, de la mise en œuvre, de l efficacité et de l efficience des mesures qui ont pour but d améliorer le sort des membres de la société». Rossi Peter, Freeman Howard, 2004 Apparue aux Etats-Unis dans les années 60, et en France dans les années 80, la nécessité d évaluer a rassemblé autour d elle un certain nombre d acteurs et d organismes. D abord centrée sur des approches scientifi ques, puis managériales, elle est devenue progressivement un vecteur de débat public, se dotant d outils pratiques et législatifs. «L évaluation est une activité d étude destinée à établir un jugement sur la valeur d une politique publique fondée sur ses résultats, ses impacts et les besoins qu elle vise à satisfaire. Les méthodes de l évaluation reposent sur un ensemble de techniques, notamment autour de la notion de pertinence, d efficience, d efficacité et d impact d une politique». DRAST-DGUHC, Guy Loinger et Claude Spoh, Prospective et planification territoriales - état des lieux et propositions, mars 2004 «Évaluer, c est comprendre, éclairer l action de façon à pouvoir décider avec justesse de la suite des événements». Renald Legendre - Dictionnaire actuel de l éducation, Guérin / Eska Pour le réseau des Villes et Territoires Durables de Midi-Pyrénées L évaluation des politiques publiques : est un processus collectif et apprenant, qui s appuie sur des principes et des valeurs ; vise à porter un jugement en répondant à des questions évaluatives ; s appuie nécessairement sur une double analyse, quantitative et qualitative ; a comme fi nalité principale de formuler des recommandations en vue d une amélioration continue ; s applique à divers stades de la vie d une politique. Elle nécessite un dispositif permanent d observation, de collecte et de traitement de l information. L évaluation des politiques publiques est une pratique qui évolue dans le temps. Point de vigilance Si les défi nitions sont diverses, les pratiques de l évaluation des politiques publiques le sont également. Elles évoluent qui plus est dans le temps. Il importe donc de calibrer et d avoir des principes méthodologiques communs en particulier pour l évaluation des projets territoriaux de développement durable. 1/6

2 L évaluation des politiques publiques est un processus collectif et apprenant qui s appuie sur des principes et des valeurs Évaluer une politique suppose de la comprendre et de se donner les moyens de l analyser. De par la diversité des politiques, des modalités de mise en place de l évaluation et des pratiques, un certain nombre de principes déontologiques sont à respecter 1 : PLURALITÉ management public, démocratie, débat scientifique, diversité des points de vue, parties prenantes DISTANCIATION impartialité, autonomie, liberté de choix COMPÉTENCE compétences spécifiques, conception et conduite de l évaluation, méthodes, interprétation RESPECT DES PERSONNES droits, intégrité, sécurité TRANSPARENCE clarté, argumentation, diffusion publique souhaitable OPPORTUNITÉ résultats souhaités, enjeu démocratique, efficacité, apprentissage, responsabilité, répartition des rôles, moyens appropriés L évaluation des politiques publiques vise à porter un jugement en répondant à des questions évaluatives Évaluer une politique, c est d abord la questionner. Des questions sont définies, précisant le champ, c est-à-dire ce qui est jugé. Elles peuvent être déclinées en sous-questions et sont ensuite associées à des indications claires (des évolutions souhaitées, des réponses possibles ), permettant de juger ce qui est positif ou négatif (absence, présence, renforcement des effets ). L évaluation nécessite un cheminement intellectuel rigoureux. questions évaluatives sous-questions Dans la mesure du possible, elles sont accompagnées d indicateurs et de niveaux cibles. Ces niveaux cibles sont déterminés par rapport à un objectif vérifiable, à de bonnes pratiques ou encore à des observations réalisées sur certaines parties du territoire. Ce cheminement décrit le raisonnement envisagé pour répondre à la question initiale. Il permet de limiter la subjectivité et de formuler un jugement sur des bases acceptées et reconnues. indications (réponses possibles) indicateurs et niveaux cibles 1 Source : charte de l évaluation de la SFE, actualisée le 21 juin 2006, Société Française de l Évaluation Exemple : dans quelle mesure les objectifs fixés initialement ont-ils été atteints? le taux de recyclage des matières organiques a-t-il augmenté? amélioration du taux de recyclage taux > 35 % en 2012 taux > 45 % en /6

3 Des exemples de questions auxquelles peut répondre l évaluation des politiques publiques Quelle est l adéquation entre les enjeux et les objectifs fixés pour l intervention publique? Les objectifs d intervention couvrent-ils suffisamment les dimensions de la situation qu elle est censée améliorer? Les différents objectifs de l intervention publique sont-ils en relation logique avec les moyens mobilisés? Sont-ils en cohérence les uns aux autres? Autrement dit sont-ils complémentaires et non redondants, voire en contradiction? Les effets et résultats attendus de l intervention publique ont-ils été produits grâce à l ensemble des actions menées? Quel est le degré de conformité entre les effets propres de la politique et ses objectifs? Quels sont les résultats obtenus au vu des moyens (financiers, humains) mis en œuvre? Les effets obtenus l ont-ils été à un coût raisonnable? Les méthodes de travail ont-elles été adaptées? Les résultats de l intervention publique ont-ils contribué à résoudre les problématiques ou à mieux faire face aux enjeux du territoire, identifiés initialement? L intervention est-elle justifiée et utile, eu égard, non seulement à ses effets mais aussi aux autres effets ou impacts (collatéraux) produits, notamment s ils sont négatifs? Registres d évaluation associés = Pertinence = Cohérence = Efficacité = Efficience = Utilité L état caractérise la situation socio-économique et environnementale, actuelle et dynamique, du territoire. Les réalisations mesurent l avancement de la mise en œuvre des actions et l utilisation des moyens affectés. Les résultats mesurent les effets directs induits par l intervention publique. Les impacts mesurent les effets, notamment indirects, de l intervention publique sur le territoire, dans le temps et l espace. Représentation des principaux registres de l évaluation État du territoire et enjeux État du territoire et impacts = Pertinence Résultats attendus = Utilité Objectifs stratégiques Actions Résultats ou effets Objectifs opérationnels Moyens et méthodes Réalisations La cohérence questionne la relation entre les objectifs et les moyens. = Cohérence = Efficience = Efficacité 3/6

4 L évaluation des politiques publiques s appuie nécessairement sur une double analyse, quantitative et qualitative Analyse quantitative : la mesure des effets de la politique publique, la comparaison de ses résultats aux objectifs assignés et aux moyens mis en œuvre, est réalisée principalement sur la base d indicateurs. L indicateur décrit de façon précise l information qui doit être recherchée pour répondre aux questions (et/ou sous-questions) posées. Il est défini de façon interactive avec un niveau cible. L indicateur peut être : quantitatif (comptage, ratios, taux) ou qualitatif ; dans le second cas, la technique de la notation peut être utilisée ; tiré des bases de données de suivi, de sources statistiques, etc. ou construit spécifiquement pour l évaluation (indicateur ad hoc) et renseigné par exemple dans le cadre d une enquête ; appartenir à différentes catégories : état, réalisation, résultat ou impact. Analyse qualitative : elle permet de porter un jugement, construit en confrontant des regards pluriels (élus, techniciens et experts, chercheurs, acteurs locaux et citoyens). Elle s appuie certes sur les éléments quantitatifs, mais également sur le vécu des parties prenantes de l évaluation, leur perception et leur expertise (technique, scientifique ou citoyenne). Parole d acteurs «L indicateur est souvent perçu comme l outil absolu de l évaluation. Il résulte d une réfl exion préalable sur le sens de la politique, ce que l on en attend comme effets ou résultats, à court, moyen et long termes. Ce n est que lorsque le sens et la fonction de la politique (et ses moyens) sont ainsi défi nis, que l on peut choisir un indicateur». Point de vigilance Il importe de disposer d indicateurs renseignés à un instant T0 puis à l instant de l évaluation, ce qui requiert un dispositif permanent d observation construit le plus en amont possible de la mise en œuvre de la politique. Idéalement, pour les indicateurs, une valeur ciblée à atteindre, à une échéance donnée aura été fi xée lors de la défi nition de la politique. Divers moyens peuvent être mobilisés pour apprécier qualitativement un projet : des entretiens : ciblés le plus souvent sur les parties prenantes de la politique (élus, services porteurs ou associés, partenaires, usagers), les entretiens sont directifs et visent à mesurer leur compréhension de la politique mise en œuvre et leur perception des résultats, facteurs de réussite et freins éventuels. La personne (interne ou externe) en charge de l évaluation en fait la synthèse. des enquêtes : fondées sur un questionnement identique pour tous les répondants, elles visent à mesurer ou décrire une situation, en s appuyant sur l avis des répondants. Elles permettent de mesurer : la représentation («ce que le répondant pense»), les pratiques («ce que le répondant fait»), la connaissance («ce que le répondant sait»), les intentions et attentes («ce que le répondant a l intention de faire, ou attend»). Sa représentativité dépend fortement du mode de passation retenue, donc des moyens affectés. des travaux collectifs : ils s appuient sur un groupe de personnes (acteurs et partenaires de la politiques, panels ou jurys citoyens, bénéficiaires d une politique, scientifiques ). Le travail en groupe, le débat et la confrontation d idées y sont favorisés, enrichissant l évaluation. Les productions viennent alimenter le travail de l instance évaluative. Un indicateur est un outil d évaluation et d aide à la décision (pilotage, ajustements) grâce auquel on va pouvoir mesurer une situation ou une tendance, de façon relativement objective, à un instant donné, dans le temps et/ou l espace. Il se veut un résumé d informations complexes offrant la possibilité à des acteurs différents (scientifi ques, techniciens, politiques et citoyens) de dialoguer entre eux. L utilité d un indicateur dépend de sa simplicité de compréhension et d accession, mais aussi de sa capacité à refl é- ter la réalité. Il doit exister une relation causale entre le fait mesuré et l indicateur. 4/6

5 Les différents modes de passation d une enquête : Enquête auto-administrée : Un questionnaire peut être adressé par courrier postal ou électronique, ou inséré dans un magazine, ou, par exemple, mis en ligne. L enquête est diffi cilement représentative. Enquête administrée par un prestataire spécialisé : Par téléphone, une équipe d enquêteurs administre le question naire sur la base de fi chiers pré-existants de personnes (annuaires, fi chiers, pré-renseignés) en s assurant, si besoin, du caractère représentatif de l échantillon de répondants. De visu, (à domicile, micro-trottoirs, etc.), l enquêteur tisse une relation de confi ance, mais peut également infl uencer les répondants. L échantillon est rarement représentatif de la population du territoire. L enquête est consommatrice en temps. La production d un avis évaluatif est le cœur du processus d évaluation : pour chacune des questions évaluatives retenues, l avis évaluatif apporte une réponse argumentée, en s appuyant sur toute la matière recueillie précédemment (bilan des actions, résultats produits sur la base des indicateurs renseignés, documentation, auditions, jugements qualitatifs ). Pour répondre aux problématiques soulevées par l avis évaluatif, la formulation de recommandations, d améliorations à apporter à l intervention publique doit permettre de faire évoluer l intervention publique, ses objectifs et ses moyens : elles contribuent à donner à l évaluation toute sa place dans le pilotage et l amélioration continue de l intervention publique. Un rapport d évaluation est rédigé (souvent par un animateur externe, expert en évaluation, ou par un agent du territoire) : il s appuie sur l avis évaluatif, complété par la mise en relation des problématiques identifiées, des améliorations à opérer et des recommandations. Il est validé avec les membres de l instance évaluative qui y apportent des compléments, puis transmis à toutes les parties prenantes du processus d évaluation. Le suivi de la mise en œuvre des recommandations peut être prévu, dans un souci de transparence. Point de vigilance L enquête est un exercice rigoureux, dont la forme et le contenu dépendent des objectifs visés et des moyens disponibles pour sa réalisation. Pour une exploitation rigoureuse des réponses, le type, la forme, l ordre des questions (ouvertes, fermées, pré-renseignées) et les modalités de réponse peuvent requérir une expertise sociologique. L évaluation des politiques publiques vise la formulation d un avis évaluatif et de recommandations en vue d une amélioration continue Retour d expériences La mobilisation d un panel citoyen pour la définition du 2 e Agenda 21 de la Région Midi-Pyrénées Adopté en 2007, le premier Agenda 21 de la Région Midi-Pyrénées a été construit en s appuyant notamment sur un avis citoyen rédigé par un panel représentatif d habitants. Le panel, d environ cent personnes, a été recruté par téléphone. En 2011, le panel renouvelé a engagé une réfl exion évaluative, fondée sur un diagnostic territorial de développement durable mis à jour, et un bilan de l Agenda 21 régional à fi n Au total 87 indicateurs ont été retenus dans le dispositif d évaluation de l Agenda 21 : 24 indicateurs stratégiques (dont 11 renseignés) et 63 indicateurs de résultats des actions (dont 39 renseignés). Ces indicateurs renseignés ont été analysés par le panel citoyen. Des auditions de personnes ressources ont enrichi l analyse des citoyens, qui produiront ensuite un avis évaluatif et des recommandations pour le deuxième Agenda 21 ( ). Recommandations Animer la production collective d un avis évaluatif «L utilisation d une méthode d animation directive est indispensable; elle peut s apparenter à la méthode Metaplan. Les membres de l instance d évaluation sont amenés à noter leurs réponses sur des feuilles au format A4 de telle sorte qu elles soient lisibles par tous, une fois affi chées. Ils disposent de papier de deux couleurs différentes (rouge pour les réponses négatives ou les points faibles, vert pour celles qui sont positives ou les points forts). Un temps de réfl exion individuelle y est consacré. L animateur évaluateur affi che ensuite les réponses de chacun en les organisant de manière logique et interpelle les membres de l instance afi n de savoir s ils sont d accord ou pas.» Source : RAEE Produire des recommandations «Les participants de l instance évaluative sont amenés à émettre des propositions sur chacune des problématiques de l avis évaluatif ayant fait consensus. La consigne est qu ils ont à produire des recommandations «souhaitables» et qu ils n ont pas à prendre en compte «a priori» leur faisabilité estimée, celle-ci relevant du commanditaire public de l évaluation. Une réfl exion est d abord conduite individuellement conduisant à des propositions transcrites sur des feuilles A4 avant d être partagées à partir de leur affi chage en regard de chaque problématique. Ces propositions peuvent être de portée générale ou opérationnelles selon la nature des problématiques. Elles font l objet d un débat et d une validation. Dans le cas où les avis sur certaines d entre elles seraient divergents, les participants sont amenés à les justifi er.» Source : RAEE 5/6

6 L évaluation ex ante, entendue comme l étude prospective de la faisabilité et de l impact d une politique envisagée. Elle est conduite avant la mise en œuvre de l intervention publique et permet d envisager le projet sur le long terme en étudiant les impacts croisés que pourront entraîner les choix de la collectivité. A cette étape, il s agit de revisiter, par exemple, un avant projet de stratégie et de programme d actions. L évaluation ex ante la plus connue est l étude d impact, notamment environnementale. L évaluation ex post consiste à tirer les enseignements d une politique mise en œuvre, notamment des résultats qu elle a produit. L évaluation ex post, est souvent positionnée à l issue d une période de programmation, au moment où l intervention publique est remise à plat dans sa globalité. Elle permet d identifier les facteurs de succès ou d échec et d émettre des recommandations pour l amélioration continue de la politique et/ou l élaboration de nouvelles interventions publiques plus adaptées. L évaluation in itinere (concomitante ou chemin faisant), au cours de la mise en œuvre de l intervention publique. Le dispositif d évaluation permet de modifier en cours de route certains aspects de la stratégie afin que celle-ci réponde mieux aux enjeux locaux du territoire, nécessairement évolutifs durant la vie d une intervention publique. Il vise à ajuster la stratégie et ses moyens associés. Il peut ne concerner que certains aspects, dont on souhaite suivre les résultats au fur et à mesure du projet. Vie de la politique L évaluation ex ante L évaluation in itinere L évaluation ex post 6/6 Fiche réalisée en partenariat technique avec ABCD Durable Plateforme Régionale Territoires et Développement Durable