Cadrage de l évaluaion des poliiques publiques locales Frank VERMEULEN Hôel de la Collecivié Terrioriale de Corse Ajaccio, 11 Avril 2013 Ce suppor pédagogique es la propriéé exclusive de FVA Managemen. Il ne saurai refléer ous les élémens exposés sans les explicaions verbales appropriées Toue reproducion à usage commercial es sricemen inerdie. Cadrage de l évaluaion des poliiques publiques Quoi? Pourquoi? Quelles aenes? Quels bénéfices? Quelques repères hisoriques de l évaluaion des poliiques publiques Les crières d évaluaion de la performance de l acion publique (efficacié, perinence, efficience, cohérence,...) Commen concevoir, suivre e valoriser les reombées de l évaluaion des poliiques publiques? L arbre des objecifs ou la «forê des performances»? L avenir de l évaluaion en France : bilan e perspecives FVA Managemen 11/04/2013 Collecivié Terrioriale de Corse Cadrage de l évaluaion des poliiques publiques 2 Page 1
Qu es-ce qu une poliique publique? Un sysème complexe ensemble de mesures concrèes, d acions coordonnées, mises en œuvre par des adminisraions, insiuions publiques / privées poursuivan des objecifs, bus, finaliés (enjeux de sociéé) Formaion Sécurié Transpor Solidarié e cohésion sociale Un public (des ressorissans) erriorial / secoriel décisions de naure plus ou moins auoriaire, explicie (jusice, police) ou laene, inciaive (aides, subvenions, ) pour modifier une siuaion des ressources / moyens : Impôs, Doaions budgéaires, Taxes dédiées, ETP un cadre général (référeniel), ou héorie d acion (approches cogniives) FVA Managemen 11/04/2013 Collecivié Terrioriale de Corse Cadrage de l évaluaion des poliiques publiques 3 Le cheminemen linéaire d une poliique publique C 1 Siuaion insaisfaisane Problème à résoudre C 2 Idées/Soluions Concepion Développemen Décision C 3 Tes Expérimenaion Mise en œuvre C 4 Suivi Piloage Evaluaion C 5 Siuaion souhaiée Problème résolu Figure 1 : Représenaion du cheminemen séqueniel ou linéaire d une poliique publique (d après Jones, 1975) C 1 : Idenificaion du problème de sociéé (poliisaion) C 2 : Développemen de la poliique du programme, des acions e/ou des disposiifs de l acion publique, décision correspondane C 3 : Mise en œuvre (es, expérimenaion, déploiemen) C 4 : Suivi, Piloage, Evaluaion C 5 : Terminaison (siuaion souhaiée, problème de sociéé résolu) FVA Managemen 11/04/2013 Collecivié Terrioriale de Corse Cadrage de l évaluaion des poliiques publiques 4 Page 2
Evaluer l acion publique : quelques définiions «Reconnaîre e mesurer les effes propres d une acion publique» (rappor Deleau, Plan 1985) «Former un jugemen sur sa valeur» (Parick Vivere, 1989; 1991) «Évaluer une poliique publique consise dans le fai d'apprécier les effes aribuables à une inervenion gouvernemenale dans un domaine spécifique de la vie sociale e de l'environnemen physique.» (Meny & Thoenig, 1989) «Evaluer les poliiques publiques consise à mesurer les effes qu elles engendren e à rechercher si les moyens juridiques, adminisraifs ou financiers produisen les effes aendus de cee poliique e d'aeindre les objecifs qui lui son fixés (décre n 90-82 du 22 janvier 1990) L évaluaion doi se préoccuper de «l uilié, de la mise en œuvre, de l efficacié e de l efficience des mesures qui on pour bu d améliorer le sor des membres de la sociéé» (Freeman e Rossi) FVA Managemen 11/04/2013 Collecivié Terrioriale de Corse Cadrage de l évaluaion des poliiques publiques 5 L évaluaion : LA soluion à ous les défis? Mieux rendre compe (ransparence) Juger la valeur, l uilié de l acion publique Eclairer les choix (ajusemen e aide à la prise de décision) Elever le niveau de connaissances sur l acion publique (cogniif) Objeciver le processus de mise en œuvre de l acion publique Créer e enreenir l espri d équipe Renforcer les parenarias Améliorer la compréhension réciproque par le dialogue Accroîre la visibilié de l acion (faire connaîre au public) Innover par de nouvelles praiques de managemen Développer la culure du résula (efficacié, efficience, ) Inelligence poliique e démocraie paricipaive FVA Managemen 11/04/2013 Collecivié Terrioriale de Corse Cadrage de l évaluaion des poliiques publiques 6 Page 3
4 aenes majeures vis-à-vis de l évaluaion (1/2) 1 - Mesurer «objecivemen» les résulas par rappor aux objecifs prédéfinis, le degré d efficacié des praiques, la perinence d un disposiif décidé par plusieurs parenaires, l impac des acions sur les errioires en foncion des moyens humains e financiers alloués, la saisfacion des bénéficiaires, la performance, ec. 2 - Améliorer les performances de l acion publique apprécier les mesures correcives nécessaires, les processus ou les acions nouvelles à créer, permere d ajuser ceraines acions à parir d une phoographie de ce qui foncionne ou non, pour oriener la décision, adaper l acion en permanence, obliger les financeurs à mieux définir les objecifs (souven rop vagues, rop floues) e permere ainsi de mieux mobiliser les ressources, améliorer l économie des moyens d une poliique / acion publique, mere en œuvre, en cas d écar, des acions correcives, voire aniciper le changemen, ec. FVA Managemen 11/04/2013 Collecivié Terrioriale de Corse Cadrage de l évaluaion des poliiques publiques 7 4 aenes majeures vis-à-vis de l évaluaion (2/2) 3 - Comprendre, fédérer, uiliser un langage commun uiliser les mêmes mos, au service des aceurs e parenaires de l acion publique, mere en commun nos réflexions sur la manière de conduire les acions, uiliser un vocabulaire commun avec les ermes usuels en maière d évaluaion e de piloage de l acion publique, connaîre la réalié du errain, mere en parallèle les acions avec la poliique (naionale, régionale, déparemenale, communale, ) dans une démarche parenariale e de conceraion avec les différens aceurs, connaissance opéraionnelle de la poliique publique, porer un regard différen sur les acions de la collecivié, ec. 4 - Sens, déonologie, éhique de l acion publique répondre de façon «juse» au public final, savoir à quoi ser l acion, à quoi je sers? apporer des élémens de preuve, savoir quelle solidarié il s agi de développer, prendre en compe la dimension «humaine», rendre compe, assurer la conformié enre l acion publique e le(s) discours poliique FVA Managemen 11/04/2013 Collecivié Terrioriale de Corse Cadrage de l évaluaion des poliiques publiques 8 Page 4
L espace évaluaif selon les praiques Usage Exerne Informaion complèe oalemen maîrisée Capacié de calcul illimiée au service d un décideur unique ÉCONOMÉTRIQUE GESTIONNAIRE PLURALISTE Informaion incomplèe, connaissances limiées, prise en compe des sraégies d aceurs ou au long du cycle de vie des poliiques publiques MANAGERIALE Usage Inerne Figure 2 : L espace de l évaluaion d une poliique publique selon les ypes de méhodes FVA Managemen 11/04/2013 Collecivié Terrioriale de Corse Cadrage de l évaluaion des poliiques publiques 9 Cadrage de l évaluaion des poliiques publiques Quoi? Pourquoi? Quelles aenes? Quels bénéfices? Quelques repères hisoriques de l évaluaion des poliiques publiques Les crières d évaluaion de la performance de l acion publique (efficacié, perinence, efficience, cohérence,...) Commen concevoir, suivre e valoriser les reombées de l évaluaion des poliiques publiques? L arbre des objecifs ou la «forê des performances»? L avenir de l évaluaion en France : bilan e perspecives FVA Managemen 11/04/2013 Collecivié Terrioriale de Corse Cadrage de l évaluaion des poliiques publiques 10 Page 5
Les origines scienifiques de l évaluaion Naissance des méhodes de gesion scienifiques (OST) dans l indusrie au débu du XX ème siècle Raionalisaion du ravail e producion de masse (Fayol, Taylor) Sandardisaion en réponse aux exigences d un mode de producion universel Applicaion méhodique d un savoir scienifique e echnique en pleine expansion Mesure (saisique) des variaions (défaus) dans le emps e leur classemen selon leur profil de disribuion (diagramme de Pareo) Dans cee perspecive posiivise, évaluer c es mesurer scienifiquemen l effe d une poliique en observan l évoluion des variables d impac pour deux échanillons saisiquemen comparables : bénéficiaires / non bénéficiaires (expérimenaion) FVA Managemen 11/04/2013 Collecivié Terrioriale de Corse Cadrage de l évaluaion des poliiques publiques 11 La filiaion anglo-saxonne des praiques évaluaives La première vague démocrae des années d après-guerre (1960 1970) Trene Glorieuses : lue conre la pauvreé, aide sociale, ec.e l évaluaion comme moyen d y remédier en aribuan les ressources aux programmes jugés les plus perinens La seconde vague conservarice (à parir des années 1980) L arrivée au pouvoir de R. REAGAN e M. TATCHER : Crise fiscale, budgéaire, révoluion libérale conservarice qui inversen l usage de l évaluaion praiquée sous L. JOHNSON Accounabiliy (impuabilié, redevabilié, rendu de compe), Value for money (New Public Managemen au Royaume-Uni) Les faceurs culurels favorables à l évaluaion aux USA Concurrence enre le pouvoir législaif e exécuif => Congrès / Présiden Rivalié permanene enre pouvoirs => espace pour un marché de l évaluaion Faible légiimié de l acion publique exigean d apporer => la preuve de l efficacié Orienaion behaviourise des sciences sociales => modélisaion Recherche sysémaique d avanages angibles => echniques quaniaives ++ PPBS (Planning Programing Budgeing Sysem) Ouil de conrôle e d opimisaion des dépenses publiques (Guerre du Vienam) adopé en France (années 1970) sous l acronyme de Raionalisaion des Choix Budgéaires (RCB) FVA Managemen 11/04/2013 Collecivié Terrioriale de Corse Cadrage de l évaluaion des poliiques publiques 12 Page 6
Raionalisaion des choix budgéaires (1970 1984) P l a n i f i c a i o n Objecifs Budges Plans opéraionnels Acions Plans sraégiques Programmes Spécificaions opéraionnelles C o n r ô l e FVA Managemen 11/04/2013 Collecivié Terrioriale de Corse Cadrage de l évaluaion des poliiques publiques 13 L évaluaion : avaar de la planificaion? * La RCB ou la raionalisaion des choix budgéaires (1970-1984) Développer la planificaion budgéaire e l évaluaion ex-ane Fonder les décisions sur une prévision des impacs socio-économiques Déclin de la planificaion après le 7ème plan (Rappor du groupe Delau) Rappor Vivere : «Evaluaion des poliiques e des acions publiques» Le «Renouveau du service public» lancé par le gouvernemen Rocard Décre du 22 janvier 1990, insauran l évaluaion inerminisérielle des poliiques dans le bu de «Faire de l évaluaion un élémen cenral de la prise de décision gouvernemenale e du déba démocraique» Trépied de l insiuionnalisaion du disposiif Comié inerminisériel de l évaluaion (CIME) Commissaria général du Plan (CGP) Conseil scienifique de l évaluaion (CSE) Fonds naional de développemen de l évaluaion (FNDE) * cf. «L évaluaion des poliiques publiques, avaar de la planificaion» Thèse de Vincen SPENLEHAUER, 8 décembre 1998 FVA Managemen 11/04/2013 Collecivié Terrioriale de Corse Cadrage de l évaluaion des poliiques publiques 14 Page 7
Les iniiaives insiuionnelles successives Nouveau décre en 1998 (n 98-1048) relaif à l'évaluaion des poliiques publiques suie aux difficulés du CIME soulignées par le CNE e le Séna La difficulé pour les minisres de passer d une simple inenion d évaluer à une vériable proje d évaluaion ( ) soulevan la quesion du niveau de «culure de l évaluaion des adminisraions» La réicence des adminisraions de se rendre ransparenes Un pei nombre d évaluaions, des ravaux sans enjeux? Sans publics? Sans moyens? Sans sancions? La LOLF (voée en 2001, enrée en applicaion depuis 2006) Rendre l analyse du PLF plus facile pour l AN : Mission, Programme(s), Acion(s), Indicaeur(s) Mais des indicaeurs souven «hors sol» par manque de réflexion sraégique en amon du PLF Décre du 6 juille 2008, abrogean le décre de 1998 Aricle 1 - L'évaluaion d'une poliique publique, au sens du présen décre, a pour obje d'apprécier, dans un cadre inerminisériel, l'efficacié de cee poliique en comparan ses résulas aux objecifs assignés e aux moyens mis en œuvre. Secréaria d Éa à l évaluaion, à la prospecive e à l économie numérique (Eric Besson, 2007) Décre du 30 ocobre 2012 donnan naissance au SGMAP (MAP, CIMAP), une nouvelle enaive d insiuionnalisaion de l évaluaion? FVA Managemen 11/04/2013 Collecivié Terrioriale de Corse Cadrage de l évaluaion des poliiques publiques 15 L influence des insiuions inernaionales La Commission européenne Évaluaion des programmes de recherche dès 1960 Créaion en 1983 d une unié spécialisée dans l évaluaion à la DG 12 Poliiques de développemen régional e fonds srucurels (FEDER, FEOGA, FSE) Direcive de juille 1993 prévoyan l obligaion de l évaluaion (ex-ane; ex-pos) La Banque mondiale e l aide au pays en développemen Mc Namara (faceur ) : mise en place de la foncion évaluaion en 1970 - OED (Opéraions Evaluaion Deparmen) sous l auorié d un direceur général Evaluaion de projes, programmes-pays, poliiques au niveau mondial ou régional Les évoluions des modes e crières d évaluaion Vers l associaion des bénéficiaires d une poliique, programme, disposiif à son évaluaion Place croissane de nouvelles dimensions à prendre en compe : sociales environnemenales insiuionnelles culurelles (capial social, siuaion hommes/ femmes, diversié, ) Les indicaeurs alernaifs au PIB (PNUD, WWF, HPI, IDH, ) FVA Managemen 11/04/2013 Collecivié Terrioriale de Corse Cadrage de l évaluaion des poliiques publiques 16 Page 8
Freins e résisances à l évaluaion en France Les pouvoirs publics consiuionnels Le rôle du Parlemen, malgré la dernière réforme consiuionnelle Les poliiques conracuelles e les fonds srucurels européens Le rôle de la Cour des Compes e du minisère du Budge La LOLF, culure du résula ou cule des indicaeurs? Les défaillances de l organisaion adminisraive e du marché Une acivié spécifique ou généralise? Un champ professionnel éclaé Une qualié méhodologique inégale Des rappors ambiguës enre évaluaeurs e évaluaion (évalués?) Une acivié à la recherche d une idenié Le poids de la «science éaique» e les faceurs culurels Les grands corps incompaibles avec l espri d évaluaion? Un regard cioyen insuffisammen criique à l égard du «bien commun» Un manque d inérê des français pour la gesion des dépenses publiques La polémique sur les indicaeurs d acivié des parlemenaires au momen de la loi Hadopi Une faible confiance inerpersonnelle e dans les insiuions FVA Managemen 11/04/2013 Collecivié Terrioriale de Corse Cadrage de l évaluaion des poliiques publiques 17 Confiance inerpersonnelle e dans les insiuions FVA Managemen 11/04/2013 Collecivié Terrioriale de Corse Cadrage de l évaluaion des poliiques publiques 18 Page 9
Tolérance à l égard des comporemens de fraude FVA Managemen 11/04/2013 Collecivié Terrioriale de Corse Cadrage de l évaluaion des poliiques publiques 19 Cadrage de l évaluaion des poliiques publiques Quoi? Pourquoi? Quelles aenes? Quels bénéfices? Quelques repères hisoriques de l évaluaion des poliiques publiques Les crières d évaluaion de la performance de l acion publique (efficacié, perinence, efficience, cohérence,...) Commen concevoir, suivre e valoriser les reombées de l évaluaion des poliiques publiques? L arbre des objecifs ou la «forê des performances»? L avenir de l évaluaion en France : bilan e perspecives FVA Managemen 11/04/2013 Collecivié Terrioriale de Corse Cadrage de l évaluaion des poliiques publiques 20 Page 10
Les crières d évaluaion d une poliique publique l efficacié les résulas son-ils conformes aux objecifs fixés? la perinence les objecifs son-ils adapés aux enjeux (problèmes) de sociéé idenifiés, aux bus poursuivis, aux orienaions e à la finalié de l acion publique? l efficience les ressources son-elles bien uilisées? les résulas son-ils à la haueur des moyens prévus / effecifs? la cohérence les moyens son-ils adapés aux objecifs fixés? Les différens objecifs son-ils cohérens enre eux? les différenes acions son-elles cohérenes enre-elles? l impac les conséquences (médiaes) de l acion publique son-elles bénéfiques au poin d avoir modifié la siuaion (insaisfaisane) iniiale? FVA Managemen 11/04/2013 Collecivié Terrioriale de Corse Cadrage de l évaluaion des poliiques publiques 21 Le modèle de base de l efficacié Enjeux de sociéé PROBLÈMES IDENTIFIÉS,.FINALITÉ(S)? Poliique / Proje / Programme / Acion OBJECTIF(S) Impacs Effes Réalisaions RÉSULTAT(S) Evaluaion EFFICACITÉ Figure 3 : Le modèle de base de la mesure de l efficacié ou «goal model» FVA Managemen 11/04/2013 Collecivié Terrioriale de Corse Cadrage de l évaluaion des poliiques publiques 22 Page 11
Qu es-ce qu un objecif? Un objecif = résula à aeindre, radui en ermes SMART (spécifique, mesurable, accepable/accepé, réalise, emporalisé), par exemple: Enjeu : reour à l emploi difficile pour les bénéficiaires du RMI/RSA Objecif(s) : assurer 550 reours à l emploi personnes / an Acions: - mere en place une équipe d aide au reour à l emploi - aeliers de redynamisaion des personnes les plus éloignées de l emploi - ec. Résula(s) : nb de personnes placées (objecif 550/an / aux de placemen RMIses/Jeunes, aux de mainien en emploi, ec.) = perme de «mesurer» si l objecif es aein Indicaeur : un abrégé de la réalié (par convenion = accepé) Quaniaif (indicaeurs de réalisaions, résulas, coûs/délais, effes/impacs ) Qualiaif (crières e regisres de jugemen) Horizon emporel (immédia / média) FVA Managemen 11/04/2013 Collecivié Terrioriale de Corse Cadrage de l évaluaion des poliiques publiques 23 Exemple d une poliique d aide à l inserion Enjeux poliiques Objecif(s) Acion(s) Evaluaion Reour à l emploi difficile pour les bénéficiaires du RMI/RSA Assurer 550 reours à l emploi parmi les bénéficiaires les plus proches de l emploi Prendre en compe les besoins des employeurs Mise en place d une équipe emploi Accompagnemen personnalisée en. Former les bénéficiaires du RMI nb de personnes placées (objecif 550/ an / aux de placemen Remobiliser les bénéficiaires les plus éloignés de l emploi Aeliers de redynamisaion Clauses d inserion Un accompagnemen inopéran car non adapé Organiser les parcours d inserion Définiion de rois parcours d inserion Redéfinir les praiques professionnelles Problémaique des ravailleurs pauvres Mere en œuvre le RSA Evaluaion Figure 4 : Exrai de la care des objecifs d une poliique d aide à l inserion FVA Managemen 11/04/2013 Collecivié Terrioriale de Corse Cadrage de l évaluaion des poliiques publiques 24 Page 12
La direcion par objecif (D.P.O. e D.P.P.O.) Les objecifs : une réalié objecive (fixées par un aceur unique) ou un consrui collecif, où convergen pressions inernes e exernes? «Objecifs officiels», «objecifs sraégiques», «objecifs spécifiques», «objecifs effecivemen poursuivis, «objecifs opéraionnels» (Perrow, 1961) Les objecifs évoluen avec le emps : ineracions avec l environnemen, changemens inernes, pressions indireces (conjoncure, echnologies, législaion crises e muaions) Comparer les résulas à des objecifs : un «objecif rès difficile» Relaivié sociale des objecifs <=> diversié e caracère conradicoire des objecifs / crières A quel horizon emporel? Cour erme <=> Long erme? Effes propres <=> effes exernes (événemens, aceurs, aures poliiques) Quels usages / uiliés de la Direcion (paricipaive) par objecifs? Incier les membres de l organisaion à préciser les objecifs, bus, enjeux, finaliés Guider les membres de l organisaion dans l aide à la décision e le piloage Fournir des crières d évaluaion / réajuser l acion Qui juge en dernier ressor de l efficacié par rappor à quels objecifs? FVA Managemen 11/04/2013 Collecivié Terrioriale de Corse Cadrage de l évaluaion des poliiques publiques 25 Le sysème de prospecive, piloage e évaluaion Figure 5 : Les ineracions enre prospecive, piloage e évaluaion des poliiques publiques FVA Managemen 11/04/2013 Collecivié Terrioriale de Corse Cadrage de l évaluaion des poliiques publiques 26 Page 13
Cadrage de l évaluaion des poliiques publiques Quoi? Pourquoi? Quelles aenes? Quels bénéfices? Quelques repères hisoriques de l évaluaion des poliiques publiques Les crières d évaluaion de la performance de l acion publique (efficacié, perinence, efficience, cohérence,...) Commen concevoir, suivre e valoriser les reombées de l évaluaion des poliiques publiques? L arbre des objecifs ou la «forê des performances»? L avenir de l évaluaion en France : bilan e perspecives FVA Managemen 11/04/2013 Collecivié Terrioriale de Corse Cadrage de l évaluaion des poliiques publiques 27 Scénarios Diagnosic" Baromère" Impac" Objecifs Figure 6 : Descripion foncionnelle du cycle de vie des poliiques publiques FVA Managemen 11/04/2013 Collecivié Terrioriale de Corse Cadrage de l évaluaion des poliiques publiques 28 Page 14
Exemples de praiques voisines de l évaluaion Audi / Diagnosic Consise à vérifier objecivemen e de manière indépendane le degré de maîrise des risques des opéraions ; le plus souven poncuel dans les CT, sur un service, un aspec de la poliique, un proje, sur un parenaire, comme une sociéé d économie mixe; les CRC son les audieurs exernes de l audi des compes Prospecive Démarche qui vise à aniciper l avenir en élaboran des scénarios sur la base de l'analyse des données disponibles : éas des lieux, endances lourdes, phénomènes émergens, analyses rérospecives e observaoires qui enden à se muliplier dans les domaines les plus variés (économiques, sociaux, environnemenaux, humains, ). Conrôle inerne A la différence de l audi, le conrôle inerne n es pas un service mais un ensemble de disposiifs permanens pour assurer la conformié, la régularié, e plus généralemen la qualié des services au meilleur coû Conrôle de gesion Peu êre défini comme un sysème de piloage mis en œuvre par un responsable de service (programme, ) en vue d aeindre les objecifs préalablemen fixés. Il perme de mesurer la performance des services inernes comme ceux rendus dans le cadre de parenarias, par exemple dans le cas du suivi d une délégaion de service public. FVA Managemen 11/04/2013 Collecivié Terrioriale de Corse Cadrage de l évaluaion des poliiques publiques 29 Disincions enre l évaluaion e ses figures voisines Foncionnemen d'une Organisaion Acion de changemen Sysème d'informaion périodique (I) Sysème formel de conrôle de gesion (II) Conrôle de proje, moniorage de programme Invesigaions poncuelles Eudes ad hoc (III) Audi managerial ou organisaionnel ou évaluaion d'une srucure (IV) Evaluaion de poliique ou de programme Figure 7 : L évaluaion e ses figures voisines (Parick Giber, 2005) FVA Managemen 11/04/2013 Collecivié Terrioriale de Corse Cadrage de l évaluaion des poliiques publiques 30 Page 15
Disincions enre le suivi e l évaluaion SUIVI PHYSIQUE ET FINANCIER Périodique, régulier Implique jusesse des programmes, projes, acions e indicaeurs Sui les progrès réalisés par rappor à un nombre limié d objecifs ou d indicaeurs (réalisaion, résula,..) Généralemen quaniaif Alimené par des données régulièremen e/ou facilemen collecées N indique pas les causes Difficile à uiliser pour évaluer l impac Généralemen inerne EVALUATION Episodique (diachronique) Peu aborder une large gamme de problèmes/ quesions posés par une poliique, un programme un proje, une acion Idenifie ce qui s es passé à la suie d une inervenion e fourni des conseils pour les acions fuures S inéresse aux quesions du ype «pourquoi» e «commen» Grande variéé de méhodes de recherches quaniaives e qualiaives Peu uiliser des données provenan de différenes sources Cherche à idenifier les impacs e les effes prévus / imprévus Généralemen exerne (iers évaluaeur) FVA Managemen 11/04/2013 Collecivié Terrioriale de Corse Cadrage de l évaluaion des poliiques publiques 31 Cycle de vie e momens d évaluaion d une poliique Policy Review Programme Conclusions Ex-pos /Resuls Evaluaions Programme Design Ex-ane Feasibiliy Evaluaion Policy Formulaion Ongoing / Mid erm Evaluaion Programme Implemenaion Policy Delivery Figure 8 : Policy, programme and evaluaion cycles (The Guide, Tavisock Insiue, 2003) FVA Managemen 11/04/2013 Collecivié Terrioriale de Corse Cadrage de l évaluaion des poliiques publiques 32 Page 16
Concepion, suivi e évaluaion d une poliique CONCEPTION ET DEMARRAGE SUIVI PHYSIQUE ET FINANCIER EVALUATION DU PROGRAMME Temps de la Temps de l acion Eape 1 Eape 2 Eape 3 Eape 4 concepion Mise en place des Réalisaion Résula Effes Impac final Référeniel indicaeurs inermédiaires Arbre des Acions mises en Effes direcs Effes secoriels ou Impacs globaux à Objecifs Théorie d acion Naure des inervenions œuvre sous le conrôle direc du immédiaemen percepibles par le spécifiques visibles à moyen long erme, jusifien le Définiion des gesionnaire gesionnaire erme programme indicaeurs Renseignemen des indicaeurs Tableau 1 : Concepion, suivi e évaluaion d une poliique publique (IGAS, D. Rigaud, 2006) FVA Managemen 11/04/2013 Collecivié Terrioriale de Corse Cadrage de l évaluaion des poliiques publiques 33 Choisir enre l évaluaion formaive ou sommaive? Au cœur de l évaluaion de l efficacié ( R. Hall) Evaluer l efficacié organisaionnelle implique de reconnaîre la pluralié des aceurs, des poins de vue, des conraines, des conradicions. Aspecs cenraux de l évaluaion de l acion publique (E. Monnier) Quel(s) usage(s) de l évaluaion? Condiions d appropriaion par les aceurs? Dimension «cogniive» ou «formaive», non pas an enre l exper «évaluaeur» e les différens aceurs, qu enre les aceurs eux-mêmes (rôle de «maïeuique» e «médiaeur» animan un jeu poliique), visan à : Produire des compromis accepables en maière de jugemens Assurer la légiimié des conclusions Anagonisme enre ces deux approches d évaluaion (Scriven) Évaluaion formaive (obligaion de résula) : une évaluaion «démocraique» don les aceurs e la décision seraien aussi informés e formés que possible Évaluaion sommaive : voisine de la «sociologie criique», pouvan induire qu aucun compromis n es possible enre cerains crières e ceraines valeurs concurrenes FVA Managemen 11/04/2013 Collecivié Terrioriale de Corse Cadrage de l évaluaion des poliiques publiques 34 Page 17
Les méhodes d évaluaion Discerner e agir de manière éclairée Quelles son les quesions posées (par le commandiaire, sponsor, siuaion, changemen,?) Quelles son les informaions crédibles, disponibles e compréhensibles Commen nourrir des jugemens fondés sur des argumens (légiimes) Deux niveaux de méhodes Les principes méhodologiques e déonologiques de la démarche relaifs au «managemen poliique e organisaionnel» à l'élaboraion e la conduie du proje d'évaluaion, cadre concepuel dans lequel devra s'inscrire le ravail de rassemblemen des données, leur analyse e leur inerpréaion Les méhodes de recherche en sciences humaines applicables à l'éude e l évaluaion des poliiques publiques à l aide de l'ensemble de la «boie à ouils» du saisicien de l'économise du jurise du sociologue du géographe du poliologue voire du psychologue, psychosociologue, de l'anhropologue, l'hisorien FVA Managemen 11/04/2013 Collecivié Terrioriale de Corse Cadrage de l évaluaion des poliiques publiques 35 Exemples de quesions préalables à l évaluaion A quoi servira l évaluaion? Avan même la mise en place d une démarche d évaluaion ou de choisir des indicaeurs, il convien de réaliser un ravail de clarificaion de l obje e des finaliés de l évaluaion. A qui es-elle desinée? Les aceurs concernés, selon leur rôle, leurs responsabiliés n on pas nécessairemen ous les mêmes aenes à l égard de l évaluaion. Quels son les objecifs? Lesquels reenir? Que souhaie--on évaluer, selon quels crières? Efficacié Efficience Cohérence Perinence Impac Quelle démarche d évaluaion? l évaluaion formaive : aider les aceurs à analyser les changemens inervenus ou souhaiés pour améliorer le processus de piloage sraégique l évaluaion sommaive : mesurer dans quelle mesure les résulas aeins son conformes aux résulas escompés, sans gommer les divergences / conflis évenuels FVA Managemen 11/04/2013 Collecivié Terrioriale de Corse Cadrage de l évaluaion des poliiques publiques 36 Page 18
Proje, manda, cahier des charges Le proje d'évaluaion L'ensemble des réflexions (émergence du besoin, demande, aceurs, ) qui précèden la phase de collece e de raiemen des informaions pour l évaluaion propremen die. Le manda d'évaluaion Documen par lequel le commandiaire confie officiellemen (lere de mission) la responsabilié de l'évaluaion à un évaluaeur (individu ou organisme), ou à une insance d'évaluaion (en la personne de son présiden). Le cahier des charges (aussi nommé CCTP) Parfois employée pour désigner le proje ou le manda. Il vaudrai mieux lui conserver son sens précis de documen servan de base à une relaion conracuelle enre le commandiaire d'une éude spécifique e un opéraeur (conseil, formaion, experise en accompagnemen de la démarche d évaluaion). FVA Managemen 11/04/2013 Collecivié Terrioriale de Corse Cadrage de l évaluaion des poliiques publiques 37 Phase 1 : proje d évaluaion Idenifier les aceurs de l évaluaion Qui demande l évaluaion? Qui décide de l évaluaion? Qui finance l évaluaion? Qui effecue l évaluaion? Qui valide les éapes e les conclusions? Sociogramme des paries prenanes de la poliique Formaliser le référeniel Définir la finalié e les conours de la poliique (programme, acion, disposiif) Préciser la finalié de l évaluaion Déerminer les hypohèses de dépar (arbre des objecifs, héorie d acion) Choisir les normes/crières de référence de l évaluaion Choisir les modes de communicaion auour de l évaluaion Rédiger les quesions évaluaives FVA Managemen 11/04/2013 Collecivié Terrioriale de Corse Cadrage de l évaluaion des poliiques publiques 38 Page 19
Exemple : aide régionale à l apprenissage (THR) Quelle es l efficacié du disposiif THR? Quelles son les inégaliés dans l aribuion de l aide à la mobilié des apprenis, leurs causes e les manières d y remédier? Quelle es la lisibilié dans l uilisaion de l aide apporée par la Région? Quelle es la visibilié de la Région dans l aribuion de l aide apporée auprès des apprenis e du grand public? Quels son les rois scénarii d évoluion envisageables pour remédier aux problèmes idenifiées? Selon quelle démarche e avec quel plan d acion? FVA Managemen 11/04/2013 Collecivié Terrioriale de Corse Cadrage de l évaluaion des poliiques publiques 39 Exemple : Développemen durable e Agenda 21* Le proje erriorial perme-il d approfondir la connaissance en maière de cohésion sociale e de solidariés sur le errioire? Le proje erriorial favorise--il la cohérence des poliiques publiques au service de la cohésion sociale e errioriale? Le proje erriorial vise--il à renforcer le lien social enre les habians? Le proje erriorial inègre--il une sraégie volonarise en erme de lue conre les précariés? La sraégie errioriale inègre--elle une ambiion en ermes de coopéraion enre errioires au service de la cohésion sociale e des solidariés? * D après le référeniel naional d évaluaion des projes errioriaux de développemen durable e Agenda 21 locaux FVA Managemen 11/04/2013 Collecivié Terrioriale de Corse Cadrage de l évaluaion des poliiques publiques 40 Page 20
Exemple : APA à domicile Quelle es l efficacié du disposiif? Quelle es sa perinence pour la poliique de mainien à domicile? Quelle es la conribuion de ce disposiif à l emploi dans ce seceur? Quelle es la cohérence enre les différenes poliiques publiques concomianes (habia, ranspor, emploi, )? FVA Managemen 11/04/2013 Collecivié Terrioriale de Corse Cadrage de l évaluaion des poliiques publiques 41 Phase 2 : collece e raiemen des données Approches quaniaives Indicaeurs de conexe (perinence de l acion) Indicaeurs de moyens physiques e financiers (cohérence e efficience) Indicaeurs de résulas (efficacié) Indicaeurs d impacs (effes) Approches qualiaives Éudes de cas Monographies Enreiens ouvers e semi-direcifs Enquêes de saisfacion Méhode Delphi Approches paricipaives Focus group Conférence cioyens Jury cioyens Aeliers / Workshop Sondages Groupes de discussion, Groupes de parole, d expression FVA Managemen 11/04/2013 Collecivié Terrioriale de Corse Cadrage de l évaluaion des poliiques publiques 42 Page 21
La phase 3 : synhèse e recommandaions Elaborer un jugemen de valeur Sur la base des données recueillies Au regard des quesions évaluaives posées au démarrage (efficacié, perinence, cohérence, efficience, ) Formuler des recommandaions Que fau-il changer, remere en cause? Quel(s) scénarii? Commen conduire les changemens proposés? Diffuser e exploier les résulas de l évaluaion Validaion par les élus e les services Rôle du comié de piloage Public? FVA Managemen 11/04/2013 Collecivié Terrioriale de Corse Cadrage de l évaluaion des poliiques publiques 43 Cadrage de l évaluaion des poliiques publiques Quoi? Pourquoi? Quelles aenes? Quels bénéfices? Elémens hisoriques de l évaluaion des poliiques publiques Les crières d évaluaion de la performance de l acion publique (efficacié, perinence, efficience, cohérence,...) Commen concevoir, suivre e valoriser les reombées de l évaluaion des poliiques publiques? L arbre des objecifs ou la «forê des performances»? L avenir de l évaluaion en France : bilan e perspecives FVA Managemen 11/04/2013 Collecivié Terrioriale de Corse Cadrage de l évaluaion des poliiques publiques 44 Page 22
La performance désigne la réalisaion, le résula Subsanif féminin apparu à la fin du XVe siècle dérivée du erme anglais o perform «réaliser, accomplir», issu de l'ancien français parformer, verbe d acion dérivé de former emprunée à l ancien français parformance, don l usage es aesé en 1571 dans une lere de Marie Suar Depuis le débu du XVIIIe siècle, la performance es synonyme de «accomplissemen, réalisaion, résulas» «l exécuion d'une œuvre liéraire ou arisique», par exension «exécuion en public, représenaion, specacle» «Résulas, acions accomplies par un ahlèe ou une équipe» (La Revue des Spors, 23 déc. 1876) ; employé égalemen pour un cheval de course» (J. des Haras, XXIII, 191 ds BONN., 1839, p. 105); 1872 sing. (PEARSON, Dic. du spor fr. ds PETIOT); [Terme de Turf.] FVA Managemen 11/04/2013 Collecivié Terrioriale de Corse Cadrage de l évaluaion des poliiques publiques 45 Evaluaion e crières de jugemen de la valeur Evaluer c es «mesurer» e «juger la valeur» donc en référence implicie (ou explicie) à des «regisres de valeurs», dans lesquels on peu disinguer différenes «familles de crières» e «indicaeurs» (Bolanski, Théveno, 1995, Chiapello, 1999) indusriel e echnique : volumes, opéraions echniques élémenaires économique e financier : monéaires e financières, concurrence marchande domesique : relaions inerpersonnelles, l empahie, liens de confiance civique : relaions sociales fondées sur la légalié, l égalié, l équié e la jusice communicaion : croyances, opinion publique, nooriéé Innovaion : concepion, créaion, nouveaué e l inroducion de projes innovans proje : la flexibilié, l adapaion, le ravail en réseau A chacun de ces «mondes» ou «regisres de valeur» on peu associer des «produis» (résulas) génériques différens, e donc des crières à prendre en compe pour évaluer (l efficacié, l efficience, ) la poliique publique selon des concepions différenes de la valeur FVA Managemen 11/04/2013 Collecivié Terrioriale de Corse Cadrage de l évaluaion des poliiques publiques 46 Page 23
Exemple d évaluaion d une aide à l apprenissage Enjeux de sociéé ENJEUX DE L APPRENTISSAGE,.FINALITÉ(S)? Poliique d aide aux apprenis (THR) Impacs Effes Réalisaions RÉSULTAT(S) OBJECTIF(S) Facilier la mobilié des apprenis Assurer une égalié (équié) de raiemen Valoriser l acion menée par la Région (visibilié) Evaluaion EFFICACITÉ Figure 9 : Applicaion du modèle de base de la mesure de l efficacié ou «goal model FVA Managemen 11/04/2013 Collecivié Terrioriale de Corse Cadrage de l évaluaion des poliiques publiques 47 Exemple d évaluaion d une aide à l apprenissage Regisres de valeurs Indusriel e echnique Economique e financier Domesique e relaionnel Règles légales e civiques Opinion publique Aceurs Conseil Régional Lisibilié ; Facilié e coû de gesion (sandardisaion e (auomaisaion) Maîrise budgéaire Equilibre financier des CFA Egalié de raiemen Visibilié de l aide régionale Apprenis Caracérisiques des services Accessibilié au service (exisence) Coû de la mobilié vs ype presaion Fréquence de paiemen de l indemnié Liberé de choix de l usage de l aide à la mobilié Auonomie Egalié des drois Visibilié de l apprenissage Aide à la réussie (inserion professionnelle) CFA Compabilié Publique Facilié de gesion (déléguée ou non) Marges de manœuvre en foncion de la aille du CFA Budge global Financemen de la presaion Adéquaion de l usage de l aide à la siuaion locale Vocaion CFA, rôle socio-éducaif Applicaion des règles Sens de l équié Respec des règles (raçabilié) Visibilié de la promoion des cenres d apprenissage (CFA vs. Lycées ou Niveaux 2 e 1) Crières d efficacié Producivié (coû / résula) Compéiivié (qualié / prix) Proximié (individualisaion) Conformié (égalié / équié?) Nooriéé (renommée) Tableau 2 : Crières d efficacié selon les regisres de valeur e le poin de vue des différens aceurs (F. Vermeulen, 2003) FVA Managemen 11/04/2013 Collecivié Terrioriale de Corse Cadrage de l évaluaion des poliiques publiques 48 Page 24
Exemple d évaluaion de (in)saisfacion (EHPAD) Crières Aceurs Bénéficiaire Famille Tuelle Prescripeurs Techniques L obje de soins - / + Paien (Soins de suie, CS) + + Technique Cadre de vie Suivi médical Marchands L agen économique - - /+ + Corrélé aux moyens e en foncion du degré de paricipaion aux dépenses ++ Très sensible au regisre légal (normes, accrédiaion, obligaions légales, ) -/+ Moyens Domesiques Le suje + + Résiden sensible aux relaions - -/+ Senimen de culpabilié -/+ Rappors sociaux Presaaire + + Soignans + + Managemen - - / + + Selon sensibilié Tableau 3 : Crières de saisfacion dans un EPHAD selon les différens aceurs e valeurs ( Vermeulen, 2004) FVA Managemen 11/04/2013 Collecivié Terrioriale de Corse Cadrage de l évaluaion des poliiques publiques 49 Les conflis dans les objecifs de performances? Performance echnique Performance relaionnelle Performance économique Performance d innovaion Performance civique Figure 10 : La fore des performances (Gallouj, F., 2002) FVA Managemen 11/04/2013 Collecivié Terrioriale de Corse Cadrage de l évaluaion des poliiques publiques 50 Page 25
Cadrage de l évaluaion des poliiques publiques Quoi? Pourquoi? Quelles aenes? Quels bénéfices? Quelques repères hisoriques de l évaluaion des poliiques publiques Les crières d évaluaion de la performance de l acion publique (efficacié, perinence, efficience, cohérence,...) Commen concevoir, suivre e valoriser les reombées de l évaluaion des poliiques publiques? L arbre des objecifs ou la «forê des performances»? L avenir de l évaluaion en France : bilan e perspecives FVA Managemen 11/04/2013 Collecivié Terrioriale de Corse Cadrage de l évaluaion des poliiques publiques 51 Bilan de l évaluaion en France Développemen quaniaif (700 évaluaions recensées en 2008 ; 1500 en 2012) e qualiaif des praiques évaluaives en France au niveau naional, régional (CPER) e local (Agenda 21) Professionnalisaion de la commande publique e des évaluaeurs Des praiques voisines, suscepibles de fournir des informaions uiles; mais aussi sources de confusion: l audi inerne / exerne l inspecion générale le conrôle de gesion l audi qualié le benchmarking, noaions Un hème récurren dans le discours poliique sur l (in)souenabilié des finances publiques, créan plus que jamais un clima poreur pour l'évaluaion des poliiques publiques? FVA Managemen 11/04/2013 Collecivié Terrioriale de Corse Cadrage de l évaluaion des poliiques publiques 52 Page 26
Développer une culure de l évaluaion Sade 1 Respec des normes e obligaions réglemenaires / légales Sade 2 Iniiaion, apprenissage (conceps, guides méhodologiques, ouils) Mise en place d un chargé d évaluaion e/ou d une équipe en appui aux services Sade 3 Décenralisaion de l évaluaion dans les uniés de collecivié Elévaion du niveau de conribuion des évaluaions à la concepion, au piloage e au réajusemen des acions publiques de l unié Sade 4 Processus sraégique / programmaion pluriannuelle Piloage sraégique (de la concepion au suivi e à l évaluaion) FVA Managemen 11/04/2013 Collecivié Terrioriale de Corse Cadrage de l évaluaion des poliiques publiques 53 Quels freins / leviers à la réussie d une évaluaion? Mere en place un disposiif / recourir à une démarche d évaluaion implique que les aceurs e uilisaeurs cibles soien sensibilisés à son inérê, car l acion es a priori plus valorisane que l évaluaion de l acion. Les uilisaeurs poeniels pourraien égalemen êre rebués par une démarche avec laquelle ils ne son pas familiers. Enfin, oue évaluaion peu êre comprise, même si ce n es pas le bu, comme une évaluaion des personnes e dès lors suscier des résisances. Afin de surmoner ces freins - pariculièremen prégnans dans le cadre de la mise en place d un sysème de piloage de l acion publique, il es imporan que les indicaeurs soien simples, faciles à uiliser e développés en éroie collaboraion avec les personnes concernées par les acions qu il s agi d évaluer FVA Managemen 11/04/2013 Collecivié Terrioriale de Corse Cadrage de l évaluaion des poliiques publiques 54 Page 27
Des problémaiques persisanes Le déba sur ce qu'es l'évaluaion, e ce qu'elle n'es pas es récurren car le erme peu êre employé de manière rès exensive. Tendance à confondre l'évaluaion e la culure du résula, voire le cule de l indicaeur Il exise des malenendus : on parle d'évaluaion, mais on me en place des mesures qui relèven du conrôle de l'adminisraion, de la gesion de proje, du monioring de programmes, de disposiifs de dialogue de gesion Faire de l'évaluaion un ouil d'éclairage du déba public (décre 1990) : les bénéficiaires son-ils en fai les grands exclus des poliiques publiques? Le défi de la zone d'auonomie de l'évaluaion ou la nécessié de rouver des poins de consensus. Pour les 35 H par exemple, il n'y a jamais eu aucune évaluaion même s'il exise beaucoup de données socioéconomiques. FVA Managemen 11/04/2013 Collecivié Terrioriale de Corse Cadrage de l évaluaion des poliiques publiques 55 Quel avenir pour l évaluaion? Une acivié en quêe d idenié qui hésie enre différens modèles le modèle de la discipline scienifique le modèle de la profession d évaluaeur le modèle insiuionnel le modèle de suppor inerne (echnosrucure, planificaion e conrôle) Une grande diversié de disciplines e de saus une démarche qui favorise la pluridisciplinarié la diversié des parcours des évaluaeurs le développemen des aciviés / rôle d évaluaeur médiaeur Une complexié qui fai aussi l inérê de l évaluaion la muliplicié, diversié des hèmes abordés une idenié hybride mais aracive «L évaluaion représene plus qu un insrumen au service d une gesion publique plus performane. C es une démarche poliique qui permera de renouveler le mode de gouvernance de nore pays si elle es réellemen indépendane, pluralise, ransparene e efficace.» (Rappor Séna, 2004) FVA Managemen 11/04/2013 Collecivié Terrioriale de Corse Cadrage de l évaluaion des poliiques publiques 56 Page 28
Quesions? hp://www.fva-managemen.com hp://www.ecole.org FVA Managemen 11/04/2013 Collecivié Terrioriale de Corse Cadrage de l évaluaion des poliiques publiques 57 Page 29