Commissariat général du Plan Initiation à l évaluation Le projet d évaluation en région

Transcription

1 Commissariat général du Plan Initiation à l évaluation Le projet d évaluation en région Pourquoi évalue-t-on? Deux tendances lourdes ont marqué les politiques régionales et locales au cours des dernières décennies : - la montée en puissance de l action en faveur du développement conduite au niveau régional (régionalisation, avec la décentralisation, la déconcentration, les CPER, la politique régionale communautaire, les divers documents d orientation stratégique, l association des régions à des démarches nationales telles que les schémas des services collectifs, etc.), - la montée en puissance des enjeux territoriaux, la réduction de la visibilité du futur, la difficulté de la prévision et la nécessité de l anticipation, la rareté des ressources, l hyperchoix des solutions stratégiques, Ces deux tendances vont se poursuivre. Elles ont radicalement transformé le contexte de l action publique, en particulier pour le développement. Elles rendent nécessaire l utilisation d outils puissants de connaissance, de préparation et de pilotage des politiques publiques. Il faut en effet faire des choix et, comme de nombreux choix sont possibles et que les ressources sont rares, il faut savoir sir les choix opérés sont bons et quels devront être les choix futurs. Ces grandes évolutions nous obligent à examiner les politiques publiques par leurs résultats. Or, les outils dont nous disposions jusqu à présent avaient été conçus pour répondre à des besoins d une autre nature : nos actions et dispositifs étaient-ils conformes à nos règles et fonctionnaient-ils correctement, etc.? Le contrôle et l audit ne savent pas répondre à la question de l efficacité des politiques publiques : l évaluation a été conçue et se développe pour cela. Il y a quatre raisons possibles à l évaluation : - rendre compte et nourrir le débat public, - accroître les connaissances, - résoudre des problèmes, - aider à la décision. C est en fait la quatrième raison qui est la principale (ce qui n exclut pas les trois autres, qui y sont souvent associées) : on évalue pour en savoir plus sur les actions qu on conduit, en les analysant du point de vue de leurs résultats, effets et impacts, afin de les améliorer. Le but final de l évaluation est d améliorer les politiques publiques et/ou leur mise en œuvre : c est une aide au pilotage stratégique. C est une aide à la gestion, à la décision. Quand évalue-t-on? Avant le programme, pour le préparer : évaluation ex-ante Pendant la mise en œuvre du programme, pour le piloter : chemin faisant, Après le programme, pour en mesurer les résultats : ex post. En fait, les évaluations sont toujours un cocktail des trois catégories : les politiques publiques ont une certaine continuité et, si les programmes ont un début et une fin, ils s articulent les

2 uns aux autres de telle sorte qu une évaluation ex ante est toujours en même temps l ex-post du programme précédent L évaluation peut prendre plusieurs formes La mise en œuvre de l évaluation peut prendre plusieurs formes. Elle peut : - être totalement déléguée à un expert évaluateur, extérieur au maître d ouvrage de la politique évaluée, - à l opposé, être réalisée par ce dernier, seul et sans intervention extérieure, - associer, toujours sans expert extérieur, divers acteurs concernés par la politique évaluée, - être réalisée en associant au maître d ouvrage de la politique évaluée un chargé d évaluation extérieur et d autres acteurs, particulièrement ceux qui sont concernés par la politique évaluée. Une forme dominante dans le cas des CPER Dans le cadre des CPER, l évaluation prend presque toujours une forme mixte et partenariale : - mixte, parce qu elle associe le maître d ouvrage de la politique évaluée, les acteurs concernés par cette dernière, et un évaluateur extérieur, - partenariale, parce qu elle mobilise ces acteurs dans le cadre d une instance technique d évaluation qui joue le rôle d un comité de pilotage, dont les membres dialoguent entre eux, d une part, et avec le chargé d évaluation d autre part. Le caractère partenarial des évaluations des CPER découle directement des contrats eux-mêmes, qui sont des contrats entre partenaires. Les programmes des Fonds structurels communautaires ont la même caractéristique et leur évaluation aussi. Le caractère partenarial des CPER est fondamental. Il est déterminant pour l évaluation. Les raisons de ce caractère tiennent à l origine même de la démarche d évaluation. Faire de l utilité la norme de qualité de l évaluation On va donc concevoir et organiser l évaluation de telle sorte qu elle permette effectivement aux décideurs de faire progresser leurs politiques, c est à dire qu elle leur soit utile. C est donc, compte tenu de la finalité de l évaluation, son utilité qui permettra d apprécier sa qualité. Il faudra pour cela : - que l évaluation produise des analyses, des conclusions et recommandations pertinentes et opérationnelles, - que les acteurs concernés soient convaincus de leur validité et de l intérêt qu il y a à les mettre en œuvre. Qualité/utilité, qualité méthodologique et qualité pédagogique Mais, si l utilité est la qualité finale de l évaluation, il faut que l analyse de la politique évaluée, les conclusions qui en sont tirées et les recommandations qui en découlent soient d une aussi grande qualité méthodologique que possible. Une évaluation de qualité devra donc être : - techniquement bonne, - pédagogiquement efficace. Une évaluation est donc un processus de bonne qualité méthodologique qui doit convaincre les acteurs concernés que des améliorations sont possibles et souhaitables. 2

3 Les voies de l utilité Il y a plusieurs voies possibles à l utilité : - la voie «descendante» : les commanditaires de l évaluation examinent ou font examiner les travaux qui leur ont été remis, afin d en déduire les évolutions souhaitables et de prendre les décisions nécessaires ; cette voie n est pas la plus courante - la voie «ascendante» : les acteurs en charge des politiques évaluées participent au processus d évaluation, ils connaissent et peuvent partager l analyse et les conclusions du chargé d évaluation, ils contribuent à la formulation des recommandations. Ils peuvent ainsi s approprier la «lecture critique» de la politique évaluée, en découvrir les points forts et les points faibles ainsi que les voies d amélioration. S ils sont en charge des décisions ou de leur préparation, ils peuvent intégrer de manière naturelle les acquis de l évaluation à l exercice de leurs fonctions. L expérience montre que c est principalement par cette seconde voie que les évaluations ont le plus d effets sur les politiques évaluées : c est l effet d apprentissage du processus d évaluation lui-même, par l intermédiaire du fonctionnement des instances partenariales, qui contribue fortement à l utilité. C est ainsi que le principe de l évaluation mixte et partenariale (susciter la réflexion et le dialogue entre les acteurs d une politique en faisant intervenir un regard extérieur, de sorte à créer un effet d apprentissage), est une composante majeure de la qualité/utilité de l évaluation dans le cadre de politiques partenariales telles que les CPER. L idéal et la réalité Mais ce lien n est pas automatique. Il existe un idéal de l évaluation, dans lequel les responsables sont convaincus du bien-fondé et de la nécessité de l évaluation, qu ils anticipent parfaitement pour l intégrer à leurs décisions Mais il existe surtout une réalité dans laquelle l évaluation n est mise en œuvre que parce qu elle est obligatoire, où les acteurs se sentent jugés et contrôlés, où les résistances sont fortes et persistantes. Cette réalité est très présente. Mais la réponse est la même : c est l association sincère des responsables des politiques évaluées au projet d évaluation qui peut les intéresser à la démarche, transformer leur crainte d être jugés en projet d amélioration : l évaluation devient alors un pari raisonné. De plus, ce lien n est pas le seul déterminant de la qualité. Il ne suffit pas d animer correctement des instances partenariales pour parvenir à la qualité. C est l ensemble du processus d évaluation qui doit être organisé et piloté dans la perspective de la qualité et de l utilité de l évaluation. L évaluation est un processus On peut le décomposer en quatre parties : - la commande : formulation du projet d évaluation (quelle politique évaluer, pour quelle(s) raison(s), résultats attendus de l évaluation, etc.) ; cette partie s achève par la rédaction du cahier des charges, la constitution et la mise en place de l instance technique d évaluation et le choix d un chargé d évaluation ; - le pilotage : c est la phase active proprement dite, au cours de laquelle le chargé d évaluation travaille, exploite de nombreux documents, rencontre les commanditaires, les acteurs et les bénéficiaires des politiques évaluées, rencontre l instance et dialogue avec elle (elle a validé la commande et le cahier des charges, elle doit étudier et valider les travaux du chargé de l évaluation), le tout sous la conduite du chef de projet ; 3

4 - le rapport : c est le document final de l évaluation, produit par le chargé de l évaluation et validé par l instance, - les suites : ce sont les actes qui interviendront après l évaluation, qu ils découlent ou non, directement ou non, des travaux d évaluation eux-mêmes. La qualité est globale Chaque composante du processus d évaluation est importante pour la réussite de l ensemble de l évaluation. La formation doit permettre aux responsables de la fonction évaluation des préfectures de région et des Conseils régionaux de maîtriser chacune de ces étapes. - La commande doit être complète et claire (choix de la politique évaluée, sa description, les attentes de l évaluation, son champ et ses objectifs, les questions posées, les indications méthodologiques, etc.), afin que les attentes des commanditaires soient bien prises en compte, que les partenaires qui composent l instance aient une vision commune du projet, que les candidats à l évaluation puissent faire des propositions de qualité, etc. Des faiblesses dans la commande peuvent induire des difficultés dans le déroulement (malentendus entre les membres de l instance, incompréhensions avec l évaluateur, etc., qui handicapent le pilotage du processus), dans la production (rapports insuffisants, attentes non satisfaites, etc.) de l évaluation. - Le pilotage, qui doit conduire à ce que chaque composante de l instance, apporte le meilleur d elle-même, doit être ferme et ouvert, autant pour assurer que la commande sera effectivement et complètement prise en compte que pour permettre l intégration des éléments qui apparaissent au cours du processus. C est également une phase cruciale pour la qualité de l évaluation, notamment parce que c est en grande partie d elle que dépend l appropriation des connaissances par les membres de l instance ; - Les rapports, qui doivent répondre aux questions posées de manière rigoureuse, transparente et impartiale et qui doivent, tout en respectant le principe d indépendance de l évaluation, prendre en compte le dialogue avec les acteurs de la politique évaluée et l instance d évaluation, etc. - Les suites, qui doivent être déduites clairement de l évaluation, tant en ce qui concerne les amélioration à apporter que les acteurs qui doivent le faire, et dont on sait que leur mise en œuvre dépendra en grande partie de la qualité de l ensemble du processus partenarial. L expérience montre que les «bonnes évaluations» découlent toujours d une bonne qualité d ensemble du processus, et que les moins bonnes évaluations auraient souvent été meilleures si la commande, le pilotage et les chargés d évaluation avaient été meilleurs Les acteurs Le processus d évaluation mobilise des acteurs différents : - les commanditaires de l évaluation, qui sont en général les commanditaires des politiques évaluées. Dans le cadre des CPER, ce sont l Etat et la Région, qui co-président le Comité régional de l évaluation et qui passent les commandes ; - le maître d ouvrage de l évaluation, qui désigne le ou la chef de projet, chargé du pilotage de l ensemble du processus ; le partenariat Etat-Région est actif à ce niveau, même si les rôles sont répartis ; - les partenaires de la politique évaluée, qui sont associés à l évaluation en tant que membres de l instance technique, - le chargé d évaluation, qui est le plus souvent un intervenant extérieur, et qui réalise les études et les travaux d évaluation. 4

5 Conclusion : le processus d évaluation est une démarche de projet : l initiation à l évaluation mise en œuvre par le Commissariat général du Plan vise l acquisition des compétences nécessaires à la conception et la mise en œuvre de ce projet. 5