SEVALPRO DEMARCHE DE SUIVI ET AUTO EVALUATION AU SERVICE DU PILOTAGE DES POLITIQUES PUBLIQUES Introduction Dans un contexte économique mondial tendu, les budgets publics sont de plus en plus serrés et l attente des citoyens de leurs services publics s accroît. Optimiser les pratiques de gestion dans leur rapport coût / résultat est reconnu comme un enjeu majeur pour les organisations publiques au niveau des états et des collectivités locales. Des outils existent pour mesurer et améliorer l efficacité et la performance de l action publique : évaluation, contrôle de gestion, tableaux de bord de gestion et autres outils de pilotage et de management se mettent en place progressivement dans leur usage et concourent à cet objectif. Au même titre que la qualité, la performance d un service rendu, et qui plus est un service public, n est pas une donnée mesurable simplement mais une donnée complexe qui se mesure par une analyse d un ensemble de données qui interagissent entre elles. Quelle que soit la complexité de cette mesure, les évaluations menées depuis plusieurs années et qui se développent sous l impulsion de la communauté européenne mettent en évidence la difficulté persistante du recueil d une information utile et fiable. Ce sujet du recueil de l information est au cœur des travaux présentés ici, résultats d une collaboration entre une société d édition de logiciels informatiques, MGDIS et le laboratoire de recherche en Economie de l Université de Rennes 1, au travers du concours scientifique de professeur Maurice Baslé. Ces travaux visent à formaliser une bibliothèque d outils de méthodes cohérents et structurants permettant aux acteurs de l évaluation, du contrôle, de la gestion et du pilotage de l action publique (élus et décideurs) de mieux se comprendre, de mieux travailler ensemble et de s inscrire dans un processus d amélioration continue de la performance de leurs missions. Les premiers résultats de ces travaux ont été présentés et expérimentés en collaboration avec des collectivités territoriales pilotes pour aboutir à la structuration d une démarche type de mise en œuvre du suivi-évaluation dans une organisation publique. Nous proposons dans cette publication un regard sur ces travaux : - les conditions de production : une coopération étroite entre une entreprise, une Université et des collectivités territoriales, - la méthode et les outils de suivi-évaluation, - les apports de la démarche de suivi-évaluation Sevalpro. Page 1 sur 16 Edition du 14/05/2008
Conditions de production : une coopération étroite entre une entreprise, une Université et des collectivités territoriales L élaboration de la démarche Sevalpro de suivi-évaluation s est faite par étape dans un processus d amélioration continue intégrant : - des temps de réflexion et de prototype, - des temps d expérimentation et de confrontation avec la réalité des missions des services des collectivités pilotes - des temps de validation des outils et méthodes proposés et de bilan Chaque bilan est un point de départ d un nouveau cycle de progression mais aussi le constat du progrès accompli. Ainsi, la démarche collaborative engagée est allée au-delà de l objectif initial qui était de concevoir des outils informatiques facilitant le recueil au fil de l eau des données utiles aux évaluations. Elle a en plus révélé le besoin et permis de proposer des outils et des méthodes permettant d améliorer l organisation et le management en s appuyant sur le suivi-évaluation et l auto-évaluation au service de l évaluation et de l amélioration de la performance. Recherche sur les besoins de l évaluation des politiques publiques et des programmes des collectivités territoriales Pour progresser dans une phase de réflexion sur les besoins d outillage au service des évaluations, la société MGDIS a signé en 2003, un contrat de licence de savoir faire avec l Université de Rennes 1 (UMR CREM CNRS). L intérêt était de mettre en relation les travaux de recherche de l Université en matière d évaluation, et l expertise de la société MGDIS dans sa connaissance des collectivités locales et de leurs systèmes d information. L expérience et le savoir faire du professeur Maurice Baslé dans le domaine ont permis, d établir un état des lieux des démarches existantes avec leurs forces et leurs faiblesses afin d identifier les pistes de progrès et les bonnes pratiques à promouvoir et à mettre en oeuvre. Au delà du contenu des questions évaluatives, et des objets de l évaluation, un point commun a pu être relevé dans l ensemble des besoins ; tout le monde veut des tableaux de bord et des indicateurs. Ensuite, il apparaît que la plupart du temps, la réponse à ces besoins se fait par l utilisation de données peu appropriées (statistiques INSEE, données de contexte, indicateurs existants ). A l évidence, les statistiques pures contribuent à la production et à l analyse de certains indicateurs ou à l identification de cibles à atteindre mais elles sont trop éloignées du sujet du suivi-évaluation pour en être le point d entrée. En effet, l évaluation n a de sens que si elle est nourrie par une information de proximité, porteuse de sens pour les acteurs concernés, pertinente et de qualité, si elle apporte une photographie fiable d un programme ou d une politique publique à un moment donné. Elle doit savoir retracer les réalisations physiques et financières, puis suivre au plus près les résultats qui sont imputables au programme. Les effets de contexte et de système sont à mobiliser pour les besoins d estimation d impact et d utilité socio-économique du programme à moyen terme, mais auparavant, on doit cadrer les indicateurs de résultat en partant du suivi des réalisations. On a constaté la prégnance des discussions sur l aspect indicateur, dénominateur commun entre l évaluation et les outils informatiques de pilotage. Lors de nombreuses approches Page 2 sur 16 Edition du 14/05/2008
évaluatives, cet aspect indicateur s est trop souvent traduit par la mise en place «d usines a gaz», contenant un ensemble complet et complexe d informations, rarement bien renseignées et difficilement interprétables sans un effort important de retraitement ou de collecte manuelle complémentaire. Conscients de ce risque, la société MGDIS et l Université de Rennes 1 se sont donc efforcées, dans l élaboration de la démarche, à créer au plus près des réalisations l information du suivi en se demandant «qui renseignerait au mieux» ce suivi. Une difficulté liée à la variété des requêtes évaluatives a pu être surmontée. Le logiciel constitue une trame adaptable à la variété des besoins de suivi, de mesure de l efficacité. Chaque évaluation reste unique dans les questions qu elle traite, les informations qu elle utilise (indicateurs), et l analyse qui en est faite. La question de la temporalité a été aussi posée, compte tenu de son importance dans un processus évaluatif (évaluation ex ante, in itinere, ex post). Pour que l information soit fiable et utilisable dans la durée, il a été validé qu elle doit être renseignée en continue, pour être analysée (et éventuellement ajustée) au fil de l eau. Cette prérogative répond donc précisément aux besoins de pilotage de l action publique, pilotage basé sur les résultats obtenus par l action publique. Ainsi, la phase de réflexion s est concentrée sur la manière d obtenir des indicateurs d évaluation pertinents, contenant une information fiable et de qualité, renseignée au fil de l eau. Ajoutons que l inspiration du besoin logiciel associé à la démarche de suivi-évaluation provient des tableaux de bord dits d évaluation légère des CPER développés par Maurice Baslé et Franck Pelé en région Bretagne (1994-2004), des pratiques de «monitoring» de la Commission Européenne, et des réflexions sur les outils d évaluation développées dans le guide MEANS 1999 de la Commission Européenne ainsi que des travaux sur missions réelles menés par les différentes générations d étudiants du Master 2 Evaluation et Analyse Financière pour les Collectivités Locales de l Université de Rennes 1. Expérimentation de la démarche au sein des collectivités partenaires Pour confronter la théorie avec la pratique, deux groupes de réflexion et d auto formation ont été créés et animés par deux stagiaires (Chrystel Matrion et Jean-Baptiste Urien placés sous la direction de Maurice Baslé et Frank Mosser). Le premier groupe regroupait trois Conseils Généraux, le second trois Conseils Régionaux. Le processus d expérimentation s est déroulé en trois phases : - formation des acteurs des collectivités - expérimentation par les stagiaires sur un axe déterminé - échange en continu entre la théorie et la pratique. Les groupes de départements et régions, outre l aspect formation, ont constitué un lieu d échange sur la diffusion de l évaluation, la culture de l organisation au sein d une collectivité, la culture du résultat, la culture de la stratégie politique, la recherche d indicateurs pour le pilotage et la performance. Il est apparu un fort besoin de mise en cohérence au sein de l organisation de la définition de la stratégie politique avec la définition des activités des services, et de construction d un système d information partagé. L expérience des acteurs des collectivités, et les expérimentations menées en leur sein (démarche de performance du Conseil Régional de Bretagne, démarche de performance Page 3 sur 16 Edition du 14/05/2008
«Oxygène» du Conseil Général du Morbihan, mise en place de l agenda 21 du Conseil Général du Finistère ) ont permis d appuyer la réflexion sur des exemples concrets. Par exemple, sur le thème des indicateurs, le terme générique d «indicateur de performance» a été l objet d un débat et a été écarté au profit d une identification plus précise de trois niveaux d indicateurs à bien distinguer : «indicateur de réalisation», «indicateur de résultat» et «indicateur d impact». Cette distinction claire permet de les positionner aux différents niveaux d analyse opérationnelle et stratégique pour une remontée d information au niveau politique, des directions et des services. Lors de la phase d expérimentation de la démarche, les stagiaires ont été chargés de se déplacer au sein des collectivités pour mettre en place le processus sur les politiques culturelles et habitat, respectivement dans les régions et les départements. Cette phase permettait de confronter la théorie du suivi-évaluation avec les aspects pratiques de mise en œuvre : établir les objectifs politiques, mobiliser les acteurs, identifier et renseigner les indicateurs, faire partager la culture du suivi-évaluation, L expérimentation de la méthodologie a pu être menée durant cinq mois au travers des groupes et au sein des collectivités, et a permis de préciser le contenu de la démarche type de suivi-évaluation Sevalpro. Dans le souci de maintenir une cohérence entre la théorie et la pratique, Maurice Baslé a pu apporter son regard critique sur l expérimentation pour qu elle ne trahisse pas les principes fondamentaux de l évaluation : pluralité, distanciation, compétence, respect des personnes, transparence, opportunité et responsabilité. L inscription de ces principes dans la pratique a permis d élaborer une démarche pragmatique, participative et transparente, où le rôle de chacun prend toute son importance (tant les décideurs que les opérationnels ou les partenaires), tout en respectant le niveau de responsabilité des différents acteurs de la collectivité. Parallèlement à l avancement de la démarche, la structuration de l outil informatique s est faite en étroite relation avec le processus de suivi-évaluation pour que le rendu informatique soit fidèle au contenu de la démarche. L objectif étant de formaliser un outil de pilotage qui prenne en compte les indicateurs relatifs aux ressources de la collectivité et aux résultats qu elles produisent ; et d obtenir des informations sur les objectifs politiques, qui puisse remonter au niveau des décideurs. Cette expérimentation s est achevée par une validation de la démarche type de suiviévaluation avec les collectivités territoriales et par la réalisation d un premier prototype d outil informatique de pilotage des indicateurs de suivi-évaluation des politiques publiques. Structuration de la démarche type La démarche type de suivi-évaluation Sevalpro sort du cadre de la stricte théorie de l évaluation et du suivi-évaluation. Certaines collectivités y trouvent «un guide de bonne conduite des politiques publiques». Au delà de l aspect outil d évaluation, elle reprend des principes simples de conduite de l action publique, pour placer l information au bon niveau. La méthodologie peut se décliner en trois grandes phases, qui correspondent à la mise en place des outils utilisés par la démarche de suivi-évaluation : 1 - prise en compte de la vision politique : rencontre avec les décideurs Après avoir déterminé un angle d approche pour une politique précise, il faut prendre en compte l existant, faire un état des lieux du contexte, de la problématique dans laquelle se trouve le territoire. On peut alors s intéresser à la vision politique, le sens d évolution et de progrès donné par l élu pour la collectivité. Page 4 sur 16 Edition du 14/05/2008
Il est important dès cette phase de bien expliciter ce que l on souhaite obtenir à terme, d une part pour mobiliser les acteurs de la politique autour d objectifs partagés, d autre part pour que chacun puisse se situer dans la stratégie globale en ayant ses propres missions ; et enfin pour pouvoir mesurer le degré d atteinte des objectifs. 2 - prise en compte des acteurs de la politique : identification des acteurs Prendre en compte les acteurs de la politique ne signifie pas nécessairement implication politique des acteurs ou démocratie participative. Il s agit d identifier l ensemble des intervenants, directs et/ou indirects d une politique pour pouvoir les informer des objectifs fixés par les élus, s appuyer sur la contribution de l existant et l expérience des acteurs de terrain (agents opérationnels, mais aussi associations, entreprises, collectivités, ), et simplifier le recueil des informations utiles au suivi et au pilotage de la politique publique. Les personnes de terrain sont souvent une source d information importante de part leur expérience, d autre part, elles disposent d informations statistiques pouvant être utilisées lors du renseignement des indicateurs. 3 - prise en compte de l utilisation des ressources et des résultats obtenus par l action publique : rencontre avec les services opérationnels Il est important de prendre en compte les ressources de la collectivité, de manière à identifier les éléments contribuant à l atteinte des objectifs et à optimiser l utilisation de ces ressources. De même, il est important de différencier l utilisation des ressources qui correspondent à un objectif politique, de l utilisation «historique» des ressources, pour pouvoir affecter les bonnes ressources au bon endroit en fonction de ses priorités. Ce qui demeure important dans la démarche type de suivi-évaluation, c est certes le renseignement mais aussi la réflexion au sein de la collectivité. Il faut pouvoir identifier l information et la situer au bon niveau pour l analyse. Situer l information au bon niveau permet de piloter plus facilement la politique, par les objectifs politiques et en prenant en compte l utilisation des ressources de manière à pouvoir optimiser leur usage. En ce sens, l utilisation des outils permet de prendre le recul nécessaire à la formalisation des informations et à l identification du niveau auquel elles doivent remonter. Illustration de la démarche collaborative mise en œuvre Page 5 sur 16 Edition du 14/05/2008
La Méthode et les outils de suivi-évaluation La mise en place de la démarche de suivi-évaluation se fait au travers d une méthodologie innovante dans sa mise en œuvre, et au travers d outils types de suivi («monitoring» de type Commission Européenne) et d évaluation. Des outils méthodologiques La méthodologie proposée est innovante par la sélection et la construction d outils qui interagissent entre eux pour permettre d organiser les informations et fédérer les acteurs en vue du pilotage des politiques et des programmes engagés. L Arbre des Objectifs Les informations qu il recueil partent du contexte dans lequel se situe le territoire et se traduisent en une représentation hiérarchique des objectifs politiques de la collectivité en réponse à ce contexte. D un point de vue méthodologique, l Arbre des Objectifs se décline en trois niveaux d objectifs concentrant au plus haut niveau, les objectifs stratégiques qui sont définis par les élus, puis les objectifs intermédiaires, définis par les directeurs, et enfin les objectifs opérationnels, définis par les services opérationnels. Chaque niveau d objectif répondant à un ou plusieurs objectifs du niveau supérieur. L expérimentation a mis en évidence le fait que selon le niveau d analyse souhaité, il est possible de décliner un arbre en arbres de niveau inférieur. Elle a surtout permis de valider que pour permettre un travail efficace des acteurs il est fortement recommandé de limiter le nombre de niveaux hiérarchiques pour un arbre donné à 2 ou 3 niveaux par politique ou programme. L élément important de l Arbre des Objectifs est de questionner le projet politique, pour être en mesure de l identifier clairement, et surtout de définir les missions confiées aux différents niveaux de l administration de la collectivité. Illustration de l arbre des objectifs Page 6 sur 16 Edition du 14/05/2008
Le Cluster des compétences Strasbourg 2008 Il est utilisé pour identifier les acteurs participants à la politique. Sur le thème politique choisi, le travail consiste à s interroger sur qui intervient et quels sont les liens entre les acteurs. Le fait de poser la liste des acteurs permet de les identifier pour les fédérer autour de projets communs en validant les acteurs clés de la réussite des projets et la capacité de chacun à nourrir le système d information par la saisie de données de base utilisée dans la mesure des indicateurs de suivi-évaluation. L implication des acteurs étant le premier facteur de succès (ou d échec) de toute démarche visant à améliorer la performance d une organisation, le travail sur le cluster des acteurs à mobiliser pose inévitablement des questions de gestion de ressource humaine et de management. Les réflexions et expérimentations engagées mettent en évidence la nécessité de placer le management stratégique, le management basé sur les activités et de la gestion d équipe par projet au cœur du suivi-évaluation. Illustration du cluster des compétences Le Diagramme Logique d Impact Le diagramme logique d impact décrit la théorie de l action et restitue son déroulement. Dans la démarche de suivi-évaluation, il est l outil qui permet d identifier l ensemble des activités et ressources utilisées, les résultats qu elles induisent, et d associer les indicateurs de suivi au bon niveau d information. Il prend sa source dans l Arbre des Objectifs et doit être en correspondance avec lui à tout niveau. Il se décline en plans d actions (intentions des services) réalisations (ressources à mettre en œuvre) résultats (effets directs / de court terme) impacts (effets indirects / de long terme). Au niveau des réalisations, résultats et impacts, seront fixés les indicateurs de suivi, auxquels seront associés des cibles définies au regard de la stratégie politique. La collectivité constitue ainsi son système d indicateurs de suivi des ressources et résultats de court et long terme. Les indicateurs sont définis par les services, puis validés par les décideurs. La construction et le renseignement de ces outils se font de manière «métier» (suivi de gestion), experte (quand c est difficile), participative, pragmatique et transparente. Chaque Page 7 sur 16 Edition du 14/05/2008
niveau de responsabilité doit prendre connaissance des informations des autres niveaux, et valider conjointement l articulation entre ces informations. Illustration du diagramme logique d impact Les indicateurs de suivi et auto-évaluation La définition du Diagramme Logique d Impact est accompagnée de la définition des indicateurs de pilotage des plans d actions avec les indicateurs de réalisations, les indicateurs de résultat et les indicateurs d impact. Cette étape permet de boucler la démarche sur la mise en place des moyens de pilotage. Chaque indicateur est associé à une cible, des alertes et une périodicité de mesure et de suivi (annuelle, semestrielle, trimestrielle ). Le temps est un élément fondamental de la démarche en ce sens qu il rythme les mesures, les analyses d alertes et les ajustements éventuels. Il accompagne la démarche dans sa montée en puissance et sa mise en perspective. Illustration de la définition des indicateurs Page 8 sur 16 Edition du 14/05/2008
L expérience montre que le pilotage sera d autant plus performant et utile que le nombre d indicateurs au démarrage sera maîtrisé en quantité et qualité d information associée et que les cibles définies seront atteignables. Toute démarche engagée avec un nombre trop important d indicateurs à mesurer, une capacité de mesure de la qualité des données incertaine et des cibles trop ambitieuses à atteindre est vouée à un échec annoncé par rejet ou démission des acteurs (sans saisie des informations ou, au pire, avec une saisie d informations de mauvaise qualité). Le cluster des compétences et les acteurs clés doivent être mobilisés dans la définition des indicateurs et de leurs cibles et ils doivent les valider formellement. En phase de lancement, on précisera d ailleurs que ce n est pas tant l atteinte de la cible qui est importante mais la cohérence de la démarche engagée et la cohésion des acteurs vers des objectifs partagés. Ne pas être dans la cible la première année ne constitue pas nécessairement un danger et permet bien souvent d ajuster la valeur à atteindre en se basant sur une réalité objective. Le pilotage est ainsi facilité par une information renseignée en continue, et par des signaux d alerte correspondant au degré d atteinte des cibles. On retrouve à ce niveau, le besoin d outils informatiques de pilotage et de partage d informations facilitant la mise en œuvre de la démarche de performance au travers du suivi-évaluation. Des outils informatiques L élaboration de la démarche type de suivi-évaluation Sevalpro a donné lieu en parallèle à la construction d outils informatiques : le logiciel de pilotage Sofi-Sevalpro, et le didacticiel Sevalpro. - le didacticiel est un logiciel d auto-formation qui permet à son utilisateur d acquérir des connaissances et des compétences par le biais d aides sur des points clés du suiviévaluation. Sa structuration donne lieu à un découpage de la démarche en 12 étapes clés pour mettre en œuvre le suivi-évaluation. Chaque étape fait l objet d une fiche synthétique sous forme de cours, à laquelle sont associés des exercices. L utilisateur a la possibilité de progresser à son rythme et en fonction de son niveau d acquisition des compétences. Il peut à tout moment tester ses acquis par les exercices, et étayer sa réflexion par des exemples concrets. Une bibliographie et un glossaire complètent l outil ; le glossaire servant de référence à la compréhension et l utilisation du vocabulaire spécifique à l évaluation. Le didacticiel est un outil de diffusion de connaissance sur l évaluation et le suivi-évaluation au sein des collectivités. Il permet d initier rapidement de nombreux acteurs aux notions et concepts et de familiariser la collectivité à la démarche. La collectivité dispose ainsi d un langage et d une culture commune de l organisation qui facilitera la mise en place des outils de pilotage. - le logiciel Sofi-Sevalpro est un outil de pilotage des indicateurs de suivi-évaluation des politiques et des programmes publics. Il peut être déployé après la mise en place de la démarche de suivi-évaluation. Il permet une remontée synthétique des indicateurs au niveau des objectifs de la collectivité, pour pouvoir piloter la politique en temps réel. Le logiciel permet par paramétrage de renseigner les informations correspondant aux Arbres des Objectifs, aux Diagrammes Logiques d Impacts, et aux indicateurs associés. Le renseignement des indicateurs se fait directement par les services, les écarts par rapport aux cibles permettent d identifier les éléments à analyser en vue d améliorer la politique ou le programme. Page 9 sur 16 Edition du 14/05/2008
Il permet de suivre les indicateurs avec leurs cibles et les alertes associées sous forme de graphes, courbes, cockpits ou tableaux de bord associés aux différents niveaux de pilotage stratégiques et opérationnels retenus par la collectivité. Illustration du pilotage Sofi-Sevalpro Les apports de la démarche de suivi-évaluation La mise en place de la démarche de suivi-évaluation Sevalpro permet d enrichir le système d information de la collectivité par la mise en place de méthodes de travail et d outils partagés. Dans son esprit, c est avant tout une démarche participative. Le pilotage associé est basé sur des indicateurs qui facilitent la lisibilité de la politique et des programmes et prend en compte les résultats obtenus sur le court et long terme. En permettant de mieux impliquer les acteurs au fil de l eau, le suivi-évaluation et l autoévaluation complètent les évaluations externes, en aidant à mieux en comprendre l utilité et les pratiques. Ils contribuent également à préciser les sujets à évaluer et à fournir des informations utiles aux évaluations. Des apports directs vont pouvoir être observés à différents niveaux dont : - le pilotage des politiques - la mobilisation des acteurs - l évolution des pratiques de gestion - la mesure de l amélioration de la performance - les outils informatiques Page 10 sur 16 Edition du 14/05/2008
Les apports au niveau du pilotage des politiques En complément des outils existants de pilotage de gestion interne et des évaluations externes, le suivi évaluation et la démarche de mise en œuvre Sevalpro s appuient sur un dialogue entre la stratégie politique et la gestion opérationnelle. Au service des élus, les équipes opérationnelles s enrichissent de la validation de la mise en cohérence de leurs actions avec le projet politique et le suivi-évaluation les aide à mieux remonter l information aux élus pour le pilotage de leurs politiques en termes notamment : - d utilité de l information validée au regard d objectifs opérationnels cohérent avec les objectifs stratégiques, - de qualité et sécurité d usage pour l élu d une information mieux comprise, mieux renseignée et plus fiable, - de disponibilité d accès à une information mieux maîtrisée et donc plus facile à transmettre ou à mettre à disposition en fonction des besoins des élus. La mise en œuvre d une démarche de suivi-évaluation est l occasion de remettre en cohérence les contraintes de temps avec le rythme de la vie politique et les délais nécessaires à la mesure des effets d une action engagée. Les rythmes des projets et des mandats électoraux ne sont pas les mêmes et l on s attachera dans la démarche à le poser et à en tenir compte. Le pilotage des politiques va être enrichi par les questions posées et les réponses apportées sur l identification des informations, tant en termes de contenu (qualitatif et quantitatif) qu en termes de support (rapport papier, numérique ) pour mesurer le niveau d atteinte des objectifs opérationnels et stratégiques fixés. Nota : il est bien entendu ici que les indicateurs de pilotage des politiques remontent des réalisations, résultats et impacts identifiés et ne sont surtout pas définis directement sur les objectifs stratégiques et opérationnels en prenant un risque majeur d échec lié à l absence de la déclinaison en plan d actions, La travail de réflexion nécessaire à la définition d indicateurs pertinents et les contraintes temporelles liées aux rythmes électoraux, aux rythmes des projets et aux rythmes humains d apprentissage de nouveaux modes de gestion, amènent à réduire la quantité d information à traiter et à privilégier la qualité. Cette orientation vers une meilleure qualité facilitera le pilotage et la lisibilité de l action publique avec des effets bénéfiques sur la mobilisation des acteurs. Les apports au niveau de la mobilisation des acteurs Le dialogue induit par la démarche de suivi-évaluation est porteur de partage de sens (le sens du projet politique), d une meilleure compréhension des enjeux et des contraintes de chaque acteur à son niveau. La démarche s appuie sur deux aspects importants du management : - le management stratégique qui repose sur la mobilisation des ressources humaines autour d objectifs stratégiques connus et partagés Page 11 sur 16 Edition du 14/05/2008
- le management basé sur les activités qui amène à clarifier les rôles et responsabilités des acteurs dans des modes de gestion par projet. Ici encore, il convient de bien clarifier les limites de la démarche proposée. La mise en œuvre d une démarche de suivi-évaluation n a pas vocation à remplacer un bilan de son mode de management et n est pas une formation des cadres à de nouveaux modes de pilotage de leurs équipes. Par contre, elle est en cohérence avec les méthodes de management participatif et peut aider à initier une démarche d évolution vers ce type de management ou en être le complément pratique. Le suivi-évaluation et l auto-évaluation reposent sur le travail en équipe et aident à structurer les échanges autour de productions concrètes et partagées. Les expérimentations ont montré un point commun à toutes les collectivités : la richesse et la qualité du travail en groupe et la production avec des outils structurés et partagés comme l arbre des objectifs, le cluster des acteurs et des compétences, ou le diagramme logique d impact. Dans tous les cas, la démarche a été vecteur de cohésion et de mobilisation des personnes impliquées. Quand on connaît les craintes ou les freins humains que peuvent rencontrer des missions pourtant indispensables d évaluation externe et de contrôle de gestion, il est intéressant de se pencher sur la pédagogie de l évaluation et du contrôle qui peut être véhiculée par le biais du suivi-évaluation et de l auto-évaluation. Les apports au niveau de l évolution des pratiques de gestion Le suivi-évaluation et l auto-évaluation amènent à s interroger sur les pratiques de gestion et encadrent cette réflexion avec des outils structurants (arbre de objectifs, logigrammes ). La démarche proposée permet de bâtir des référentiels concrets et partagés qui aideront à mieux déployer les ressources humaines et financières disponibles. La définition du diagramme logique d impact, la définition du plan d action associé, des réalisations et résultats associés aident à recentrer l action de chacun et sont une occasion de rentrer dans un mode de gestion par projet avec identification des ressources allouées à chaque projet. Les outils proposés aident à repositionner l action dans le temps et à se poser les bonnes questions au bon moment. Ils aident également chacun à mieux mesurer les impacts de son travail et de ses décisions. L arbre des objectifs et les logigrammes associés aident les décideurs à mesurer l impact des évolutions d orientations stratégiques et aident les équipes opérationnelles à mesurer les enjeux et l utilité de leur action. Les apports au niveau de l amélioration de la performance Le travail collectif engagé a eu le mérite d aider chacun des participants à mesurer la complexité du sujet de la performance et la nécessaire modestie à garder dans son approche. Page 12 sur 16 Edition du 14/05/2008
Si on ne se limite pas à une performance financière, toute définition précise reste très discutable. A l instar de la qualité, la performance peut s approcher comme un état d esprit à développer dans une démarche d amélioration continue vers une gestion plus efficace et plus efficiente de l action publique. L important n est pas d être performant mais de progresser et de se remettre en cause régulièrement. La performance n est pas une donnée absolue mais évolue en fonction du contexte qui lui même évolue. La démarche proposée apporte beaucoup à deux points de vue : - elle aide à définir un cadre partagé de mesure de sa performance à partir d objectifs, d actions, d indicateurs et de cibles associées, - elle aide à réviser régulièrement le cadre au travers d une relecture des données structurées dans les outils proposés (arbre des objectifs, diagramme logique d impact ) Ces apports sont extrêmement importants en ce sens qu ils aident à capitaliser sur le travail réalisé et à gérer la connaissance dans un cadre très structuré mais ouvert à l amélioration continue. L identification d indicateurs au niveau des ressources utilisées va permettre de mesurer les moyens mobilisés par la collectivité pour répondre aux objectifs. Le fait de fixer des cibles sur ces indicateurs va permettre de qualifier l efficacité des activités mises en œuvre. La mesure des moyens mobilisés pour atteindre ou s approcher de la cible va permettre de qualifier l efficience des actions engagées. La prise en compte de ces éléments quantitatifs : efficacité et efficience, et des éléments qualitatifs : cohérence, pertinence, lisibilité de l action publique et pluralité ; aident à recadrer les objectifs et les plan d actions, à mieux affecter les ressources et permettent d améliorer d année en année la performance de l action publique. Les apports au niveau des outils informatiques Dans le cadre des travaux engagés, 3 types d outils informatiques ont été identifiés pour aider à optimiser le déploiement et le suivi d une démarche de suivi-évaluation : - les outils d aide à l apprentissage - les outils de gestion d activité (en intra et extranet) - les outils de pilotage et aide à la décision En terme d outil d aide à l apprentissage, il est apparu intéressant de travailler sur un didacticiel. Ce logiciel d auto-formation au suivi-évaluation est une aide à la diffusion d une culture partagée de l évaluation au sein d une organisation. Outre les aspects explicatifs et exemples associés, la possibilité est offerte à l utilisateur de tester ses connaissances et de progresser à son rythme. La diffusion d un langage et d une culture commune est un aspect important de la démarche. En ce sens le didacticiel Sevalpro complète les modules de formations classiques en facilitant la diffusion d une connaissance de base, par le biais d un outil souple et interactif, appropriable facilement par l utilisateur. Page 13 sur 16 Edition du 14/05/2008
Concernant les outils de gestion d activité, l important est de ne pas surajouter des outils et de raisonner en capacité de dialogue des outils de gestion et de pilotage entre eux avant de penser mise en place de nouveaux outils à chaque nouveau besoin. Trop souvent encore, chaque éditeur tente d imposer ses outils et d en élargir le périmètre d usage. L enjeu confirmé par les besoins de contrôles et de suivi-évaluatif est l ouverture des solutions informatiques, leur capacité de dialogue et de partage d information. La technologie et les normes internationales permettent aujourd hui de penser les systèmes d information en modules et composants qui dialoguent, se complètent et s enrichissent (voir se remplacent en cas de défaillance) sans remise en cause systématique des acquis et sans démultiplication des outils mis à disposition de chaque individu pour remplir sa mission. Ainsi, MGDIS propose un module de gestion d activité et un module de pilotage de la démarche de suivi-évaluation qui peuvent être mis en œuvre ensemble ou séparément en complément ou non d autres outils existants et respectant les normes des architectures SOA. Dans la dimension de la gestion d activité, la mise en place d extranets est un très bon moyen de réduction des coûts de traitement de l information, de partage et de fiabilisation de son suivi. Les extranets permettent d aller chercher l information à la source et de mobiliser du temps en contrôle et saisie plutôt qu en multiples ressaisies. Le partage d application déployées en mode Saas (ou logiciel «comme un service» pourra également être un vecteur de gestion partagée sans démultiplication des applications. Les outils de pilotage permettent de centraliser et partager l accès à une information commune. Toujours dans l esprit du travail de groupe et de la mobilisation des acteurs autour de la démarche de suivi-évaluation, ce partage en temps réel d une même information par les différents acteurs concernés, est un facteur de mobilisation et d engagement dans une dynamique d équipe très positif. La gestion des alertes est au cœur de ce type d outil. Après la réalisation d un premier prototype, MGDIS s est engagée dans un travail important de recherche et développement en ergonomie cognitive pour répondre aux besoins d aide à la compréhension et à l analyse d une alerte donnée avec accès aux leviers d actions préventives et correctives associées. Le développement et la mise en œuvre des outils informatiques se placent également dans un cadre d amélioration continue. Les enjeux les plus importants restent de maîtriser la qualité des données exploitées et de proposer des outils d aide à l analyse permettant de garder toute la distance nécessaire à l interprétation d un chiffre ou d une alerte. La démarche proposée met l accent sur le travail pédagogique autour de l exploitation des outils informatiques qui est majeur pour ne pas en faire des outils contre-productifs. Ainsi, un outil de pilotage pertinent laissera une place importante à la production de rapports d analyse et ne se limitera pas à des tableaux bruts de chiffres et d alertes aussi utiles que dangereux selon l usage qui en est fait. Mise en lumière par l outil informatique, l atteinte ou non de la cible fixée sur un indicateur sera toujours lue comme un élément d information n ayant de sens que dans un contexte donné. Ainsi une alerte peut signifier une erreur de définition de la cible, une insuffisance des moyens mobilisés, une perturbation externe non prévisible Plus l information sera agrégée et consolidée plus elle devra être lue avec recul et intelligence. Page 14 sur 16 Edition du 14/05/2008
Conclusion L ouverture des territoires, la mondialisation de l économie et les flux croissants d informations sont une source de richesse économique et humaine sans précédent. Ces facteurs de développement humain contribuent à augmenter la complexité de la mission des services publics dans le rôle de facilitateur et de garant d un développement harmonieux et équitable. De nouveaux enjeux appellent de nouveaux outils pour y faire face. L originalité de la démarche engagée autour du projet Sevalpro est : - d une part, d avoir fait travailler ensemble une entreprise privée d édition de solutions informatiques, un laboratoire de recherche scientifique en Sciences Humaines et des Collectivités Territoriales, - d autre part, de proposer des réponses pratiques d aide à l amélioration de la performance de gestion en s appuyant autant sur des méthodes de travail et d organisation que sur des outils informatique et en s assurant de la mise en cohérence des deux. La démarche défend les principes fondamentaux de l évaluation, au rang desquels la pluralité la responsabilité et l opportunité en sont les fers de lance. Le recours aux outils informatiques permet de faciliter la diffusion de l évaluation en interne, mais aussi le recueil des informations nécessaires au suivi de la politique. Cependant, même si l approche outil informatique permet de faciliter le pilotage de l action publique, elle ne doit pas se faire sans une réflexion préalable sur le contenu de l information et son utilisation, au risque de compromettre l ensemble du processus. Nous espérons que cette note contribuera à éclairer des pistes de travail et de réflexion pour progresser dans les chantiers déjà engagés ou à venir d amélioration continue de la performance de l action publique. Page 15 sur 16 Edition du 14/05/2008
Auteurs MGDIS - Frank MOSSER et Jean-Baptiste URIEN Université de Rennes I / UMR CREM CNRS Maurice BASLE Bibliographie BARON Gaëlle : «Evaluation, participation, apprentissage : une conception de l action publique avec rationalité limitée», Thèse de Doctorat en Science Economique, sous la direction de BASLE M., Université de Rennes 1, 1999 BASLE Maurice, DUPUIS Jérôme, LE GUYADER Sylviane : «Evaluation, action publique territoriale et collective», Logiques Politiques, 2002 BASLE Maurice : «Evaluation des politiques publiques : sa nature, ses métiers, sa mise en œuvre et ses besoins», colloque de Montpellier, sept 2001 BASLE, M. (1998), Contexte et méthodes pour l évaluation partenariale des politiques publiques territoriales en France : quelques leçons de l évaluation des contrats de plan Etat- Région et du cas breton, Revue d Economie Régionale et Urbaine, Numéro spécial sur l Evaluation des Politiques Territoriales, n 1, pp. 491-502. European Commission- Fonds Structurels Communautaires : «Choix et utilisation des indicateurs pour le suivi et l évaluation», MEANS, 1999 European Commission- Fonds Structurels Communautaires : «Glossaire de 300 concepts et termes techniques», MEANS, 1999 European Commission- Fonds Structurels Communautaires : «Principales techniques et outils d évaluation», MEANS, 1999 European Commission- Fonds Structurels Communautaires : «Conception et conduite d une évaluation», MEANS, 1999 HUAULME Maud : «Les phases amont et aval d une évaluation», Université de Rennes 1, 2006 LE NORMENT Jean-Jacques : «Mise en place de la démarche «indicateurs de résultats» sur 20 programmes régionaux», Conseil Régional de Bretagne, 2005 MATRION Chrystel : «Conception de la solution de service pour le pilotage et l intelligence de la performance Sevalpro et obstacles à sa mise en œuvre dans trois conseils régionaux», Université de Rennes 1, 2007 Page 16 sur 16 Edition du 14/05/2008