Suivi-évaluation. Fiches outils. Piloter l action par la décision, Eclairer la décision par l action

Transcription

1 Suivi-évaluation Fiches outils Piloter l action par la décision, Eclairer la décision par l action La société SEVALPRO SAS, filiale du groupe MGDIS créée en Janvier 2010, consacre son activité à la réalisation de solutions informatiques d aide à la décision, de suivi et de pilotage dédiée aux acteurs des collectivités locales. Forte de six années de réflexion et d expériences menées avec les clients MGDIS et des experts reconnus (concours scientifique de l Université de Rennes 1), SEVALPRO SAS conçoit et adapte ses outils informatiques aux besoins des collectivités. Nous vous proposons des gammes de solutions logicielles répondant aux problématiques liées à l informatisation du suivi-évaluation, de la gestion de projets et de l Agenda 21 pour parvenir à un pilotage amélioré de l action publique. Suivi-évaluation des politiques publiques, pour un meilleur pilotage de l action publique SEVALPRO SAS Parc d'innovation Bretagne Sud Allée Nicolas Leblanc - CP VANNES Cedex Tél : Fax : Contact@sevalpro.fr

2 Introduction Piloter les politiques et les programmes publics = Piloter les actions pour aider à la prise de décision Préalables «Le suivi-évaluation c est : - mesurer en continu, l état d avancement des réalisations des politiques mises en œuvre de manière à ajuster le périmètre des actions choisies et les moyens affectés, - comprendre les conditions de leur mise en œuvre pour anticiper leurs évolutions, - offrir aux décideurs des outils de pilotage et de communication en direction des bénéficiaires leur permettant de comprendre le sens de l action publique, - contribuer à l émancipation d une culture partagée de l évaluation au sein de l organisation et vers le public» (*) ARBRE DES OBJECTIFS Objectif Stratégique Objectif Opérationnel APPRECIATION DES OBJECTIFS ET DES ACTIONS PAR LES INDICATEURS POSES SUR LE DLI Mise en œuvre Le suivi-évaluation utilise les notions du suivi qu il adapte aux concepts de l évaluation. Ainsi, il permet : - de mettre en œuvre les moyens nécessaires pour répondre à une problématique identifiée sur un territoire, - d identifier les acteurs intervenant dans le cadre des politiques/programmes ainsi que leurs niveaux d intervention, DEFINITION DES PLANS D ACTIONS Indicateur de réalisation Cible Indicateur de résultat Cible Indicateur d impact Cible - de mesurer au fil de l eau les effets produits par une politique de façon identifier des pistes d amélioration. Actions Réalisations Résultats Impacts Pour y parvenir, le suivi-évaluation s appuie sur l Arbre des Objectifs, le sociogramme des acteurs et le Diagramme Logique d Impact pour clarifier et structurer les données de la collectivité et identifier les informations utiles au pilotage. DIAGRAMME LOGIQUE D IMPACTS L utilisation conjointe de ces outils permet de fixer des indicateurs visant à mesurer et apprécier en continu les effets d une politique. Le suivi de ces indicateurs dans le temps vise à améliorer le pilotage des activités et répondre aux objectifs préalablement fixés. (*) Extrait du livre blanc : Le suivi-évaluation pour un pilotage optimisé de l action publique 15

3 L arbre des objectifs : un outil du management stratégique Le Diagramme Logique d Impact Face à des enjeux stratégiques et à une problématique identifiée sur un territoire, les élus formulent une Actions Réalisations Indicateurs Résultats Indicateurs Impacts Indicateurs Contexte réponse politique. Dans ce cadre, ils s engagent à mettre en œuvre un projet politique, dans le cadre des compétences de la collectivité, visant à répondre aux Cibles Cibles Cibles besoins du territoire. Sur la base de ce contexte, la collectivité énonce une stratégie et des priorités, qu il convient de clarifier et de partager pour faire converger les moyens affectés. Glossaire Face à ce constat, il faut s outiller Un plan d action ou action rassemble les réalisations concourant à l atteinte des objectifs opérationnels. Un impact est un effet systémique produit à long terme, résultant de la production de plusieurs résultats. Il concerne aussi bien les bénéficiaires directs et indirects de l action Poser un arbre des objectifs repose sur une convention entre les décideurs, qui clarifient les priorités sous forme d objectifs. Une réalisation correspond aux moyens (ressource financière, humaine ou matérielle) mis en œuvre pour répondre à un objectif opérationnel. publique. Un indicateur est un élément qualitatif ou quantitatif qui permet d apprécier les effets de l intervention publique. Réponse en suivi-évaluation L arbre des objectifs (AO) constitue un outil permettant de représenter sous forme arborescente la volonté, la stratégie exprimée par les élus. Il permet de structurer les priorités de l entité, de façon Un résultat est l effet attendu à court ou Une cible est une valeur référence à hiérarchique, simple et visuelle. moyen terme résultant de la production de atteindre pour l indicateur. Elle est définie au plusieurs réalisations. regard des objectifs de différents niveaux. 14 3

4 Suivre l action et mesurer les effets obtenus Décliner les objectifs de la collectivité en objectifs Formuler clairement les volontés de la collectivité Dans un contexte en perpétuel mouvement, les stratégies politiques évoluent et s adaptent pour viser une situation stable. L arbre des objectifs permet de clarifier l ensemble des projets politiques de la collectivité en les déclinant en objectifs de différents niveaux. Un objectif retrace un but fixé en réponse à une problématique identifiée. Il doit donc être suffisamment ambitieux puisqu il traduit une aspiration au mieux, mais également réaliste et partageable. En effet, l objectif peut parfois sembler non atteignable et de fait décourageant. Ainsi, les nuances apportées dans la formulation des objectifs contribuent à le positionner sur un certain niveau de l arbre. Toutefois, il faut veiller à ne pas multiplier les objectifs stratégiques et à les adapter à la taille de la structure pour qu ils demeurent réalistes et réalisables en fonction des ressources dont elle dispose. Comment définir les priorités? Structurer la volonté des décideurs Quelle stratégie mettre en place? L arbre des objectifs est construit pour une politique, sur une arborescence comprenant à minima deux niveaux : au sommet de l arbre, les objectifs stratégiques en bas de l arbre, les objectifs opérationnels. La construction de l arbre des objectif est le fruit d une réflexion collective entre les décideurs, d une concertation pour traduire une vision stratégique commune. Ceci favorise la transparence, le partage de la connaissance au sein de la collectivité et responsabilise les acteurs aux vues des missions qui leurs seront confiées. L arbre des objectifs résulte donc d une démarche participative qui nécessite réflexion et échange. Quel vocabulaire utiliser? Comment exprimer les actions? Une action est énoncée sous forme d un verbe à l infinitif suivi d un COD. Les verbes utilisés sont des verbes d action (mettre en œuvre, développer ). Comment exprimer les réalisations? La réalisation est formulée à l aide d un nom commun (adaptation, contribution ). Comment exprimer les résultats? Le résultat est décrit par un sujet suivi d un verbe au passé composé. Comment exprimer les impacts? L impact est décrit par un sujet suivi d un verbe au passé composé (l offre de logements sociaux est mieux répartie sur le territoire). Eléments clés Etapes de mise en œuvre 1. Elaborer le plan d actions en fonction des objectifs 2. Décliner le plan d actions en réalisations 3. Classer les effets produits par les réalisations en résultats et impacts 4. Poser les indicateurs Un objectif opérationnel est décliné en plans d actions, eux-mêmes déclinés en réalisations. Les réalisations produisent des résultats (effets directs pour les bénéficiaires) ; ces derniers doivent correspondre à une réponse aux objectifs opérationnels. Des effets de long terme pourront alors être identifiés par le biais des impacts (effets indirects). Ils sont à mettre en relation avec les objectifs stratégiques. Ce travail effectué, les indicateurs de suivi des résultats et des impacts pourront être identifiés. 4 13

5 Décliner la stratégie de la collectivité en objectifs Suivre l action et mesurer les effets obtenus Formuler les plans d actions Le diagramme logique d impact est l outil qui relie les activités des services aux orientations stratégiques définies dans l arbre des objectifs. Ce lien s effectue à partir des objectifs opérationnels qui se déclinent en plans d actions dans le logigramme. Ces plans d actions correspondent à la mise en œuvre par les services, des moyens matériels, humains et financiers formalisés dans le logigramme par les réalisations. La production des réalisations vise à obtenir des effets à court et long terme, qualifiés dans le Diagramme Logique d Impact de résultats et impacts. Les indicateurs posés au niveau des réalisations, des résultats et des impacts permettront d effectuer un suivi dans le temps et de disposer d information pertinentes en vue du pilotage. Quels moyens au service de quels objectifs? Quel vocabulaire utiliser? Comment exprimer les volontés? Les objectifs doivent être énoncés sous forme d un verbe à l infinitif + un COD (exemple: promouvoir la mixité sociale) L objectif exprime ce que nous souhaitons faire, les verbes utilisés appartiennent au registre de la volonté (ex: Développer, renforcer, garantir, privilégier ). Plus l objectif est opérationnel, plus le verbe sera précis dans son énoncé, et fera référence à l action. Etapes de mise en œuvre 1. Identifier le contexte et les problématiques du territoire et des habitants 2. Libeller les volontés 3. Définir les priorités 4. Décliner ses priorités en objectifs 5. Hiérarchiser les objectifs Comment traduire la volonté en actions? Traduire les objectifs dans le logigramme La traduction de la volonté dans le logigramme s articule en actions, réalisations, résultats et impacts. Un plan d actions est élaboré de façon à répondre aux objectifs préalablement fixés. Sa mise en œuvre se fait par des réalisations, produisant des effets à moyen et long terme sur les bénéficiaires directs ou indirects du service public (résultats-impacts). Les indicateurs positionnés au niveau des réalisations, résultats et impacts permettront d effectuer, dans la durée, un suivi des ressources et des effets obtenus. Ainsi, les résultats et impacts obtenus seront analysés au regard des objectifs. L élaboration du DLI repose sur de nombreux échanges entre les différentes parties prenantes identifiés au travers du sociogramme des acteurs. La formulation des actions, réalisations, résultats et impacts ainsi que l identification des indicateurs résultent d un consensus entre les acteurs ; l outil est donc amené à évoluer au fil de l eau. Eléments clés Un arbre des objectifs est élaboré pour chaque projet politique sur la base d un diagnostic, auquel les élus apportent des réponses politiques. Un Objectif Stratégique correspond à l objectif général dans lequel s engage la collectivité pour répondre à une problématique identifiée en amont. Un Objectif Opérationnel correspond à une traduction des Objectifs Stratégiques en actions concrètes qui s assimilent aux missions confiées aux agents des services. 12 5

6 L Arbre des Objectifs Le Diagramme Logique d Impact: un outil du management basé sur les activités Projet politique Objectif stratégique Objectif opérationnel 1 Objectif opérationnel 2 Contexte Une fois les objectifs fixés et les parties prenantes identifiées, il convient de suivre les ressources utilisées pour y répondre. Dans ce cadre, la mesure des effets attendus de l activité des services est un élément structurant pour le pilotage. Cette mesure s effectue par le biais d indicateurs ; ces derniers auront pour finalité d alimenter les tableaux de bord de pilotage. Suivre les activités en continu et mesurer les effets pour un meilleur pilotage Glossaire Un Objectif Stratégique définit les priorités politiques de la collectivité ; il constitue une réponse à des enjeux Un Objectif Opérationnel correspond à la déclinaison opérationnelle des Objectifs Stratégiques. Il peut être assimilé aux Le logigramme ou Diagramme Logique d Impact (DLI) est un outil, permettant de visualiser l ensemble des activités et des ressources mises en œuvre par la économiques, sociaux, environnementaux, missions qui sont confiées aux services. collectivité, pour atteindre les objectifs fixés identifiés sur un territoire. Il est défini par les décideurs (élus, direction générale) et vise à améliorer la situation exposée par le L objectif opérationnel constitue un repère auquel les agents opérationnels doivent se référer dans l exercice de leur fonction. Pour Réponse en suivi-évaluation préalablement. Par conséquent, le Diagramme Logique d Impact permet : diagnostic. cela, il doit être précis dans son énoncé. - de mettre en cohérence les moyens budgétaires et humains engagés au regard La pertinence examine la concordance La cohérence vérifie la concordance entre des objectifs, entre les objectifs du programme et les problèmes socio-économiques. Elle sert à approuver la stratégie, déterminée sur un les objectifs et les plans d actions. La question est de savoir si les activités et ressources utilisées par les services sont bien - de construire le système de suivi et de pilotage par le biais d indicateurs. territoire particulier, comme une réponse en adéquation avec la stratégie politique. conforme aux problèmes définis. 6 11

7 Le sociogramme des acteurs Le sociogramme des acteurs : un outil au service du management Experts (internes ou externes) Partenaires (Europe, état, organismes publics et privés ) Bénéficiaires (citoyens, associations, entreprises ) Équipe opérationnelle (agents concernés et leurs responsables) Décideurs (élus, direction générale..) Contexte L atteinte des objectifs fixés par les décideurs passe par un partage de connaissances, et une mobilisation des acteurs. Les échanges entre les acteurs vont apporter un éclairage en fonction de l expérience et du niveau de connaissance de chacun dans l organisation. Ainsi, après avoir apporté une réponse politique aux besoins des citoyens, il convient d identifier: - d une part les parties prenantes qui contribueront aux résultats, - et d autre part les référents qui renseigneront la donnée. Glossaire Identifier les acteurs qui contribuent aux résultats Un acteur dans le cluster, correspond à une personne ou à un groupe représentatif de personnes disposant de compétences précises dans un domaine particulier. La cohésion des acteurs consiste à fédérer les parties prenantes dans l atteinte d objectifs partagés. Ainsi l utilisation du Cluster des compétences facilite la cohésion. La transparence se traduit par la nécessité pour la collectivité d expliciter la conduite de ses plans d actions et ses résultats (obtenus) au regard d objectifs préalablement identifiés. Cette transparence se dirige tant vers l interne que l externe, de manière à ce que les acteurs fournissent et prennent connaissance des informations relatives à leurs actions. Réponse en suivi-évaluation Le sociogramme des acteurs ou cluster des compétences permet d identifier les parties prenantes qui contribuent à l atteinte des objectifs fixés par les élus. Il permet d identifier de manière simple et visuelle l ensemble des acteurs, internes et externes à la collectivité, qui contribuent au renseignement de l information ainsi qu à la production des résultats. 10 7

8 Mobiliser les acteurs dans l atteinte des objectifs Mobiliser les acteurs dans l atteinte des objectifs Identifier le rôle et la contribution des acteurs Avant d élaborer le cluster des compétences, il convient de recenser l ensemble des acteurs intervenant dans le cadre du pilotage de la collectivité. Cependant cela ne signifie pas dresser une liste exhaustive, il faut en effet positionner le rôle de chacun. Le sociogramme des acteurs n est pas une pâle copie de l organigramme de l établissement, il intervient en complément de celui-ci. Contrairement à l organigramme il ne fait apparaitre aucune hiérarchie entre les différents acteurs. Son rôle est de faire apparaitre les liens fonctionnels unissant les diverses parties prenantes à la politique ou au programme publique. Comment représenter les acteurs? Quels acteurs au service de quels objectifs? Représenter dans l espace les liens entre les acteurs Le type d acteurs représentatifs des parties prenantes, est schématisé en fonction de son degré d implication, mais aussi en fonction de ses liens avec les autres acteurs. Cette visualisation des contributions de chacun, facilite l appropriation et le partage des objectifs par les acteurs eux-mêmes, et permet de les responsabiliser et de les impliquer dans la réalisation des objectifs. Le sociogramme va donc permettre d identifier les acteurs ainsi que leur contribution dans les résultats obtenus. En effet, il permet d inscrire les contributions individuelles dans un contexte de vouloir global. Cela permettra de nourrir le système d informations par l implication de chacun, d accroitre et de partager la connaissance des informations disponibles. Comment représenter les liens entre les acteurs? Pour visualiser l ensemble des contributeurs à l accomplissement de la stratégie, il convient de s appuyer sur des codes couleurs et des intersections de formes. Ces formes seront de tailles différentes selon l importance de la contribution des acteurs. Le cluster doit être harmonisé en fonction des registres utilisés pour représenter les acteurs selon que l on considère, des fonctions (élu, directeur de service, ), ou des organismes (collectivité locale, cabinet d experts, ). Eléments clés Etapes de mise en œuvre 1. Identifier les différents acteurs 2. Déterminer les liens qui les regroupent 3. Déterminer les code couleurs 4. Représenter les acteurs dans l espace Chaque acteur a son rôle et sa place au sein du cluster. Chacun dispose d une vision globale au sein de l organisation (acteurs internes à l organisation) ou bien plus spécifique sur une thématique plus particulière (acteurs externes à l organisation). Cependant, le but n est pas d obtenir une liste exhaustive de toutes les parties prenantes, il convient d identifier au préalable les acteurs dont le rôle aura un impact significatif sur la démarche. Il convient de déterminer et d ajuster les codes couleurs en fonction de la proximité fonctionnelle des organismes. 8 9