Le pilotage et l évaluation des politiques publiques

Transcription

1 Le pilotage et l évaluation des politiques publiques Université d automne des acteurs politiques suisses Prof. Katia Horber-Papazian Chaire de politique locale et d évaluation Définition du pilotage de l action publique Piloter c est: S informer Analyser les données Décider Suivre la mise en œuvre des décisions Évaluer leurs effets Réajuster 2

2 De quelles informations le politique a-t-il besoin pour piloter son action? 3 La primauté de l information L accès à l information et la capacité à l interprétation sont les clés du pilotage. 4

3 Schéma à insérer 5 Les contrôles traditionnels du système politico-administratif Contrôles politiques Contrôles administratifs Contrôles de gestion Contrôles financiers Contrôles juridictionnels 6

4 Limites des contrôles traditionnels Contrôles a posteriori de régularité de légalité ponctuels sporadiques sans perspective globale peu adaptés aux programmes conditionnels peu centrés sur les effets des politiques sur la population cible et la résolution des problèmes permettent difficilement la prospective 7 Pour renforcer les contrôles du système politico-administratif L audit Le controlling Le monitoring L évaluation 8

5 Qu est-ce qu un audit? Audit : Dérivé du concept américain «auditing», ce terme englobe diverses formes de révision interne et externe des modes de fonctionnement de l entreprise Source : service de contrôle administratif du Conseil fédéral 9 Audits financiers, administratifs, informatiques (I) questions centrales : - la gestion assure-t-elle la régularité des comptes, la légalité, et le meilleur rapport entre coût et utilité? - comment est organisée la structure, quels sont les processus d action? - le système informatique correspond-il aux besoins, est-il structuré de manière adéquate? objet principal : service/ département / administration générale/ instances subventionnées 10

6 Audits financiers, administratifs, informatiques (II) moment de l intervention : ex post critères : régularité, légalité, efficience opérationnelle indicateurs : qualitatifs /quantitatifs information fournie : constat sur la marche de l organisation présentation de l information : rapport réalisation : interne et externe 11 Qu est-ce qu un controlling? Controlling : Vient du terme anglais «to control», régler, diriger, piloter. Le controlling est fondé sur des comparaisons entre les résultats effectifs et les prévisions. Il concerne à la fois les résultats intermédiaires et les résultats finaux. Source : service de contrôle administratif du Conseil fédéral 12

7 Controlling question centrale : est-on dans la cible? objet : adéquation entre objectifs et résultats moment de l intervention : en continu critères d analyse : pertinence et efficience opérationnelle indicateurs : quantitatifs information fournie : données périodiques sur le niveau d atteinte des cibles et des principaux écarts aux objectifs présentation de l information : tableau de bord réalisation : interne 13 Monitoring question centrale : comment évolue le champ d intervention? objet : input / output / impact moment de l intervention : en continu information fournie : données statistiques indicateurs : quantitatifs présentation de l information : tableaux statistiques réalisation : interne 14

8 Limites des audits, du controlling et du monitoring Manque de vision d ensemble des audits sectoriels Audits transversaux Photographie à un moment donné Axé sur les résultats principalement financiers et les objectifs fixés (pour le controlling) Tous trois mettent en évidence les dysfonctions sans pouvoir généralement en déterminer la cause 15 Evaluation: vers une définition Une évaluation est un jugement porté sur une donnée par référence à une valeur (F.RANGEON) La recherche évaluative est l'application systématique des procédures de recherche sociale (P.H.ROSSI, H.E.FREEMAN) L'évaluation permet de collecter et d'analyser de façon systématique de l'information pour les utilisateurs spécifiques afin de réduire l'incertitude, d'améliorer l'efficacité, l'efficience et l'aide à la décision (M.Q.PATTON) 16

9 Quelques questions qui font débat en évaluation (I) Tout peut-il être évalué? Quelle est la référence qui doit être choisie au moment de l évaluation? Est-il possible d observer la réalité sans distorsion? Les décideurs ont-ils une place dans une démarche évaluative? Quel que soit l objet, l ensemble de la société civile a-t-elle une place dans les démarches participatives? 17 Quelques questions qui font débat en évaluation (II) Les liens de causalité entre une mesure et ses effets peuvent-ils être démontrés? Une évaluation dont les résultats ne sont pas utilisés a-t-elle un sens? Un évaluateur mandaté peut-il être indépendant? 18

10 Politique publique, une définition Une politique publique est un enchaînement de décisions issues d acteurs publics et d activités de mise en œuvre d acteurs publics et privés visant à orienter le comportement d une population cible, de sorte à ce qu un problème que la société civile n est pas à même de gérer puisse être résolu par un effort collectif. Adapté de : Knoepfel, P.; Larrue, C.; Varone F. (1999) IDHEAP Katia.Horber-Papazian@idheap.unil.ch Diapositive 19 Les politiques publiques se déclinent en programmes, projets Un programme opérationnalise un ou plusieurs objectifs politiques, qui fondent la politique publique dont il découle. Il est délimité en termes de calendrier et de budget. Un projet opérationnalise un ou plusieurs objectifs du programme. Il est délimité en termes de calendrier et de budget. Adapté de : Knoepfel, P.; Larrue, C.; Varone F. (1999) IDHEAP Katia.Horber-Papazian@idheap.unil.ch Diapositive 20

11 L évaluation dans le cycle d une politique publique Mise à l agenda évaluation du besoin d un programme d intervention Effets de la politique évaluation de l outcome (public cible atteint) évaluation de l impact (part du problème résolu) EVALUATION Programmation évaluation de la théorie d action et du design du programme Mise en œuvre évaluation du processus de mise en oeuvre et de l output 21 Exemples d objets d évaluation Ajustement Reconnaissance du problème et mise à l agenda (évaluation du besoin d intervention) Programmation (évaluation de la théorie d action et des inputs) Processus de mise en œuvre (évaluation du processus et des outputs) Effets de la mise en œuvre (évaluation des outcomes et des impacts) nature et distribution des besoins nécessitant une nouvelle intervention identification de la population cible et de la population concernée ressources nécessaires et existantes faisabilité, pertinence et acceptabilité d une intervention adéquation objectif poursuivi problème à résoudre adéquation hypothèse de causalité - problème à résoudre adéquation ressources - problème à résoudre adéquation programme d intervention - problème à résoudre adéquation référentiel de la politique publique et représentations des différents acteurs cohérence du programme d intervention adéquation actions de mise en œuvre - problème à résoudre adéquation prestations - programme d intervention efficacité opérationnelle (adéquation prestations- objectifs opérationnels) efficience opérationnelle (rapport prestations- ressources) effectivité (atteinte de la population cible) modification du comportement de la population-cible efficacité politique (résolution du problème) efficience politique (rapport coût - résolution du problème) effets pervers/ effets non voulus positifs/ effets indirects 22

12 Références pour l évaluation état idéal - état réel objectif normatif - état réel modèle exemplaire - cas réel Adapté de Owen/Rodgers,1999: Les critères de l'évaluation Pertinence/cohérence/adéquation Efficacité opérationnelle Efficience opérationnelle Effectivité Efficacité politique Efficience politique 24

13 L évaluation de la Loi sur les Centres d action sociale et de santé LCASS 25 Historique de l évaluation de la Loi sur les Centres d action sociale et de santé à Genève Clause d évaluation prévue dans la loi sur les centres d action sociale et de santé (LCASS) votée le 21 septembre 2001 par le Grand Conseil genevois. Difficulté de mise en œuvre de l objectif central de la Loi qui visait à renforcer la coordination entre les acteurs du domaine de la santé et ceux du social. 26

14 Historique (II) En 2003, lancement du projet d évaluation par le Conseiller d État en charge du dossier Parallèlement recherche de solutions par le Département en collaboration avec les différents partenaires de la mise en œuvre de la Loi Attribution d un mandat d évaluation à l Unité d évaluation de l IDHEAP Discussion du design avec le Président du Département 27 Description Champ des activités à prendre en compte: un domaine particulier (mise en œuvre de la loi sur les Centres d action sociales et de santé - LCASS) d une politique publique plus vaste (politique socio-sanitaire cantonale). Parties prenantes: bénéficiaires des prestations sociales et sanitaires, principaux acteurs de la mise en œuvre (DASS, DGCASS, CASS, HG, FSASD, Communes) et autres acteurs concernés (HUG, associations professionnelles du domaine sociosanitaire, syndicats). Problème à résoudre: manque de coordination entre les acteurs du domaine socio-sanitaire genevois. 28

15 Les questions d évaluation des CASS (I) 1) Quelle a été, depuis la dernière évaluation de La LCASS, l'évolution des projets et actions menés dans le cadre de la politique du développement d'aide sociale et d'aide et de soins à domicile? 2) Quels sont le rôle, la place et le mode de coordination de chacune des autorités, instances et structures dans la définition et la mise en oeuvre de cette politique? 3) La répartition des compétences et des structures permet-elle d atteindre les objectifs en termes de complémentarité? 29 Les questions d évaluation des CASS (II) 4) Les CASS ont-ils atteint les objectifs qui leur ont été fixés par la loi et le programme de législature, soit : - assurer un service de proximité à la population; - être des relais de la politique sociale et sanitaire; - harmoniser et coordonner les prestations sociales et sanitaires; en plaçant l individu au coeur du dispositif? 5) Les outils d'information, de communication et de suivi des projets permettent-ils de piloter les actions et de les ajuster en cas de dysfonctionnement? 30

16 Méthodes de récolte d informations dans le cadre des CASS Analyse juridique et de contenu des documents Entretiens - 45 entretiens semi-directifs - 53 entretiens de groupes personnes rencontrées Participation à des réunions de travail Démarche menée par une équipe pluridisciplinaire 31 Une des conclusion de l évaluation de la LCASS. Manque d information/ de communication Manque de suivi Mauvaise répartition des compétences Problème de coordination Manque de volonté des acteurs de mise en oeuvre Manque d adhésion aux objectifs Résultat: l hypothèse de causalité de la politique était mal posée 32

17 Principaux enseignements de l évaluation Ajustement suite à une évaluation Reconnaissance du problème Mise à l agenda Théorie d action Définition du programme politico-administratif Input Mise en oeuvre Output ou prestation Outcome Une distinction entre action sociale individuelle et action sociale communautaire incomprise, voire contestée Un hypothèse causale mal posée Une répartition des tâches inadéquate Des structures de coordination en concurrence Un système d information à plusieurs vitesses; un pilotage des actions inexistant Des prestations jugées efficaces et efficientes par le public cible Une absence de référence commune Impact Des objectifs non atteints 33 Valorisation de l évaluation des CASS Rapport du Conseil d Etat au Grand Conseil reprenant l intégralité du rapport et des recommandations en 2004 Discussion du rapport en commission des affaires sociales en 2005 Rapport de la Commission des affaires sociales en 2005 Lancement d études complémentaires sous la direction du Département en 2005 Dépôt d un projet de Loi par le Conseil d État sur le réseau de soins et le maintien à domicile (un article d abrogation de la LCASS) en 2007 Étude par la Commission de la santé du projet de Loi Audition de l évaluateur Révision de la loi 34

18 Utilité de l évaluation selon le Président actuel de la Commission parlementaire Regard externe fiable Éclairage du problème Support fiable sur lequel travailler Source importante d argumentation Aide à la décision 35 L évaluation du projet jeunes 36

19 Le cas du projet jeunes - Neuchâtel Le contexte Forte augmentation des jeunes émargeant à l aide sociale et difficulté d insertion dans le marché de l emploi Conflit gauche/droite sur la nécessité de l Etat d intervenir Loi sur le fonds pour l insertion professionnelle des personnes de moins de 30 ans (2006) Le canton de Neuchâtel est un pionner en matière d insertion professionnelle des jeunes émargeant à l aide sociale Désaccord entre les acteurs publics et privés quant aux résultats des mesures 37 Le projet jeunes (I) Champ des activités à prendre en compte: un domaine particulier (intégration des jeunes émargeant à l aide sociale au marché de l emploi) dans une politique plus générale (aide sociale) Parties prenantes: assistants sociaux, administration cantonale, communes, secteur para-étatique, secteur privé, spécialistes de l insertion, services de l emploi et de la formation professionnelle Objectifs de l action publique: mettre à disposition des places de travail et d apprentissage pour les jeunes de moins de 30 ans émargeant à l aide sociale sur une période de deux ans ( ), et globalement soutenir les jeunes dans le processus de réinsertion. Cible de l action publique: mettre à disposition dans le secteur public 80 places de travail et 40 d apprentissages et dans le secteur privé 150 places. 38

20 Le projet jeunes (II) Problème public à résoudre: augmentation des dépenses à l aide sociale 39 Les questions d évaluation du projet jeunes (I) Organisation et processus Les dispositifs légaux et institutionnels mis en place sont-ils cohérents avec les objectifs poursuivis? La théorie d action du dispositif mis en place estelle pertinente par rapport au problème à résoudre? La répartition des tâches au sein de la commission technique et de son bureau est-elle claire? Cette répartition est-elle en adéquation avec les objectifs du projet? Quels sont les critères appliqués dans le processus de répartition des fonds du projet? 40

21 Les questions d évaluation du projet jeunes (II) Partenariats (publics, para-publics, privés) La collaboration entre acteurs publicpublic/public-privé impliqués dans le projet a-telle été effective? Quel est le niveau de connaissance, d'acceptabilité et d appréciation du projet parmi les partenaires? Quels sont les facteurs favorisants et faisant obstacle à la participation des partenaires au projet? 41 Les questions d évaluation du projet jeunes (III) Mesures et bénéficiaires Quelles sont les mesures mises en place par le "Projet jeunes" et comment sont-elles appréciées par les partenaires, les bénéficiaires et les assistants sociaux? Y a-t-il une adéquation entre les profils des personnes de moins de 30 ans choisies par les assistants sociaux et les postes disponibles? Les critères d employabilité utilisés par les assistants sociaux sont-ils pertinents en regard des postes disponibles? 42

22 Les questions d évaluation du projet jeunes (IV) Objectifs et pérennité Les objectifs poursuivis, à savoir la mise à disposition de 120 places de travail dont 40 pour des apprentissages dans l'administration publique et de 150 places de travail dans le secteur privé, ont-ils été atteints? si non, pourquoi? Quel pourcentage de contrats signés selon les critères du "Projet jeunes" a perduré au moins 12 mois après la signature? Quel pourcentage d'apprentissages, trouvés à travers le "Projet Jeunes", n'a pas été abandonné? Quels sont les motifs des échecs et des réussites? Le projet neuchâtelois est-il comparable à un projet similaire mené dans un autre canton? 43 Le modèle de causalité: Le projet jeunes Information aux partenaires Répartition des compétences public privé Engagement des organisations publiques et privées Placement des jeunes Évaluation des compétences des jeunes Outil de gestion des dossiers Coaching individuel des jeunes 44

23 Méthodes de recherche d informations dans le cadre du projet jeunes Analyse juridique et de contenu des documents Entretiens semi-directifs Sondages par Internet 45 Principaux enseignements de l évaluation Reconnaissance du problème Ajustement suite à une évaluation Mise à l agenda Théorie d action Définition du programme politicoadministratif Input Mise en oeuvre Output ou prestation Outcome Impact Un compromis politique peu clair Une hypothèse d intervention mal posée Une répartition des tâches informelles, nécessité de lier les acteurs par des mandats de prestations. Manque d un accord formel entre l Etat et les employeurs Des problèmes de validité des informations récoltées par les partenaires Une mise à disposition de places de travail insuffisante. Des jeunes placés durablement. Des objectifs partiellement atteints 46

24 Valorisation de l évaluation du projet jeunes La commission de suivi et d évaluation a validé le rapport et les recommandations Conférence de presse et communiqué de presse du Conseil d État 2009: Contexte peu favorable à l utilisation immédiate des recommandations: changement politique, renouvellement des chefs de département en charge du projet Printemps 2010: reprise de la phase de projet, proposition d attribuer la mise en oeuvre à qu un seul département (dpt de l éducation, de la culture et des sports) 47 Valorisation de l évaluation du projet jeunes (suite) Remaniement du projet sur la base des recommandations de l IDHEAP: Axe prioritaire: formation et «case management en formation professionnelle» avec soutien et subvention de la Confédération. Le public cible est élargi. Deuxième axe (projet): démarchage professionnel financé par le fonds privé. Novembre 2010: délibérations au Grand Conseil du projet de loi portant sur la modification de la loi sur le fonds pour l'insertion professionnelle des personnes de moins de 30 ans 48

25 Les spécificités de l évaluation «Discussion de groupe» 49 Institutionnalisation de l évaluation en Suisse Institutionnalisation légale de l évaluation au niveau de la Confédération Art. 170 Cst: «L Assemblée fédérale veille à ce que l efficacité des mesures prises par la Confédération fasse l objet d une évaluation». Loi fédérale sur le principe de la transparence dans l administration (Loi sur la transparence, LTrans) du 17 décembre 2004, art. 8, al. 5: «L accès aux rapports d évaluation des prestations fournies par l administration fédérale et de l efficacité des mesures prises par cette dernière est garanti.» Tous les cantons sont dotés de dispositions assimilables à celles de la Confédération 50

26 Les facteurs de l institutionnalisation de l évaluation en Suisse Des clauses d'évaluation dans les législations fédérales et cantonales Des organes parlementaires et extraparlementaires chargés d évaluation La société suisse d évaluation La commission externe d évaluation des politiques publiques du canton de Genève Le renforcement du reporting La définition de mandats de prestations 51