Mémento pour la mise en œuvre d une démarche d évaluation de la Politique de la Ville Journée de restitution du 11 décembre 2008
Mémento pour la mise en œuvre d une démarche d évaluation de la Politique de la Ville Présentation du mémento Ce mémento reprend à la manière d un guide la présentation des principaux éléments abordés dans le cadre des trois séminaires de l évaluation. Aborder la question de l évaluation dans les politiques publiques, et en particulier dans les politiques urbaines (et malgré une certaine antériorité dans ce domaine), suppose quelques préalables. Ils constituent les principaux messages que les journées de séminaire entendaient faire passer et qui sont synthétisés dans ce document. - Décembre 2008
Mémento pour la mise en œuvre d une démarche d évaluation de la Politique de la Ville Plan du mémento Chapitre 1 La démarche d évaluation Etape 1 Les conceptions en matière d évaluation : choisir pour orienter les travaux Etape 2 Le dispositif d évaluation Etape 3 Les critères d évaluation et la logique de l action Chapitre 2 La construction d une démarche d évaluation Etape 4 Le référentiel et les objectifs Etape 5 Les questions évaluatives Etape 6 Du concept aux indicateurs Chapitre 3 Les outils de suivi Etape 7 La déclinaison des objectifs et des moyens Etape 8 L exploitation du tableau de bord et du suivi des opérations Etape 9 La conduite d investigation spécifiques Annexe : Eléments pour la construction d un cahier des charges
Objet du mémento Faciliter la mise en œuvre d une démarche d évaluation Orienter le regard ; Produire de la connaissance ; Construire une méthodologie ; Bâtir un système d observation.
Chapitre I. Etape 1 : Les conceptions en matière d évaluation Etape 1 : Les conceptions en matière d évaluation Trois grandes conceptions Une approche comparative Identifier les effets propres d une politique Une approche analytique Expliquer les processus en vue d aider à la décision Une approche démocratique Se forger un jugement sur la valeur de l action publique
Chapitre I. Etape 1 : Les conceptions en matière d évaluation Quelles questions se poser avant de se lancer? Avant de démarrer Est-ce que la mise en œuvre d une démarche d évaluation a fait l objet d une décision au niveau politique? Est-ce que ce qui a été prévu, en matière d évaluation dans le documentcadre, demeure toujours d actualité? Le degré d institutionnalisation de l évaluation Quelle est l instance en charge de suivre l évaluation? Un cahier des charges a-t-il été rédigé? Les orientations données à la démarche d évaluation Le programme de développement fait-il l objet d une présentation sous la forme d un «arbre d objectifs»? L évaluation concerne-t-elle l ensemble du programme? Les ressources en matière de données Des conventions avec les producteurs de données sont-elles établies? Des observatoires existent-ils localement?
Chapitre I. Etape 2 : Le dispositif d évaluation Etape 2 : Le dispositif d évaluation La commande Les instances Les acteurs
Chapitre I. Etape 2 : Le dispositif d évaluation Les instances du dispositif Commanditaire 1. Décision d évaluer 5. Rapport final à valider Comité de pilotage et Instance d évaluation 6. Décisions Restitution Diffusion 4. Rapports 2. Cahier des charges Destinataires Opérateurs Equipe technique d évaluation 3. Investigations
Chapitre I. Etape 3 : Les critères d évaluation et la logique de l action Etape 3 : Les critères d évaluation La pertinence La cohérence L effectivité L efficience L efficacité L impact
Chapitre I. Etape 3 : Les critères de l évaluation Les critères de l évaluation Société Enjeux publics Problème Effets Action publique Objectifs Moyens Résultats Pertinence Cohérence Efficience Critères d évaluation Effectivité + Efficacité Impact
Chapitre II. Etape 4 : Le référentiel et les objectifs Etape 4 : Le référentiel et les objectifs Définition Le référentiel rassemble les éléments relatifs à la manière dont une action publique entend agir sur un problème, lui-même objet d une construction sociale. Identifier le référentiel Analyse des textes Relecture des circulaires
Chapitre II. Etape 4 : Le référentiel et les objectifs Regrouper et analyser les textes d orientation 1. Les objectifs sont-ils explicitement formulés? 2. Les objectifs, tels qu ils sont formulés, sont-ils évaluables? Est-il possible de les appréhender immédiatement? 3. Est-il nécessaire de les reformuler pour les rendre plus précis? 4. Quels sont les objectifs prioritaires? Quels sont ceux sur lesquels il faut se pencher?
Chapitre II. Etape 5 : Les questions évaluatives Etape 5 : Les questions évaluatives (Re)formuler les questions ; Identifier les registres de questions ; S assurer de la clarté de la formulation et des notions utilisés ; Décliner les concepts permettant de traiter ces questions ; Indiquer le type ou le mode d investigations qu il paraîtrait utile de mettre en place.
Chapitre II. Etape 5 : Les questions évaluatives Exemples de questions évaluatives Formulation initiale : «Les actions en faveur de l emploi ont-elles contribué/favorisé l emploi des jeunes, et le sentiment de discrimination à l embauche?» Opérer une distinction entre les deux propositions : Préciser les différents registres d action en matière d emploi ; La seconde question sur le sentiment de «discrimination» suppose une approche subjective.
Chapitre II. Etape 6 : Du concept aux indicateurs Etape 6 : Du concept aux indicateurs Définition L'indicateur est une mesure dont les valeurs sont utilisées comme points de repère dans l'appréciation de l'état ou de l'évolution d'un phénomène non immédiatement quantifiable (par exemple, la santé, le bien-être ou la pauvreté). La qualité des indicateurs Significatif Sensible Fiable Spécifique Transparent Accessible Comparable
Chapitre II. Etape 6 : Du concept aux indicateurs La construction des indicateurs Conce Dimen Dimen Dimen Variab Variab Variab Variab Variab Indicate Indicate Indicate Indicate Indicate Indicate Indicate Indicate IndicateIndicate
Chapitre III. Etape 7 : La déclinaison des objectifs et des moyens Etape 7 : La déclinaison des objectifs et des moyens Les grandes rubriques d un tableau de bord physico-financier L identité des opérateurs ; La référence aux axes prioritaires (cf. l arbre d objectifs) ; Les objectifs de l action ; La programmation ; Le budget de l opération (demandé, alloué, réalisé) ; Les types de financeurs et l origine des financements (spécifiques ou de droit commun) ; Les dispositifs (VVV, CEJ, CLAS...) ; Les indicateurs de mise en œuvre (le partenariat, les territoires...) ; Indicateurs d effectivité (nombre de fréquentation...) ; Indicateurs de résultats et d effets.
Chapitre III. Etape 7 : La déclinaison des objectifs et des moyens L organisation des données : exemple d une base de données N Actions Nom opérateur Statut (asso, CS, CL...) Territoire opérateur Axes du programme (thématique) Objectif général Objectifs stratégiques Objectifs de l'action 1 Action 1 Opérateur Service municipal Quartier Habitat et cadre de vie Améliorer les conditions de vie Développer la participation Soutenir les initiatives 2 Action 2 Opérateur Association Ville Accès à l'emploi Enrayer les effets de la précarité 3 Action 3 Opérateur Centre social 4 Action 4 Opérateur Association Départem ent 5 Action 5 Opérateur Association Ville Santé Ville Réussite éducative Développer les capacités de réussite Citoyenneté Consolider les parcours professionnels Soutenir la parentalité Accompagner les publics Promouvoir l'implication des parents 6 Action 6 Opérateur Association Ville Prévention de la délinquance
Chapitre III. Etape 8 : L exploitation du tableau de bord et du suivi des opérations Etape 8 : L exploitation du tableau de bord et du suivi des opérations Unité de compte de la base de données : l action Indicateurs : De processus De résultats D effet Objectif : apprécier les résultats à trois niveaux Les conditions de réalisation Les effets La conduite du programme
Chapitre III. Etape 8 : L exploitation du tableau de bord et du suivi des opérations L exploitation du tableau de bord Habitat et cadre de vie Budget initial en % Budget 2008 en % 30 40 Accès à l'emploi 15 10 Réussite éducative 20 15 Citoyenneté 10 20 45 40 35 30 25 20 15 10 5 Santé 10 5 Prévention de la délinquance 15 10 0 Habitat et cadre de vie Accs ˆ l'emploi Russite ducative Citoyennet Budget initial en % Budget 2008 en % Sant Prvention de la dlinquance 100 100
Chapitre III. Etape 9 : La conduite d investigations spécifiques Etape 9 : La conduite d investigations spécifiques Approche statique ou dynamique Approche quantitative et qualitative Approche des publics par les parcours
Chapitre III. Etape 9 : La conduite d investigations spécifiques Les différentes méthodes en usage L analyse de données existantes Le questionnaire Les entretiens individuels (plus ou moins directifs) Les entretiens de groupe L observation
Annexe : Eléments pour la construction d un cahier des charges L objet du cahier des charges Préciser la commande et la délimitation du champ de l évaluation Poser les préoccupations du commanditaire Baliser le champ des travaux à même d être conduits dans le cadre de l évaluation La nature de la prestation Les axes d investigation Les modes d animation
Annexe : Eléments pour la construction d un cahier des charges Les rubriques du cahier des charges La construction locale de la politique publique Les questions à explorer et la conduite de l évaluation Les termes attendus de la proposition
Thierry RIVARD Antoine ANDERSON LERFAS Etablissement gr par lõassociation de Touraine Education et Culture (ATEC) B.P. 77554 37075 TOURS CEDEX 2 T l : 02 47 42 95 41 e-mail : lerfas@atec-lerfas.com Site Internet : www.atec-tours.com/lerfas/ SAS GUIDFI BUREAU : 5 BIS RUE DU ROLE 91 800 BRUNOY TEL : 01 60 47 34 59 PORTABLE : 06 62 55 83 75 Courriel : accueil@guidfi.fr Site Internet : http://www.guidfi.fr