Mémento pour la mise en œuvre d une démarche d évaluation de la Politique de la Ville. Journée de restitution du 11 décembre 2008

Transcription

1 Mémento pour la mise en œuvre d une démarche d évaluation de la Politique de la Ville Journée de restitution du 11 décembre 2008

2 Mémento pour la mise en œuvre d une démarche d évaluation de la Politique de la Ville Présentation du mémento Ce mémento reprend à la manière d un guide la présentation des principaux éléments abordés dans le cadre des trois séminaires de l évaluation. Aborder la question de l évaluation dans les politiques publiques, et en particulier dans les politiques urbaines (et malgré une certaine antériorité dans ce domaine), suppose quelques préalables. Ils constituent les principaux messages que les journées de séminaire entendaient faire passer et qui sont synthétisés dans ce document. - Décembre 2008

3 Mémento pour la mise en œuvre d une démarche d évaluation de la Politique de la Ville Plan du mémento Chapitre 1 La démarche d évaluation Etape 1 Les conceptions en matière d évaluation : choisir pour orienter les travaux Etape 2 Le dispositif d évaluation Etape 3 Les critères d évaluation et la logique de l action Chapitre 2 La construction d une démarche d évaluation Etape 4 Le référentiel et les objectifs Etape 5 Les questions évaluatives Etape 6 Du concept aux indicateurs Chapitre 3 Les outils de suivi Etape 7 La déclinaison des objectifs et des moyens Etape 8 L exploitation du tableau de bord et du suivi des opérations Etape 9 La conduite d investigation spécifiques Annexe : Eléments pour la construction d un cahier des charges

4 Objet du mémento Faciliter la mise en œuvre d une démarche d évaluation Orienter le regard ; Produire de la connaissance ; Construire une méthodologie ; Bâtir un système d observation.

5 Chapitre I. Etape 1 : Les conceptions en matière d évaluation Etape 1 : Les conceptions en matière d évaluation Trois grandes conceptions Une approche comparative Identifier les effets propres d une politique Une approche analytique Expliquer les processus en vue d aider à la décision Une approche démocratique Se forger un jugement sur la valeur de l action publique

6 Chapitre I. Etape 1 : Les conceptions en matière d évaluation Quelles questions se poser avant de se lancer? Avant de démarrer Est-ce que la mise en œuvre d une démarche d évaluation a fait l objet d une décision au niveau politique? Est-ce que ce qui a été prévu, en matière d évaluation dans le documentcadre, demeure toujours d actualité? Le degré d institutionnalisation de l évaluation Quelle est l instance en charge de suivre l évaluation? Un cahier des charges a-t-il été rédigé? Les orientations données à la démarche d évaluation Le programme de développement fait-il l objet d une présentation sous la forme d un «arbre d objectifs»? L évaluation concerne-t-elle l ensemble du programme? Les ressources en matière de données Des conventions avec les producteurs de données sont-elles établies? Des observatoires existent-ils localement?

7 Chapitre I. Etape 2 : Le dispositif d évaluation Etape 2 : Le dispositif d évaluation La commande Les instances Les acteurs

8 Chapitre I. Etape 2 : Le dispositif d évaluation Les instances du dispositif Commanditaire 1. Décision d évaluer 5. Rapport final à valider Comité de pilotage et Instance d évaluation 6. Décisions Restitution Diffusion 4. Rapports 2. Cahier des charges Destinataires Opérateurs Equipe technique d évaluation 3. Investigations

9 Chapitre I. Etape 3 : Les critères d évaluation et la logique de l action Etape 3 : Les critères d évaluation La pertinence La cohérence L effectivité L efficience L efficacité L impact

10 Chapitre I. Etape 3 : Les critères de l évaluation Les critères de l évaluation Société Enjeux publics Problème Effets Action publique Objectifs Moyens Résultats Pertinence Cohérence Efficience Critères d évaluation Effectivité + Efficacité Impact

11 Chapitre II. Etape 4 : Le référentiel et les objectifs Etape 4 : Le référentiel et les objectifs Définition Le référentiel rassemble les éléments relatifs à la manière dont une action publique entend agir sur un problème, lui-même objet d une construction sociale. Identifier le référentiel Analyse des textes Relecture des circulaires

12 Chapitre II. Etape 4 : Le référentiel et les objectifs Regrouper et analyser les textes d orientation 1. Les objectifs sont-ils explicitement formulés? 2. Les objectifs, tels qu ils sont formulés, sont-ils évaluables? Est-il possible de les appréhender immédiatement? 3. Est-il nécessaire de les reformuler pour les rendre plus précis? 4. Quels sont les objectifs prioritaires? Quels sont ceux sur lesquels il faut se pencher?

13 Chapitre II. Etape 5 : Les questions évaluatives Etape 5 : Les questions évaluatives (Re)formuler les questions ; Identifier les registres de questions ; S assurer de la clarté de la formulation et des notions utilisés ; Décliner les concepts permettant de traiter ces questions ; Indiquer le type ou le mode d investigations qu il paraîtrait utile de mettre en place.

14 Chapitre II. Etape 5 : Les questions évaluatives Exemples de questions évaluatives Formulation initiale : «Les actions en faveur de l emploi ont-elles contribué/favorisé l emploi des jeunes, et le sentiment de discrimination à l embauche?» Opérer une distinction entre les deux propositions : Préciser les différents registres d action en matière d emploi ; La seconde question sur le sentiment de «discrimination» suppose une approche subjective.

15 Chapitre II. Etape 6 : Du concept aux indicateurs Etape 6 : Du concept aux indicateurs Définition L'indicateur est une mesure dont les valeurs sont utilisées comme points de repère dans l'appréciation de l'état ou de l'évolution d'un phénomène non immédiatement quantifiable (par exemple, la santé, le bien-être ou la pauvreté). La qualité des indicateurs Significatif Sensible Fiable Spécifique Transparent Accessible Comparable

16 Chapitre II. Etape 6 : Du concept aux indicateurs La construction des indicateurs Conce Dimen Dimen Dimen Variab Variab Variab Variab Variab Indicate Indicate Indicate Indicate Indicate Indicate Indicate Indicate IndicateIndicate

17 Chapitre III. Etape 7 : La déclinaison des objectifs et des moyens Etape 7 : La déclinaison des objectifs et des moyens Les grandes rubriques d un tableau de bord physico-financier L identité des opérateurs ; La référence aux axes prioritaires (cf. l arbre d objectifs) ; Les objectifs de l action ; La programmation ; Le budget de l opération (demandé, alloué, réalisé) ; Les types de financeurs et l origine des financements (spécifiques ou de droit commun) ; Les dispositifs (VVV, CEJ, CLAS...) ; Les indicateurs de mise en œuvre (le partenariat, les territoires...) ; Indicateurs d effectivité (nombre de fréquentation...) ; Indicateurs de résultats et d effets.

18 Chapitre III. Etape 7 : La déclinaison des objectifs et des moyens L organisation des données : exemple d une base de données N Actions Nom opérateur Statut (asso, CS, CL...) Territoire opérateur Axes du programme (thématique) Objectif général Objectifs stratégiques Objectifs de l'action 1 Action 1 Opérateur Service municipal Quartier Habitat et cadre de vie Améliorer les conditions de vie Développer la participation Soutenir les initiatives 2 Action 2 Opérateur Association Ville Accès à l'emploi Enrayer les effets de la précarité 3 Action 3 Opérateur Centre social 4 Action 4 Opérateur Association Départem ent 5 Action 5 Opérateur Association Ville Santé Ville Réussite éducative Développer les capacités de réussite Citoyenneté Consolider les parcours professionnels Soutenir la parentalité Accompagner les publics Promouvoir l'implication des parents 6 Action 6 Opérateur Association Ville Prévention de la délinquance

19 Chapitre III. Etape 8 : L exploitation du tableau de bord et du suivi des opérations Etape 8 : L exploitation du tableau de bord et du suivi des opérations Unité de compte de la base de données : l action Indicateurs : De processus De résultats D effet Objectif : apprécier les résultats à trois niveaux Les conditions de réalisation Les effets La conduite du programme

20 Chapitre III. Etape 8 : L exploitation du tableau de bord et du suivi des opérations L exploitation du tableau de bord Habitat et cadre de vie Budget initial en % Budget 2008 en % Accès à l'emploi Réussite éducative Citoyenneté Santé 10 5 Prévention de la délinquance Habitat et cadre de vie Accs ˆ l'emploi Russite ducative Citoyennet Budget initial en % Budget 2008 en % Sant Prvention de la dlinquance

21 Chapitre III. Etape 9 : La conduite d investigations spécifiques Etape 9 : La conduite d investigations spécifiques Approche statique ou dynamique Approche quantitative et qualitative Approche des publics par les parcours

22 Chapitre III. Etape 9 : La conduite d investigations spécifiques Les différentes méthodes en usage L analyse de données existantes Le questionnaire Les entretiens individuels (plus ou moins directifs) Les entretiens de groupe L observation

23 Annexe : Eléments pour la construction d un cahier des charges L objet du cahier des charges Préciser la commande et la délimitation du champ de l évaluation Poser les préoccupations du commanditaire Baliser le champ des travaux à même d être conduits dans le cadre de l évaluation La nature de la prestation Les axes d investigation Les modes d animation

24 Annexe : Eléments pour la construction d un cahier des charges Les rubriques du cahier des charges La construction locale de la politique publique Les questions à explorer et la conduite de l évaluation Les termes attendus de la proposition

25 Thierry RIVARD Antoine ANDERSON LERFAS Etablissement gr par lõassociation de Touraine Education et Culture (ATEC) B.P TOURS CEDEX 2 T l : lerfas@atec-lerfas.com Site Internet : SAS GUIDFI BUREAU : 5 BIS RUE DU ROLE BRUNOY TEL : PORTABLE : Courriel : accueil@guidfi.fr Site Internet :