DR Stratégie d amélioration continue et évaluation participative DR R.Vezin Peter SZERB chargé de mission développement durable, évaluation
SOMMAIRE I. PARTIE: INTRODUCTION Contexte Expérimentation régionale et suite Complémentarité avec le référentiel d évaluation du MEEDTL II. PARTIE: STRATEGIE D AMELIORATION CONTINUE Stratégie d'amélioration continue Éléments constitutifs : 1. l'observation territoriale 2. le suivi 3. et l'évaluation participative III. PARTIE: EVALUATION PARTICIPATIVE EN RHÔNE-ALPES Définition, préparation et processus d évaluation Plus-value participative, utilisation des résultats, communication
I. PARTIE INTRODUCTION
CONTEXTE 2006 MEEDDM : Cadre de référence national pour les projets territoriaux de DD cinq éléments méthodologiques dont une stratégie d amélioration continue et l évaluation partagée 2007 Demande : une demie douzaine de collectivités souhaitent réfléchir sur l évaluation participative 2008 - Constat en Rhône-Alpes : aucune collectivité ayant un A21 n a initié une démarche d évaluation adossée à une stratégie d amélioration continue Groupe de travail régional : 15 territoires engagés dans une démarche d Agenda 21/DD Montage de l expérimentation : formation-action, avec le CNFPT
Expérimentation régionale et 2008-2010 : une expérimentation régionale avec 15 collectivités mobilisant des principes d évaluation suivants: 1. Evaluation participative 2. Amélioration continue 3. Processus intégrant évaluation, suivi, observation 4. Pilotage à quatre niveaux 5. Formation 6. Evaluer les projets de développement durable 7. Transparence
2008-2010 - résultats de l expérimentation régionale : - 7 évaluations participatives - 5 A21 rendus évaluables (plans d actions) - 1 outil d observatoire - 1 manuel sur l évaluation participative/suivi/observation et suite 2011-2013: deuxième cycle de projet avec une quinzaine de CT - Même type d action dans les domaines de l évaluation participative /suivi/observation
Complémentarité avec le référentiel d évaluation du MEEDTL Différenciation de trois niveaux d évaluation d un projet territorial de DD : le territoire, la stratégie territoriale, et les actions Parti pris du MEEDTL: 1. proposer des indicateurs et des questions évaluatives 2. évaluer le niveau 2 : la stratégie territoriale 3. au regard du degré d intégration des principes de DD et des finalités et éléments déterminants du Cadre de référence RRA: 1. processus d évaluation appliqué dans le cadre d une démarche participative 2. évaluer le niveau 3 : les actions 3. pas d évaluation au regard des principes de DD: libre choix
Évaluation Évaluation de projet X Évaluation de projet DD Évaluation «classique» de projet X Évaluation «DD» de projet X Évaluation «classique» de projet DD Évaluation «DD» de projet DD
QUESTIONS?
II. PARTIE STRATEGIE D AMELIORATION CONTINUE
Stratégie d'amélioration continue (SAC) «.. apporter une amélioration de la situation initiale au regard des finalités du développement durable et, dans le même temps, améliorer les méthodes de travail pour les rendre plus ouvertes, plus transversales, plus participatives. Les avancées doivent pouvoir en être mesurées pour permettre l évolution du projet au fil du temps.» «L évaluation en continu est indissociable d une stratégie d amélioration continue.» MEEDDAT, Projets territoriaux de développement durable, éléments déterminants de la démarche & orientations et pistes pour l action, Paris, Tome 1, juillet 2006,
1 2 4 3 La route de Deming
Éléments constitutifs d une SAC 1. L'observation territoriale 2. Le suivi 3. L'évaluation mais aussi démarche qualité, etc.
1. L'observation territoriale : Définition Objectif : suivre l évolution socio-économique et environnementale d un territoire Méthode : recueil, organisation et mise à jour régulière des données socio-économiques et environnementales du territoire - indicateurs de contexte Intérêt : facilite la collecte et l analyse d informations, étapes préalables à l évaluation Productions : annuaire, rapport, «état des lieux des inégalités»
Définition 2. Le suivi : Objectif : mesurer l avancement de la mise en œuvre d une action/pp Méthode : mise à jour régulière des indicateurs de réalisation, tableau de bord - indicateurs de réalisation Intérêt : fournit de précieuses indications sur le déroulement de l action/pp, alerte et incite à évaluer les conditions de réalisation et des effets produits de l action Production: bilan, rapport d activités
Définition 3. L'évaluation (participative) Objectif : mesurer les effets produits par une action/pp Méthode : recueil de données, analyse, avis, recommandations Intérêt : outil d aide à la décision publique, contribue à comprendre et améliorer la PP en question, aide à l ajuster, la modifier ou l arrêter Production : rapport d évaluation
QUESTIONS?
III. PARTIE EVALUATION PARTICIPATIVE EN RHÔNE-ALPES
L évaluation est participative si : Définition Les différentes parties prenantes du projet évalué aussi bien les partenaires et les citoyens du territoire que les élus et les techniciens sont associées aux différentes étapes de la démarche. L évaluation n est pas participative si : «elle se limite à demander aux bénéficiaires d un programme leur appréciation sur ses effets par questionnaire ou entretien, ou à leur restituer les conclusions de l évaluation au cours d une réunion,» BARON Gaëlle, MONNIER Éric, Une approche pluraliste et participative : coproduire l évaluation avec la société civile, Revue «Informations sociales», n 110, septembre 2003, p. 2.
Préparation de l évaluation Rôle de RAEE : coordination, préparation des évaluations - Pilotage : 4 instances, composition et rôles clairement définis 1. Commanditaire : une commande politique écrite mandat 2. Chef de projet : projet d évaluation absence de cahier des charges (pièce de marché) 3. Animateur-expert en évaluation : un pour l expérimentation 4.L instance d évaluation composée : élus, agents et citoyens - Formations : commanditaires, chefs de projet, instances d évaluation
Le processus d évaluation et sa validation (1) La méthode: - Recueil de données : analyse documentaire et statistique, questionnaire, entretiens, auditions - Analyse des données : mini dossier, réunion, focus groupe - Formulation de l avis : réponses aux questions, coproduction accompagnée par l animateur-expert en évaluation - Formulation des recommandations : coproduction avec ou sans les services concernés - Validation de l avis et des recommandations : l instance les présente au commanditaire pour validation politique
Le processus d évaluation et sa validation (2) - Degré d implication des parties prenantes : Préparation Collecte de Analyse de Avis Recommandations Suivi données données
La plus-value de la participation dans l évaluation Elle permet : de mobiliser les parties prenantes d enrichir les projets de la collectivité de partager ses objectifs et une vision globale de construire une intelligence collective et par conséquent de porter sur le projet examiné une meilleure qualité de jugement, issue d un croisement de regards pluriels meilleure connaissance des activités menées et des résultats obtenus transparence! meilleure appropriation par les acteurs des mesures préconisées par l évaluation meilleure acceptation des changements
Utilisation des résultats de l évaluation Commanditaire : validation services : mise en œuvre - Suivi de leur mise en œuvre : le service avec retour devant le commanditaire et les instances participatives - Implication des parties prenantes : communication des bilans de réalisation Communication sur l évaluation - 7 rapports d évaluation : une publication systématique par la collectivité et aussi par RAEE (site web, documents, articles ) - Communication sur la démarche : document méthodologique, colloques, lettre d information de RAEE, plaquette, etc
DR QUESTIONS? Merci de votre attention! R.Vezin Peter Szerb peter.szerb@raee.org Portable : 06 25 23 53 33 Fixe : 04 72 56 33 53 DR