COMMENT L EVALUATION PEUT CONTRIBUER A L APPRENTISSAGE DANS L AIDE AU DEVELOPPEMENT

Transcription

1 ** COMMENT L EVALUATION PEUT CONTRIBUER A L APPRENTISSAGE DANS L AIDE AU DEVELOPPEMENT Paul Torres* wanadoo.fr C o n t e n u A n n e x e s R é f é r e n c e s Paul Torres est Expert en stratégie des politiques publiques et en évaluation pour la Coopération internationale et régionale. Il enseigne les politiques publiques, le management stratégique et l évaluation. Il était récemment le Directeur de l Institut Régional d Administration de Nantes. Il a été Conseiller principal au Bureau International du Travail à Genève. Il a été Directeur de projet et Professeur au Niger et au Congo pour un nouveau management public dans les pays en développement pendant une longue période, en coopération internationale. Il a développé une méthodologie pour des programmes de développement et des projets d évaluation dans le domaine du développement humain et du développement durable Société Européenne d Evaluation 5 eme conférence / Séville / Octobre 2002 (Es 31.F )

2 2 Société Européenne d Evaluation 5 eme conférence / Séville / Octobre 2002 COMMENT L EVALUATION PEUT CONTRIBUER A L APPRENTISSAGE DANS L AIDE AU DEVELOPPEMENT Paul TORRES wanadoo.fr Résumé Dans le champ de l aide au développement l évaluation introduit une nouvelle culture professionnelle, parce qu elle assure et exige la mise en œuvre de trois concepts fondamentaux : lucidité, sincérité et transparence. L apprentissage considéré comme un but ultime de l évaluation vise l évolution du management conçu comme l expérience qui développe la connaissance, les compétences, et les attitudes pour une mise en oeuvre professionnelle des stratégies publiques. La recherche des critères est certainement l approche la plus productive pour développer l évaluation. Ils sont des concepts clés et une base de lucidité pour former le jugement évaluatif. Leur formulation permet la construction d indicateurs spécifiques d aide au développement. Le management du cycle du projet est une base pour une mise en œuvre effective du programme et son évaluation dans l aide au développement. Leur organisation sur la base des critères joue un rôle essentiel dans la démarche d apprentissage. La recherche de la sincérité et de la transparence à travers l évaluation s exprimera dans l action structurée. Les critères d aide au développement seront développés et les indicateurs construits. Un nouveau cycle de projet encourage collaboration et engagement sur les buts poursuivis. L évaluation peut aider considérablement une organisation à apprendre les meilleures méthodes de gouvernance aussi bien par l implication et l engagement que par la formation et la communication. Mots clés: aide au développement / développement de l évaluation / évaluation du développement / développement du management / apprentissage / critères / cycle de projet / lucidité / sincérité / transparence. 1. L évaluation et l apprentissage Le propos de ce document est double : Faciliter notre propre compréhension de l apprentissage comme clé de voûte de l évaluation. Fournir un cadre formateur pour montrer comment elle contribue à l apprentissage. Contenu Il fournit concepts, méthode et structures Evaluation et apprentissage : quels concepts utiliser et quelles questions y sont liées? Le développement de l évaluation : quelle méthode pour apprendre?

3 3 Evaluation du développement : quelle structure pour apprendre à travers l évaluation? C est-àdire comment évaluer le développement de l action comme support de l apprentissage. Comment une évaluation peut aider une organisation à apprendre?. Annexes Elles résument les cas.étudiés. Elles montrent que le présent document sur l évaluation de l aide au développement est fondé sur les cas suivants où l aide au développement apparaît directement ou indirectement. Déterminant 1 :développement de la capacité de management Annexe 1 Programme ENA-N (Afrique) Annexe 2 Programme Dev-IPA (Europe) Annexe 3 Programme CIPA (Balkans) Déterminant 2 : développement urbain Annexe 4 Politique urbaine/programme N (Afrique) Annexe 5 Politique urbaine/programme S (Europe Déterminant 3 : développement durable Annexe 6 Protection de l environnement et développement des ressources naturelles à B (Afrique) L évaluation analyse et émet un jugement sur le management des stratégies publiques, leurs résultats, leurs effets et leurs impacts. Dans le champ de l aide au développement l évaluation introduit une nouvelle culture professionnelle, parce que l évaluation assure et exige la mise en œuvre de trois concepts fondamentaux : lucidité, sincérité et transparence. L apprentissage considéré comme un but ultime de l évaluation vise l évolution du management conçu comme l expérience qui développe la connaissance, les compétences, et les attitudes pour un management professionnel des stratégies publiques. Le développement concerne le développement durable et le développement humain. L aide au développement concerne la coopération et le partenariat, les échanges dans la formation à la capacité d agir, la mise en œuvre de la décentralisation, les transferts de compétences en matière de management et le financement du développement. 2. Le développement de l évaluation Méthode pour développer l évaluation en vue de l apprentissage 2.1. Les critères de lucidité L approche par les critères est certainement la meilleure voie pour une perception approfondie et perspicace de l évaluation. Elle est fondée sur la recherche pour améliorer l objectivité d un jugement impartial dans les actions fondées sur des objectifs précis. Quel est le problème? Et quelle action est proposée comme solution? Le développement et la recherche des critères permettent la clarification dans le processus d évaluation. Les critères sont des concepts clés spécifiques soulignant l objet de l évaluation. Ce sont des apports qui donnent du sens à l évaluation. Si nous considérons que l évaluation est une analyse permanente éclairant l action, les critères sont une base essentielle du jugement évaluatif. Aussi une enquête systématique sur les valeurs peut être un outil important dans la formulation des évaluations qui produira de l information tout au long du processus (Torres, P. 1994,1996). Cela peut influencer le jugement des citoyens et des responsables de l évaluation sur la valeur d un programme.(henry, T.H ). Cela apparaît dans un système éducatif et c est vrai aussi pour un programme de développement. Ainsi l approche par les critères est à la fois la meilleure voie pour améliorer la lucidité et une voie pour l apprentissage.

4 La formulation des critères La représentation et la formulation du processus de stratégie publique permanente d apprentissage constituent la première phase de la conceptualisation de l action. La formulation des critères comme produit de la pensée est la seconde phase d approfondissement conduisant à l évaluation du programme pour une voie permanente d apprentissage. Elle permet la révision des objectifs du programme et la formulation d indicateurs d aide au développement spécifiques. Alors, définir les critères, les développer pour construire les indicateurs et les tester constitue une voie permanente d apprentissage. Cela est démontré par les cas et les chartes présentés ci-dessous comme supports. Ainsi, la charte n 1 ci-dessous permet à partir d un listing des déterminants de développement et d items classiques de formuler les critères opérationnels spécifiques. Aussi, découvrant et étudiant les critères dans les déterminants proposés nous pouvons voir la différence de critères entre les pays émergents et les autres pays. Ceci est fondamental pour l apprentissage. C. N 1 Critères de lucidité Dans le développement de l évaluation Déterminants Critères Critères Indicateurs Jugement Méthode opérationnels opérationnels Durabilité Pertinence Impact Efficience Efficacité Démocratie Application du schéma dans les cas suivants : Déterminant 1 :Développement de la capacité de management A1 Critères méthode : Durabilité, pertinence, efficience et transparence. Critères opérationnels : Nationalisations, relations internes, stratégies d amélioration. A2 Critères méthode : Pertinence, efficience, démocratie. Critères opérationnels : Orienté stratégie, intégration européenne, assistance technique, etc. A3 Critères méthode : durabilité, pertinence, efficience, démocratie. Critères opérationnels : Transparence, responsabilité, orienté citoyen Déterminant 2 : développement urbain A4 Critère méthode : Durabilité, gouvernance. Critères opérationnels :, production/distribution d eau, organisation sanitaire, développement des marchés locaux, etc. A5 Critères méthode : Démocratie, pertinence Critères opérationnels : Cohésion sociale, organisation culturelle et éducative, développement de l emploi, développement de la sécurité.

5 5 Déterminant 3 développement durable Critères méthode :Durabilité, écodéveloppement, pertinence, efficience, transparence Critères opérationnels : Approche globale et systémique, forêt/activités humaines, faune/élevage, production/protection de l eau 2.3. L apprentissage de la lucidité Ainsi la formulation des critères permet la révision des objectifs de programme et des indicateurs spécifiques d aide au développement. La définition des critères, leur développement pour construire et tester les indicateurs est une voie permanente d apprentissage. Cela est démontré à travers les cas et les tableaux ci-après. La formulation des critères permet d analyser chaque concept et de les comparer à la réalité. C est souvent l essentiel d un jugement collectif ou individuel. Qu est-ce qui est vrai, qu est-ce qui est faux, qu est-ce qui est une vue de l esprit, quelle est la réalité? Quel est le meilleur mot pour exprimer le concept? Le meilleur test est alors quand nous essayons de formuler les indicateurs et quand nous pouvons les traduire en chiffres. C est déjà de l apprentissage. 3.L évaluation du développement Structures pour apprendre à travers l évaluation du développement 3.1. Construire le cycle du projet Le management du cycle de projet est une base de pilotage effective et d évaluation dans l aide au développement. L organisation de l évaluation et du projet sur la base des critères devient une partie essentielle d un projet pour l apprentissage. La sincérité et la transparence recherchées à travers l évaluation seront exprimées dans l action structurée. Les critères de l aide au développement seront développés et les indicateurs seront construits. Comme exemple, un système de management avec projet incluant l évaluation a été développé au Niger partant d un système de budget annuel dans les collectivités locales (Torres, P. 1977). Fondé sur un document appelé fiche d opération, un projet de développement a été élaboré pour plusieurs années incluant l évaluation. Ce système avec des projets de routes, d agriculture, de santé fonctionna assez bien pendant dix années. L évaluation comme méthode de management fonctionna également assez bien Les critères d évaluation l apprentissage à travers l évaluation vient d une impulsion donnée par un management stratégique avec un cadre nouveau pour une meilleure qualité dans une réalité complexe et changeante. Les indicateurs spécifiques proviennent des critères dans le cycle de projet. Alors, définir les critères en les développant pour construire les indicateurs et en les testant constitue une première voie d apprentissage. Formuler les critères comme produit de la pensée conduit à l évaluation du programme.la formulation des critères permet la révision des objectifs de programme et la construction des indicateurs spécifiques d aide au développement. Alors à travers le projet il est possible d apprendre. Exemple : Déterminant1 1 Comment organiser un cycle de projet dans la réalité 2 Comment préparer l évaluation 3 Evaluation du projet

6 6 Déterminant2 1 Comment organiser un cycle de projet dans la réalité 2 Comment préparer l évaluation 3 Evaluation du projet 4 Comment organiser la participation de la population Déterminant3 1 Comment organiser un cycle de projet dans la réalité 2 Comment préparer l évaluation 3 Evaluation du projet 4 Comment organiser la participation de la population 3.3. Le management du cycle : des objectifs au jugement La demande d évaluation permet d avoir des repères claires en terme d action, d améliorer le système d élaboration des décisions, de placer l évaluation dans le processus de développement de la politique. Nous pouvons voir que dans un cadre de travail de management avec des concepts appropriés et un système d information pour une nouvelle élaboration de la décision, cela met l évaluation dans le processus du développement de la politique., Alors l organisation du :programme est essentielle. L évaluation devient une part du projet. Dans le cycle du projet résumé ci-dessus nous pouvons voir les principales phases du cycle. : Une première phase définit les objectifs, les critères, la faisabilité, l appréciation, l écoute, la reformulation la confirmation des critères et le pilotage du projet. Une seconde phase introduit l évaluation, le jugement, les recommandations et les négociations. Toutes ces étapes sont fondées sur les critères L apprentissage de la sincérité et de la transparence La dynamique du projet est inspirée par la préparation de l évaluation à partir du démarrage du projet quand les objectifs sont définis et les critères clarifiés. Nous devons distinguer les objectifs, les critères et la faisabilité pour le programme et pour l évaluation. A chaque niveau du programme et de l évaluation nous avons besoin de connaître si les ressources sont disponibles. Nous avons aussi besoin de connaître si les conditions économiques, sociales et politiques sont correctes. Quand le programme démarre le processus d évaluation doit être prêt et commencer à fonctionner. Un nouveau cycle de projet encourage une collaboration immédiate. Il encourage aussi l engagement résultant de la collaboration sur les buts Buts sur lesquels l accord est obtenu. La sincérité est une attitude éthique imposée par la rigueur du processus. La transparence apparaît spécialement quand l analyse, les recommandations, les négociations sont entreprises. Dans le même temps c est la meilleure voie d apprentissage. A travers l évaluation une nouvelle culture professionnelle est apprise. Elle développe lucidité, sincérité et transparence. 4. Comment une évaluation peut aider une organisation à apprendre Il y a fondamentalement deux processus différents d apprentissage assurant le succès : 1) l apprentissage par implication et engagement 2) l apprentissage par formation et communication.

7 7 4.1.L apprentissage par implication et par engagement (AIE) Dans les cas présentés annexes 4, 5, 6, nous pouvons voir que dans ce processus il y a le personnel des organisations apportant vraiment l aide, directement impliqué dans les politiques locales. Il y a aussi bien entendu dans ce processus le personnel de contre-partie des organisations locales recevant l aide. Les uns et les autres peuvent apprendre en même temps. Ils planifient les uns et les autres l évaluation et participent aux missions d évaluation sur le terrain. Quand elle est entreprise avant, pendant et/ou après le processus de mise en œuvre de la politique, l évaluation est incluse dans le processus de management. Logiquement le cadre de travail du management devrait être construit avant tout programme d évaluation. Cela semble normal. Alors, construisant un cadre stratégique pour le management on peut voir apparaître l évaluation comme partie intégrante du processus. Si nous admettons qu à travers l évaluation nous pouvons introduire une nouvelle culture professionnelle, celle-ci doit avant tout être développée comme un système de management stratégique. Alors il est important de développer en théorie et en pratique le programme et le projet contenant tous les éléments d une stratégie du développement. Dans le processus allant de la politique aux résultats nous trouvons les objectifs définis avec précision, les ressources prises en compte, les activité et les résultats. Un directeur et son équipe sont désignés et la méthodologie de l action est définie. Celle-ci contient les éléments de l évaluation. 4.2.L apprentissage par la formation et la communication(afc) Dans les cas présentés en annexes 1, 2, 3, nous pouvons voir que dans ce processus les acteurs et les citoyens peuvent apprendre par des cours de formation et des conférences : en écoutant, lisant et écrivant. Le processus est souvent organisé par un institut de management ou par des programmes spéciaux. La formation y est la meilleure voie pour formuler les critères, pour analyser chaque concept et pour les comparer à la réalité. Apprendre par la formation et la communication apporte des ouvertures faciles amplifiant de nouvelles pensées. Elles permettent des perspectives holistiques enrichissantes. Le stimulus pour apprendre est servi par d autres acteurs et peut être contrôlé hors du système. Le cadre de management pour construire un projet est fait de : - L organisation du système : le temps est limité et flexible, il inclut l évaluation avec une assistance technique externe. - La perception de l action en cours - Le langage pour l entreprise opérationnelle - Un comportement non bureaucratique comprenant l engagement du manager - La rationalisation du jeu politique en relation avec l évaluation Trop souvent le projet est un mot vague. Il y a alors une confusion entre le projet de management et l opération d évaluation. Cela signifie que l on met l accent sur l évaluation quand la responsabilité de l action est essentielle dans le projet. Il convient de garder à l esprit que quand on évalue une politique : - la politique est une décision qui doit être appliquée - il y a ensuite un processus de décision comprenant la mise en œuvre du management. Ainsi dans le développement territorial où de nombreux acteurs sont impliqués nous pouvons découvrir ce qui est erroné quand il n y a pas de cohérence dans le système d information. Alors l évaluation apparaît comme une opportunité pour changer la bureaucratie. Quand le système d information ne fonctionne pas correctement pour organiser l évaluation il est nécessaire de développer une méthodologie et des indicateurs spécifiques. En effet, le programme n est pas organisé pour une mise en œuvre suffisante et les évaluateurs doivent développer des indicateurs au-delà de la mise en œuvre de l action. Ce type de changement est difficile à réaliser. Ainsi par exemple à la fin de l évaluation d un contrat de plan régional il est possible de voir ce qui n est pas satisfaisant et quelquefois erroné.

8 8 Mais alors il est difficile d améliorer et de réformer le système en cause en raison des comportement bureaucratiques. Quels concepts développer pour l apprentissage? Dans le champ des politiques publiques nous avons besoin d utiliser le langage des politiques publiques. Quelle stratégie pour appliquer quel programme? Liste des annexes Déterminant 1 :développement de la capacité de management Annexe 1 Programme ENA-N (Afrique) Annexe 2 Programme Dev-IPA (Europe) Annexe 3 Programme CIPA (Balkans) Déterminant 2 : développement urbain Annexe 4 Politique urbaine/programme N (Afrique) Annexe 5 Politique urbaine/programme S (Europe Déterminant 3 : développement durable Annexe 6 Protection de l environnement et développement des ressources naturelles à B (Afrique)

9 9 Annexe 1 Programme ENA/N.. Titre: Evaluation du programme pour le développement de la capacité du management local en N (Afrique) Objectifs 1 Développer l organisation publique pour une meilleure gouvernance 2 Organiser les programmes de formation pour un nouveau management 3/ Nationaliser les effectifs de personnel Critères Critères méthode : durabilité, pertinence efficience transparence Critères opérationnels: nationalisation rapide, amélioration des stratégies, développement des relations internes. Cycle du projet 1 Comment organiser un cycle de projet dans la réalité 2 Comment préparer l évaluation 3 Evaluation du projet In-put Penser par critères/perception/représentation Approche multi-critères out- put Niveau de difficulté concerné Connaissance Attitude Comportement individuel Comportement de groupe

10 10 Annexe 2 Programme Dev-IPA (Europe) Titre: Développement de la capacité de management pour l intégration européenne et la coopération (France 1998) Objectifs 1/ développer les organisations publiques pour une meilleure gouvernance. 2/ organiser les programmes de formation pour améliorer la capacité de management 3/ programme orienté Europe Critères Critères méthode : pertinence, efficience, démocratie Critères opérationnels: orienté stratégie, intégration européenne, assistance technique Cycle du Projet 1: Comment organiser un cycle de projet en fait 2: Comment préparer l évaluation 3: Evaluation du projet (pour chaque promotion) In-put Penser à partir des critères / perception / représentation Approche multi-critères Out put Niveau de difficulté attendu Connaissance Attitudes Comportement individuel Comportement de groupe et organisationnel

11 11 Annexe 3 Programme CIPA (Balkans) Titre: Etude de la conception d un programme Objectifs 1 : Entreprendre une étude des besoins de formation / identifier les besoins les plus importants pour une stratégie de formation complète 2 : Faire une étude pour un programme de formation (formation continue sur le terrain) 3 : Etudier les besoins pour développer la capacité locale et un modèle de développement futur durable 4 : développer un document conceptuel sur un institut d administration publique Critères (2002) Critères méthode : durabilité pertinence, efficience, démocratie Critères opérationnels : 1 : Un nouveau service public a) Professionnel / stable b) Pour une bonne gouvernance i.e. transparence / participation / responsabilité / orienté besoins des citoyens / management d un service public fondé sur le mérite / services humanisés et accessibles / professionnalisme / impartialité / efficience 2: Durabilité de l institut et du réseau institutionnel Cycle du Projet (planifié 2003)

12 12 Annexe 4 Politique urbaine/programme N (Afrique) Objectifs : Développer l organisation urbaine pour améliorer la vie économique et sociale par la décentralisation. Critères Critères méthode : durabilité et gouvernance Critères opérationnels : production et distribution d eau, organisation sanitaire, développement de marchés locaux Cycle du Projet 1: Comment organiser un cycle de projet en fait 2: Comment préparer l évaluation 3: Evaluation du projet 4 : Comment organiser la participation des citoyens Input Mise en place des institutions et apprentissage Output Réorganisation urbaine avec priorité à la santé et à l eau

13 13 Annexe 5 Evaluation du programme de développement urbain.de S Objectifs: application de la politique urbaine pour une meilleure cohésion sociale, une meilleures sécurité et une meilleure intégration de l immigration Critères Critères méthode: Durabilité et pertinence Critères opérationnels Emploi Proximité Préférence aux résidents Lutte contre l exclusion ( critère de pauvreté) Emploi des femmes Cohésion sociale Besoins des entreprises Gestion urbaine Accessibilité aux services Premiers arrivants Nouveaux arrivants Eviter la ségrégation sociale Education Les jeunes majoritaires mixité Culture Démocratisation de l accès au pratiques culturelles Démocratisation de l accès aux équipements culturels Santé Hôpitaux ( voir détails ci-joint) Autres établissements Sécurité Taux de criminalité Cohésion sociale

14 14 Détail pour la santé ( annexe 5) Humanisation des hospices Programme régional d évaluation pour l humanisation à l occasion de la modernisation des hospices Objectifs 1 : reconversion des bâtiments et de l organisation 2 : humaniser la vie quotidienne des hospices: Le programme et son évaluation Ce programme implique une véritable reconversion des hospices dans leur structure et leurs activités. Les évaluateurs ont développé la liste de critères ci-après : Critères pour l évaluation L approche de l humanisation des hospices n est pas facile. Qu est-ce l humanisation? Dix critères ont été définis pour construire les indicateurs pour chaque projet de ce programme. Ce choix a été fait par les évaluateurs. Ce sont : a) les locaux b) cohérence entre le projet de vie et le projet de construction c) communauté ouverte ou fermée d) flexibilité des bâtiments e) locaux de travail du personnel f) autonomie dans la communauté g) autonomie dans l espace individuel h) cohérence d ensemble i) activités programmées j) comportement du personnel:

15 15 Annexe 6 Développement durable / programme B (Afrique) Titre : Protection de l environnement et développement des ressources naturelles à B (Afrique) Objectif du programme: Développer la méthodologie d un développement durable pour les managers ruraux (tous niveaux) Les former pour diffuser les méthodologies et les bonnes pratiques Définir les besoins qualitatifs de management de l environnement et des ressources naturelles pour dix ans Critères Critères méthode : durabilité, écodéveloppement, pertinence, efficience, transparence. Critères opérationnels : approche globale et systémique, Forêt / activités humaines, Faune / Elevage, protection et production d eau Cycle du Projet 1: Comment organiser un cycle de projet en fait 2: Comment préparer l évaluation 3: Evaluation du projet (pour chaque promotion) 4 : comment organiser la participation des citoyens In-put Penser à partir des critères / perception / représentation Approche multi-critères Out put Niveau de difficulté attendu Connaissance Attitudes Comportement individuel Comportement de groupe et organisationnel -

16 16 References Cracknell, B.E (2000). Evaluating Development Aid, issues, problems and solutions, Sage publications, 2000 Henry, T.H.(2002) Choosing criteria to judge program, Evaluation, vol.8, Nr.2, April 2002 Torres, P. ( 1975) Programme evaluation UNDP/ ENA Niamey/ Niger Torres, P. (1977) Le processus budgétaire dans les collectivité territoriales au Niger Niamey., PNUD/ENA.. Torres, P. (1985).Institutional development in education and training in Sub- Saharan African Counties. Word Bank Torres P.(1992) Protection de l environnement et gestion des ressources naturelles. Séminaire de management stratégique; IIAP Bangui/Paris Torres, P. (1994) Le management dans la complexité : pour une logique de l action, Nantes, Institut Régional d Administration, Torres, P. (1994) Le projet, plate forme pour manager dans la complexité, application au développement local et inter régional, Nantes, Institut Régional d administration Torres, P. (1996) Le sens de l évaluation des projets :des concepts à la pratique, quels apports? Université de Provence,6-7 juin 1996 Torres, P. (1998) Evaluation du programme de développement de l Institut Régional d Administration de Nantes Torres, P.(2000) Consequences of growing demand for evaluation and performance data : response to demand and new framework EES European Evaluation Society4 th ees conference / Lausanne / October Torres, P (2002) La recherche des critères dans l évaluation des politiques de développement urbain Groupe de recherche AD/SFE Torres P.(2002) How to design a project for a management development programme in Balkans