Staatssekretariat für Wirtschaft SECO Evaluation & Controlling Évaluation et Audit Perspectives de la Coopération et du Développement économiques du SECO Odile Keller SECO, Evaluation & Controlling SEVAL, Atelier 1, 5 septembre 2008
1. Quelques similarités et différences Les objectifs La complexité de la mesure de l efficacité La crédibilité Le public 2
Les objectifs de l évaluation et l audit Les objectifs: à la fois remise des comptes et apprentissage Evaluation: accent accru sur l apprentissage (lessons learning) Audit: accent accru sur la remise des comptes (accountability) Politique en matière d évaluation (coopération et développement économique): Reconnaissance des deux objectifs Différents types d évaluations selon l accent (revues internes, évaluations externes et évaluations indépendantes). 3
La complexité de la mesure de l efficacité Les questions sur l efficacité Audit: les résultats ont-ils été atteints (output)? Comment les processus peuvent-ils être optimisés pour atteindre les résultats? Évaluation: les résultats ont-ils été atteints (output, outcome et parfois impact)? Sont-ils appropriés? L approche sectorielle estelle pertinente? Quelle est la contribution du projet aux résultats (causalité/attribution)? Y a-t-il des résultats non attendus? La palette de méthodes à disposition pour la mesure de l efficacité Palette de méthodes plus restreinte pour l audit que pour l évaluation. 4
La complexité de la mesure de l efficacité (suite) Pour la Coopération et le Développement économiques, besoin d une approche exhaustive pour l examen de l efficacité: Apprentissage est clé -> besoins de savoir si objectifs adéquats, facteurs de succès ou d échec, approche appropriée etc. Deux autres critères essentiels liés à l efficacité: pertinence (notamment pour les pays partenaires) et durabilité des programmes. Variétés des méthodes utilisées: Nécessaire pour répondre à la question de la causalité/attribution. -> Evaluation comme outil essentiel de la mesure de l efficacité. 5
La crédibilité Le positionnement institutionnel Audit: Positionnement institutionnel indépendant Évaluation: Traditionnellement, en Suisse, évaluation pour la coopération au développement répond au management. Standards versus jugements d experts Audit: critères établis (audits financiers, réglementation applicable, etc.). Evaluation: Pas de critères reconnus pour juger de l efficacité de l aide, jugement d experts joue un rôle important. 6
La crédibilité (suite) Pour la Coopération et le Développement économiques, la question de la crédibilité de l évaluation se pose: Positionnement de la fonction de l évaluation. Valeur ajouté du jugement d expert, car amène des perspectives différentes et mieux adapté aux différents contextes. Mais risque d arbitraire ou de perception d un manque de crédibilité. 7
Le public Le public concerné Audit: Management d un office (service de révision interne), Parlement (Contrôle des finances), mais aussi responsable du programme. Evaluation: Tout d abord responsable du programme, management, agence d exécution, partenaires, bénéficiaires, mais aussi Parlement et public et institutions dans les pays partenaires. Pour la Coopération et le Développement économique, le résultat des évaluations intéresse un grand nombre de partenaires - > implications d un plus grand nombre de partenaires dans le processus avec parfois des demandes conflictuelles 8
2. Utilisation de l audit et de l évaluation pour la coopération et le développement économiques du SECO La situation actuelle Evaluations par la coopération et le développement économiques. Audits financiers au niveau des projets.. Audits par le service de révision interne du SECO. Audits et évaluations par le Contrôle Fédéral des Finances. Audits et évaluations par les Services du Parlement. Constat Pas de chevauchement entre évaluation et audit. Jusqu à présent, les audits concernent avant tout la régularité dans l utilisation des fonds et les processus. 9
L utilisation des audits et évaluations (suite) Les évaluations pour la coopération et le développement économiques Revues internes/évaluations externes (responsabilité sections opérationnelles) Principalement ciblés sur des programmes particuliers Evaluations à mi parcours pour examiner et éventuellement réajuster un programme en cours Evaluations finales pour juger de la poursuite d un programme sur la base des résultats atteints et de la durabilité de l intervention. Evaluations ex-post pour juger de la durabilité des résultats des interventions. Evaluations indépendantes (responsable à l évaluation) Evaluations sectorielles ou thématiques pour juger des résultats, de la soutenabilité et de l adéquation de l approche sectorielle ou thématique, etc. Volonté de développer les évaluations/études d impact. Les audits Pour l instant, régularité dans l utilisation des fonds. Mais mandat des services d audit inclut efficacité et efficience ouverte pour le futur Question 10
3. La coordination des outils (audits et évaluations) La situation actuelle Services différents en charge des audits et des évaluations, avec objectifs, lignes de reporting et programmes de travail différents. Pas de coordination entre la planification des évaluations ou des audits Avantages et désavantages Avantages: programme de travail répond aux besoins des services d audits et d évaluation, ainsi qu à ceux des responsables de programmes. Désavantages: surcharge des responsables de programmes ou des partenaires de projets. 11
4. Complémentarité ou concurrence? Jusqu ici, l expérience de la Coopération et du Développement économique du SECO montre qu il n y a pas de chevauchement entre audit et évaluation. Mais question pour le futur, dans la mesure où la mesure de l efficacité et l efficience relèvent également du domaine de compétence des services d audit. Notion de complémentarité ou de concurrence -> audit et évaluation comme deux piliers séparés. Mais domaines de collaboration / d inspiration mutuelle peuvent être identifiés. 12
Collaboration La mesure de l efficience Très limitée tant au niveau des audits et des évaluations. Application de différentes méthodologies de calcul aux différents types de projets. Echange d expérience sur les résultats. Les audit et évaluations institutionels/processus Echange sur les méthodes et les expériences 13
Inspiration: renforcer la crédibilité des évaluations Positionnement institutionnel des services d évaluation Indépendance formelle et pas de facto Coopération et Développement économiques du SECO Reporting de la fonction de l évaluation à un Comité externe à l administration. La qualité des évaluations Revue sur la qualité des évaluations en 2007 Forces et faiblesses. Palette limitée des méthodes utilisées pour l évaluation. Besoin de renforcer la variété des méthodologies utilisées pour mieux mesurer outcomes et évt. impact du programme et causalité/attribution. 14
Conclusions Zone grise sur les questions d efficacité et d efficience Evaluations et audits doivent être utilisés par rapport à leurs points forts. Identifier des domaines de collaboration accrue 15