Congrès SEVAL Evaluation / audit: éléments de définition

Transcription

1 Congrès SEVAL 2008 Evaluation / audit: éléments de définition Evaluation / audit : concurrence ou complémentarité? Berne, Emmanuel Sangra, Contrôle fédéral des finances 1

2 Au menu 1. Faut-il vraiment définir? 2. Y a-t-il une définition générale? - Différents types d audits et d évaluations - Distinction suivant le champ examiné - Distinction suivant les méthodes de travail - Autres possibilités de distinction 3. Sur le terrain, y a-t-il des différences? - Positionnement institutionnel - Méthodes utilisées - Critères d appréciation - Présentation, diffusion et suivi des résultats 4. Quelle a été l évolution au Contrôle fédéral des finances? 5. Risques et conclusions - Votre projet est-il un audit ou une évaluation? 2

3 1. Faut-il vraiment définir? Risque de confondre désirs et réalité, de générer des conflits territoriaux. A quoi bon faire des catégories, donner des étiquettes? Tendance d intégrer un maximum d aspects dans la définition de l évaluation ou de l audit pour éviter de restreindre sa marge de manœuvre (services de surveillance) ou ses chances d acquisition de mandats (mandataires)... Exercice utile pour réduire des malentendus et faciliter la coordination. Nécessité de définir pour pouvoir mieux communiquer avec des non-spécialistes. 3

4 De + en + de chevauchements Accroissement des besoins en informations. Les comptes sont-ils corrects => L Etat est-il efficient? De plus en plus d instruments de récolte et d analyse des informations. Multiplication des dénominations. Progrès concernant la tenue des comptes. Elargissement du rôle des instances de contrôle. Tendance des auditeurs à se préoccuper de plus en plus des résultats et des évaluateurs de la mise en œuvre (fin des évaluations «black box» ) 4

5 2. Y a-t-il une définition générale? Wikipedia (F) Audit du latin «audire», écouter. Processus systématique, indépendant et documenté permettant de recueillir des informations objectives pour déterminer dans quelle mesure les éléments du système cible satisfont aux exigences des référentiels du domaine concerné. Le premier cabinet d audit fut fondé au 19e siècle à Londres (comptabilité). L audit fut introduit par les Anglo-Saxons au début du 20e siècle pour la gestion. Evaluer du latin «valor» (valeur), dérivé de valere («être fort»). L évaluation est une méthode qui permet de connaître la valeur d'un résultat (!), qui ne peut pas être mesuré (!). Origine: années 60 (USA), sciences sociales. 5

6 Différents types d audits (F) 1. Audit financier 2. Audit de gestion, des processus 3. Audit de rentabilité (E) Financial audits Operational Audit Management Audit Performance Audit (D) Rechnungsprüfüng Systemprüfungen Führungsprüfung Wirtschaftlichkeitsprüfung Comptabilité, processus financiers et d acquisition Critères: régularité, légalité Construction, acquisitions, informatique, méthodes de travail, système de contrôle internes, etc. Comparaisons Input- Output Benchmarking Parfois audits transversaux (dans plusieurs unités) NAO: «Value for Money Audits» Audit environnemental 6

7 Différents types d évaluations Appréciation aussi systématique et objective que possible de la conception, de la mise en œuvre et/ou des effets d une politique publique, d'un programme et/ou d'un projet. Projet Programme, mesure Politique publique Conception x x x Mise en œuvre x x x Effets x x x 7

8 Distinction suivant le champ examiné Conception - mise en œuvre effets 1. Conception volonté politique législation => inputs (moyens octroyés) 2. Mise en œuvre organisation coordination, communication acquisitions, constructions informatique surveillance, controlling => outputs (produits, prestations) Audit de rentabilité 3. Effets => outcomes (effets directs) => impacts (effets sur société) Evaluation L'audit peut porter sur divers aspects de la mise en œuvre allant jusqu'à l'analyse du rapport entre inputs et outputs (rentabilité). Le rôle du management chargé de la mise en œuvre est central. L évaluation inclut l'analyse des effets et examine les relations avec les objectifs fixés au niveau politique. 8

9 Distinction suivant les méthodes GAO (2004), INTOSAI (2004) Auditeurs: un grand nombre de normes d audits souvent reconnues au niveau international Evaluateurs : des méthodes tirées des sciences sociales, mais aussi des standards 9

10 Autres possibilités de distinction Suivant les objectifs du projet - prise en compte du contexte politique dans l appréciation - «machen wir die Sachen richtig?» «machen wir die richtigen Sachen?» - fixer les liens de causalité entre une politique, une mesure et ses effets Suivant les critères d appréciation régularité - légalité rentabilité efficacité efficience Suivant les sources d informations récoltées internes au domaine examiné et/ou auprès de bénéficiaires et non bénéficiaires ou de leurs représentants (parties prenantes, stakeholders) l évaluation doit souvent reconstituer des informations qui ne sont pas à disposition du management Suivant la durée du projet Etc. 10

11 3. Sur le terrain, y a-t-il des différences? Qui produit des audits ou des évaluations à la Confédération? 11

12 Configuration institutionnelle Peu de différences entre audit et évaluation en ce qui concerne: Proximité entre mandant et mandataire. Approche de type formatif ou sommatif. Approche ex ante simultanée ex post. Recours à des mandataires externes. Tendance de certains services à réaliser à la fois des audits et des évaluations => recrutement de collaborateurs avec des formations de + en + variées Tendance des offices à regrouper leur système d information Note - au niveau d une grande entreprise privée: - Comptes obligatoirement soumis à un organe de révision externe. - Audits plutôt réalisés à l interne (parfois mandats externes). - Evaluation plutôt du ressort du marketing (parfois mandats externes ponctuels : études de marché, satisfaction des clients etc.). 12

13 Méthodes utilisées 1. Audits financiers Analyse de comptes, examens des documents comptables sur place (essentiellement par échantillon), analyse de systèmes informatiques comptables, quelques entretiens. Normes souvent précises sur l organisation de l audit (Schweizer Prüfungsstandards, Grundsätze zur Abschlussprüfung (GzA). 2. Audits de processus ou de rentabilité Interviews, analyses de documents, prise de système, analyses de bases de données, parfois questionnaires ou benchmarks. Normes portant sur l organisation du travail de l audit et sur la déontologie (IIA - Institut of Internal Auditors - ISACA (Information Systems audit and control association). 3. Evaluations Triangulation de méthodes tirées des sciences sociales : analyses documentaires, interviews approfondies, interviews de groupe, questionnaires, sondages auprès de bénéficiaires ou non bénéficiaires, analyses de bases de données, statistiques, comparaisons internationales, etc. (+ quelques standards SEVAL) 13

14 Critères d appréciation 1. Audits financiers Législation + normes souvent précises, concernant la présentation des comptes (ex. IPSAS International Public Sector Accounting Standards) 2. Audits de processus ou de rentabilité Législation, normes ou standards de processus concernant le champ audité. (ex. Hermes - gestion de projets, législation sur les marchés publics, etc.). Importance de l expérience professionnelle de l auditeur et nécessité de fixer des référentiels. 3. Evaluations Critères souvent reconstitués lors du processus évaluatif - objectifs fixés par la législation - objectifs que l on peut reconstituer sur la base d une analyse des documents historiques, de directives, de l avis des autorités ou des stakeholders, etc). - comparaisons systématiques avant-après / benchmarks «Existing criteria are the precondition to auditing, they are not for evaluation (Rist 1989)»(?!) 14

15 Présentation, diffusion et suivi des résultats 1. Audits financiers Bref rapport d attestation avec ou sans réserve parfois publié. Parfois une audit letter à l organisation révisée avec des recommandations. Pas de publication. 2. Audits de processus ou de rentabilité Rapport à l intention des services concernés (présentation du contexte succinct étant donné le fait que le service le connaît). Publication rare. Recommandations très fréquentes et souvent directement opérationnelle pour le service concerné. En général, suivi de la mise en place des recommandations à court terme. 3. Evaluations Rapport complet, en général destiné à la publication. Parfois recommandations, souvent adressées à plusieurs destinataires différents. Parfois suivi de la mise en oeuvre des recommandations à moyen terme. 15

16 4. Evolution au CDF? 1887 Le Conseil fédéral accepte la mise en place d un service de contrôle des comptes de la Confédération situé au service financier 1967 La loi sur le contrôle des finances est adoptée afin d intensifier le contrôle matériel des finances fédérales Années 1970 et 1980 Le Contrôle fédéral des finances met en place des compétences dans le domaine de subventions, de la construction et des acquisitions. 16

17 CDF: de + en + d indépendance 1994 Adoption d une révision de la loi qui introduit le critère de l efficacité - subordination directe au Conseil fédéral et au Parlement (Délégation des finances), - totale autonomie dans la confection du programme annuel, - au titre des contrôles de rentabilité, le CDF examine: a. si les ressources sont employées de manière économe, b. si la relation entre coûts et utilité est avantageuse, c. si les dépenses consenties ont l effet escompté Réorganisation : structure matricielle, 6 centres de compétences dont - 3 «surveillance et révision financière» - 1 «audit informatique» - 1 «audit des constructions et des achats «- 1 «audit de rentabilité et évaluation» (8,4 postes). Le CDF dispose actuellement de 90,7 poste (FTE) 17

18 CDF: une approche de + en + large 100% 90% FORMEL 80% 70% 60% Audits financiers 50% 40% 30% 20% Autres audits 10% MATERIEL Evaluations 0%

19 5. Risques par rapport à la coordination Audits difficulté d accès aux rapports étant donné leur nombre et souvent leur non-publication, titre pas assez précis par rapport au contenu, risque d appréciations qui vont au-delà de ce qui a été audité (bon processus donc bon programme ), risque de recommandations valables pour le domaine audité, mais qui ne prennent pas en compte le contexte général, «simplification excessive» 19

20 5. Risques par rapport à la coordination Evaluations durée du processus, charge de travail pour les services évalués, résultats sans prise de position tranchée, recommandations sur lesquels les services ont peu de prise, «complexification inutile» 20

21 Conclusions Des préjugés entre évaluateurs et auditeurs font courir des risques: => Echange insuffisant d informations, => Multiplication des contrôles dans le même service, => Résultats incohérents. Nombreuses caractéristiques communes entre audit et évaluation - répondre à un besoin d informations sur des activités étatiques, - nécessité de récolter des informations, - livraison de résultats «objectifs» consignés dans un rapport. Mais aussi des différences. Cependant pas de ligne de démarcation nette. Plusieurs critères doivent être utilisés pour distinguer 21

22 Votre projet est-il un audit ou une évaluation? 1. Le projet peut-il remettre en cause des objectifs fixés au niveau politique (peut-il aboutir à des propositions de modifications législatives)? 2. Le projet examine-t-il les liens de causalité entre l action de l administration et ses effets externes (dispose-t-il d un modèle d impact)? 3. Le projet intègre-t-il les principaux stakeholders concernés de manière systématique y compris les bénéficiaires finaux ou leurs représentants? 4. Le projet utilise-t-il et combine-t-il des méthodes tirées des sciences sociales, en particulier s il a recours à des méthodes quantitatives? 5. Le rapport va-t-il être publié et les méthodes utilisées décrites de manière transparente? Si votre projet compte plus de 6 points, il s agit d une évaluation Total Oui (2 pt) Plutôt oui (1 pt) Non (0 pt) 22

23 Une suggestion finale (à discuter ) Distinction en fonction du champ examiné (conception - mise en œuvre effets) utile et facile à communiquer à des nonspécialistes. Une telle distinction impliquerait notamment d appeler un projet «Evaluation» uniquement s il prend en compte de manière systématique le contexte politique et les effets auprès de bénéficiaires ou de non-bénéficiaires 23

24 Davantage d informations Essais de définir ce qui distingue audit et évaluation depuis plus de trente ans Eleonore Chelimski (1985), Ray Rist (1989), Frans Leeuw (1992), Christopher Pollitt (1999), Kim Hyunku (2005), John Mayne (2006) Reinhard Stockmann (2007), Marie-Louise Bemelmans-Videc / Jeremy Lonsdale (2007) INTOSAI (2004), Lignes directrices pour la mise en oeuvre des normes de vérification des résultats Thank you for listening! 24