Evaluation. Glossaire de termes d évaluation

Transcription

1 Evaluation Glossaire de termes d évaluation

2 Impressum Office fédéral de la santé publique Editeur : Office fédéral de la santé publique Date de publication : Février 2005 Informations : OFSP, Section Politique de recherche, évaluation et rapports 3003 Berne, tél , evaluation@bag.admin.ch Mise en page : OFSP Distribution : OFSP, Section Politique de recherche, évaluation et rapports 3003 Berne, tél ,

3 Introduction La section Politique de recherche, évaluation et rapports de l OFSP a développé ce glossaire dans le but d améliorer la communication concernant ce qu est l évaluation et ce qu elle fait. En fournissant une base harmonieuse et commune pour nos discussions avec les partenaires, nous espérons pouvoir réduire les confusions terminologiques souvent rencontrées dans notre travail, particulièrement depuis l introduction de la gestion basée sur les résultats et des mesures qui lui sont associées. L évaluation, le controlling et le monitoring sont les trois instruments les plus appropriés pour analyser les effets des mesures publiques. Toutefois, dans la pratique, les termes sont souvent confus ou simplement mal compris. Nos définitions tentent ainsi d en souligner les similitudes et les différences, tout comme leurs potentielles complémentarités 1. Ce glossaire n est pas une liste exhaustive; il couvre seulement les termes-clés identifiés comme essentiels au travers de discussions avec nos partenaires internes et externes. Les définitions sont proposées par ordre alphabétique. Un aperçu des termes en français, allemand, italien et anglais est donné dans le Tableau 1. Les renvois à d autres termes définis sont indiqués en petites majuscules (par ex. : RENVOI). Afin de rédiger ce glossaire, les définitions existantes de différentes sources ont été consultées. La liste de ces sources figure en dernière page. Nous sommes en outre redevables à tous nos partenaires internes et externes avec lesquels nous avons eu des contacts directs et qui nous ont aidé à identifier les termes à inclure, à en affiner les définitions et à les traduire dans les différentes langues. Il ne fait aucun doute que la terminologie continue d évoluer en fonction des changements de pratiques dans la gestion, l administration et les techniques de mesure des effets. Ce glossaire est donc à prendre comme un «state-of-the-art» des termes-clés utilisés à l heure actuelle. Office fédéral de la santé publique Section Politique de recherche, évaluation et rapports Berne, Février Pour des définitions plus détaillées de ces trois termes-clés, voir les définitions convenues par le Groupe de travail interdépartemental sur le suivi des effets, 2004 disponibles sur notre site Internet (Outils Glossaire définitions IDEKOWI). Glossaire d évaluation de l OFSP

4 Termes d'évaluation en 4 langues (par ordre alphabétique) Français Anglais Allemand Italien audit audit Audit audit auto-évaluation self evaluation Selbst-Evaluation autovalutazione but aim / goal Leitziel / Oberziel / übergeordnetes Ziel obiettivo generale cahier des charges (de l'évaluation) terms of reference (of the evaluation) Pflichtenheft der Evaluation capitolato d'oneri / termini di riferimento della valutazione controlling performance management Controlling controlling durabilité sustainability Nachhaltigkeit durabilità effets effects Wirkungen effetti efficacité effectiveness Wirksamkeit efficacia efficience efficiency Wirtschaftlichkeit (Effizienz) economicità étude d'évaluabilité evaluability assessment Prüfung der Evaluierbarkeit studio di valutabilità évaluation evaluation Evaluation valutazione évaluation ex-ante ex-ante evaluation Ex-Ante-Evaluation valutazione ex-ante évaluation ex-post ex-post evaluation Ex-Post-Evaluation valutazione ex-post évaluation externe external evaluation externe Evaluation valutazione esterna évaluation formative formative evaluation Formative Evaluation valutazione formativa évaluation joined-up joined-up (cluster) evaluation Joined-Up-Evaluation valutazione joined-up évaluation prospective prospective evaluation prospektive Evaluation valutazione prospettiva évaluation sommative summative Evaluation Summative Evaluation valutazione sommativa extrants (outputs) outputs Outputs output / prodotti gestion de la qualité quality management Qualitätsmanagement gestione della qualità impacts impacts Impacts (Einwirkungen) impact / conseguenze indicateur indicator Indikator indicatore inputs inputs Inputs input leçons tirées lessons learned Lehren aus Evaluation(en) insegnamenti tratti (dalla/e valutazione/i) méta-évaluation meta-evaluation Meta-Evaluation metavalutazione modèle de la logique du programme programme logic model Darstellung der Programmlogik modello logico (di un programma) objectifs objectives Ziele/Teilziele obiettivi parziali parties prenantes stakeholders Betroffene und Beteiligte (B&B) partecipanti e parti interessate pertinence relevance Relevanz (Zweckmässigkeit) rilevanza pré-évaluation pre-evaluation Evaluations-Vorstudie valutazione preliminare programme programme Programm programma projet project Projekt progetto réalisations (outcomes) outcomes Outcomes outcome / risultati / effetti a medio termine redevabilité accountability Rechenschaftslegung rendiconto résultat(s) result(s) Resultat(e) risultato (risultati) suivi / monitoring monitoring Monitoring monitoring surveillance surveillance Surveillance/Überwachung sorveglianza valorisation valorisation Valorisierung valorizzazione Glossaire d évaluation de l OFSP

5 Glossaire des termes et définitions TERME Définition AUDIT Un audit contrôle que les moyens et les procédures utilisées pour obtenir les résultats soient conformes aux statuts et règlements applicables («audit de régularité») et/ou en mesurent L EFFICIENCE, L EFFICACITE («audit de performance»). Il peut comprendre également un contrôle du SUIVI/MONITORING, de la GESTION DE QUALITE et des procédures d EVALUATION. Contrairement à l EVALUATION, l audit ne se préoccupe pas des jugements de PERTINENCE ou de valeur. AUTO- ÉVALUATION Évaluation dont les responsables de la gestion de «l'objet» de l'évaluation jugent eux-mêmes la mise en œuvre et les RESULTATS de celui-ci. Dans le cadre d'une autoévaluation, l'analyse est toutefois souvent limitée du point de vue de son étendue (prise en compte des seules actions dont on a un contrôle direct) et de sa profondeur (utilisation seulement de données facilement disponibles). BUT (Aim / goal) Objectif global et ultime que la politique/mesure se fixe d atteindre. But général et souvent à long terme. (Cf. OBJECTIF) CAHIER DES CHARGES (DE L EVALUATION) Document écrit présentant le but et le champ de l EVALUATION, les questions-clés de l évaluation, l approche possible, les ressources et le temps disponibles, les publics potentiels, les produits attendus et le calendrier pour la présentation des résultats, ainsi que les responsabilités des deux partenaires. CONTROLLING (Performance Review / Performance Management) Le controlling est une tâche centrale de gestion destinée à fournir une base solide d information pour aider à la prise de décision. Il oriente tout le processus de planification et de gestion d une organisation. Il inclut la sélection, la collecte, l analyse et l interprétation des données pertinentes par rapport aux BUTS et OBJECTIFS de l organisation et aux procédures mises en place pour atteindre ces fins. L analyse prend en compte les indicateurs quantitatifs et qualitatifs définis pour mesurer l'atteinte des différents ensemble d'objectifs. Le controlling peut également intégrer des données de MONITORING établies dans des domaines proches ou les résultats d'evaluations pertinentes. DURABILITÉ (Sustainability) Continuation des bénéfices et/ou des EFFETS générés par une mesure publique après l'arrêt de la subvention originale. Probabilité d'une continuité des bénéfices sur le long terme. EFFETS Changements (voulus ou non, positifs ou négatifs) résultant directement ou indirectement d une intervention ou d une mesure publique. Les effets comprennent les REALISATIONS (OUTCOMES) et les IMPACTS, mais pas les EXTRANTS (OUTPUTS). Q. Quel a été le résultat de cette mesure (par exemple par rapport aux groupes cibles)? Glossaire d évaluation de l OFSP

6 EFFICACITÉ (Effectiveness) Se réfère à l ampleur avec laquelle une mesure publique amène un changement et a provoqué (ou devrait probablement provoquer) les EFFETS désirés et/ou souhaitables. Q. Est-ce que l action publique a réussi à résoudre le problème original et ce sans effets négatifs? EFFICIENCE Mesure pour savoir si les ressources humaines, financières, matérielles, etc. (INPUTS) sont utilisées de manière à fournir les résultats (OUTPUTS, OUTCOMES) désirés de façon économe. Q. Pourrait-on atteindre les mêmes résultats mais avec moins de ressources (INPUTS) ou en utilisant des ressources alternatives moins chères? ETUDE D EVALUABILITE (Evaluability assessment) Analyse technique effectuée en amont d une évaluation afin de vérifier que le PROGRAMME ou le PROJET spécifique à évaluer pourra l être de façon fiable et crédible. Cette analyse consiste principalement à déterminer si les OBJECTIFS sont définis de manière adéquate et si les RESULTATS peuvent être évalués dans le délai donné avec les ressources disponibles par rapport aux données nécessaires. Elle peut aussi analyser la logique et la cohérence du concept du PROGRAMME / PROJET (par ex : logique et cohérence entre les mesures et activités planifiées et les objectifs ciblés). EVALUATION Processus de détermination de la valeur (contribution au bien-être social), de la qualité et/ou de la légitimité de l objet concerné. Ce jugement est basé (généralement) sur l utilisation de méthodes de recherche en sciences sociales et de procédures de collecte et d analyse systématiques de données, pas forcément disponibles habituellement, concernant différents aspects d une mesure publique. Les critères de jugement communément appliqués sont la PERTINENCE, l EFFICACITE, L EFFICIENCE et occasionnellement la DURABILITE. L'évaluation peut prendre en compte dans son analyse les données issues de SUIVI/MONITORING et de CONTROLLING. De même, l évaluation peut aider à identifier les indicateurs clefs à inclure dans les systèmes de SUIVI/MONITORING et/ou de CONTROLLING pour de nouveaux thèmes ou domaines. N.B. L évaluation est à la fois un processus (collecter des données, les analyser et les interpréter), ainsi qu un produit (feed-back du processus, résultats, conclusions et recommandations aux parties prenantes pour leur action future). Glossaire d évaluation de l OFSP

7 EVALUATION EX- ANTE Évaluation qui précède la mise en oeuvre d une intervention. Il s agit d une estimation des EFFETS présumés des mesures entreprises basée sur la revue et la synthèse de résultats de recherches et d évaluations précédentes pertinentes. Une question centrale de ce type d'analyse est la pertinence et l'adéquation entre, d'une part, le problème de départ et, d'autre part, la stratégie, les mesures et les ressources proposées. Le contexte de fonctionnement de l'«objet» de l'évaluation est également analysé pour vérifier sa compatibilité par exemple avec les politiques et/ou les pratiques locales ou encore l'acceptabilité de la stratégie et des mesures proposées par les partenaires. C.f. EVALUATION PROSPECTIVE Q. Sur la base des connaissances existantes, quels sont les effets probables d une mesure publique? Est-ce que l intervention proposée est une manière pertinente et adéquate d aborder le problème? Est-ce que la mesure proposée est compatible avec le contexte national et local? EVALUATION EX- POST Voir EVALUATION SOMMATIVE EVALUATION EXTERNE Évaluation par des spécialistes qui ne sont pas employés par l organisation/administration responsable de l objet de l évaluation et qui n ont aucun intérêt personnel, financier ou autre dans l objet évalué pouvant influencer leur jugement. Une telle analyse est d une envergure plus large et plus approfondie. Elle assure une distance critique et une neutralité (dans le processus d analyse) plus importantes que ne le permet l AUTO-EVALUATION. ÉVALUATION FORMATIVE L évaluation formative est conduite à l intention des partenaires internes durant la phase de mise en œuvre d une mesure publique. Au moyen de feed-back réguliers aux PARTIES PRENANTES concernées, l évaluation formative vise à améliorer les performances (EFFICACITE, PERTINENCE de la stratégie, processus, mesures, actions, etc.). N.B. L EVALUATION FORMATIVE et l EVALUATION SOMMATIVE (récapitulative) peuvent être mieux distinguées grâce à l image suivante : «Quand le cuisinier goûte la soupe, c est formatif ; quand les invités goûtent la soupe, c est sommatif» 2. ÉVALUATION «JOINED-UP» (Joined-up evaluation) Design d évaluation permettant de répondre à un ensemble commun de questions intégrées dans les évaluations de différents éléments d une politique, d un programme ou d une stratégie globale. Par exemple, les interventions nationales en santé publique à large échelle comprennent souvent un certain nombre de PROGRAMMES spécifiques et ciblés aussi bien que des PROJETS pilotes pour «tester» une approche innovante du problème. Chacun de ces éléments peut être l objet d une évaluation propre, avec ses questions spécifiques d évaluation. Toutefois, avec un planning coordonné et pertinent, des données peuvent être rassemblées afin de répondre à certaines questions générales. 2 Tiré de : Scriven, Michael (1991), Evaluation Thesaurus, 4 th ed., SAGE, p 169. Glossaire d évaluation de l OFSP

8 ÉVALUATION PROSPECTIVE Analogue à l'evaluation EX-ANTE, mais avec une analyse du contexte moins détaillée. ÉVALUATION SOMMATIVE (Summative evaluation) Évaluation rétrospective d une mesure publique. Elle est conduite pendant ou après la réalisation (EX-POST) ou la stabilisation du programme (moyen-terme) et est destinée à un public externe ou aux décideurs. C.f. EVALUATION FORMATIVE pour comparer les différences entre évaluation formative et sommative en terme d intention, de public et de dimension temporelle. EXTRANTS (OUTPUTS) Ce sont les activités, les biens et les services produits directement par la mesure publique (par ex : brochures, rapports, ateliers, campagne, programme informatique, etc.). Les extrants (outputs) sont directement observables et quantitativement ou qualitativement mesurables. GESTION DE LA QUALITE (Quality Management) Ensemble des activités et des procédures de gestion qui déterminent la politique de qualité d'une organisation et la mise en pratique de celle-ci. Les principaux instruments de la gestion de la qualité sont la planification de la qualité, l assurance qualité et l amélioration de la qualité (quality improvement). Des approches et des méthodes d'evaluation sont à la base de nombreux systèmes de gestion de la qualité. D'autre part, un système de gestion de la qualité peut être l'objet d'une évaluation. Le terme de qualité se réfère à l ensemble des propriétés et des caractéristiques essentielles qu un produit, un processus ou un service doit avoir pour satisfaire aux mesures décidées et aux critères de jugement. La satisfaction du client en est le principal souci. IMPACTS EFFETS à moyen et long terme, généralement au niveau sociétal, d une mesure publique (souvent en lien avec ses BUTS globaux). Ces changements peuvent être directs ou indirects, voulus ou non, positifs ou négatifs, etc. Q. Le but global a-t-il été atteint? Les changements sont-ils durables? Y a-t-il eu des changements non attendus, par exemple dans d autres groupes de population? INDICATEUR Mesure, quantitative ou qualitative, qui fournit des informations sur un phénomène qui, en soi, n est pas directement mesurable. Utilisé pour mesurer les EXTRANTS (OUTPUTS), les REALISATIONS (OUTCOMES) et les IMPACTS, ainsi que pour refléter les processus et les changements dans le contexte. Les indicateurs d IMPACT sont souvent plus difficiles à identifier et il est ainsi souvent nécessaire de se fier à des indicateurs indirects comme approximation. INPUTS Ressources financières, humaines et matérielles engagées pour la mise en œuvre d une mesure publique (par ex : temps, budgets, salaires, énergie, savoirfaire/compétences). LEÇONS TIRÉES (Lessons learned) Généralisations établies à partir des expériences et des conclusions d une ou de plusieurs évaluations permettant le passage des circonstances spécifiques à un contexte et à des enseignements plus larges. Souvent, ces leçons soulignent les forces et faiblesses dans la conception, la préparation, la planification, et la mise en œuvre d une mesure publique, qui ont un effet sur la performance, les REALISATIONS (OUTCOMES) et l IMPACT. Glossaire d évaluation de l OFSP

9 MÉTA- EVALUATION Évaluation d autres évaluations. Contrôle de la qualité scientifique et éthique d une EVALUATION ou d une série d évaluations. Analyse critique selon 4 groupes de critères de jugement : utilité, faisabilité, déontologie et précision (voir les standards d évaluation de la SEVAL, MODELE DE LA LOGIQUE DU PROGRAMME (Programme logic model) Représentation d un PROGRAMME et des hypothèses (implicites et/ou explicites) qui font le lien causal entre les mesures planifiées et les EFFETS attendus. Le cadre logique (LogFrame) est l un des outils utilisés dans ce processus. Tous les PROGRAMMES partagent des éléments communs. Un modèle logique met en évidence ces éléments communs, montrant ce que le programme est supposé faire, pour qui, comment (mesures et activités) et à quelle fin (BUT). Il identifie, entre autres, quels sont les INDICATEURS qui devraient être utilisés pour juger les RESULTATS et les facteurs qui peuvent influencer le succès ou l échec du programme. Pour l EVALUATION, c est un outil qui peut être utile à différents niveaux, par exemple pour déterminer l étendue de l étude et les questions à poser. OBJECTIFS Ensemble de sous-buts spécifiques et mesurables / «évaluables» (par ex : intermédiaires, opérationnels) qui doivent être atteints afin de pouvoir aboutir au BUT global et général. Ils doivent être SMART : Spécifiques, Mesurables / évaluables, Appropriés, Réalistes, Time bound - délimités dans le temps. PARTIES PRENANTES (Stakeholders) Agences, organisations, groupes ou individus qui ont un intérêt ou sont investis directement ou indirectement dans la conception, la mise en œuvre et/ou les bénéfices d'une mesure publique. PERTINENCE Degré ou ampleur avec lequel/laquelle une stratégie, une mesure, une action ou un OBJECTIF correspond au besoin identifié (besoins du groupe cible, besoins sociaux, priorités globales). Q. Faisons-nous (ou planifions-nous) la «bonne» chose de la «bonne» manière pour les «bonnes» personnes? N.B. Rétrospectivement, la question de la pertinence revient souvent à savoir si les objectifs ou le design d une action publique spécifique sont toujours appropriés étant donnés les changements de circonstances. PRÉ-ÉVALUATION Étude préalable visant à : identifier les attentes des PARTIES PRENANTES, choisir et préciser les questions d'évaluation, vérifier qu il sera possible d y répondre, mettre en place le dispositif d évaluation, et rédiger LE CAHIER DES CHARGES. Le cas échéant, la pré-évaluation peut aboutir à la recommandation de ne pas procéder à l évaluation ou de la remettre à plus tard, par exemple si les conditions propices à son bon déroulement ne sont pas réunies ou si l on peut répondre aux questions prévues par d autres moyens. La partie technique de la pré-évaluation est appelée ETUDE D EVALUABILITE. Glossaire d évaluation de l OFSP

10 PROGRAMME Terme générique qui prend en compte un ensemble de projets coordonnés, de mesures uniques, de processus et/ou de services qui visent à aboutir à un BUT commun. Les éléments principaux d un programme comprennent ses processus, ses EXTRANTS (OUTPUTS), ses REALISATIONS (OUTCOMES) et ses IMPACTS. Il est défini et limité en termes de temps, d étendue et de budget. PROJET Ensemble d'activités, de prestations ou d'interventions coordonnées et conçues pour atteindre un même BUT prédéfini. Il est limité en termes de temps, d étendue et de budget. REALISATIONS (OUTCOMES) EFFETS probables ou réalisés à court ou moyen terme d une mesure publique en relation avec ses OBJECTIFS. Q. Qu avons-nous atteint en comparaison de ce que nous avions planifié de faire? «REDEVABILITE» (Accountability) Degré auquel une agence publique (privée) est considérée comme responsable de ses performances et de l utilisation des fonds publics. RÉSULTAT(S) Les EXTRANTS (OUTPUTS), les REALISATIONS (OUTCOMES) et/ou les IMPACTS (voulus ou non, positifs ou négatifs, directs ou indirects) d une mesure publique. SUIVI / MONITORING Le suivi / monitoring est la collecte routinière et systématique de données comparables en relation avec les INDICATEURS établis dans le but d identifier des changements et des tendances dans le temps. On effectue habituellement un suivi / monitoring des INPUTS, des EXTRANTS (OUTPUTS), des processus et des REALISATIONS (OUTCOMES). Afin de répondre à leurs besoins respectifs, tant l'evaluation que le CONTROLLING peuvent utiliser et interpréter des données issues du suivi / monitoring. De même, pour de nouveaux thèmes ou domaines, l évaluation peut aider à identifier les indicateurs clés à inclure dans les systèmes de suivi / monitoring et/ou de CONTROLLING. SURVEILLANCE Saisie et traitement routiniers de données liées aux maladies («surveillance des maladies») et, de plus en plus, aux comportements à risque («surveillance comportementale»). Son but est de fournir des informations pour la planification, la mise en pratique et l'évaluation de mesures de prévention et/ou de contrôle. La surveillance est une partie importante d'un système global de SUIVI / MONITORING. VALORISATION Ensemble d'activités utilisées pour faire connaître les résultats d une évaluation (diffusion) et pour qu'une utilisation pratique puisse en être tirée. Un point important de cette démarche consiste à étendre les apprentissages présentant un intérêt général et/ou spécifique à d'autres situations et contextes (voir aussi LEÇONS TIREES). Glossaire d évaluation de l OFSP

11 Sources Glossary of Key Terms in Evaluation and Results Based Management - Overseas ECD, Development Assistance Committee Working Party on Aid Evaluation Glossaire des Termes de Suivi et d Evaluation; Fonds des Nations Unies pour la population, Bureau des services de contrôle interne et d évaluation Selected Evaluation Terms Harvard Family Research Project Les 27 termes les plus usités par la DDC concernant l évaluation et le controlling, Direction du développement et de la coopération (DDC) Glossary of Plan Components ; Online Evaluation Resource Library Glossary of Evaluation Terms, UK Evaluation Society Glossaire Européen en Santé Publique EU glossary of public health terms Programme SIDA nationaux: Guide de suivi et d évaluation UNAIDS, Genève Zobel, Frank und Sophie Arnaud, Un système d alerte pour les drogues illégales: développement de scénarios. Institut universitaire de médicine sociale et préventive, Lausanne 2002 Bussmann, Werner, Accompagner et mettre à profit avec succès les évaluations des mesures étatiques: guide de réflexion, Genève: Georg, 1995 Commission européenne, Glossaire de 300 concepts et termes techniques, Collection MEANS - volume 6, Luxembourg: Office des Publications des Communautés européennes, Guide pour la planification de l évaluation de projets ou programmes de santé, Berne: Office fédéral de la santé publique, Glossaire d évaluation de l OFSP