Évaluation, données quantitatives et systèmes d'information

Transcription

1 Évaluation, données quantitatives et systèmes d'information Principes généraux de la démarche d'évaluation De la mesure au jugement : considérations épistémologiques Les outils de l'évaluation Évaluation et système d'information

2 L évaluation ex-post Activité d étude et d analyse portant sur la mise en œuvre et les résultats d une action publique Menée dans un cadre méthodologique et institutionnel (plus ou moins) formalisé Dans le but de rendre des comptes et/ou d améliorer cette action

3 Deux visions contrastées de l'évaluation Corpus de techniques de mesure des effets d'une intervention sur la société Processus organisé de production de jugements pratiques ( jugements portés en vue de poser une action ou de prendre une décision )

4 L évaluation comme processus institutionnalisé Des finalités et un cadre institutionnel explicites Une démarche de projet La médiation d une instance d évaluation L élaboration collective d un questionnement La mise en débat des conclusions Un idéal de transparence et de «traçabilité»

5 Le projet d'évaluation (termes de référence) Contexte, enjeux de l'évaluation Définition du champ (liste des mesures à évaluer) Critères d évaluation (référentiel) Éléments de diagnostic initial hypothèses Questionnement (agenda analytique) Bilan informationnel Programme d étude (enquêtes, recherches)

6 Rôle de l instance d évaluation Compléter et valider le projet d'évaluation Rassembler des documents ; procéder à des auditions, des visites de site, etc. Organiser et piloter le programme d'étude Synthétiser et interpréter leurs résultats Rédiger le rapport d évaluation Communiquer, expliquer, diffuser

7 Le référentiel d'évaluation Dans le cas où une étude d'impact a été réalisée, celle-ci fournit immédiatement des critères d'évaluation : les différents objectifs (généraux, spécifiques et opérationnels) identifiés Dans le cas contraire, il convient de reformuler les objectifs officiels (souvent flous, contradictoires et incomplets) pour les traduire en un système hiérarchisé de résultats attendus susceptibles d être mesurés

8 Différents niveaux de résultats Outputs (réalisations) : biens et services produits dans le cadre d un programme Outcomes (Impact, effets) : effets économiques et sociaux du programme, à court, moyen ou long terme Chaîne des résultats : toute action génère un emboîtement complexe de résultats et d'effets (souhaités ou non)

9 Théorie d'action (ou théorie du programme) La théorie d'action est une représentation logique des relations entre les différentes mesures qui constituent la politique, les effets intermédiaires et les différents impacts supposés. Elle cherche à expliciter les mécanismes d'actions sur les «cibles» sociales

10 Exemple : Le policier et l'alcool au volant Les effectifs de policiers (les «moyens») Les heures de travail disponibles (le «potentiel») Les contrôles d alcoolémie Les contrôles positifs Les sanctions L information publique La dissuasion «Moyens» ou «ressources» «Outputs» ou «Productions» «Outcomes» ou «impacts» La diminution de l alcoolémie au volant

11 Questions d'évaluation (I) : Agenda analytique Mise en œuvre de la politique Mécanismes d action Influence du contexte Atteinte des objectifs (indicateurs de résultat) Mesure des effets propres (relations causales entre le «traitement» et ses effets) Effets de système

12 Questions d'évaluation (II) : Agenda synthétique (qualités de la politique évaluée) Pertinence (objectifs/ finalités/ besoins) Cohérence (moyens/ dispositifs/ objectifs) Efficacité (résultats / objectifs) Efficience (résultats / moyens / coûts) Soutenabilité

13 Contenu d un rapport d évaluation ce que doit pouvoir comprendre le lecteur : Objectif de l évaluation Délimitation exacte de l objet Comment l évaluation a été planifiée et conduite Quels faits ont été établis Quelles conclusions en ont été tirées Quelles recommandations en ont été tirées source : guide de la Commission Evaluating EU expenditure

14 Fondements cognitifs d une évaluation «constructiviste» Le cerveau humain ne fonctionne pas comme un ordinateur, mais comme un système autonome Son fonctionnement et ses «routines» sont déterminés par l histoire de ses relations avec son environnement Nous absorbons l information en fonction de nos préoccupations et de nos croyances

15

16

17 L'excès d'information mal structurée peut être nuisible! «Dans un monde où l attention est une ressource majeure des plus rares, l information peut-être un luxe coûteux car elle peut détourner notre attention de ce qui est important vers ce qui ne l est pas. Nous ne pouvons nous permettre de traiter une information simplement parce qu elle est là» (Herbert Simon)

18 Conséquence pour le contenu informationnel de l'évaluation L'information doit être : Sélective Ciblée sur les réponses aux questions que se posent les destinataires de l'évaluation Structurée en fonction des catégories de l'action publique (nomenclatures, zonage...) A visée descriptive et illustrative autant que démonstrative

19 Place des indicateurs dans l'évaluation Les indicateurs ont un fort impact sur les lecteurs des rapports. Il existe une forte demande pour des indicateurs capables de résumer les résultats d'une évaluation Les indicateurs de résultat ne permettent pas d'inférer des liens de causalité Ils doivent être utilisés sélectivement pour attirer l'attention sur des faits ou tendances importantes L'utilisation d'indicateurs pour évaluer l'activité d'un service ou d'une personne peut avoir des effets pervers (ex : évaluation des chercheurs par le nombre de publications)

20 Données et méthodes quantitatives Sources d'information Exploitation de fichiers Enquêtes par sondage (questionnaire, entretien, téléphone) Méthodes quantitatives de la recherche évaluative (expérimentation, modélisation) Techniques quantitatives d'aide à la décision (coûts-bénéfices, coût-efficacité, analyse multicritères)

21 Données et méthodes qualitatives Enquêtes qualitatives (entretiens ) Études de cas, monographies Analyse de documents Ethnométhodologie Utilisation d un matériau audiovisuel «dires d experts» Méthodes de travail en groupe

22 Évaluation et statistiques Deux conceptions de la représentativité : La statistique cherche à mesurer une réalité L'évaluation cherche à poser un diagnostic Deux manières de structurer la réalité : La statistique utilise un cadre de description stabilisé L'évaluation a besoin d'une information structurée par les catégories (changeantes) de l'action publique

23 Un défi méthodologique : mesurer l'effet propre d'un programme Mesurer l'effet propre d'un programme évalué, c'est quantifier la différence entre la situation réelle et celle que l'on observerait si le programme n'avait pas été mis en oeuvre Méthode reine : l expérimentation contrôlée Autre méthode utilisée : l estimation d un modèle économétrique

24 L'expérimentation contrôlée On constitue deux échantillons équivalents de bénéficiaires du programme par tirage au sort La situation des bénéficiaires est observée avant, pendant et après la mise en œuvre du programme Des mesures et des tests statistiques permettent d évaluer l'effet propre du programme

25 Limites et difficultés de l expérimentation Les effets à mesurer doivent être spécifiques et ciblés (affecter uniquement la situation d'entités bien définies, ex : éducation, programmes sociaux) Il faut pouvoir créér une situation contrefactuelle Ce qui pose des problème pratiques et parfois éthiques... et nécessite du temps et des moyens importants Les résultats de l'expérience ne sont pas forcément généralisables

26 L évaluation ne se limite pas à l analyse causale L évaluation cherche à éclairer l'ensemble d'un processus, pas seulement à mesurer ses effets Elle participe de l explicitation du sens de l action autant qu à sa rationalisation Elle doit produire une argumentation propre à convaincre un public varié et à fonder de nouvelles actions/ décisions Sur la base d informations hétérogènes En procédant souvent par induction plus que par démonstration