Histoires, normes et standards de l évaluation. Valéry Ridde, Ph.D.

Transcription

1 Histoires, normes et standards de l évaluation Valéry Ridde, Ph.D.

2 UTILISATION MÉTHODES VALORISATION REDDITION DE COMPTE ET CONTRÔLE RECHERCHE SCIENCES SOCIALES Alkin et Christie, 2004

3 Contexte historique = émergence de l évaluation 1970 = devient une pratique professionnelle distincte 1980 = devient internationale 1990 = intégrée dans les opérations organisationnelles

4 Les quatre générations Évaluation Mesure Gestion Contrôle de qualité Description Gestion par objectif Jugement Analyse stratégique Négociation Qualité totale Guba et Lincon (1989); Allard (1993)

5 4 ème génération Utilization-focused Illuminative Democratic Naturalistic Responsive Inclusive Stakeholder-based Empowerment Collaborative Pluralist Participative

6 Guides AEA Enquête systématique Compétences Intégrité et honnêteté Respect des gens Responsabilité sociale

7 Stevahn et al, 2005

8 Leurs qualités Doré, 2006

9 Les standards AEA 30 critères garantissant la qualité d une évaluation Utilité, faisabilité, déontologie, précision

10 SFE, 2006 Principe de pluralité Principe de distanciation Principe de compétence Principe de respect des personnes Principe de transparence Principe d'opportunité Principe de responsabilité

11 En Afrique Association Africaine d Évaluation (AfrEA) Une série d ateliers techniques entre Les Réseaux nationaux africains reconnaissent que les standards AEA doivent être adaptés Mis à la disposition des évaluateurs et des utilisateurs des évaluations Testés par plusieurs bureaux de l UNICEF en Afrique de l Est et du Sud avec des résultats positifs Encore très peu utilisés

12 En Afrique L'UTILITE U1 Identification des parties prenantes U2 Crédibilité de l'évaluateur U3 Domaine et Choix de l'information U4 Identification des valeurs U5 Clarté des Rapports U6 Disponibilité des rapports à temps utile et dissémination des rapports U7 Évaluation de l'impact FAISABILITE F1 Procédures Pratiques F2 Viabilité Politique F3 Efficacité du Coût AfrEA, 2002

13 En Afrique PROPRIETES P1 Orientation du Service P2 Accords formels P3 Droits des parties prenantes P4 Les rapports humains P5 Évaluation Complète et Satisfaisante P6 Diffusion des Conclusions P7 Conflits d'intérêts P8 Responsabilité Fiscale PRECISION A1 Documentation du Programme A2 Analyse du Contexte A3 Buts et Procédures Présentés A4 Sources d'information Défendables A5 Information Valide A6 Information Fiable A7 Information Systématique A8 Analyse de l'information Quantitative A9 Analyse de l'information Qualitative A10 Conclusions Justifiées A11 Impartialité du rapport A12 Méta-évaluation AfrEA, 2002

14 Des normes officielles aux normes pratiques «diverses régulations informelles, tacites ou latentes, qui soustendent les pratiques des acteurs non conformes aux normes officielles ou formelles» J-P Olivier de Sardan, 2009

15 L'UTILITE U1 Identification des parties prenantes U2 Crédibilité de l évaluateur U3 Domaine et choix de l'information Des TdR ciblant une personne Place des citoyens Copier/coller U4 Identification des valeurs U5 Clarté des rapports U6 Disponibilité des rapports à temps utile et dissémination des rapports Commission de planification avant évaluation U7 Évaluation de l impact

16 FAISABILITE F1 Procédures pratiques F2 Viabilité politique F3 Efficacité du coût Projet ONG non reconduit et évaluation non planifiée Trois mois = 90 jours de consultations Perdiem et salaire des fonctionnaires 0,07% de la politique

17 PROPRIETES/DEONTOLOGIE/RECTITUDE P1 Orientation du service P2 Accords formels P3 Droits des parties prenantes P4 Les rapports humains P5 Évaluation complète et satisfaisante P6 Diffusion des conclusions P7 Conflits d intérêts P8 Responsabilité fiscale Le dédommagement des enquêtés Les fameux 10 %/40% Anonymat dans les rapports Refus des conclusions et solde de tout compte ONG et responsable du ministère Imposition des perdiems et consultations

18 PRECISION/EXACTITUDE A1 Documentation du programme A2 Analyse du contexte A3 Buts et procédures présentés A4 Sources d information défendables A5 Information valide A6 Information fiable A7 Information systématique A8 Analyse de l information quantitative A9 Analyse de l information qualitative A10 Conclusions justifiées A11 Impartialité du rapport A12 Méta-évaluation Logique d intervention et chaîne causale Documents dans les armoires Anthropologues avec des pièces Analyse qualitative superficielle

19 CONCLUSION De la crédibilité des évaluations et du professionnalisme des évaluateurs/trices Du rôle des associations professionnelles et du débat sur la certification Du besoin de formation professionnelle et de connaissances sur les pratiques évaluatives