Centre International de Développement et de Recherche

Transcription

1 Publication UNGANA 1122 CIDR Tous droits de reproduction réservés Centre International de Développement et de Recherche PRINCIPES METHODOLOGIQUES ET CHOIX DE METHODES POUR L ETUDE D IMPACT DES PROGRAMMES DU CIDR NOTE DE RECHERCHE CIDR Décembre 2006

2 Centre International de Développement et de Recherche Principes méthodologiques et choix de méthodes pour l étude d impact des programmes du CIDR Note de recherche Décembre 2006 Centre International de Développement et de Recherche 17, rue de l Hermitage Autrèches France

3 2 Sommaire I. INTRODUCTION... 3 II. CONCEPTS D IMPACT Différentes définitions de l impact Eléments de convergence Concept d impact retenu par le CIDR... 5 III. ANALYSE COMPARATIVE DE L EVALUATION D UN PROGRAMME ET DE L ETUDE DE SON IMPACT Evaluation d un projet... 6 a. Evaluation d un projet et cadre logique... 6 b. Critères d évaluation d un projet... 6 c. Evaluation de la performance sociale et étude d impact Cadre logique et étude d impact d un projet... 8 IV. METHODOLOGIE D ETUDE D IMPACT Détermination des objectifs de l étude de l impact Détermination des champs de l étude d impact Détermination des hypothèses d impact Choix des indicateurs Choix d une méthode d étude a. Etudes qualitatives b. Etudes quantitatives c. Place des enquêtes de satisfaction dans les études d impact Recommandations des praticiens des études d impact V. ELABORATION D UNE METHODOLOGIE D ETUDE D IMPACT EN PARTENARIAT AVEC L UNIVERSITE DE MONTREAL Etape 1 : Description de la théorie de l intervention Etape 2 : Formulation des questionnements du demandeur de l étude Etape 3 : Réunion de travail Etudes et Recherche /Université de Montréal Etape 4 : Test de faisabilité des protocoles Conclusions sur les enseignements tirés VI. BIBLIOGRAPHIE Annexe 1 - Les questionnements initiaux relatifs aux effets ou aux impacts des mutuelles à étudier Annexe 2 : Modèle logique de l intervention Annexe 3 Méthode de passage des questionnements à la formulation des hypothèses... 30

4 3 I. Introduction La mesure de l impact des programmes du CIDR poursuit 4 objectifs : - Apprécier si les actions entreprises améliorent durablement les conditions de vie des bénéficiaires. - Adapter les méthodologies d intervention en fonction de l impact identifié (ou de l absence d impact). - Renforcer les capacités des organisations appuyées. - Appuyer la stratégie de diffusion et de lobbying du CIDR. Durant ces dernières années les départements du CIDR ont développé différentes approches d évaluation ou de suivi de l impact des programmes qu ils appuient sans que les résultats de ces travaux ne répondent en totalité aux objectifs fixés. Le CIDR a demandé à Etudes et Recherche de définir les principes méthodologiques qui permettent aux départements de concevoir leurs propres dispositifs de suivi d impact de leurs programmes. Pour répondre à cette demande, les activités suivantes ont été réalisées : - Une revue bibliographique a été effectuée avec pour objectifs d étudier les différents concepts d impact utilisés par les opérateurs, de clarifier les concepts d évaluation d un projet et étude d impact et d analyser les différentes méthodologies utilisées et les résultats obtenus. - Etudes et Recherche a passé en revue les méthodes de suivi et d évaluation de l impact mises en oeuvre par les départements. - Des réunions de travail avec les responsables des départements ont permis de valider les choix des concepts et les principes méthodologiques proposés. A l issue de ces travaux, un cadre méthodologique a été élaboré et les méthodes les plus efficientes pour l étude de l impact des programmes du CIDR ont été sélectionnées. - Etudes et Recherche a participé, avec l Université de Montréal, à l élaboration d une méthodologie d étude d impact du programme de mutuelles de santé au Bénin. Ce travail a permis de préciser les principes méthodologiques d une approche quantitative d appréciation de l impact. On trouvera dans ce document quatre parties : - Une présentation de différents concepts d impact utilisés par des opérateurs, et la définition de l impact retenu par le CIDR. - Une analyse comparée de l évaluation d un programme et l étude de son impact en référence au cadre logique des programmes. - Une revue de différentes méthodes utilisées pour apprécier l impact de programmes de développement. - La description des principes utilisés pour l élaboration de la méthodologie d étude d impact des mutuelles de santé au Bénin par l Université de Montréal, les enseignements tirés.

5 4 II. Concepts d impact La revue bibliographique effectuée met en évidence différentes définitions qui orientent l étude de l impact d un programme ou d une action de développement. 1. Différentes définitions de l impact a. Agence Nationale de l Evaluation et de l accréditation «L impact regroupe l ensemble des changements directs et indirects, voulus ou non voulus, liés ou non aux objectifs explicites du programme (de santé NDRL), tant sur la population visée que sur la population entière». (Réf. 1 p 17) b. Oxfam et Novib «L évaluation d impact est l analyse systématique des changements durables et importants, - positifs ou négatifs, voulus ou non - de la vie de gens entraînés par une action donnée ou une série d actions» c. CIEDEL : «L impact d une situation de développement, c est la situation issue de l ensemble des changements significatifs et durables, positifs ou négatifs, prévus ou imprévus, dans la vie et l environnement des personnes et des groupes et pour lesquels un lien de causalité direct ou indirect peut être établi avec l action de développement». (Réf. 6 p12). - L impact = l ensemble des changements : L impact doit être pris au sens de l ensemble des résultats et des effets. - L impact = des changements significatifs : L impact n est pas uniquement «ce qui change», c est aussi l importance ressentie de ces changements. - L impact = des changements durables : L impact c est ce qui demeure après l action, ce qui ne signifie pas qu il faille attendre la fin de l action pour en connaître la teneur. - L impact = des changements positifs et négatifs : La détermination positive ou négative de ces changements dépend du système de référence choisi. - L impact = des changements prévus ou imprévus : Les changements pris en compte pour déterminer l impact concernent également les interférences avec les réponses spontanées de la population ou d autres actions en cours dans la zone. - L impact = des changements dans la vie des personnes, des groupes et de leur environnement. - L impact = des changements qui ont un lien de causalité direct ou indirect avec l action. La relation même indirecte avec l action doit pouvoir être établie. d. GTZ (Réf. 8 p. 17) «L impact inclut les processus de changements économiques, politiques, humains et sociaux : - Qui sont les résultats du projet sur le client/bénéficiaire, - Qui peuvent être «raisonnablement» reliés à l intervention du projet, - Qui sont directs ou indirects, à court, moyen ou long terme, prévisibles ou imprévisibles, - Qui sont reliés à des dynamiques et souvent à des relations individuelles sociales ou organisationnelles et à des processus d apprentissage,

6 5 - Qui peuvent porter sur des changements matériels, de comportement, de perception individuelle ou des changements en relation à l environnement social, - Le champ d étude de l impact porte sur les individus, les familles, l entreprise, l exploitation agricole et la communauté». 2. Eléments de convergence - La différence entre «évaluation» qui mesure les performances d une action et «l étude d impact» qui apprécie son incidence sur le changement de vie des personnes/populations ou de leur environnement. - La distinction entre les activités ou les résultats «out put» et les devenir des personnes concernées par l action (effet ou impact). - La période d observation de l impact ; il s agit de changements dont la «durabilité» peut être variable, appréciés dans le moyen ou le long terme. - Si l impact recherche des changements au-delà de la durée de vie d un projet, ceux-ci peuvent apparaître durant la période du projet et faire l objet d un suivi pendant la durée du projet. 3. Concept d impact retenu par le CIDR Après analyse, le CIDR propose de retenir la définition suivante pour étudier l impact des programmes qu il conduit : «L impact d une action de développement (ou d un projet), c est la situation issue de l ensemble des changements significatifs et durables qui peuvent être liés de façon plausible à l action menée, positifs ou négatifs, prévus ou imprévus, dans la vie et l environnement des personnes. L impact apprécie les changements à long terme pour les bénéficiaires. Ceux-ci peuvent apparaître durant la mise en oeuvre de l action et faire l objet d un suivi pendant la durée du projet». Dans la pratique, la difficulté à attribuer de façon certaine les changements observés à une action donnée, ont conduit certains auteurs à distinguer la notion d impact de la notion d effet. On retiendra la distinction entre impact et effet suivante : On parlera d impact lorsque des changements interviennent à long terme sur l environnement et dans les conditions de vie des bénéficiaires directs ou indirects. L impact est un changement qui résulte d une série d interactions entre différents facteurs et acteurs de l environnement d une action. En raison de la complexité de ces interactions, le lien de causalité est plus difficile à établir. On cherchera dans ce cas des présomptions d impact. Les méthodes utilisées consistent à élaborer une série d hypothèses de plausibilité qu il s agit de valider ou de rejeter. On parlera d effets pour les changements durables intervenant sur les bénéficiaires directs du projet. Les bénéficiaires peuvent être selon la nature du projet des personnes, ou des organisations (administration, services publics, structure politique, etc.). Les effets sont des changements pour lesquels un lien de causalité direct peut être établi de façon plus rigoureuse avec l intervention. Des indicateurs quantitatifs peuvent être proposés pour mesurer les effets. Les effets et l impact ont en commun d apprécier des changements lorsqu ils interviennent sur les bénéficiaires directs de l action ou sur leur environnement. Le champ d étude d impact diffère de celui de l évaluation d un programme. Cette distinction est analysée dans la partie suivante.

7 6 III. Analyse comparative de l évaluation d un programme et de l étude de son impact 1. Evaluation d un projet a. Evaluation d un projet et cadre logique Tout projet est actuellement bâti selon un cadre logique. La plupart des cadres logiques définissent : - Des objectifs globaux : contribution du programme à l amélioration des conditions de vie des bénéficiaires finaux ou avantages plus large pour la société. - Un objectif spécifique ; bénéfices que les groupes cibles (structures ou individus) pourront tirer de la réussite du programme. - Des résultats attendus par objectifs spécifiques exprimés en terme de produits de services ou d institutions promues. Il existe différentes formes de cadre logique selon les bailleurs de fonds (variation dans la définition des objectifs globaux ou spécifiques ou dans leur nombre). L évaluation d un projet apprécie dans quelle mesure les résultats attendus d un projet ont été obtenus et l objectif spécifique a été atteint. Pour cela, elle a recours à des critères à partir desquels l évaluateur peut fonder son jugement. L étude de l impact apprécie dans quelle mesure l atteinte de l objectif spécifique et des objectifs globaux du projet a entraîné des changements durables dans la vie des bénéficiaires et sur leur environnement. b. Critères d évaluation d un projet Ils s appliquent à l objectif spécifique et aux résultats attendus figurant dans le cadre logique. Pertinence La pertinence évalue l adéquation de l objectif d un projet aux besoins. Elle se mesure par rapport à différents publics cible. «Mesure selon laquelle les objectifs de l action de développement correspondent aux attentes des bénéficiaires, aux besoins d un pays, aux priorités globales, aux politiques des partenaires et des bailleurs de fonds». Ref 1. Efficacité Elle analyse les résultats et mesure si les objectifs de l action de développement ont été atteints. Dans le cadre logique, l efficacité est appréciée par rapport aux résultats qui sont par définition «maîtrisables» par le projet. La mesure de l efficacité se réfère strictement à l objectif retenu par le projet. On ne peut donc pas évaluer l efficacité en dehors de cet objectif spécifique. Efficience L efficience se prononce sur le rapport entre les moyens investis et les résultats obtenus en terme d activités ou de services. L efficience est un critère d appréciation d un projet mais peut également être appliquée à une activité réalisée ou un service rendu par une institution.

8 7 Viabilité économique La viabilité évalue la capacité d une institution ou d un service à couvrir ses charges avec des ressources renouvelables. Pérennité 1 La durabilité évalue la continuation des bénéfices résultants du projet après la fin de l intervention. Lorsqu un projet a pour but la mise en place d une institution, on peut en analyser sa performance. Performance La performance apprécie (ou mesure) la cohérence entre les «intentions» ou la vision 2 à partir de laquelle une institution a été créée, les missions qu elle s assigne, les actions entreprises (les services ou les produits) et l organisation mise en place. La mesure de la performance utilise les critères précédemment cités et les applique aux différentes dimension d une institution. La performance comprend trois dimensions : technique, financière et sociale. Parmi les trois dimensions de la performance c est la performance sociale qui conditionne la possibilité d un impact d une institution sur les bénéficiaires. c. Evaluation de la performance sociale et étude d impact Quatre catégories de critères de la performance sociale ont été retenues par le CIDR pour apprécier la performance sociale d une institution : - Le ciblage des pauvres et des exclus. - L adaptation des services et des produits à la population cible. - L amélioration du capital social et du capital politique des clients. - La responsabilité sociale de l institution. Elles peuvent également être analysées du point de vue d un projet dont elle constitue une des composantes possible d une évaluation. Ce rappel des dimensions de la performance sociale permet d apprécier la contribution possible de son évaluation à l appréciation de l impact d un programme. Plus une institution sera socialement performante, plus la possibilité (ou la plausibilité) d un impact dans les domaines considérés par la performance sociale sera élevée 3. Si l évaluation de la performance sociale d une institution ne permet pas d évaluer ou d apprécier son impact en tant que tel, elle fournit des indications précieuses pour orienter la recherche d impact en fonction des clients ciblés ou des services apportés par l institution, prioriser les champs d étude en fonction des services offerts, orienter le choix d indicateurs de suivi de l impact. C est lors de l élaboration des mécanismes de causalité que ce lien entre performance sociale et impact est effectué. 1 En anglais «sustainability» 2 En anglais le «design». 3 Un projet ou une institution qui ne viserait pas les pauvres ou les exclus a peu de chance, à priori, d avoir un impact sur ce public cible. De même, si la performance de l institution en matière de capital social est faible, il est peu probable qu un impact sur la cohésion sociale, au sein des communautés, puisse être attribué aux activités de l institution.

9 8 2. Cadre logique et étude d impact d un projet Les changements qu il est possible d attendre d un projet sont à rechercher. On parlera d impacts pour caractériser les changements intervenus sur les populations ou sur leur environnement en référence aux objectifs globaux d un projet. On parlera d effets lorsque les changements intervenus peuvent être directement imputés à l atteinte de l objectif spécifique. Selon la nature de l objectif spécifique, les effets porteront : - Sur l environnement du projet (institution, administration, environnement politique, etc. ) - Sur les bénéficiaires mais il s agira de changement à plus court terme. La référence aux hypothèses figurant dans le cadre logique permet d identifier les facteurs de l environnement qui ont pu avoir une incidence sur l impact du programme. Lorsque les objectifs globaux ou spécifiques d un programme n ont pas été définis de façon suffisamment précise, il devient difficile de déterminer les champs de l impact à étudier. Dans ce cas, il faudra au préalable chercher à comprendre le processus mis en œuvre, les activités réalisées, pour reconstituer la logique du projet à l aide d un diagramme logique. On cherchera à reconstruire des liens de causalité à partir desquels les impacts et les effets possibles de l action seront déterminés et les champs d évaluation définis. Les éléments de variation du contexte sont pris en compte dans l appréciation de l impact de l intervention. En l absence d objectifs clairement définis dans le cadre logique, il est vrai que le choix des champs à explorer dans les études d impacts (ou d effets) peut être fait en référence à l attente d un bailleur de fonds ou à une «préoccupation» d un opérateur.

10 9 Etude de l impact Objectifs globaux Impact Objectif spécifique Effet s Résultats Activités Evaluation d un projet Évaluation de la pertinence Critères Efficacité Efficience Viabilité Pérennité d évaluation

11 10 IV. Méthodologie d étude d impact La conception d une méthodologie d étude d impact comprend les activités et les étapes suivantes : - La détermination des objectifs de l étude d impact. - La détermination des champs de l étude d impact. - Le choix d une ou de plusieurs méthodes d enquêtes et de traitements des données. 1. Détermination des objectifs de l étude de l impact La connaissance de l impact peut être recherchée dans le but de fournir des données utiles pour le pilotage d une action ou pour valider une approche méthodologique (objectifs externes, stratégiques). Elle peut être à usage interne ou avoir un objectif spécifique de diffusion externe pour promouvoir une approche ou un concept. Il est utile de bien préciser, au départ, les résultats attendus de l appréciation de l impact d une intervention, car la réponse à cette question peut influencer la démarche méthodologique à suivre, le niveau de précision attendu et l investissement à réaliser. Il existe un lien fort entre les objectifs assignés à l étude de l impact des programmes et les choix méthodologiques : - Apprécier si les actions entreprises améliorent durablement les conditions de vie des bénéficiaires Cet objectif privilégie la recherche d impact sur les bénéficiaires directs des actions menées. Pour autant lors de la conception des termes de références de l étude la question de l élargissement de la recherche d impact à d autres catégories de population doit être posée ; par exemple des banques de céréales ont-elles un impact sur les seuls membres ou sur les paysans en général? Il s agit d une décision importante car l identification d impacts significatifs d un projet renforce sa pertinence. Dans le cas des banques de céréales, le fait qu elles jouent un rôle dans la régulation des prix des produits sur les marchés locaux, peut orienter vers la recherche d un impact au-delà des membres. - Adapter les méthodologies d intervention en fonction de l impact identifié L atteinte de cet objectif aura une incidence sur le choix de la période de recherche d impact et sur la méthode suivie. Cet objectif conduit à privilégier des méthodes de suivi des changements observés pendant la durée de vie d un projet. - Renforcer les capacités des organisations appuyées. Cet objectif a une incidence directe sur la démarche d étude d impact. Elle oriente vers la mise en oeuvre d un processus dans lequel les organisations appuyées devront être associées. - Appuyer sa stratégie de diffusion et de lobbying La crédibilité des résultats est une condition pour que cet objectif puisse être atteint.

12 11 2. Détermination des champs de l étude d impact Le champ d étude de l impact correspond à un secteur à l intérieur duquel on veut rechercher des impacts possibles ou des effets. Certains auteurs observent et mettent en garde sur le caractère subjectif du choix des champs d impact à étudier. Lors de la détermination des champs, il convient de bien faire la distinction entre un changement, que ce soit un effet ou un impact, et des objectifs d un programme qui relèvent de l évaluation. Exemple du programme PDL Collines au Bénin : Cet écueil n a pas été totalement évité dans l étude d impact. Un des champs d impact retenu était formulé de la manière suivante : «Les populations accèdent à des services de qualité et pérennes». La formulation de cet impact soulève plusieurs questions : Les populations «accèdent». Quelle est la nature du changement? Elles n accédaient pas avant? Ou est-ce le fait que les services soient de qualité qui constituent le changement? La pérennité des services est-elle un objectif du programme ou un effet? Si c est un effet, sur quelle catégorie d acteurs doit-il être recherché? Selon les réponses à ces questions on orientera différemment les recherches. Pour objectiver le choix des champs à étudier on pourra se référer à l un des trois niveaux suivants : a. La mission que s assigne le CIDR au travers des projets qu il met en œuvre Les champs d impact suivant sont proposés en regard de la mission du CIDR Les missions du CIDR Meilleure réponse aux besoins vitaux de subsistance Autonomie et sécurité Capacité d agir individuelle Capacité d agir collective Social et solidarité Champs d impacts à rechercher chez les bénéficiaires Lutte contre la pauvreté, amélioration de la santé, amélioration des conditions de vie Réduction des situations de précarité Renforcement du capital social individuel Renforcement du capital social collectif et de la société civile Renforcement du lien social (entraide et solidarité) b. Les objectifs du projet (globaux et spécifiques) figurant dans le cadre logique L objectif global du projet permet de déterminer des hypothèses d impact sur les bénéficiaires ou sur le public cible : Exemple du programme ESOP Togo et Bénin : Tel que formulé, «Augmenter durablement et sécuriser le revenu agricole des petits producteurs ruraux du Bénin et du Togo», l objectif global du programme orientera la recherche vers la réduction des situations de précarité liées à la sécurisation des revenus ou vers des réponses améliorées à la satisfaction des besoins vitaux liés à l augmentation des ressources.

13 12 c. Les objectifs plus larges choisis dans les objectifs du millénium et pertinents par rapport aux objectifs globaux du projet Les impacts pouvant être recherchés en référence aux objectifs du millénaire : - Réduire l extrême pauvreté et la faim. - Assurer l éducation primaire à tous. - Promouvoir l égalité des sexes et l autonomisation des femmes. - Réduire la mortalité infantile. - Améliorer la santé maternelle. - Combattre le VIH SIDA, le paludisme et les autres maladies. - Assurer un environnement durable. - Mettre en place un partenariat mondial pour le développement. La plupart de ces objectifs sont pris en compte dans la mission du CIDR. C est à partir des ces trois niveaux d entrée que l on pourra sélectionner les secteurs d impact et les effets à intégrer dans l étude d impact. A l issue de la détermination des champs d impact, il est habituel d obtenir une liste assez large de changements potentiels que l on voudrait étudier. 3. Détermination des hypothèses d impact Lorsque les champs d impact sont larges ou trop nombreux, on élaborera des hypothèses d impact qui permettent de préciser la nature du changement que l on veut observer à l intérieur du champ retenu. Exemple d hypothèse : «Le projet de mutuelles en Guinée Forestière a contribué à améliorer la santé maternelle». Le champ d étude est ici l amélioration de la santé. La nature du changement est la santé des femmes enceintes. Deux critères seront utilisés pour sélectionner les hypothèses : leur cohérence par rapport aux trois niveaux précités et la probabilité que l hypothèse se vérifie. Cette probabilité est établie en explicitant la logique de l intervention. En quoi, les activités du programme permettent de poser l hypothèse d impact. Quel mécanisme causal peut-on établir entre les deux? Exemple : L hypothèse selon laquelle «les mutuelles de santé ont contribué à améliorer la santé des femmes» peut être posée à partir de lien causal suivant. Les femmes mutualistes accouchent plus fréquemment que les autres dans des centres de santé où elles reçoivent des soins appropriés. Elles sont plus fréquemment référées dans des hôpitaux en cas de problème. Avant de retenir l hypothèse, il convient de vérifier l existence de facteurs limitant qui pourraient remettre en cause l hypothèse. Exemple : Si les soins reçus par les femmes mutualistes ne sont pas efficaces, l augmentation de leur recours aura peu d impact sur la mortalité maternelle. Selon le contexte, on abandonnera l hypothèse ou on la précisera : «Lorsqu elles sont conventionnées avec des prestataires délivrant des soins de qualité, les mutuelles de santé ont contribué à améliorer la santé maternelle». 4. Choix des indicateurs Pour chaque hypothèse, un ou plusieurs indicateurs sont à sélectionner. Un indicateur peut être quantitatif. Dans l exemple précité, on peut retenir, parmi les

14 13 indicateurs possibles, le taux de mortalité maternelle. L indicateur peut également être qualitatif (ou semi quantitatif). Exemple : La déclaration selon laquelle les mutualistes hospitalisés sont mieux soignés que les non mutualistes hospitalisés, est considérée comme un indicateur de l amélioration de la qualité perçue des soins liée à l adhésion à la mutuelle. Ce sont les taux de réponses positives exprimées qui seront utilisés. Mais cet indicateur n évalue pas la qualité technique du traitement délivré. Les indicateurs, définis lors de l élaboration du cadre logique, sont à utiliser en priorité, d autres peuvent être ajoutés, en fonction des hypothèses sélectionnées. 5. Choix d une méthode d étude Les contraintes méthodologiques des études, permettant d attribuer des changements aux activités d un programme, déterminent le choix et les méthodes de collecte et d exploitation des données. La revue de la bibliographie permet de distinguer deux types d étude. a. Etudes qualitatives Elles cherchent à identifier ou valider des champs d étude d impact, à présumer et à caractériser des impacts ou des effets possibles d un projet et à définir des indicateurs d effets ou d impacts pertinents. Elles ont le plus souvent recours à la technique des focus groupe et utilisent différentes méthodes : - La cartographie des incidences (CRDI) cherchent à repérer des changements intervenus dans la sphère d un programme sans toutefois vouloir attribuer ce changement aux actions du programme. - La Méthode MARP (Méthode de recherche et de planification participative) figure comme une méthode possible d auto évaluation de l impact par les bénéficiaires. - La méthode ECRIS (Enquête collective rapide d identification des conflits des groupes stratégiques) est une composante possible d une étude d impact. Elle permet de sélectionner les groupes à enquêter en fonction des enjeux stratégiques et des conflits possibles entre les acteurs. Elle permet également d interpréter les réponses des acteurs en fonction de leur positionnement par rapport au projet. b. Etudes quantitatives b.1. Etudes longitudinales Le biais de l anti-sélection est résolu en réalisant une enquête au sein de la population cible avant le démarrage d une action. Des indicateurs sont recueillis auprès d un échantillon de bénéficiaires potentiels d un projet de développement. On suit à une fréquence déterminée pendant sa mise en oeuvre et après le fin du projet, les indicateurs de départ dans deux groupes : les bénéficiaires directs du projet et ceux qui n ont pas bénéficié de ses actions. Un échantillon de bénéficiaires directs est suivi pendant la durée du projet et après. Cet échantillon est comparé à un groupe témoin de non bénéficiaires directs. La comparaison entre les 2 échantillons permet d attribuer, parmi les changements observés, ceux qui relèvent de l intervention du projet. La taille des échantillons est déterminée par des règles statistiques.

15 14 Ces études mobilisent des moyens importants et des techniques complexes. Elles sont le plus souvent mises en œuvre dans le cadre de protocoles expérimentaux. b.2. Etudes transversales En l absence d historique, elles comparent des indicateurs de changements à un moment donné, entre bénéficiaires et non bénéficiaires du projet et entre bénéficiaires selon leur ancienneté dans le projet. Les études transversales se heurtent au problème de l anti-sélection car elles ne permettent pas toujours de déterminer si ceux qui bénéficient du programme sont représentatifs de la population générale. Les études transversales peuvent faire appel à différentes disciplines scientifiques, (sociologie, anthropologie, épidémiologie, économie, etc.). La question de l attribution des changements n est pas toujours totalement résolue par ce type d études. Il n est pas rare que lors du choix d une méthode d étude, on soit amené à abandonner certaines hypothèses en raison des difficultés méthodologiques pour la vérifier. Exemple : Dans le cadre de l élaboration d une méthodologie d étude d impact, l hypothèse selon laquelle les mutualistes seraient mieux soignés que les non mutualistes avait été retenue. Un protocole d enquête dans les formations sanitaires avait été élaboré. Le test a montré que les informations disponibles dans les formations sanitaires ne permettaient pas de comparer de façon fiable la qualité technique des traitements des mutualistes avec ceux des non mutualistes. L exemple précédent met en évidence la nécessité de tester des protocoles élaborés avant de valider une option méthodologique. Dans l exemple cité, on a opté pour la perception qu ont les mutualistes et les non mutualistes sur la qualité des soins reçus. On a limité l étude de l effet à la qualité perçue. c. Place des enquêtes de satisfaction dans les études d impact Les enquêtes de satisfaction ne font pas partie à proprement parler de la panoplie des méthodes d étude d impact. Elles se limitent aux seuls membres ou clients d une organisation et ont d abord pour objectif de connaître la perception du service rendu pour mieux les adapter aux besoins des membres. Elles retiennent l hypothèse que plus le niveau de satisfaction est élevé et plus une probabilité d impact existe. Elles peuvent être enrichies par la recherche d informations sur des champs d effet possibles comme l augmentation des revenus par exemple ou des champs d impact comme l évolution des conditions de vie des membres (amélioration de l habitat, niveau de scolarisation des enfants, etc.) par exemple. Lorsque des enquêtes de satisfaction sont intégrées dans le suivi régulier d une institution, elles peuvent être utiles pour identifier et caractériser des effets ou des impacts. Lorsqu un traitement des informations selon l ancienneté des membres/clients de l organisation est possible, on peut chercher à évaluer l importance d un changement en fonction de l ancienneté des membres. Si l on peut démontrer que le changement augmente avec le nombre d années durant lesquelles le membre ou le client a bénéficié des services de l organisation, on obtient un niveau de probabilité d impacts ou d effets supplémentaires qui ne permet cependant pas d affirmer ou d attribuer l impact aux services fournis. L absence de comparaison possible avec un échantillon de non-membres/clients ne permet cependant pas d aller plus loin dans le degré d attribution.

16 15 6. Recommandations des praticiens des études d impact Plusieurs principes communs se dégagent des enseignements pris par les praticiens des études d impacts. Certains principes sont déjà mis en œuvre par les départements du CIDR a. Faire participer les parties prenantes dans la définition des champs d étude d impact (hypothèses d impact). Le repérage des champs d impact peut se faire lors d ateliers prévus à cet effet. Cela a été le cas pour l étude d impact des actions du programme de développement local des Collines au Bénin. b. Donner la parole aux bénéficiaires Exemple : Pour identifier des aires de changements possibles le département ESOP a retenu des interviews régulières avec des membres des organisations de producteurs comme une des méthodes d identification. Il est également possible de donner la parole aux bénéficiaires pour auto évaluer l impact d un programme. Des techniques de collectes de ces informations qualitatives sont à utiliser pour garantir l objectivité des réponses. Les bénéficiaires et les non bénéficiaires sont invités à se prononcer sur l une ou l autre des hypothèses d impact retenues. c. Préférer une association de plusieurs méthodes au choix d une méthode unique Chaque méthode doit être la plus simple et la plus systématique possible (intégrer la collecte de données sur l impact dans la conduite des activités). Exemple : Dans la méthodologie d étude d impact élaborée avec l Université de Montréal, les effets du programme de mutuelles sur la qualité perçue des soins seront évalués de deux manières : par des questions fermées sur la perception qu ont les mutualistes et les non mutualistes des soins reçus en fonction du statut d adhésion (adhérents et non adhérents) et par des entretiens en focus groupe qui chercheront à dégager un consensus sur l opinion de membres et de nonmembres sur la qualité des soins dont ils bénéficient. d. Accepter l association plausible de l action d un programme à un changement constaté lorsque l attribution directe n est pas possible Lorsque l attribution rigoureuse d un effet ou d un changement n est pas démontrable, il est préférable d expliciter le niveau de probabilité obtenu à l issue de l étude. La description de la méthode suivie, la justification des hypothèses émises, l explicitation des liens de causalité, sont des arguments complémentaires qui vont faire partie de la discussion des résultats obtenus. Exemple : Lors de la conception de la méthodologie d étude d impact des mutuelles de santé au Bénin, on a choisi d étudier l impact des mutuelles sur le sentiment de sécurité, la perte des avoirs du ménage, l utilisation des services. La méthode retenue est une enquête transversale auprès de mutualistes et de non mutualistes auprès d un échantillon de 500 ménages mutualistes et 500 non mutualistes. Les variables mesures d anti-sélection seront utilisées lors de la détermination des échantillons. Malgré cela, il ne sera pas possible de prouver les impacts recherchés.

17 16 V. Elaboration d une méthodologie d étude d impact en partenariat avec l Université de Montréal Les études sur les impacts des mutuelles (sur leurs adhérents et sur la population en général) restent rares et s attachent surtout à l impact sur l utilisation des services de santé. Dans le but de disposer d un outil fiable utilisable dans les différents programmes du département, un partenariat avec l Université de Montréal a été recherché. Cette Université dispose de références reconnues en matière d évaluation en santé. Elle mène un projet en Inde de micro assurance maladie qui a intégré la mesure de l impact comme un des objectifs. Trois objectifs ont été assignés à l étude d impact : - Identifier les effets les plus probables à partir d un inventaire le plus large des effets possibles. - Mesurer de façon rigoureuse les effets les plus probables. - Sélectionner des indicateurs de monitoring à intégrer dans les outils SEP des projets. Etape 1 : Description de la théorie de l intervention Sur la base des rapports d activités qui lui ont été transmis, les éléments de contexte pouvant influer l obtention d effets ou d impacts, les stratégies d intervention qui ont évolué d une phase à l autre et les résultats obtenus ont été explicités par Slim Haddad. Enseignements : Cette étape est surtout utile lorsque le réalisateur de l étude d impact ne connaît pas le programme. Pour Etudes et Recherche les données collectées lors de cette étape ont été utiles dans la sélection ultérieure des effets ou des impacts, et pour le choix des zones à étudier. Cette étape nécessite d aller dans les détails. Une bonne connaissance du projet est donc nécessaire. Etape 2 : Formulation des questionnements du demandeur de l étude Il a été demandé à Etudes et Recherche de lister les questions que se posent les responsables sur les impacts possibles du programme. Plus de cinquante questions ont été formulées. Chaque questionnement représente une hypothèse d effets ou d impacts que se pose l opérateur. Comment formule t-on les questionnements? Cette étape réalisée en interne doit normalement être effectuée avec les opérateurs de terrain. Elle suppose une excellente connaissance du programme. Elle correspond à l atelier préliminaire de la méthodologie d étude d impact du programme PDL Collines au Bénin. Les trois niveaux de détermination des champs d étude décrits plus haut sont à utiliser pour effectuer les questionnements de départ : - Niveau 1 : La mission que s assigne le CIDR. Le tableau récapitulatif des missions et les champs d impact correspondants, facilitent l identification des questionnements - Niveau 2 : La référence aux objectifs globaux et spécifiques du programme mais aussi, à partir desquels on peu déduire des questions à étudier. - Niveau 3 : Les objectifs du millénium :

18 17 Enseignements : Cette étape est un passage obligé de toute étude d impact. Dans notre cas, plus d une trentaine de questions ont été proposées, regroupées autour des 10 questions suivantes et par origine du questionnement : Questionnement Origine du questionnement Mission du CIDR Objectifs globaux du programme Objectifs spécifiques Objectif du millénium Qu elle est la population touchée? Améliorer l accès aux soins du plus grand nombre Quel est l impact sur la mortalité et la morbidité? Amélioration de l état de santé Améliorer la santé maternelle et infantile Quel est l effet de l adhésion sur l accès aux soins Améliorer l accès à des soins de qualité Quel est l effet de l adhésion sur la structure de dépenses des ménages Lutte contre la pauvreté Quel est l impact sur le sentiment d insécurité des ménages? Autonomie et sécurité Renforcement du capital social Capacité d agir collective Organiser des mutuelles auto gérées Y a-t-il un impact sur l évolution des liens sociaux du ménage? Social et solidarité Quels sont les impacts sur la mobilisation des ressources pour les services de santé Augmenter les ressources des services de santé Quels sont les effets sur la qualité des soins reçus? Améliorer l accès à des soins de qualité Quels sont les effets sur l équité dans l accès aux soins? Lutte contre la pauvreté Réduire l extrême pauvreté On trouvera en annexe la liste des premiers questionnements argumentés pour chaque question. Ces questionnements sont généralement nombreux. L erreur à éviter est de confondre questionnement et hypothèse. Les activités décrites à l étape 3 permettent de passer des questionnements à la formulation de l hypothèse.

19 18 Etape 3 : Réunion de travail Etudes et Recherche /Université de Montréal a. Clarifications et éclaircissements sur l historique, le contexte, l implantation des mutuelles et du projet Enseignements : Cette étape est nécessaire pour donner à l acteur en charge de l élaboration de l étude d impact les informations stratégiques à partir desquelles la méthodologie va pouvoir être construite. b. Reconstruction de la logique de l intervention Au cours de cette étape les mécanismes de causalité présumés entre les résultats liés aux activités du projet et les champs d effets possibles ont été explicités. Ils sont mis en relation pour reconstituer la logique de l intervention. Ils contribuent à apprécier la «plausibilité» de l effet, avant sa vérification. Enseignements : Dans le cadre de cette étude, cette étape de la méthodologie permet d argumenter, sans cependant le démontrer, un impact possible sur l état de santé des membres au cas où les effets identifiés auraient pu être prouvés. Selon le modèle élaboré, on pourrait noter une amélioration possible de l état de santé des membres si l étude d impact démontre un renforcement du sentiment de sécurité, une réduction de la vulnérabilité, un changement (favorable) des attitudes et des pratiques en cas de maladie, etc. On trouvera en annexe, le modèle logique élaboré au cours de cette étape. c. Entente sur les questions d évaluation, et conversion des questionnements en hypothèses de recherche La sélection des hypothèses d effet ou d impact a été une étape clef de la mise au point de la méthodologie. Elle a été effectuée à partir des questionnements de l étape 2. Pour chacune on a procédé de la manière suivante : c.1. La question est-elle pertinente au regard des activités menées? La pertinence de la question est établie en explicitant le mécanisme causal existant entre l activité et l effet recherché 4. Exemple de lien causal de l hypothèse :«Les mutuelles réduisent les dépenses de santé catastrophiques chez les mutualistes». Les mutuelles plafonnent le montant maximum de dépenses chez le prestataire. Elles dispensent le mutualise de rechercher en catastrophe des sommes importantes pour se faire soigner. Ces deux causes devraient contribuer à réduire les dépenses de soins catastrophiques chez les mutualistes. On doit également s attacher à identifier les facteurs pouvant remettre en cause une hypothèse à priori évidente. Dans notre exemple : il n est pas exclu que les mutuelles ne couvrant ni les frais de transport en urgence parfois très coûteux, ni les frais associés (déplacements répétés et hébergement des accompagnants), les mutuelles aient un effet limité ou peu d effet sur la réduction des dépenses catastrophiques. 4 C est lors de la détermination des mécanismes de causalité que les évaluations faites sur les performances sociales d un projet ou d une institution peuvent être mises à contribution

20 19 c.2. La question est-elle pertinente au regard des résultats obtenus? Il s agit ici de vérifier que les activités menées à partir desquelles le questionnement est posé ont bien conduit aux résultats attendus. Exemple : On se pose la question de l impact des mutuelles sur les pratiques d entraide et de solidarité locales. La pertinence de la question repose sur la constitution des groupements mutualistes basée sur les principes d entraide et de solidarité. Avant de retenir cette question, il convient de vérifier si les groupements sont fonctionnels et s ils ont été créés sur de bonnes bases. Cette vérification préalable relève d une évaluation. On peut être amené à ce stade à préciser l hypothèse, à en réduire la portée (Les mutuelles basées sur des groupements bien organisés ont un impact sur les pratiques d entraide et de solidarité). c.3. De quelles données faut-il disposer pour pourvoir démontrer l effet recherché? Lorsque l hypothèse est formulée il convient d identifier le type de données à réunir pour l informer. On peut être amené à ce stade à la rejeter non pas en raison de son manque de pertinence, mais simplement parce qu il n est pas possible de collecter les informations nécessaires pour la démontrer. En cas de réponses positives aux questions précédentes, le questionnement était retenu et traduit en hypothèse d effet ou d impact. Enseignements : Cette étape de la méthodologie nécessite une bonne connaissance du projet et une démarche rigoureuse. La revue de la littérature faite par l Université de Montréal à partir de chaque questionnement qui lui avait été soumis a été utile pour apprécier la pertinence du questionnement et préciser la formulation de l hypothèse de recherche. En appliquant cette méthode, neuf hypothèses d effets ont finalement été retenues Hypothèse 1 : Les mutualistes sont plus précocement référés des centres de santé aux hôpitaux (déterminants : Agents de santé ou capacités des utilisateurs). Hypothèse 2 : L épisode de soins (accouchement / hospitalisation) est moins coûteux pour les mutualistes. Hypothèse 3 : Le projet permet le renforcement de l'empowerment organisationnel des groupements mutualistes villageois et des mutuelles. Hypothèse 4 : Renforcement des pratiques d'entraide, des capacités d expression des membres. Modification des rapports de force avec les agents de santé. Nouvelles dynamiques sociales. Hypothèse 5 : Les mutualistes se sentent moins vulnérables et moins à risque d'exclusion des services de santé. Hypothèse 6 : Les pertes d avoirs et le fardeau économique de la maladie sont moins élevés chez les ménages mutualistes. Hypothèse 7 : L adhésion à une mutuelle est associée à une utilisation plus fréquente et une consommation plus importante de soins de santé. Hypothèse 8 : L adhésion à une mutuelle est associée à une plus grande prévalence des accouchements médicalement assistés. Hypothèse 9 : Les mutuelles augmentent les recettes des services de santé conventionnés On a ainsi éliminé l impact possible des mutuelles (du Borgou) sur la morbidité, en raison de la sélectivité des prestations offertes par les mutuelles, l absence

21 20 d informations suffisantes sur la qualité des soins reçus par les mutualistes et d activités du projet pour améliorer cette qualité. En raison du nombre de variables interférant et de la présence probable de l anti-sélection 5, l évaluation de l impact des mutuelles sur la réduction de la mortalité (y compris maternelle) n a pas pu non plus pu être retenue. Plusieurs questionnements initiaux ont été abandonnés pour différentes raisons : une faible pertinence, des difficultés pratiques à collecter des données, ou surtout l absence de données de départ qui rendent impossible l affirmation d un impact ou d un effet. Pour plusieurs hypothèses, cette difficulté a été en partie contournée en formulant une hypothèse sans affirmer un effet ou un impact mais en le présumant. Exemple : à défaut de pouvoir affirmer que les mutuelles améliorent l accès des membres aux soins de santé, on a formulé l hypothèse comme suit : l adhésion à la mutuelle est associée à une plus grande prévalence des accouchements assistés (c est à dire que les femmes mutualistes accouchent plus que les autres dans les services de santé). Le tableau en annexe 3 résume le cheminement qui a conduit des questionnements initiaux aux hypothèses finalement retenues. d. Choix méthodologiques pour la vérification des hypothèses Pour tester les hypothèses, quatre options méthodologiques ont été choisies constituant chacune un volet de la méthodologie. Volet 1 : Test des hypothèses 1 et 2 Enquête prospective auprès des accouchées et des hospitalisés récents à leur retour au domicile sur une période d un an. Nombre prévisionnel : 300 accouchées et 300 hospitalisés. Volet 2 : Test des hypothèses 3 et 4 Entretien en focus groupe selon un protocole élaboré par l Université de Montréal sur la base de termes de référence établis par le CIDR. Volet 3 : Tests des hypothèses 5, 6, 7, 8 Enquête transversale auprès de mutualistes et de non mutualistes. Les mutualistes sont sélectionnés en fonction de leur ancienneté dans la mutuelle. Pour réduire les biais de l anti-sélection, il est prévu de bâtir un échantillon en tenant compte des variables d interférence possible (qui introduisent un biais). La taille de l échantillon serait de ménages. Volet 4 : Test de l hypothèse 9 Enquête dans les formations sanitaires conventionnées avec des mutuelles d une taille suffisante (croisement des données financières disponibles dans les mutuelles avec informations sur les recettes totales disponibles dans les formations sanitaires. 5 Dans ce cas, l anti-sélection pourrait concerner les femmes ayant déjà eu des complications, lors d un accouchement précédent, susceptible de se reproduire à l occasion d un autre accouchement.

22 21 Etape 4 : Test de faisabilité des protocoles. Avant de retenir la méthode choisie pour le volet 1, un test a été réalisé auprès de 60 accouchées et 60 hospitalisés. A l issue du test il a été décidé de ne pas inclure dans l enquête des informations sur la nature du traitement reçu en raison de l impossibilité de réunir des données fiables et comparables. Enseignements : la faisabilité des protocoles doit être systématiquement testées afin d apprécier la capacité de la méthodologie à produire des informations fiables. 5. Conclusions sur les enseignements tirés a. Sur la méthode suivie La reconstitution de la logique de l intervention et du mécanisme causal ont été deux apports méthodologiques majeurs. Elle permet de sélectionner des effets possibles en évitant de chercher à démonter ceux qui ont peu de chance de l être. Elle permet également d affiner l hypothèse d impact. Ainsi, l hypothèse initiale d une réduction des dépenses de soins chez les mutualistes a été abandonnée au profit d une «diminution des pertes d avoirs». b. Sur les résultats obtenus Des questionnements initiaux, considérés comme stratégiquement importants à documenter, comme la réduction de la mortalité maternelle, ont du être abandonnés, faute de pouvoir les renseigner avec une fiabilité suffisante. D autres n ont pas été retenus après constatation d un mécanisme causal trop faible (la réduction des dépenses de soins par exemple). L absence de «base line study» et l impossibilité de réaliser des études longitudinales a été une des raisons qui a conduit à réduire les ambitions de départ. Pour les hypothèses 5, 6, 7, 8, l ambition ne sera pas de démontrer l impact des mutuelles car l anti-sélection ne pourra pas être totalement éliminée, mais d identifier des «différences significatives hypothétiquement favorables aux mutualistes». La raison en est l impossibilité d éliminer le phénomène d antisélection. Le coût de la mise en oeuvre de l étude est à analyser au regard des résultats attendus de la mise en oeuvre de cette méthodologie. Le coût total des 4 volets de l étude a initialement été évalué à