Inférence Causale et Evaluation d Impact. Eric Mvukiyehe Banque Mondiale / DIME Istanbul, Mai 11, 2015

Inférence Causale et Evaluation d Impact Eric Mvukiyehe Banque Mondiale / DIME Istanbul, Mai 11, 2015

Inférence Causale et Evaluation d Impact

Les politiques de dévelopment géneralement invoquent les questions de cause à effet. 3

Quelles sont les meilleures strategies pour accroitre la production agricole?

Comment ameliorer la performance des agents de l etat?

Comment relaxer les contraintes de capitaux que confrontent les petites entreprises?

Introduction En general: Nous avons des idées ou pressentiments Mais, pas evident si ces idees sont bonnes Nous avons des solutions relativement bonne Mais ne savons pas quelle option est la plus efficace et moins couteuse Comment pouvons-nous savoir? Suivi et evaluation traditionelle Evaluation d impact 7

Pourquoi c est important? Savoir si le projet a eu un impact positif et la taille moyenne de cet impact Comprendre si les politiques marchent La justification du programme, mise a l'échelle ou non, comparer les différentes options du programme (avec des données de coûts) comprennent les avantages nets du programme Comprendre la répartition des gains et des pertes 8

Suivi et evaluation (traditionelle) Processus continue qui mesure les progrès des indicateurs au fil du temps Est-ce que le project est sur une bonne voie? L accent est mis sur les activités du project et les beneficiaires Ne nous dit pas pourquoi ou comment le resultat est arrive. 9

Evaluation de l impact Cherche a etablir la relation de cause a effect Mesurer les changements dans les résultats et évaluer l impact d interventions spécifiques sur ces résultats: Repond a la question: Qu est ce qui arriverait en l absence du projet? L accent est mis sur: Sur les participants et non-participants Autres facteurs que le programme 10

Le défi de l'attribution de l'impact I: correlation est pas causation Ne prend pas le medicament Ce medicament augmentet-il le poids? Prend le medicament

Le défi de l'attribution de l'impact II: Facteurs externes Les impacts du programmes se confondent avec des effets locaux, nationaux et globaux IMPACT Le service atteints des bénéficiaires Paramètres sous contrôle du programme RESULTATS EXTRANTS INTRANTS Difficile de demontrer la causalité

Ce don t on a besoin: Les résultats avec et sans programme Pour la même unité d'analyse (e.g, un même individu/groupe au même point de temps) Pour que on soit a mesure de comparer: Cequi s est reelement passé A Ce qui se serait passer sans programme Problème: Les individus/groupes ont une seule existence & donc il y a un probleme de manque de données 13

Solution: Scénario contrefactuel: Ce qui s est reelement passe Ce qui se serait passe Monde reel Monde imaginaire Traitee Pas traitee Contrefactuelle --La clé d une bonne évaluation d impact est un scénario contrefactuel valide!

Characteristiques d un contrefactuel valide Le groupe de traitement et le groupe temoin doivent etre semblable en 3 points: Avoir les mêmes caractéristique à l'extérieur (observables) comme à l'intérieur (non observables) Réagir de la même manière au programme (augmentation dans la même mesure d unités) Donc la différence (changement dans les resultats) peut être attribuer seulement au programme 15

L expérience parfaite: Les groupes de traitement et de comparaison Ont les mêmes caractéristiques (a l interne et l externe) Deux clones Identiques à l'extérieur (observables) Identiques à l'intérieur (non observables) Kami Nous sommes tous les deux des marionnettes Tami Kami Nous aimons tous les deux participer à de nouveaux programmes de nutrition!

L expérience parfaite Observez quelque temps après Kami Tami Comme Tami et Kami sont identiques (à l interne comme à l externe), nous savons que le résultat est dû à la moustiquaire

L expérience parfaite Apportez le programme à un clone (Tami) Kami Tami La seule différence est le projet ou traitement

Comment faire une évaluation d'impact?

Méthodes pour construire un contrefactuel valide Contrefactuel contrefaits Impact causal sous certaines hypotheses & fortes limitations Avant Après Participants Non-participants Double difference Discontinuite de la regression Impact causal Methodes experimentales 20

Etude de cas: Contexte: Probleme: Le micro-entreprises ont souvent le contraintes de capitaux Intervention: Petit don de commerce--$100 et $200 Resultants cles: Augmentation des revenus (profit) Informations additionelles: 800 micro-entreprises à l etude de base (2007) Plus de 50% de ces entreprises investir moins de 200 $ Le crédit subventionné a été offert à tous les micro-entreprises avec> = 6 mois d'activité. 300 entreprises appliquées et bénéficié d'un financement 21

Contrefactuels contrefaits 1: Comparaison avant-apres Idee: Comparer le profit des micro-entreprises traitées avant et après la politique de crédit subventionné. Hypothèse fondamentale: Si le programme n avait pas existé, le résultat pour les participants serait le même 22

Contrefactuels contrefaits 1: Comparaison avant-apres % 2.5 Impact = (P 2008 -P 2007 ) = 2.1 1.5 = + 0.6 2 P 08 -P 07 =0.6 1.5 participants 1 0.5 0 2007 2008 23

Contrefactuels contrefaits 1: Comparaison avant-apres 2007 2008 Methode Treatement Comparison Difference Avant - Apres 2.1 1.5 0.6 pp QUESTION: La difference represent-elle une estimation non-biaisée de l impact programme? PAS FORCEMENT: Difference de temps. Pas que le programme; trop de facteurs changent avec le temps (e.g, autres formations; bon fonctionnement de la hierarchie, etc.) Il y a un changent qui survient avec le temps, meme sans programme. 24

Contrefactuels contrefaits 2: Comparaison participants et non-participants Idee: Comparer le profit des micro-entreprises qui ont recues le crédit subventionné et celles qui n ont pas recues le credit. Hypothèse fondamentale: Si le programme n avait pas existé, le résultat pour les participants serait le même que pour les nonparticipants 25

Contrefactuels contrefaits 2: Comparaison participants et non-participants Participants Non-participants Methode Treatment Comparison Difference en % Participants VS. Non-participants 2.1% 0.7% 1.4 pp. 300% QUESTION: La difference represent-elle une estimation non-biaisée de l impact programme? PAS FORCEMENT: Le bias de selection pour quoi seulement 300 micro-entreprises? Les participants sont plus performants meme sans programme (observable) Meilleurs entrepreneurs, mieux informés (inobservable) 26

Contrefactuels contrefaits: Synthèse Avant - Après Compare: Le profit des microentreprises Avant et Après l enrollment dans le programme. Participants Non Participants Compare: Le profit des microentreprises qui recoivent et celles qui ne recoivent pas le programme Probleme: D autres facteurs peuvent intervenir & changer avec le temps. Problem: Biais de selection. On ne sait pas pour quoi certains ne participant pas. Les deuxcounterfactuels peuvent conduire aux estimations biaisees du contre-factuel et donc de l impact meme.

Methode de double différence (DD) La méthode DD: Compare les differences de resultats entre participants et non-participants dans le programme au fil du temps Hypothèse d'identification: Le biais de sélection est invariant dans le temps ( tendances parallèles en l'absence du programme) Le contrfactuel C est le changements au fil du temps pour les nonparticipants dans le programme (Sous certaines hypotheses), la DD peut produire des estimations moins biaisees 28

Comparaison avant-apres % 2.5 Impact = (P 2008 -P 2007 ) = 2.1 1.5 = + 0.6 2 P 08 -P 07 =0.6 1.5 participants 1 0.5 0 2007 2008 29

Comparaison avant-apres + particpantnon-participant % 2.5 Impact = (P 2008 -P 2007 ) -(NP 2008 -NP 2007 ) = 0.6 0.2 = + 0.4 2 1.5 1 0.5 P 08 -P 07 =0.6 NP 08 -NP 07 =0.2 participants non-participants 0 2007 2008 30

Double différence (DD) Taux de Profit Avant (2007) Apres (2008) Difference (2007-2008) Participants (P) 1.5% 2.1% 0.6 pp Non-participants (NP) 0.5% 0.7% 0.2 pp Difference (P-NP) 1.0 pp 1.4 pp 0.4 pp 31

Hypothese: tendances paralleles 2.5 2 1.5 1 Impact = +0.4 pp participants non-participants 0.5 0 2007 2008

Methode de double différence (DD) QUESTION: La difference represent-elle une estimation non-biaisée de l impact programme? Ca depend de la plausibilité l hypothese de tendances égales.» Tendances paralelles 33

Hypothese: tendances paralleles 2.5 2 1.5 1 Impact = +0.4 pp participants non-participants 0.5 0 2007 2008

Methode de Regression Discontinue (DR) Beaucoup de programmes sociaux sélectionnent les bénéficiaires en utilisant un indice ou un score: Programmes de lutte contre la pauvreté Retraites Bourses d étude Commerce & investissment Ciblent les ménages sous un seuil de pauvreté Ciblent la population au dessus d un certain âge Destinées aux élèves dont les résultats aux test sont élevés Subvention de credit à des microentreprises sur base de contrainte (< un certain seuil)

Methode de Regression Discontinue (DR) LeRD sebase sur la compréhension du processus de sélection: Etablir une règle de sélection claire & un score quantifiable simple et continue L assignation du programme est basée, de manière discontinue, sur base d un seuil Cibler les unités autour du seuil pour l évaluation Hypothèse fondamentale: Les unités juste au-dessus du seuil sont comparables à celles juste au-dessous

Methode de Regression Discontinue (DR) Nous sommes a la recherche de ce type de tendances Baseline Follow-up outcome Forme différente assignment variable assignment variable

Methode de Regression Discontinue (DR) Objectif: Améliorer les revenus/profits des micro-entreprises qui ont des contraintes de credit Methode Etablier un seuil de contrainte d access au credit (0 a 100) Idee: comparer le profi des micro-entreprises juste en desous de 50 (et donc éligibles d'accéder au crédit subventionné)....avec Les entreprises avec des notes un peu au-dessus de 50 (et donc inéligibles au régime).

Methode de Regression Discontinue (DR) Situation de référence: Non éligible Eligible

Methode de Regression Discontinue (DR) Après le programme: IMPACT

Example Methode Traitement Control Difference Regression de Discontinuite 2.35% 2.1% 0.25 pp Important: Impact est valide seulement pour les micro-entreprises qui sont autour du seuil qui determine l eligibilite. 41

Synthese de la methode DR RD se prête à l évaluation prospective lorsque la randomisation n est pas faisable Stratégie applicable à tout programme qui se base sur un critère d éligibilité (politique sur la base Possibilité d exploiter plusieurs seuils pour améliorer la validité externe L effect est causal mais local et donc il y a un probleme de generalization.

Synthese: methodes non-experimentales Methode Traitement Control/Comparison Difference Participants - Non-participants 2.1 0.7 1.4 pp Avant - Apres 2.1 1.5 0.6 pp Double difference 0.6 0.2 0.4 pp Discontinuite de la Regression (DR) 2.35 2.1 0.25 pp Les methodes faibles peuvent conduire aux resultats biases RD (causal impact) trouve la moitie des effects des autres methods plus faibles Les resultats de l evaluation d impacts sont valide seulement si nous utilisons des methods rigoureuses. 43