Analyse d impact : l apport des évaluations aléatoires William Parienté 1

Transcription

1 Analyse d mpact : l apport des évaluatons aléatores Wllam Parenté 1 Cet artcle expose de manère synthétque l'apport des évaluatons aléatores dans l'analyse de l'mpact des programmes socaux et de développement. Ces évaluatons reposent sur l'assgnaton aléatore d'un groupe recevant le programme (tratement) et d'un groupe ne le recevant pas (contrôle). La comparason de ces groupes après nterventon permet d'obtenr une mesure non basée de l'mpact du programme. La méthode des évaluatons aléatores surmonte de ce fat un nombre mportant de lmtes des évaluatons non-expérmentales. Elle partage auss certanes dffcultés nhérentes à toute évaluaton telle que la possblté de généralser les résultats. La portée des évaluatons aléatores ne se résume pas seulement à mesurer les effets d'un programme, elles peuvent auss être utlsées pour comparer dfférentes modaltés d'une nterventon (et ans dentfer la plus effcace), tester des nnovatons ntrodutes dans un programme ou encore analyser des hypothèses de la théore économque. S le prncpe des évaluatons aléatores est smple, la concepton des dspostfs expérmentaux est détermnante pour permettre de mesurer correctement les effets d'un programme. Introducton Comment mesurer l effcacté d un programme scolare, d un programme de préventon santé, d une nterventon vsant à amélorer l accès au crédt des populatons pauvres, ou encore d une poltque sur le marché du traval? Lors de la mse en œuvre de poltques socales ou de développement, la queston de leur effcacté est systématquement posée. Cependant, pluseurs types de réponses peuvent être envsagés : Une évaluaton des besons des populatons concernées revent à analyser s les besons des populatons cblées ont été effectvement prs en compte et s la populaton bénéfcant du programme a été convenablement dentfée. Une évaluaton du processus cherche à mesurer l effcacté d un programme en vérfant la nature du processus de sa mse en œuvre, s les servces sont effectvement délvrés, s ls sont de qualté, s les bénéfcares en sont satsfats etc. Enfn, une évaluaton d mpact consste à évaluer l mpact drect du programme sur les bénéfcares. Cet artcle porte sur ce derner type d évaluaton. S l exste dfférentes méthodologes d évaluaton d mpact, cet artcle expose de manère synthétque essentellement les évaluatons aléatores, qu ont connu un engouement crossant au cours des dx dernères années 2. Dans un contexte où l effcacté de l ade et des poltques publques est régulèrement remse en queston, le développement des évaluatons aléatores est né en parte du constat selon lequel l exste un nombre lmté de preuves emprques rgoureuses sur ce qu «marche» et «ne marche pas» dans les programmes socaux ou de développement. En effet, l effcacté des programmes est rarement évaluée de façon 1 JPAL PSE/Ecole d Econome de Pars. Emal : wllam.parente@parsschoolofeconomcs.eu. 2 Les lecteurs désreux d aller plus lon dans la compréhenson de la méthode d évaluaton aléatore peuvent se reporter aux travaux de J-PAL (Jameel Poverty Acton Lab, ou aux travaux ms en lgne par l ntatve 3e «Internatonal Intatve for Impact Evaluaton» au

2 6 rgoureuse. Les évaluatons aléatores, lorsqu elles sont correctement mses en œuvre, permettent d obtenr des mesures de l mpact non basées et surmontent de ce fat un nombre mportant de problèmes nternes aux évaluatons nonexpérmentales. A l orgne, la plupart des évaluatons aléatores ont été menées dans les pays ndustralsés, aux États- Uns et en Europe du Nord à partr des années 1960, sur des poltques de formaton et d'emplo, de santé ou de logement. De nombreux programmes ont été évalués aux Etats-Uns par l organsaton MDRC 1 et ont eu un mpact drect sur les poltques publques (Burtless, 1995). Dorénavant, un nombre mportant d évaluatons aléatores sont menées également dans les pays en développement en collaboraton avec les organsatons non gouvernementales (ONG), gouvernements ou organsatons nternatonales. Ces évaluatons couvrent aujourd hu de nombreux domanes : éducaton, santé, adopton de nouvelles technologes, accès au crédt, lutte contre la corrupton, poltques sur le marché du traval etc. Cet artcle est organsé en pluseurs sectons : la premère secton ntrodut le prncpe de l évaluaton d mpact et l apport de la méthode aléatore, la seconde analyse la portée de ces évaluatons sur la mse en place des poltques publques mas auss, par certans aspects, sur la théore économque. La trosème énumère certanes lmtes des évaluatons d mpact en général et les lmtes spécfques aux évaluatons aléatores. La quatrème aborde la mse en œuvre pratque des évaluatons, les questons de fasablté opératonnelle et de valdté statstque. La dernère ntrodut des éléments de présentaton de résultats des évaluatons. Ensute vent la concluson. Prncpe de l évaluaton d mpact Le modèle statstque de base des évaluatons est le modèle causal de Rubn (1974). Les untés sont par exemple des ndvdus, repérés par un ndce. Le tratement T est admnstré de manère bnare : T = 1 sgnfe que l ndvdu appartent au groupe qu reçot le tratement, T = 0 sgnfe qu l ne reçot pas le tratement. On s ntéresse à des varables de résultat, sur lesquelles le tratement est supposé avor un mpact. Le modèle causal de Rubn consdère que pour une varable de résultat donnée l y a en fat deux varables dtes d outputs potentels ou latents, correspondant à ce que serat la stuaton d un ndvdu sous chacune des alternatves,.e. s l ndvdu bénéfce du tratement y () 1 et s l n en y 0. bénéfce pas, ( ) Afn de mesurer exactement l mpact d un programme, l est nécessare de connaître la stuaton potentelle des bénéfcares du programme s jamas ceux-c n y avaent pas partcpé. L effet du tratement se résume donc à E y 1) E y (0). ( ) ( ) ( Cet effet est donc ndvduel et peut être, tel que défn, hétérogène au sen de la populaton. Il est auss nobservable, pusque pour chaque ndvdu, sot on observe y ( 1) lorsqu l dspose du programme, T = 1, sot on observe y ( 0) lorsqu l n en dspose pas T = 0, mas jamas smultanément les deux. Dans une populaton donnée, on dspose en fat d observatons avec T = 1 et des observatons avec T = 0 mas elles ne concernent pas les mêmes ndvdus : E( y T = 1 ) E( y T = 0) = E( y ( 1) T = 1) E( y (0) T = 0) = E( y ( 1) y (0) T = 1) + E( y (0) T = 1) E( y (0) T = 0) (1) (2) L effet moyen du tratement est comprs dans la premère composante de (2) E( y ( 1) y (0) T = 1) alors que la deuxème composante E( y ( 0) T = 1) E( y (0) T = 0) comprend le bas de sélectvté ou l effet populaton. L objectf d une évaluaton d mpact est de rédure le plus possble ce bas de sélectvté en comparant le groupe de bénéfcares du programme à un groupe de non bénéfcares ayant exactement les mêmes caractérstques exceptée la partcpaton au programme. En pratque, l est très dffcle de trouver un tel groupe. S certanes caractérstques sont faclement mesurables, comme par exemple, le degré de rchesse ou le nveau de scolarsaton des ndvdus, l exste, en revanche, des caractérstques spécfques souvent nobservables qu l est très dffcle de prendre en compte comme par exemple le nveau de motvaton, l accès à l nformaton sur l exstence d un projet, les capactés des ndvdus, etc. En général, ceux qu partcpent à un 1 Manpower Demonstraton Research Corporaton.

3 7 programme sont justement les plus motvés ou les plus nformés. La randomsaton de l assgnaton du tratement permet d élmner cet effet de sélecton et joue donc un rôle central dans la possblté d dentfer de manère rgoureuse l effet du programme. Dans le cas de l assgnaton aléatore du tratement entre un groupe tratement et un groupe contrôle, on a : ( y ( 0) ) T E Et E( y ( 0) T = 1) E( y (0) T = 0) = 0 La sélecton aléatore, assure, s l échantllon est suffsamment grand, que les caractérstques observables mas auss nobservables des ndvdus sont smlares dans les groupes tratement et contrôle, avec par exemple le même nombre d ndvdus rches et pauvres, le même nveau de scolarsaton mas auss le même degré de motvaton ou le même nveau d'nformaton. L effet populaton ou le bas de sélectvté est, par constructon, égal à zéro. De ce fat, toutes dfférences dentfées entre les deux groupes après le programme, peuvent être entèrement attrbuées au programme. Evaluatons non expérmentales Les évaluatons aléatores permettent donc de résoudre le problème de bas de sélectvté. D autres méthodes, non aléatores, dtes «quasexpérmentales», tentent de résoudre le problème de bas de sélectvté sous une sére d hypothèses permettant de reconstrure les condtons d un cadre expérmental. Une premère méthode consste à reconsttuer un groupe de contrôle à partr de varables observables au sen d un ensemble d ndvdus n ayant pas reçu le tratement. L objectf est ans de supprmer le bas de sélectvté en comparant deux populatons ayant des caractérstques observables smlares. Pour ces méthodes dtes méthodes d apparement, l s agt de trouver pour chaque ndvdu dans le groupe traté, un ndvdu ayant les mêmes caractérstques observables dans le groupe non traté. Ce type d apparement est rendu dffcle en pratque lorsqu l est effectué sur un grand nombre de varables ou des varables contnues car l peut être complqué de trouver dans le groupe d ndvdus non tratés, un nombre suffsant d ndvdus ayant exactement les mêmes caractérstques que les ndvdus tratés. Des méthodes d apparement proposent d utlser un score de propenson pour permettre d apparer sur un plus grand nombre de varables, et notamment des varables contnues. Ces méthodes prennent en compte les dfférences d output mputables potentellement à des dfférences entre les groupes tratement et contrôle sur un grand nombre de varables observées. Elles parvennent cependant dffclement à supprmer entèrement le bas de sélectvté car certanes varables nobservables (telles que, à nouveau, la motvaton des ndvdus, l accès à l nformaton, etc.) sont omses et ne sont pas, par essence, nclues dans la constructon de l apparement. Dans ce cas, la méthode d apparement atténue probablement le bas de sélectvté sur la base des observables, mas n a aucune ncdence sur le bas ndut par les varables omses. Ensute, les estmatons en double dfférence (souvent combnées avec les méthodes d apparement) utlsent les nformatons avant nterventon des groupes tratement et contrôle pour contrôler les dfférences préexstantes entre les deux groupes. Cependant, la valdté des estmatons repose sur le parallélsme de l évoluton entre les deux groupes. En effet s les deux groupes devaent évoluer de manère très dfférente (par exemple, s les personnes qu partcpent au programme avaent une propenson à augmenter leurs revenus plus rapdement que ceux qu ne partcpent pas), le bas de sélectvté resterat mportant car cet écart du aux nobservables est attrbué au programme. Enfn, d autres évaluatons utlsent la dscontnuté dans la règle de mse en œuvre d un programme, souvent étable de manère arbtrare, pour analyser son effet. Par exemple, Buddelmeyer et Skoufas (2003) évaluent l mpact du programme d'allocatons condtonnelles Progresa au Mexque sur l'absentésme scolare et le traval des enfants en utlsant la dscontnuté dans les crtères d'élgblté 2. L dée sous jacente de ce type d évaluaton est d estmer l effet en utlsant les ndvdus juste en dessous du seul d élgblté comme contrôle par rapport à ceux qu sont juste au dessus. Cette méthode est comparable aux évaluatons aléatores s ce n est que l mpact est évalué unquement sur une populaton spécfque (juste en dessus et en dessous du seul). En pratque, l peut s avérer dffcle de dsposer de règles exogènes permettant l utlsaton de ce type de méthodes 3. 2 Le programme Progresa a ntalement été évalué de manère aléatore. Les auteurs montrent que pour 10 ndcateurs sur 12, les résultats avec la méthode régresson en dscontnuté sont smlares aux résultats de l évaluaton aléatore. 3 Notamment dans les pays en développement où les règles d élgblté peuvent ne pas être totalement respectées (Duflo et al., 2007). D autre part, ce type de méthode n est possble que lorsqu l exste un nombre

4 8 Les méthodes d apparement et/ou double dfférence peuvent permettre d atténuer sgnfcatvement le bas de sélectvté 4 sans pour autant l élmner totalement et reposent sur un nombre d hypothèses qu peuvent être plus ou mons convancantes alors que d autres, telles que les régressons en dscontnuté, peuvent dans certans cas donner des résultats non basés. Portée des évaluatons aléatores La portée des évaluatons aléatores se stue à pluseurs nveaux. En général, les évaluatons sont mses en place pour tester l mpact d une nterventon sur les bénéfcares. Il peut s agr d un programme plote (par exemple gouvernemental) qu sera généralsé s les résultats sont probants. Dans d autres cas les évaluatons sont effectuées sur des nterventons plus spécfques au nveau d un programme partculer souvent ms en œuvre par des ONG. Certanes évaluatons cherchent à analyser pluseurs nterventons ou modaltés d nterventon afn d dentfer les melleurs moyens pour attendre un objectf donné. Enfn d autres évaluatons ne sont pas drectement lées à l mpact d un programme mas cherchent plutôt à analyser l effet d nnovatons sur le fonctonnement d un programme ou à répondre à une queston théorque spécfque. Projets plotes Les évaluatons aléatores peuvent ntervenr dans le cadre d un projet plote vsant à être généralsé s les résultats sont concluants. Ces évaluatons sont en général réalsées sur des échantllons représentatfs de la populaton cble. L exemple le plus connu dans les pays en développement est celu du programme Progresa au Mexque. Le gouvernement mexcan a développé un programme d allocatons aux ménages représentant envron un ters de leurs revenus. Ces allocatons étaent condtonnées à l assduté des enfants à l école et à la partcpaton du ménage à des sessons de préventon santé. Lorsque le programme a été lancé suffsant d ndvdus juste en dessous et juste au dessus du seul d élgblté. 4 Dans la décomposton de l effet global, Heckman et al. (1997) montrent qu avec les méthodes quasexpérmentales, l effet populaton est envron équvalent à l effet tratement. D autre part, Lalonde (1986) montre que les estmatons de l effet de pluseurs programmes avec des méthodes expérmentales et quasexpérmentales dffèrent de manère sgnfcatve. Glazerman, Levy and Myers (2003) arrvent à des conclusons smlares lorsqu ls comparent les résultats d évaluatons quas-expérmentales et expérmentales sur des programmes d emplo et de formaton. en 1998, le gouvernement ne pouvat pas attendre l ensemble des localtés élgbles du fat de contrantes budgétares. D autre part, l équpe en place état conscente que pour assurer la pérennté du projet, l fallat être capable de démontrer son effcacté pour qu l ne sot pas abandonné en cas d alternance après les électons. Le gouvernement a décdé, en collaboraton avec des unverstares de l IFPRI 5, de lancer un programme plote sur un nombre restrent de localtés en mleu rural choses aléatorement parm un ensemble de localtés élgbles (320 sur 506 et ménages). Les résultats de l évaluaton sont postfs sur un grand nombre d ndcateurs. Le programme accroît notamment la partcpaton des enfants à l école, rédut la prévalence de malade chez les enfants, dmnue l offre de traval des garçons, et permet aux parents de perdre mons de jours de traval à cause des malades (Gertler and Boyce, 2001). Grâce à ces résultats postfs, le projet a été généralsé au Mexque pour attendre plus de 5 mllons de famlle en 2005 et a été étendu au secteur urban. D autres pays d Amérque latne, le Ncaragua, le Honduras ou l Argentne, par exemple, ont adopté des programmes smlares. La dffculté à généralser à une échelle plus large les résultats des évaluatons aléatores le plus souvent effectuées dans un contexte partculer est souvent ctée comme une lmte des évaluatons. Ce pont est abordé en trosème parte. Évaluatons d nterventons spécfques Les évaluatons aléatores sont également utlsées pour analyser les effets d une nterventon spécfque sur les bénéfcares. La portée des résultats de ces évaluatons va cependant souvent au-delà de l mpact du programme lu-même. Dans le domane de l éducaton, pluseurs évaluatons aléatores (Mguel et Kremer, 2004 et Mguel et Kremer, 2007), menées en collaboraton avec l ONG ICS Afrca 6 (Internatonal Chld Support - Afrca) montrent l mpact très sgnfcatf sur l assduté scolare des programmes de déparastage des vers ntestnaux des enfants. Dans le contexte du Kenya, le déparastage en masse (où chaque enfant est traté) est le moyen le plus effcace et le mons coûteux pour augmenter l assduté scolare des enfants. En effet, le déparastage accroît la partcpaton scolare de 7 % et permet de rédure de 25 % le taux d absentésme à l école. En comparason avec d autres programmes qu vsent à amélorer l assduté des enfants dans les pays en développement, le 5 Internatonal Food Polcy Research Insttute. 6 ICS est spécalsée dans des projets d éducaton, de santé et de souten à des actvtés génératrces de revenus.

5 9 déparastage serat envron 20 fos plus effcace que d embaucher des ensegnants supplémentares. Pour les pays en développement où la prévalence des vers ntestnaux chez les enfants est élevée 7, les programmes de déparastage pourraent donc s avérer être l'un des moyens les plus performants tout en étant l'un des mons onéreux pour accroître la partcpaton scolare. Dans certans cas, des programmes sont évalués dans dfférents contextes pour donner des nformatons pertnentes en cas de généralsaton. Banerjee et al. (2007) ont évalué l mpact d un programme de rattrapage scolare smultanément dans toutes les écoles de deux vlles très dfférentes en Inde (Vadodara et Mumba). Après deux ans, l augmentaton des tests standardsés des élèves état en moyenne de 0,39 écarts types et l mpact état plus fort pour les élèves les plus fables. L obtenton de résultats postfs dans deux contextes dfférents pourrat rendre crédble la généralsaton de l nterventon. La multplcaton d évaluatons sur des programmes smlares dans des contextes dfférents permet d amélorer la connassance générale de l mpact de certanes nterventons. Par exemple, de plus en plus de programmes de mcrofnance sont en tran d être évalués (aucun résultat n est encore paru à ce jour). Ces évaluatons ont leu notamment en mleu urban en Inde (Banerjee et Duflo), en mleu rural au Maroc (Crépon et al.) ou au Pérou (Karlan et Valdva). Elles sont d autant plus mportantes que peu d évaluatons de la mcrofnance 8 ont donné jusqu à présent des preuves emprques vrament rgoureuses de l mpact. Or, s la mcrofnance consttue un succès ndénable au regard du nombre de personnes qu ont aujourd hu accès au mcrocrédt, la queston de son mpact sur les condtons de ve et sur la pauvreté n en demeure pas réglée. Les résultats des évaluatons en cours permettront de contrbuer à l améloraton de la connassance sur l mpact de la mcrofnance. Modaltés d nterventon Les évaluatons peuvent tester pluseurs modaltés d nterventon pour sélectonner celles qu sont les plus effcaces en terme d mpact ou de moyens pour toucher une populaton donnée. Dans le domane de la préventon, Duflo et al., (2006) comparent l mpact de tros modes de préventon au VIH/SIDA : la formaton des 7 Envron 400 mllons d enfants en âge d aller à l école seraent affectés par les vers ntestnaux (WHO, 2004). 8 L évaluaton de Ptt et Kandker (1998) du mcro-crédt au Bangladesh est un exemple d évaluaton quasexpérmentale rgoureuse même s ses résultats ont été contestés (Morduch, 1998). professeurs, l encouragement de débats entre étudants sur la protecton, et la réducton du coût de l éducaton. L mpact est estmé sur le nombre de grossesses lées à un rapport sexuel non protégé, ans que sur des mesures de la connassance et du comportement vs-à-vs du VIH/SIDA. Après deux ans, les flles ayant suv les cours de professeurs formés ont plus de chance d être marées au moment de leur grossesse mas le programme a eu très peu d autres mpacts sur la connassance, le comportement ou smplement le nombre de grossesses chez les adolescentes. Les débats sur la protecton ont accru la connassance vs-à-vs du VIH/SIDA, ans que la déclaraton d utlsaton de préservatfs mas n ont pas eu d mpact sur l actvté sexuelle. La réducton du coût de l éducaton en offrant des unformes scolares a serv à dmnuer les décrochages scolares, les marages et les grossesses chez les adolescentes. Les tros modes de préventon ont donc des mpacts postfs mas sur dfférentes varables d output étudées. En terme de protecton, l semble que les débats sur l utlsaton des préservatfs soent les plus effcaces. Enfn, une analyse ultéreure sur l effet des programmes sur la prévalence du VIH/SIDA et sur le coût de chaque nterventon permettrat d dentfer celle qu est la plus effcace. Dans un autre domane, Olken (2007) s ntéresse à dfférents moyens de rédure la corrupton en Indonése en testant pluseurs systèmes de contrôle des projets de constructon de routes. Les deux systèmes envsagés sont l augmentaton d audts du gouvernement (avec des changements de probablté d audt allant de 4 à 100 %) et deux méthodes de renforcement de la partcpaton de la communauté dans la geston du suv des projets. La corrupton est mesurée par la dfférence entre le coût de la constructon effectve (mesurée par des ngéneurs et des enquêtes ex-post) et le coût apparassant dans le budget des vllages. Les résultats montrent que l augmentaton de la probablté de contrôles externes (audts du gouvernement) rédut sgnfcatvement le montant des fonds manquants au projet (de 27,7 à 19,2 ponts de pourcentage). En revanche, l mplcaton de la communauté dans la geston du suv des projets n a un effet que sur certanes formes de corrupton (sur les dépenses lées aux ressources humanes), mas n a pas d mpact général. L effcacté des encouragements à contrôler des projets d nfrastructure au sen de la communauté demeure relatvement fable. En termes de décsons de poltques publques, l apparaît, dans ce contexte, que pour lutter contre la corrupton l est plus effcace d augmenter les contrôles externes (par une autorté gouvernementale) que d mplquer plus les membres de la communauté.

6 10 Innovatons du processus des nterventons Certanes évaluatons testent des nnovatons du processus des nterventons ou des poltques. Par exemple, en mcrofnance, Gné et Karlan (2006) évaluent l mpact d un changement de produt d une nsttuton de mcrofnance aux Phlppnes qu octroyat essentellement des crédts de groupe (garante soldare). En effet, les taux de remboursement très élevés des nsttutons de mcro-crédt dans le monde sont attrbués, en parte, à la méthode de garante soldare. L évaluaton a conssté à changer le type de crédt offert dans la moté des agences de l nsttuton, en passant du crédt de groupe au crédt ndvduel. Les résultats montrent que non seulement, le changement de type de crédt n a pas eu d mpact sur le taux de remboursement, mas a eu un mpact postf sur la rétenton des clents et sur la partcpaton de nouveaux clents. Tests d hypothèses de la théore économque Enfn, les évaluatons aléatores permettent de répondre à des questons théorques qu ont des mplcatons mportantes en terme de poltque publque sans être unquement lmtées à l évaluaton d un programme. Par exemple, une queston récurrente dans l offre de servces ou de bens de base aux plus pauvres est l élastcté de la demande par rapport au prx et l mpact du prx sur l utlsaton de ces bens. Un consensus exste sur l mportance de fournr aux populatons pauvres des servces ou des bens lés à la santé de manère subventonnée. En revanche l y a débat sur la nécessté de fare partcper fnancèrement ces populatons, même de manère très restrente. La partcpaton fnancère permettrat d augmenter l ntensté de l utlsaton du ben en queston et de sélectonner ceux qu en ont le plus beson (et qu sont prêts à payer pour l obtenr). Un traval sur le prx des moustquares au Kenya (Cohen et Dupas, 2007) donne des ndcatons mportantes en terme d effcacté des mécansmes des poltques publques et sur des hypothèses théorques. Dupas et Cohen (2007) mettent en place un dspostf orgnal de dstrbuton de moustquares dans 20 clnques au Kenya pour les femmes encentes. Ces clnques ont été dvsées en 2 groupes ; un groupe contrôle et un groupe où les moustquares étaent dstrbuées à 4 prx dfférents varant de 0 à 60 centmes de dollar. Le chox des groupes et des prx étant effectué de manère aléatore. Les résultats montrent, d une part, que la demande pour les moustquares dmnue fortement lorsqu elles sont vendues même à un prx relatvement fable (nféreur au prx vendu par une ONG de la même régon). Pour 100 femmes prenant la moustquare lorsqu elle est gratute, seulement 25 l achèteraent au prx proposé. Les résultats montrent également que l ntensté de l utlsaton des moustquares ne vare pas avec le prx. L effet psychologque du prx sur l utlsaton est alors mneur. Fnalement, ceux qu consentent à payer un prx ne semblent pas non plus être ceux qu en ont le plus beson (le beson étant mesuré par le taux d anéme qu est un ndcateur mportant de la malara). Ceux qu consentent à payer ne sont pas plus malades que ceux qu acceptent la moustquare gratutement. Il est probable que les plus malades aent en effet une volonté à payer plus forte mas auss qu ls soent les plus pauvres. Ces résultats remettent en queston, pour ce ben spécfque, la poltque de partcpaton fnancère des ménages pauvres. Ils montrent auss qu une proporton mportante de la populaton vulnérable qu a beson de moustquares rsque de ne pas être serve par le programme. Fnalement, en termes d mpact sur la santé, l est plus effcace de fournr les moustquares gratutement. Dans un autre domane, Karlan et Znman (2005) cherchent à tester l ntensté des facteurs responsables de l asymétre d nformaton sur le marché du crédt. Le dspostf d évaluaton consste à proposer, aléatorement, pluseurs offres de contrats de crédt avec dfférents taux d ntérêt (bas et élevés) et, une fos acceptées, à varer le taux d ntérêt effectvement proposé et donner aléatorement un encouragement spécfque (un taux d ntérêt bas) en cas de remboursement satsfasant. L ntensté de la sélecton adverse (ex ante) est mesurée en comparant le taux de remboursement des clents ayant accepté des taux d ntérêt dfférents mas ayant effectvement reçu le même taux (le plus bas). L ntensté de l aléa moral est quant à elle mesurée en comparant le taux de remboursement des clents ayant accepté la même offre au même taux mas qu ont effectvement reçu des contrats avec des taux dfférents et en comparant les performances de remboursements des clents qu ont reçu et n ont pas reçu l encouragement. Les résultats montrent qu l exste un aléa moral sgnfcatf mas seulement une fable présence de sélecton adverse.

7 11 Qu l s agsse du plote d une poltque publque, d un programme local, d une nnovaton ou du test d une hypothèse théorque, l ensemble des résultats des évaluatons aléatores permettent d accumuler du savor sur les effets de certans projets ou évaluatons. Ils consttuent, en ce sens, un ben publc qu peut être utle pour les décdeurs poltques ou les pratcens dans la mse en œuvre de leurs programmes. Enfn, l analyse des résultats des évaluatons permet de comparer le rapport effcacté coût des programmes s ceux-c évoluent dans des contextes smlares et ont des objectfs propres. Par exemple, des programmes de déparastage au Kenya s avèrent être beaucoup plus effcaces sur l assduté scolare et mons coûteux que d autres programmes (ensegnants supplémentares, unformes, etc.). Certanes analyses cherchent également à comparer drectement les coûts et les bénéfces d un programme pour la socété. Il peut cependant s avérer complqué de comparer le coût monétare d un programme avec des bénéfces qu ne peuvent pas toujours être valorsés en termes monétares. Lmtes des évaluatons aléatores Deux grands types de questons se posent quant à la valdté des évaluatons. Le premer concerne la valdté nterne : l s'agt de vérfer s les effets mesurés sont ben les effets du programme, s les groupes tratement et contrôle sont comparables, etc. Le second type de queston concerne la valdté externe, lée au caractère généralsable des résultats de l étude dans d autres contextes ou à la représentatvté de l échantllon par rapport à la populaton cble. La valdté nterne est maxmale dans le cas des évaluatons aléatores (et dans certans contextes pour les méthodes de régresson en dscontnuté). Les évaluatons aléatores partagent cependant certanes lmtes avec l ensemble des évaluatons et comportent dans certans cas des lmtes plus spécfques. En termes de valdté nterne, l est possble que, malgré la randomsaton, la comparablté des groupes tratement et contrôle pusse être compromse. Il est par exemple possble qu'en rason de leur partcpaton à une expérmentaton, les ndvdus modfent leur comportement. Ces modfcatons de comportement au sen du groupe tratement sont appelées effets Hawthorne tands que ceux au sen du groupe contrôle sont appelés effets John Henry. Les deux groupes peuvent être nctés à modfer leur comportement car ls se savent observés mas auss parce qu ls sont gagnants ou perdants. Ces modfcatons de comportement dues au cadre expérmental posent des problèmes de valdté nterne et externe. Il y a dfférentes manères de lmter ces effets vore de les mesurer selon le dspostf d évaluaton chos. Un autre problème potentel lé à la comparablté des deux groupes que l on peut observer ex post est l attrton. L'attrton correspond à l échec de collecter des données sur les varables d ntérêt pour certans ndvdus qu fasaent parte de l échantllon orgnal. L attrton aléatore rédura seulement la pussance statstque de l étude mas s l attrton n est pas ndépendante du tratement, les résultats peuvent être basés (dans certans cas, l est plus facle de retrouver les ndvdus du groupe tratement que ceux du groupe contrôle). D autres problèmes tels que l adhéson partelle au programme ou les effets d externalté peuvent auss remettre en cause la valdté nterne des évaluatons. Les dspostfs expérmentaux permettent, en général, de prendre en compte ces lmtes. Ils seront abordés dans la quatrème parte de l artcle. En termes de valdté externe, les lmtes des évaluatons provennent de l nterprétaton des résultats obtenus lorsque le programme ou la poltque est testée dans un contexte partculer. En effet, ce qu est vra dans un contexte peut ne pas l être dans d autres. Dans ce cas, la multplcaton des évaluatons dans des contextes dfférents (exemple du programme de rattrapage scolare dans deux vlles très dfférentes en Inde (cté dans la seconde secton) permet de tester un même programme avec des condtons et des envronnements dfférents (locatons géographques, équpe de mse en œuvre etc.) et analyser dans quelle mesure les résultats sont comparables (Banerjee et Duflo, 2008). Par alleurs, l peut être dffcle d extrapoler les résultats sur l mpact d un programme évalué à pette échelle lorsque celu-c est généralsé à un ensemble plus large. En effet, les évaluatons ne prennent pas souvent en compte les effets d équlbre général comme par exemple une saturaton du marché dans le cas des programmes d accompagnement vers l emplo de dfférentes catégores de chômeurs 9. Dans le cas de certanes 9 Dans un modèle smple de recherche d emplo, Cahuc et Le Barbanchon (2008) analysent les conséquences de l accompagnement fourn à des demandeurs d emplo. Les auteurs observent que le fat de néglger les effets d équlbre dus à ce programme peut mener à des conclusons erronées. En partculer, contrarement à ce que l on pourrat penser, l accompagnement peut augmenter le chômage à l état statonnare ben que les chercheurs d emplos ont un plus fort taux de sorte du chômage que les non suvs. Ce type d erreur est

8 12 évaluatons, on peut mettre en place des dspostfs spécfques pour prendre en compte ces effets d équlbre général. Par exemple, Crépon et al. 10, dans une étude en cours, évaluent l mpact d un programme d accompagnement des chômeurs dplômés dans un nombre mportant d agences de l emplo en France et randomsent l ntensté du tratement dans les dfférentes agences pour analyser les effets de saturaton. Enfn, l est mportant de consdérer un ensemble d hypothèses préalables sur l mpact du programme en dehors du contexte dans lequel l est évalué pour ne pas généralser des résultats qu seraent lés à une stuaton partculère. Concernant les lmtes spécfques aux évaluatons aléatores, les condtons du dspostf expérmental peuvent lmter l échantllon dsponble pour l étude. Les contrantes du dspostf expérmental peuvent amener à condure l évaluaton sur une populaton spécfque, qu représente parfos seulement une certane frange de la populaton cble, en chosssant par exemple les populatons tratement et contrôle qu gênent le mons l opératonnel, en n ncluant pas les ndvdus les plus motvés, ou ben du fat que la méthode de randomsaton s applque seulement à une populaton partculère. Par exemple, Karlan et Znman (2006) évaluent l mpact du crédt à la consommaton en Afrque du Sud. Ils randomsent, dans «la bulle», certans ndvdus qu ont un score de crédt juste en dessous du score mnmal pour obtenr un crédt. Ces personnes sont assgnées aléatorement au tratement ou au contrôle. De ce fat, seul un effet local du programme est évalué et cela consttue un problème évdent de valdté externe. Cependant, cette lmte s applque systématquement aux méthodes d évaluaton par régresson en dscontnuté (qu évaluent l mpact seulement sur ceux qu se stuent juste au dessus ou en dessus du seul). Enfn, les expérmentatons aléatores ne peuvent être mses en œuvre que s l exste une très forte collaboraton entre les opératonnels et les responsables de l évaluaton et ce, dès le départ. Les évaluatons aléatores ne peuvent donc pas être effectuées ex-post. De ce fat, tous les projets ne peuvent donc pas être évalués. partculèrement présent quand la talle du groupe de tratement est fable. 10 Crépon B, E.Duflo, M Gurgand, R. Rathelot et P. Zamora. Evaluaton d un programme d accompagnement des jeunes chômeurs dplômés en France. Evaluaton en cours menée pour le compte de l ANPE. Les évaluatons aléatores en pratque S ces évaluatons reposent toutes sur l assgnaton aléatore du programme (avec un groupe tratement et un groupe contrôle sélectonnés aléatorement), l exste en fat une dversté de dspostfs expérmentaux permettant d évaluer dfférents types de programmes avec des modes d nterventons dfférents. D autre part, même s le prncpe des évaluatons aléatores est très smple, mettre en place de tels dspostfs n est pas forcément facle. Deux types de fasablté sont dstngués dans cette secton : une fasablté opératonnelle,.e. la possblté de mettre en œuvre un protocole expérmental pour une poltque ou une nterventon donnée (en collaboraton avec les opératonnels) et une fasablté statstque, c'est-à-dre la capacté du dspostf expérmental à détecter les effets du programme. Condtons opératonnelles et stratéges de randomsaton La capacté à s nsérer dans le processus opératonnel d une nterventon est une condton nécessare à la mse en œuvre des évaluatons. La collaboraton entre les équpes de recherche et les équpes opératonnelles responsables de l nterventon est prmordale à l acceptaton, à l applcaton et à la stablté dans le temps du dspostf expérmental. Ensute, les dspostfs expérmentaux peuvent s nsérer avec plus ou mons de souplesse dans le fonctonnement des programmes. Dans la plupart des cas, les évaluatons portent sur le plote d une nterventon (qu sera généralsé en cas de résultats probants). La sélecton aléatore au sen des bénéfcares ou groupes de bénéfcares élgbles du plote devent alors assez naturelle (cas par exemple de Progresa au Méxque). De la même façon, un programme qu a pour objectf de toucher l ensemble de la populaton s étend en général de manère progressve et consttue une opportunté ntéressante pour les évaluateurs. En effet, la randomsaton peut se fare au nveau de l ordre de tratement des bénéfcares même s tout le monde proftera du programme à la fn. En général les programmes d nterventons scolares ne peuvent pas toucher toutes les écoles en même temps. Il est donc possble de profter de l extenson progressve des programmes pour l évaluer (déparastage au Kenya). En règle générale (en dehors des évaluatons aléatores), le chox des bénéfcares ou de l ordre des bénéfcares, est souvent basé sur des crtères plus subjectfs qu peuvent être mons

9 13 justes (comme par exemple les lens poltques des communautés élgbles). Il peut être mpossble (ou dffcle poltquement) de lmter l accès des membres du groupe contrôle au programme. Le programme peut alors être ouvert à tout le monde, mas certanes personnes sont spécfquement encouragées à partcper (groupe de tratement) alors que d autres personnes ne le sont pas. Dans ce cas, personne n est exclu mas on s attend à ce qu l y at une proporton plus mportante de personnes tratées dans le groupe qu a été encouragé. La queston de la valdté statstque de ce type de dspostf est abordée par la sute. Dans certans cas, l est dffcle de randomser, par exemple lorsque le nombre de personnes pouvant être serves est nféreur ou égal au nombre de personnes élgbles. De plus, les évaluatons aléatores peuvent poser des problèmes en terme d éthque lorsqu l exste une convcton forte que le programme a des effets postfs et qu on refuse l accès de certanes personnes qu auraent pu avor accès, en absence d'évaluaton, ou nversement que le programme a des effets négatfs connus et qu l est quand même testé. Mas ces condtons sont rarement remples. D une part, une nouvelle nterventon peut rarement toucher toute la populaton élgble au démarrage et dans de nombreux cas, les mpacts du programme ne sont pas connus à l avance. Enfn, la plupart des dspostfs expérmentaux des évaluatons dovent être valdés par des comtés d éthque au sen des unverstés auxquelles appartennent les chercheurs mplqués dans l évaluaton. Certans programmes ne peuvent cependant pas être évalués avec la méthode aléatore lorsqu on ne peut pas sélectonner à un nveau suffsamment désagrégé (s on ne peut randomser qu au nveau d un fable nombre de régons) ou dans certanes condtons où randomser poserat de vras problèmes éthques (comme par exemple l ade almentare dans un contexte de famne). Nveau de randomsaton La sélecton aléatore des groupes tratement et contrôle peut se fare à pluseurs nveaux. La sélecton au nveau ndvduel est la plus effcace en terme de capacté du dspostf de détecter les effets du tratement à détecter des effets d un tratement, même s l s avère que les effets sont petts (cf. pont suvant) mas peut s avérer complquée à mettre en place en pratque ou napproprée étant donnée l nterventon évaluée. La sélecton peut également se fare au nveau de groupes d ndvdus (vllages, écoles, communautés). Le nveau de randomsaton dépend en général de l nterventon. Dans certans cas, l effet d un programme est mesuré sur un groupe plutôt que sur un ndvdu. Par exemple, dans le cas d évaluatons au nveau des écoles (le degré de fréquentaton des écoles, l assduté scolare) ou de vllages (exstence de bens publcs ou d nfrastructures), etc. Mas dans un grand nombre d nterventons, l y a une certane flexblté dans le nveau de randomsaton. Le chox du nveau de randomsaton a des conséquences mportantes sur le budget et le dspostf de l évaluaton. Il est en effet plus effcace de randomser au nveau ndvduel quand cela est fasable. Le nveau de randomsaton est auss à prendre en compte dans l analyse des effets d externalté lorsqu l y a des bas lés aux comparasons entre tratement et contrôle. Par exemple, Mguel et Kremer (2004) ont évalué l mpact du déparastage sur les élèves en randomsant au nveau des classes et ont détecté des effets beaucoup plus mportants que les autres évaluatons qu étaent randomsées au nveau ndvduel. Cette dfférence s explque en parte par l exstence d externaltés possbles du tratement (les contrôles bénéfcant du fat que les tratements sont mons nfectés). Même s ces externaltés ne dsparassent pas totalement lorsque la randomsaton est effectuée au nveau des écoles, elles sont beaucoup plus fables. Une autre forme d externalté ntervent lorsque les ndvdus du groupe de comparason changent leur comportement s ls savent qu ls vont être tratés dans le futur. Là auss, la randomsaton au nveau d un groupe (vllage ou école) permet de lmter la dffuson d nformaton. Valdté statstque La valdté du dspostf expérmental, c'est-à-dre sa capacté à détecter les effets du programme lorsque ceux-c exstent, résde dans sa pussance statstque. La pussance d une évaluaton ou la capacté du dspostf à détecter des effets dépend d un ensemble de paramètres 11 : la proporton de personnes partcpant parm la populaton effectvement assgnée au programme (la pussance augmentant avec le taux de partcpaton) ; le nveau de l effet que l évaluaton cherche à détecter. Plus le dspostf cherche à détecter des effets de pettes talles et plus la pussance de l expérmentaton est fable. La pussance de l expérmentaton dot donc être élevée pour 11 Pour une exposton formalsée de la pussance statstque des évaluatons, vor Duflo et al. (2007).

10 14 pouvor détecter des effets les plus fables du programme 12 ; Le nombre d untés (ndvdus ou groupes d ndvdus) randomsées. La pussance augmente avec le nombre d untés qu sont randomsées. Lorsque la randomsaton est effectuée au nveau de groupes d ndvdus (vllages, communautés, classes etc.), la pussance dépend auss du nombre d ndvdus suvs au sen des groupes et est une foncton crossante de ce nombre. Elle a, toutefos, une lmte nféreure à un lorsque le nombre d ndvdus devent très grand. Cec est lé à l exstence d une composante spécfque au groupe. La pussance décroît avec l mportance relatve de la composante spécfque au groupe. Enfn, la pussance de l expérmentaton décroît avec la varance des varables d output d ntérêt. Le chox du dspostf d une évaluaton dot prendre en compte l ensemble de ces paramètres pour mesurer sa capacté à détecter les effets du programme. Certans paramètres peuvent être connus ex-ante (comme le nombre d untés à randomser ou les effets que l évaluaton cherche à détecter) alors que d autres sont plus dffcles à estmer à l avance. Ce sont le cas par exemple de la varance des varables d output ou de la composante spécfque au groupe en l absence de données dsponbles. D autre part, les dspostfs des évaluatons sont souvent contrants en terme de budget ou d untés dsponbles pouvant être randomsées, d autant plus lorsqu l s agt de groupes (vllages ou communautés). Il exste également des arbtrages à effectuer entre pussance statstque et fasablté opératonnelle. Il est beaucoup plus smple d attendre un nveau de pussance statstque satsfasant en randomsant au nveau de l ndvdu, mas l peut s avérer poltquement ou pratquement complqué à mettre en place. En effet, l est dffcle de randomser l assgnaton du tratement au sen d une même communauté ou vllage (accès au mcro-crédt par exemple). A l nverse, les méthodes de randomsaton par encouragement sont poltquement plus facles à «vendre» mas comportent le rsque d une fable dfférence de taux de partcpaton entre groupes tratement et contrôle (s l encouragement ne fonctonne pas de manère satsfasante et s une proporton mportante de contrôle partcpe au programme). 12 En général, les effets consdérés comme étant fables se stuent aux alentours de 0,2 écarts types, les effets moyens à envron 0,4 écarts types et des effets élevés aux envrons de 0,6 écarts types. Ensute, beaucoup d évaluatons font face à des problèmes d adhéson partelle au programme : certanes personnes du tratement ne reçovent pas le programme et/ou certanes personnes du contrôle le reçovent. S certans programmes comme des nterventons au nveau d écoles ou la constructon d nfrastructures tratent l ensemble de la populaton effectvement assgnée au tratement, la partcpaton à de nombreux programmes est volontare. Seulement une fracton des ndvdus effectvement assgnés au tratement partcpera au programme. Banerjee et al., (2008) montrent que sur un projet en Inde cblant les plus pauvres, une proporton sgnfcatve de ménages (18 %) a refusé l actf productf (vaches, chèvres etc.) pourtant offert sans contreparte. Dans les programmes de mcro-crédt, l est assez fréquent que seule une mnorté de la populaton cble prenne un crédt. L adhéson partelle peut rédure sgnfcatvement la pussance pusque certans ndvdus du groupe tratement n auront fnalement pas bénéfcé du programme. De ce fat la talle des effets mesurés est dfférente selon que l adhéson partelle au programme est prse en compte ou non (vor la secton suvante sur la présentaton des résultats). Il faut donc ben prendre en compte le taux d adhéson au programme dans le chox de la talle de l échantllon. Stratfcaton Enfn, l est possble que, malgré la randomsaton, les groupes tratement et contrôle n aent pas les mêmes caractérstques et cec unquement dans le cas de petts échantllons. Bruhn et McKenze (2008) décrvent et analysent les dfférentes méthodes utlsées pour mnmser ces dfférences sur des varables observables. Les deux prncpales méthodes sont la stratfcaton et l apparement par pare. Ces méthodes permettent de consttuer des groupes tratement et contrôle plus équlbrés en terme de varables observables lorsque la randomsaton s effectue sur un nombre lmté d untés. La stratfcaton correspond à la dvson de l échantllon en pluseurs sous échantllons dfférents selon des varables observables. A l ntéreur de chaque sous échantllon, l s agt de sélectonner un nombre égal d observatons tratement et contrôle. La randomsaton a donc leu au sen de chaque sous échantllon. L objectf de la stratfcaton est d équlbrer l échantllon par rapport à certanes varables clés. La stratfcaton est également mportante s les effets du programme sont susceptbles d être dfférents sur des sous-groupes d échantllon, l faut cependant avor suffsamment d ndvdus dans chaque sousgroupe pour mesurer l hétérogénété du tratement. Les varables utlsées pour la stratfcaton sont en général fortement corrélées avec la varable

11 15 d output ou devraent avor en théore un mpact mportant sur le résultat. Cependant, l peut être complexe de stratfer sur pluseurs varables. Non seulement le trage aléatore peut apparaître mons transparent (surtout lorsqu l est effectué sur place, par exemple lors de loteres en publc). Il dmnue auss le nombre de degrés de lberté car l faut ensute ntégrer les varables de stratfcaton dans les régressons d mpact. Une verson très avancée de stratfcaton est l apparement par pare où des pares d untés (ndvdus, vllages etc.) sont consttuées en foncton d un nombre de caractérstques observables ressemblantes et, au sen de chaque pare, une unté est aléatorement assgnée au groupe tratement et l autre au groupe contrôle. Cette méthode permet d équlbrer les groupes pour un plus grand nombre de varables observables et, consttue une des melleures méthodes pour obtenr l équlbre dans des échantllons de fables talles. (Bruhn et McKenze, 2008). Présentaton des résultats La présentaton des résultats des évaluatons d mpact est smple et a le mérte d être très transparente. La mesure la plus smple d une évaluaton est le calcul de la dfférence sur les varables d outputs entre les groupes tratement et contrôle. ITT = y( 1) y(0) (3) L ntenton de trater (ITT) mesure l effet global du tratement. En effet, même s une proporton des bénéfcares n a pas accès au programme, l ntenton de trater mesure l effet de la poltque dans son ensemble sur la populaton cble (en prenant en compte le fat que certans, assgnés au tratement, partcpent ou ne partcpent pas). Elle mesure globalement l effet de la poltque ou du programme sur la populaton cble. Cette mesure fournt une estmaton de l mpact réel de l offre du programme. Dans beaucoup de programmes, qu l s agsse de campagnes de vaccnaton, de transferts d actfs productfs pour les plus pauvres ou de poltques d accompagnement des chercheurs d emplo, l est rare que l ensemble de la populaton cble partcpe. Il est cependant ntéressant d estmer l effet global de la poltque en prenant en compte que seule une proporton de la populaton cble partcpe, car ce sera le cas dans la réalté s le programme est généralsé. L mpact peut auss être mesuré sur ceux qu ont effectvement partcpé au programme. Il s agt alors de calculer la dfférence sur les varables d outputs entre les groupes tratement et contrôle et de la dvser par la proporton d ndvdus ayant effectvement reçu le programme parm ceux auxquels le programme a été assgné et parm ceux auxquels l n a pas été assgné. Il s agt là de mesurer l effet du tratement sur les tratés (TT) : _ y(1) y(0) TT = (4) P C ( = 1T = 1) P( C = 1T = 0) _ La smplcté de cet estmateur llustre la valeur du cadre expérmental. La populaton des untés de contrôle se décompose comme dans les untés tratement en une populaton ayant accès au programme et une populaton n ayant pas accès. La seule dfférence est que comme le programme n y est pas proposé, ces deux populatons ne sont pas dentfées, mas le pont mportant est qu elles sont semblables à celles des untés tratement. L ntérêt de l estmaton TT est de mesurer l mpact du programme sur ceux qu en ont effectvement bénéfcé. Il s agt par exemple de l effet du mcrocrédt sur ceux qu en ont effectvement reçu (sachant que la partcpaton est volontare). Les deux mesures, ITT et TT, sont ntéressantes selon que l on souhate mesurer l effet du programme dans son ensemble ou seulement sur ceux qu en ont bénéfcé. Concluson Les évaluatons aléatores ont connu un engouement mportant au cours des dx dernères années, elles représentent une avancée réelle dans l analyse de l mpact des programmes socaux ou de développement. Alors que ces évaluatons ont démarré aux Etats-Uns et en Europe du nord, leur vértable expanson s est effectuée dans les pays en développement. Même s elles représentent encore une fable proporton des évaluatons d mpact, elles sont applquées à un champ d nterventons de plus en plus large. L accumulaton des résultats des évaluatons permet de trer des conclusons sur l mpact de certanes nterventons : sur des programmes de santé, d éducaton et bentôt dans d autres secteurs où l exste peu d évaluatons rgoureuses comme la mcrofnance par exemple. Les évaluatons aléatores ne se lmtent pas seulement à l mpact d un programme, elles permettent auss de comparer pluseurs modaltés d une nterventon (et vor laquelle est la plus effcace), de tester des nnovatons du processus des

12 16 nterventons ou encore d analyser des hypothèses de la théore économque. La multplcaton des évaluatons montre qu un grand nombre d nterventons sont élgbles et qu l est possble de travaller avec de nombreux partenares au nveau des ONG, des gouvernements et des organsatons nternatonales. D autre part, l applcaton de la méthode d évaluaton aléatore à de nombreux contextes et la dversté des dspostfs expérmentaux ont perms aux chercheurs de prendre en compte certanes de ses lmtes. Les évaluatons aléatores ont un rôle mportant à jouer pour nformer et guder les décdeurs poltques et les responsables de programmes sur la base de preuves emprques rgoureusement construtes. Références Bblographques Banerjee A, Duflo E. (2008), «The Expermental Approach to Development Economcs». Massachusetts Insttute of technology, Department of Economcs and Abdul Latf Jameel Poverty Acton Lab. Banerjee A, Cole S., Duflo E., Lnden L. (2007), «Remedyng Educaton : Evdence from Two Randomzed Experments n Inda», Quarterly Journal of Economcs, Vol , pp Banerjee A, Duflo E., Chattopadhyay R., Shapro J., (2007), «Targetng effcency : How Well Can We Identfy the Poor», Insttute for Fnancal Management and Research. Centre for Mcrofnance. Workng Paper Seres n 21. Bruhn M., McKenze D. (2008), «In pursut of balance : randomzaton n practce n development feld experments». World Bank Polcy Research Workng Paper Seres n Burtless G. (1995), «The case for Randomzed Feld Trals n Economc and Polcy Research». Journal of Economc Perspectves, Vol. 9-2, pp Buddelmeyer H, Skoufas E. (2003), «An Evaluaton of the Performance of Regresson Dscontnuty Desgn on PROGRESA». IZA Workng Paper n 827. Cahuc P., Le Barbanchon T. (2008), «Labor Market Polcy Evaluaton n Equlbrum : Some Lessons of the Job Search and Matchng Model». IZA Dscusson Paper Seres n September Cohen J., Dupas P. (2007), «Free Dstrbuton or Cost-Sharng? Evdence from a randomzed malara preventon experment,» Brookngs Insttuton Global Workng Paper n 14. Crépon B, Devoto F., Duflo E., Parenté W. (2008), «Poverty, Access to Credt and the Determnants of Partcpaton to a New Mcro-credt Program n Rural Areas of Morocco», Ex Post Impact Analyses Seres n 2, Agence Françase de Développement, Pars. Duflo E, Dupas P., Kremer M., Sne S. (2006), «Educaton and HIV/AIDS Preventon : Evdence from a randomzed evaluaton n Western Kenya», World Bank Polcy Research Workng Paper n 402. Duflo E., Kremer M., Glennerster R. (2007), «Usng Randomzaton n Development Economcs Research : A Toolkt,» n Handbook of Development Economcs. Elsever-North Holland John Strauss and Paul Schultz, edtors, Vol. 4. Gertler P. J., Boyce S. (2001), «An Experment n Incentve-Based Welfare : The Impact of PROGRESA on Health n Mexco» Mmeo, UC-Berkeley. Gné X, Karlan D. (2006), «Group versus ndvdual lablty : evdence from a feld experment n the Phlppnes», Yale Unversty Economc Growth Center workng paper n 940. Glazerman S., Levy D., Myers D. (2003), Non expermental Replcatons of Socal Experments : A systematc Revew. Prnceton, NJ : Mathematcal Polcy Research, Inc. Heckman J., Ichmura H., Todd P. (1997), «Matchng as an Econometrc Evaluaton Estmator : Evdence from Evaluatng a Job Tranng Program», Revew of Economc Studes, October 1997, Vol 64-4, pp Imbens W., Wooldrdge J. (2008), «Recent Developments n the Econometrcs of Program Evaluaton». NBER Workng Paper n W Internatonal Food Polcy Research (2000), «Montorng and Evaluaton System», Dscusson paper, Internatonal Food Polcy Research (IFPRI). J-PAL (2007), «Mass Dewormng : A Best-Buy for Educaton and Health», Polcy Brefcase n 4.

13 17 Karlan D., Znman J. (2005), «Observng Unobservables : Identfyng Informaton Asymmetres wth a Consumer Credt Feld Experment», BREAD Workng Paper n 94. Karlan D., Znman J. (2007), «Expandng Credt Access : Usng Randomzed Supply Decsons to Estmate the Impacts», MIMEO, Yale Unversty. Kremer M., Mguel E. (2004), «Worms : Identfyng Impacts on Educaton and Health n the Presence of Treatment Externaltes», Econometrca, Vol. 72-1, pp Kremer, M., Mguel E. (2007), «The Illuson of Sustanablty», Quarterly Journal of Economcs Vol , pp LaLonde R.J. (1986), «Evaluaton the Economc Evaluatons of Tranng Programs Usng Expermental Data», Amercan Economc Revew, Vol. 76-4, pp Malucco J. A., Flores R. (2005), «Impact Evaluaton of a Condtonal Cash Transfer Program», Dscusson paper, Internatonal Food Polcy Research Insttute, Research Report n 141. Morduch J. (1998), «Does Mcrofnance Really Help the Poor? New Evdence from Flagshp Programs n Bangladesh», Mmeo, Prnceton Unversty. Olken B. (2006), «Corrupton and the Costs of Redstrbuton : Mcro Evdence from Indonesa», Journal of Publc Economcs, Vol. 90-4/5, pp Olken B. (2007), «Montorng Corrupton : Evdence from a Feld Experment n Indonesa», Journal of Poltcal Economy, Vol 115-2, pp Ptt M., Khandker S (1998), «The Impact of Group-Based Credt Programs on Poor Households n Bangladesh : Does the Gender of Partcpants Matter?» The Journal of Poltcal Economy, Vol , pp Rubn D.B. (1974), «Estmatng Causal Effects of Treatments n Randomzed and Non-randomzed Studes», Journal of Educatonal Psychology, Vol. 66, pp Schultz T. P. (2004), «School subsdes for the poor : Evaluatng the Mexcan PROGRESA poverty program», Journal of Development Economcs, Vol. 74-1, pp WHO (2004), «Acton Aganst Worms» Partners for Paraste Control Newsletter, Issue 1, January 2004 (avalable at

14