Évaluations aléatoires : Comment tirer au sort?

Transcription

1 Évaluations aléatoires : Comment tirer au sort? William Parienté Université Catholique de Louvain J-PAL Europe povertyactionlab.org

2 Plan de la semaine 1. Pourquoi évaluer? 2. Comment mesurer l impact? 3. Pourquoi tirer au sort? 4. Comment tirer au sort? 5. Comment déterminer la taille de l échantillon? 6. Risques et solutions 7. Une évaluation de A à Z 8. Analyses coût-efficacité et généralisation

3 Plan du cours Unité de randomisation Contraintes de la vraie vie Différentes méthodes de randomisation Groupe test et groupe témoin: extension

4 Qu est-ce que l'assignation aléatoire? Revenus, par personne et par mois, en roupies Test Témoin How to Randomize, Part I - 3

5 La mécanique du tirage au sort Vous avez besoin d un cadre d échantillonnage Vous tirez les noms d'un chapeau ou d'un sac Vous utilisez le générateur aléatoire d un programme de feuille de calcul afin d ordonner les observations de manière aléatoire Code de programmation Stata Que faire s'il n'y a pas de liste?

6 Plan du cours Unité de randomisation Contraintes de la vraie vie Différentes méthodes de randomisation Groupe test et groupe témoin: extension

7 L'unité tirée au sort En général on peut randomiser à plusieurs niveaux 1. Tirer au sort au niveau de l'individu 2. Tirer au sort au niveau du groupe (évaluation en grappes)

8 Unité tirée au sort : l'individu?

9 Unité tirée au sort : l'individu

10 L'unité tirée au sort : le groupe? Par groupes d'individus: randomisation en grappe

11 L'unité tirée au sort : la classe?

12 L'unité tirée au sort : la classe

13 L'unité tirée au sort : l'école?

14 L'unité tirée au sort : l'école

15 L'unité de tirage au sort : réflexions Comment fait-on pour choisir l unité de randomisation?

16 L'unité de tirage au sort : réflexions Cela dépend de l intervention : effet au niveau du groupe ou au niveau individuel. Certains programmes peuvent être exécutés seulement à un certain niveau. Il faut savoir Quelle unité le programme vise-t-il? Classe, étudiant? Quelle est l'unité d'analyse?

17 L'unité de tirage au sort : quelle cible? Comment l intervention est-elle administrée? Quel est la zone d intervention de chaque «unité»? Quelle est la taille de l impact potentiel?

18 Plan du cours Unité et méthode de randomisation Contraintes de la vraie vie Méthodes de randomisation Variations autour des notions simples de groupe tes et groupe témoin

19 Contraintes Contamination Logistique Equité

20 Contraintes : la contamination Rappelez-vous du scénario contrefactuel! Si le groupe témoin diffère du scenario contrefactuel, nos résultats risquent d être biaisés

21 Externalités : exemple: programme de déparasitage Avant une étude au Kenya, les études précédentes comparaient les élèves traités aux élèves non traités au sein d une même école Quel peut être le problème de cette comparaison lorsqu il y a des externalités? Quel est le signe du biais attendu?

22 Externalités : exemple: programme de déparasitage Choisir l unité d échantillonnage de façon à englober les externalités Exemple: les externalités ont lieu au sein de l école L affectation aléatoire des écoles permet de mesurer l ensemble des effets (effet direct et externalité) en comparant les écoles

23 Les contraintes : la contamination Effets d'externalité (ou spillover) Positifs (test => témoin) Négatifs (test => témoin) Négatifs (témoin => test)

24 Contraintes liées à la logistique La distribution des vermifuges est l une des nombreuses responsabilités d un soignant Le soignant doit s occuper à la fois des groupes Test et des groupes Témoin Il peut s avérer difficile de former les soignants aux différentes procédures à appliquer à chaque groupe, et à garder trace de ce qu ils doivent donner et à qui

25 Contraintes liées à l'équité Tirage au sort au niveau de chaque enfant au sein des classes Tirage au sort au niveau des classes au sein des écoles Tirage au sort au niveau de la communauté

26 Contraintes liées à la taille de l échantillon Le programme ne permet de servir qu un petit nombre de communautés En général, la randomisation individuelle nous donne un échantillon plus grand pour un moindre coût.

27 Plan du cours Unité de randomisation Contraintes de la vraie vie Méthodes de randomisation Groupe test et groupe témoin: extension

28 Randomisation En général, les programmes/interventions sont contraintes en terme de budget, les moyens sont limités Ceci constitue un atout pour l évaluateur Le nombre de bénéficiaires éligibles est bien supérieur aux moyens disponibles Programmes courants : Formation pour les entrepreneurs ou les agriculteurs Bons de réduction pour les frais d'inscription scolaires

29 Méthodes de randomisation Loterie Randomisation dans la bulle Mise en place progressive Encouragement

30 La loterie : la référence des essais cliniques On prend 1000 personnes et on ne donne le médicament qu à la moitié d entre elles. Est-il possible d appliquer cette approche aux programmes sociaux?

31 La loterie : une approche simple Les participants sont sélectionnés de manière aléatoire à partir d un ensemble de candidats Les participants savent qui a «gagné» et qui a «perdu» La loterie de base est faisable lorsqu il n existe aucune raison a priori de discriminer Elle est perçue comme équitable et transparente Souvent jouable d un point de vue politique

32 Que faire : 500 candidats pour 500 places? Envisagez des tirages au sort différents de la loterie simple Développez les actions de communications Est-ce éthique?

33 Les façons de tirer au sort Supposons qu'il y ait 2000 candidats Après sélection, il ne reste que 500 candidats valables Or il y a 500 places Un simple tirage au sort n'est donc pas possible Quelles sont vos options?

34 Tirer au sort dans «la bulle» Parfois certains partenaires ne souhaitent pas tirer au sort parmi les personnes éligibles Ils peuvent accepter le tirage au sort «dans la bulle» Les personnes qui sont «dans la bulle» sont celles qui sont en limite d éligibilité Juste au dessus du seuil limite non éligibles mais presque Quel effet du traitement mesurons-nous? Qu estce que cela signifie en termes de validité externe?

35 Tirer au sort dans la bulle Randomisation dans la "bulle" Dans la bulle, comparer Test et Témoin Test Mettre la photo et graphique Non-participants participants Témoin

36 Les tirages au sort partiels Quand il faut sélectionner, utiliser des tirages au sort partiels Par exemple, les responsables du programme veulent garder la main : Exemple : programme de formation Exemple : extension du crédit à la consommation en Afrique du Sud

37 La mise en place progressive À la fin, tout le monde bénéficiera du programme C'est une approche naturelle lorsque l on fait face à des contraintes de moyens pour étendre le programme Comment déterminer quelles écoles, quelles agences, etc. bénéficieront du traitement telle ou telle année?

38 Mise en place progressive Mise en place progressive 1 ère phase Test: 1/3 Témoin: 2/3 2 ème phase Test: 2/3 Témoin: 1/3 Fin de l'évaluation aléatoire 3 ème phase Test: 3/ Témoin:

39 Mise en place progressive Avantages? Inconvénients?

40 mise en place progressive Traitement Contrôle Traitement Contrôle Traitement Groupe 1 Groupe 2 Groupe 3 Groupe 1 Groupe 2 Groupe 3 Groupe 1 Groupe 2 Groupe 3

41 Mise en place progressive Avantages À la fin, tout le monde obtient quelque chose Cette approche encourage à maintenir le contact Inconvénients L estimation des effets à long terme peut être plus compliquée Il faut être attentif aux «fenêtres» de mise en place Les attentes de changement futur ont-elles un impact sur les actes d'aujourd'hui?

42 L'encouragement Il est parfois impossible, pour des raisons pratiques ou éthiques, de tirer au sort l accès à un programme Mais la plupart des programmes ont des niveaux d adoption inférieurs à 100 % On tire au sort les candidats puis on encourage certains d'entre eux à participer

43 Modèle de l'encouragement encouragement pas d'encouragement a participé n'a pas participé Comparez encouragés à non encouragés Ceci doit être corrélé Ne pas comparer participants à non-participants Conformité Non conformité Ajustez la non conformité en phase d'analyse

44 Qu est-ce que «l encouragement»? Un élément qui rend certaines personnes sont plus susceptibles de participer que d autres Il ne s agit pas d un programme en soi Pour qui estimons-nous les effets du programme? Il faut réfléchir à qui va être sensible aux encouragements Pourquoi ca marche?

45 Exemple encouragement : Accès à l eau au Maroc Programme de branchement social à l eau à Tanger au Maroc Première idée : randomisation par quartiers Difficultés techniques Difficulté politiques : certains responsables de quartiers veulent avoir le branchement tout de suite Impossible de randomiser au niveau du quartier

46 Ex: Accès à l eau au Maroc Solution: randomisation au niveau individuel Mais offre de branchement disponible à tout le monde dans les quartiers éligibles Randomisation par encouragement

47 Ex:Accès à l eau au Maroc Méthode Variation aléatoire du niveau d information des ménages Ménages groupe traitement Opération d information personnalisée à domicile Ménages groupe contrôle Aucune information durant 12 mois (mais accès technique si demande faite)

48 Ex:Accès à l eau au Maroc Encouragement : campagne d information sur le programme BSI (branchement social individuel) et assistance administrative Encouragement assigné aléatoirement

49 Ex:Accès à l eau au Maroc Randomisation par cluster

50 Ex:Accès à l eau au Maroc First stage : après 4 mois

51 En résumé : les différents modèles Le tirage au sort simple Le tirage au sort «dans la bulle» La mise en place progressive aléatoire La rotation L encouragement aléatoire Nota : ces modèles ne s'excluent pas les uns les autres!

52 Méthodes de randomisation : résumé Approche Utilité Avantages Inconvénients Tirage au sort simple Trop grand nombre de candidats On peut accepter que certains candidats n obtiennent rien Approche connue Facile à mettre en œuvre Facile à comprendre Approche qui peut être mise en œuvre dans le cadre de programme s adressant au public en général Le groupe témoin peut ne pas coopérer Attrition différentielle Inclusion progressive Extension du programme dans le temps En bout de course, tout le monde bénéficie du programme Approche simple à comprendre Les contraintes sont faciles à expliquer Le groupe témoin va se comporter comme on s y attend afin de bénéficier du programme plus tard Les attentes par rapport au traitement peuvent avoir un impact sur le comportement à court terme L impact à long terme est difficile à mesurer Rotation Tout le monde doit obtenir quelque chose à un moment ou à un autre mais les ressources ne sont pas suffisantes pour que tout le monde bénéficie du programme toute l année Plus grand nombre de point de données que pour l inclusion progressive Difficulté pour mesurer l impact à long terme Encouragement Le programme n est pas accessible à tous les candidats Lorsque le niveau d adoption est bas mais qu il peut facilement être impacté par des encouragements Possibilité de randomiser au niveau individuel, même lorsque le programme n est pas randomisé à ce niveau Mesure l impact sur les personnes sensibles aux encouragements L encouragement doit être suffisant pour induire un changement au niveau de l adoption du programme L encouragement peut avoir un effet direct

53 Plan du cours Unité de de randomisation Contraintes de la vraie vie Différentes méthodes de randomisation Groupe test et groupe témoin: extension

54 Traitements multiples Parfois il est difficile de choisir parmi plusieurs interventions possibles Vous pouvez tirer ces programmes au sort Est-ce que cela nous apprend quelque chose sur les avantages de l une ou l autre intervention? Avez-vous un groupe témoin?

55 Modèle des programmes multiples La rotation Programme 1 Programme 2 Programme 3

56 Traitements croisés Tester différentes composantes du programme dans différentes combinaisons Tester pour voir si les composantes doivent s'additionner ou s'exclure? Quelle est la combinaison la plus efficace au point de vue du coût? Avantage : situation «gagnant-gagnant» pour les organisations ; cela peut aider à répondre aux questions qu elles se posent, au-delà du simple «impact»!

57 Varier l intensité d'un programme On veut pouvoir mesurer l importance des externalités Pas forcément un problème Solution : double randomisation 1. On randomise l intensité de traitement assignée à chaque groupe Par exemple école avec 10% de traité, écoles avec 20%, 50%,75%, etc 2. On randomise à nouveau à l intérieur des groupes 3. Pour mesurer les externalités : comparer les contrôles dans le groupe avec beaucoup de traités et les contrôles avec peu de traités

58 La stratification Objectif : équilibrer l échantillon lorsqu il est de petite taille De quoi s agit-il? On divise l échantillon en différents sous-groupes On sélectionne un groupe Test et un groupe Témoin dans chaque sous-groupe Que se passerait-il si l on ne stratifiait pas? 57

59 Quand faut-il stratifier? En présence de variables qui pourraient avoir un impact important sur le résultat En présence de sous-groupes qui présentent un intérêt particulier La stratification est d autant plus importante si l'on a peu de données Il est complexe de stratifier sur plusieurs variables Plus on stratifie, moins le tirage au sort est transparent Il est également possible de stratifier par rapport à des variables d indice que vous avez créées 58

60 Annexes

61 Tirer au sort dans Excel