Comment Randomiser (II) William Parienté J-PAL povertyactionlab.org
Plan du cours Méthodes de randomisation (récapitulatif) Unités de randomisation et d observation Stratification Comment randomiser en pratique? Exemples dans différents contextes Planification d une évaluation
Méthodes de randomisation Loterie Introduction progressive Modèles de rotation Randomisation dans la «bulle» Encouragement
Unité de randomisation A quelle unité peut on randomiser? Randomiser au niveau individuel Randomiser au niveau du groupe Ecole Communauté Centre de santé Quartier/village Comment déterminer le niveau auquel on doit randomiser?
Unité de randomisation Cela dépend de l intervention : effet au niveau du groupe ou au niveau individuel. Certains programmes peuvent être exécutés seulement à un certain niveau. Il peut être politiquement difficile d avoir des traitements inégaux à l intérieur d une communauté. (ex: accès au micro-crédit) Pour beaucoup d interventions : on a le choix - La randomisation individuelle nous donne un échantillon plus grand pour un moindre coût. - Randomisation individuelle plus facile à mettre en place - Effets d externalités : sur les non traités/changement de comportement - Mesure d effets locaux
Unité d observation Si randomisation au niveau du groupe - Unité d observation au niveau du groupe - Unité d observation au niveau individuel Si randomisation au niveau individuel - Unité d observation au niveau individuel
Stratification Qu est-ce que c est: Division de l échantillon en plusieurs souséchantillons différents. A l intérieur de chaque sous-échantillon, sélectionner un nombre égal d observations traitement et contrôle. Objectif: équilibrer l échantillon lorsqu il est petit. La stratification permet d améliorer la comparabilité des groupes Sur quelles variables veut-on stratifier?
Stratification Stratifier sur les variables qui devraient avoir un impact important sur le résultat La stratification est importante si l on pense que des chocs auront un impact différent sur des sous-groupes d échantillon Problèmes Cela devient complexe de stratifier sur plusieurs variables. Plus on stratifie, moins le tirage peut apparaitre transparent. (cas des loteries par exemple)
Les méthodes utilisées pour randomiser On attribue à chaque individu/communauté un nombre. Utiliser un générateur de nombres aléatoires (ex. Excel) pour générer les nombres de 1 à x. Garder l individu/communauté toutes les deux observations Regrouper puis tirer à pile-ou-face.
Comment randomiser en pratique Plusieurs exemples de randomisation dans différentes évaluations.
Exemple: Projet d enseignant supplémentaire Plusieurs pays ont des classes de grande taille, et ont recruté des enseignants contractuellement pour diminuer la taille des classes. Cas du Kenya lors de l introduction de l éducation primaire gratuite Afflux d écolier avec des niveaux scolaires différents Le coût des enseignants contractuels représente le quart des enseignants fonctionnaires pour le même niveau de formation. De nouveaux enseignants permettent d avoir des classes de taille réduite D autre part, certains écoles peuvent former les classes par groupe de niveau.
Exemple: Projet d enseignant supplémentaire Cela soulève plusieurs questions importantes: Quel est l impact d avoir des classes réduites (1)? Comment les enseignants contractuels se comparent aux enseignants fonctionnaires, qui sont plus expérimentés mais moins redevables de leurs actions (2)? La constitution de groupes de niveaux est-elle bénéfique (3)? Comment concevoir une évaluation qui étudie toutes ces questions? Prenons-les une par une.
Conception de l évaluation ETP (Extra Teacher Project) Programme seulement introduit pour les CP (1 ère année). Certaines écoles reçoivent des enseignants supplémentaires, d autres n en reçoivent pas (réponse à la question 1). Pour tester l effet d un enseignant, on randomise les élèves entre enseignants officiels et contractuels. (question 2). Dans certaines écoles, sélectionnées aléatoirement, on constitue des groupes de niveaux, dans d autres non. (question 3) Enfin les classes constituées en groupe de niveau reçoivent des enseignants contractuels ou fonctionnaires, assignés aléatoirement
ETP Réponse à nos questions Ecoles Classes Taille de la classe réduite Assignation des élèves Aléatoire Niveau Normal Enseignant Extra (contract uel) Comparaison (110 écoles) Groupe 1 X Groupe 2A X X X Groupe 2B X Traitement (220 écoles) Groupe 3A X X X Groupe 3B X
Colombie Le gouvernement voulait accroitre l accès à l éducation, mais construire une infrastructure d écoles publiques prend beaucoup de temps. Ils ont décidé d utiliser les écoles privées existantes subventionné le cout des écoles pour certains enfants. Mais ils ne pouvaient pas se permettre de payer tous les enfants. Comment devraient-ils évaluer l impact d aller dans une école privée?
Conception Evaluation des bons en Colombie Parmi les enfants éligibles (ex: ceux des quartiers pauvres), les enfants postulent pour recevoir des bons qui leur permettent d aller aux écoles privées. Nombre de places limitées: assignées par loterie. Les chercheurs ont suivi ceux qui ont reçu les bons et ceux qui n en n ont pas reçu. Quelle est la question précise à laquelle l évaluation tente de répondre? A-t-on une réponse à la question: Quel est l impact des bons?
Progresa Avant de l étendre à tout le pays, le gouvernement mexicain voulait tester l efficacité d un programme qui donnait des bourses aux familles pauvres. Les bourses sont conditionnelles à la présence à l école et aux mesures préventives de santé sur l enfant. Ils veulent des résultats qui soient hautement crédibles. Pour être sur que le programme soit continué en cas de changement de pouvoir politique. Que doivent-ils faire?
Conception - Progresa Programme pilote testé dans certaines régions. Il n était pas possible de mettre en place le programme dans l ensemble du Méxique A l intérieur de ces régions, on détermine aléatoirement des communes traitement et contrôle. Recueil des résultats pour les groupes traitement et contrôle. Existence d effets du programme A augmenté l assiduité à l école. Meilleure santé Le programme a été continué par plusieurs gouvernements, généralisé au Mexique et a été copié dans plusieurs pays.
Microcrédit Quel est l impact du micro-crédit sur la vie des gens revenu, assiduité à l école, développement du commerce, etc.? Peu d étude d impact du micro-crédit 2 cas : en milieu urbain en Inde et en milieu rural au Maroc
Microcrédit-Spandana Institution de micro-crédit à Hyderabad défis: Spandana travaille par quartier et va s étendre dans de nouveaux quartiers Quelle conception choisir pour la randomisation? Quelle unité de randomisation doit-on choisir?
Conception - Spandana On ne peut pas assigner les individus aléatoirement à un programme de microcrédit c est une participation volontaire. On ne peut pas savoir qui aurait été dans le programme de microcrédit dans les quartiers contrôles Conception Choix de 100 bidonvilles éligibles. On échantillonne: 20 ménages éligibles dans chaque bidonville (indépendamment de s ils empruntent à Spandana). On randomise quels bidonvilles seront servis la première année. Le programme sera étendu à tous à la fin de l évaluation. Quel est la taille de l échantillon pour cette évaluation?
Microcrédit en milieu rural-maroc défis: Al Amana s étend en milieu rural dispersé au Maroc. Al Amana intervient dans des communes rurales généralement constituées d un centre et d un nombre important de villages autours. En milieu rural dispersé, difficile d atteindre tous les douars en même temps. Comme pour Spandana, on ne peut pas assigner les individus aléatoirement à un programme de microcrédit c est une participation volontaire. Quelle conception pour l évaluation? Quelle unité de randomisation doit-on choisir?
Microcrédit en milieu rural-maroc Al Amana s étend dans 80 communes rurales Dans chaque commune : constitution d un paire de villages Villages : 100 ménages Echantillonnage de 25 ménages selon un score de propension (basé sur un modèle de prédiction) + 5 ménages sélectionnés aléatoirement
Microcrédit en milieu rural-maroc Zone A Zone centrale Toujours servie Zone B
Microcrédit en milieu rural-maroc Sélection aléatoire d un village par paire servi tout de suite alors que l autre sera servi 2 ans après. Programme étendu à tous les villages à la fin de l évaluation Au préalable Constitution de paires de villages ressemblantes grâce aux informations recueillies sur les villages. Permet de réduire la variance des variables d output.
Microcrédit en milieu rural-maroc Comparaison variables entre traitement et contrôles sur 7 paires Traitement Contrôle Taille du ménage 6,11 6,14 Nombre d enfants à l école 0,86 0,81 Age du chef de ménage 50,8 50,7 Instruction du chef de ménage 0,42 0,39 Branchement eau 0,11 0,11 Consommation du ménage 31036 30648 Consommation par tête 5739 5694 Crédit 0,36 0,33
Cibler les plus pauvres - Pakistan Programme: graduer les plus pauvres à la microfinance en milieu rural - Transfert d actifs productifs - Formation - Programme de 24 mois avec pour objectif à la fin de «graduer» les plus pauvres dans des programmes de microfinance conventionnels Ciblage de la population - Méthodes qualitatives PRA + questionnaire court avec critères de sélection - Seul un nombre limité de ménages éligible par village : environ 36 ménages par village - Nombre de villages potentiels important
Cibler les plus pauvres - Pakistan Comment randomiser? - A niveau de puissance constant, pour un effet minimum détectable - Randomisation individuelle : 1600 individus dans 45 villages (environ 18 traitements et 18 contrôle par village) - Randomisation au niveau du village : 2400 individus dans 200 villages (100 traitements et 100 contrôle). Environ 12 individus traités dans les villages traitement. Méthode la plus appropriée? Méthode la plus couteuse, la plus opérationnelle, éthique?
Randomiser dans la bulle : Credit Scoring en Afrique du Sud Deux questions Evaluer l impact de l accès au crédit Mais aussi évaluer si le screening de certaines banques est trop rigoureux Prêteurs utilisent le credit scoring Sélection aléatoire des candidats juste en dessous du score minimum. Certains clients sont acceptés aléatoirement Permet de ne pas inclure dans l évaluation les individus que les banques ne veulent absolument pas perdre et les individus auxquels elle ne veut absolument pas prêter Impact sur une population marginale. Effets positifs sur les revenus et sur les activités
Accès à l eau au Maroc Programme de branchement social à l eau à Tanger au Maroc Première idée : randomisation par quartiers Difficultés techniques Difficulté politiques : certains responsables de quartiers veulent avoir le branchement tout de suite Impossible de randomiser au niveau du quartier
Accès à l eau au Maroc Solution: randomisation au niveau individuel Mais offre de branchement disponible à tout le monde dans les quartiers éligibles Randomisation par encouragement
Accès à l eau au Maroc Méthode Variation aléatoire du niveau d information des ménages Ménages groupe traitement Opération d information personnalisée à domicile taux de branchement élevé Ménages groupe contrôle Aucune information durant 12 mois (mais accès technique si demande faite) taux de branchement faible
Accès à l eau au Maroc Résultats : - Groupe traitement : 65% de branchés - Groupe contrôle : 5% - Différence significative.
Résumé Quelles stratégies a-t-on utilisé? Bons en Colombie Progresa Microcrédit Spandana Micro-crédit en milieu rural au Maroc Pakistan Randomisation dans la «bulle» Accès à l eau au Maroc