Analyse des données: Conformité imparfaite

Transcription

1 Analyse des données: Conformité imparfaite Marc Gurgand Paris School of Economics

2 Jusqu ici tout va bien Vous avez affecté aléatoirement votre population dans 2 groupes, test et contrôle Au groupe test, vous proposez la vaccination l accompagnement dans la recherche d emploi etc. Au groupe de contrôle, vous ne proposez rien (de particulier)

3 Que se faire si des individus ne se conforment pas à leur affectation aléatoire? «Conformité imparfaite»

4 Problème 1 Certains individus dans le groupe test ne reçoivent pas de traitement Campagne de vaccination : certains écoliers du groupe test, n ont pas reçu le traitement : pourquoi? Accompagnement : certains chômeurs n ont pas souhaité bénéficier d un accompagnement : pourquoi?

5 Problème 2 Certains individus dans le groupe de contrôle bénéficient quand même du traitement Campagne de vaccination : certains enfants du groupe test sont vaccinés quand même: pourquoi? Taille des classes : certains enfants destinés à une grande classe rejoignent une petite classe: pourquoi?

6 Idée? Tant pis: Comparons les traités du groupe test et les non-traités du groupe témoin Bonne idée?

7 Quelles sont les populations comparables? Groupe test: vaccination proposée Groupe de contrôle Acceptent : TRAITES Refusent : NON-TRAITES NON-TRAITES

8 Différence de résultat entre les deux groupes aléatoires? Groupe test Groupe de contrôle 1: traité pas malade 2: traité pas malade 3: traité malade 5: non-traité malade 6: non-traité pas malade 7: non-traité malade 8: non-traité malade 4: non-traité malade

9 Intention de traiter (intention to treat - ITT) Groupe test: Groupe de contrôle: 50% malades 75% malades Y(T)= résultat moyen dans la population test Y(C)= résultat moyen dans la population de contrôle ITT = Y(T) - Y(C) Différence entre les enfants qu on voulait traiter et ceux qu on ne voulait pas traiter

10 Intention de traiter (intention to treat - ITT) ITT = 50% - 75% = -25 points Cette différence est-elle l effet causal de l intervention?

11 Accompagnement Groupe test 100 personnes Groupe de contrôle 50 personnes 75 traités: 50 non-traités: 50 trouvent un emploi 25 ne trouvent pas d emploi 30 trouvent un emploi 20 ne trouvent pas d emploi 25 non-traités: 19 trouvent un emploi 6 ne trouvent pas d emploi

12 ITT dans l exemple de l accompagnement 100 personnes dans le test 50+19=69 trouvent un emploi Y(T)= taux d emploi dans le test = 69% 50 personnes dans le témoin 30 retrouvent un emploi Y(C)= taux d emploi dans le témoin = 60% ITT = Y(T) - Y(C) = 69% - 60% = 9 points

13 ITT: vaccination, accompagnement ITT répond à la question: on a mis en place le programme, qu est-il arrivé à la population cible dans son ensemble? Question intéressante pour le décideur public? Quels sont les deux sources d efficacité du programme? ITT permet-il de les distinguer?

14 Comment interpréter ITT dans ce cas là? Groupe test: vaccination proposée Acceptent : TRAITES Groupe de contrôle Obtiennent quand même le traitement: TRAITES Refusent : NON-TRAITES NON-TRAITES

15 Intérêt de ITT pour: Politique d accompagnement des chômeurs? Taille des classes? Contact téléphonique pour inciter à voter? Distribution de manuels scolaires?

16 En cas de conformité imparfaite, peut-on quand même estimer l effet du traitement sur les traités? (l effet du vaccin sur les enfants vaccinés)

17 La vaccination a-t-elle changé quelque chose? Groupe test 1: traité pas malade 2: traité pas malade 3: traité malade Groupe de contrôle 5: non-traité malade 6: non-traité malade 7: non-traité pas malade 8: non-traité pas malade 4: non-traité malade

18 La vaccination a-t-elle changé quelque chose? Groupe test: Groupe témoin: Groupe test: Groupe témoin: 50% malades 50% malades ¾ vaccinés 0 vaccinés Que peut-on penser de l efficacité du vaccin?

19 Le bénéfice du vaccin a-t-il changé quelque chose? Groupe test 1: traité pas malade 2: traité pas malade Groupe de contrôle 5: non-traité malade 6: non-traité pas malade 7: non-traité malade 8: non-traité malade 3: non-traité malade 4: non-traité malade

20 Le traitement a-t-il changé quelque chose? Groupe test: Groupe témoin: Groupe test: Groupe témoin: 50% malades 75% malades 1/2 vaccinés 0 vaccinés On fait passer la proba de maladie de 25 points en vaccinant seulement une personne sur deux De combien faut-il que la proba de maladie ait baissé pour chaque personne vaccinée?

21 Traitement sur les traités (TT) Effet global, ITT = Y(T) - Y(C) divisé par la proportion de ceux qui ont pris le traitement: TT = [Y(T)-Y(C)]/proportion(traités) TT = / 0.5 = L effet moyen du vaccin est de faire baisser la proba de maladie de 0.75 à =0.25

22 A l envers: on sait que l accompagnement multiplie par 2 la proba d emploi Groupe test 100 personnes Groupe de contrôle 50 personnes 50 traités: 50 non-traités:? trouvent un emploi? ne trouvent pas d emploi 10 trouvent un emploi 40 ne trouvent pas d emploi 50 non-traités: 10 trouvent un emploi 40 ne trouvent pas d emploi

23 Calculer l effet du traitement sur les traités (TT) Groupe test 100 personnes Groupe de contrôle 50 personnes 50 traités: 50 non-traités: 20 trouvent un emploi 30 ne trouvent pas d emploi 10 trouvent un emploi 50 ne trouvent pas d emploi 50 non-traités: 10 trouvent un emploi 50 ne trouvent pas d emploi

24 Traitement sur les traités (TT) ITT = Y(T) - Y(C) = = 0.1 Proportion de traités = 0.5 TT = [Y(T)-Y(C)]/proportion(traités) = 0.1/0.5 = 0.2 L effet moyen de l accompagnement est de faire passer la proba d emploi de 0.2 à =0.4, soit doubler On augmente de 50% le taux d emploi en traitant 1 personne sur 2: il faut donc que le traitement augmente la proba d emploi de 100% (=x2)

25 Calculer l effet du traitement sur les traités (TT) Groupe test 100 personnes Groupe de contrôle 50 personnes 20 traités: 50 non-traités: 14 trouvent un emploi 6 ne trouvent pas d emploi 10 trouvent un emploi 50 ne trouvent pas d emploi 80 non-traités: 16 trouvent un emploi 64 ne trouvent pas d emploi

26 Traitement sur les traités (TT) ITT = Y(T) - Y(C) = = 0.1 Proportion de traités = 0.2 TT = [Y(T)-Y(C)]/proportion(traités) = 0.1/0.2 = 0.5 On a le même ITT qu avant (+0.1) Mais avec 20% de traités au lieu de 50% dans l exemple précédent Donc l effet du traitement doit être beaucoup plus fort

27 Un peu d algèbre t0 : taux d emploi de référence (sans traitement) t1 : taux d emploi grâce au traitement t1 t0 : effet du traitement (TT) Y(C) Y(T) = t0 = prop(non-traités) x t0 + prop(traités) x t1 = [1 - prop(traités)] x t0 + prop(traités) x t1 ITT = Y(T) - Y(C) = [1 - prop(traités)] x t0 + prop(traités) x t1 - t0 = prop(traités) x [t1 t0] TT = t1 t0 =[Y(T)-Y(C)]/prop(traités)

28 Plus compliqué Groupe test: vaccination proposée 1: traité pas malade 2: traité pas malade 3: traité malade Groupe de contrôle 5: traité pas malade 4: non-traité malade 6: non-traité malade 7: non-traité malade 8: non-traité malade

29 D où vient la différence d ITT? Groupe test: Groupe témoin: 50% malades 75% malades ITT = Groupe test: Groupe témoin: 3/4 vaccinés 1/4 vaccinés ITT est vient de ce qu on a vacciné plus de gens dans le test. La différence de proportion vaccinée est ¾ - ¼ = ½

30 D où vient la différence d ITT? ITT = Différence de proportion vaccinée = ½ ITT est obtenue en vaccinant 50% des gens en plus (¾ - ¼ ) L effet sur chaque vacciné doit être (= x 2)

31 Traitement sur les traités (TT) quand la non-conformité est partout ITT = Y(T) - Y(C) divisé par la différence de proportion de ceux qui ont pris le traitement: TT = [Y(T)-Y(C)] prop(traités dans T) - prop(traités dans C)

32 Un peu d algèbre?

33 Remarque [Y(T)-Y(C)] prop(traités dans T) - prop(traités dans C) On peut se passer des données individuelles: il suffit de savoir estimer ITT et la différence des proportions, séparément s il le faut Evidemment, il faut observer la proportion de traités effectifs dans chaque population

34 Calculer l effet du traitement sur les traités (TT) Groupe test 100 personnes Groupe de contrôle 50 personnes 50 traités: 5 traités: 20 trouvent un emploi 30 ne trouvent pas d emploi 2 trouvent un emploi 3 ne trouvent pas d emploi 50 non-traités: 45 non-traités: 10 trouvent un emploi 50 ne trouvent pas d emploi 8 trouvent un emploi 37 ne trouvent pas d emploi

35 Complément: que pensez-vous des non-traités du groupe test? Groupe test 100 personnes Groupe de contrôle 50 personnes 70 traités: 50 non-traités: 20 trouvent un emploi 30 ne trouvent pas d emploi 10 trouvent un emploi 50 ne trouvent pas d emploi 30 non-traités: 15 trouvent un emploi 15 ne trouvent pas d emploi

36 Comment présenter les résultats pour qu ils soient instructifs pour les lecteurs?

37 Plusieurs résultats La probabilité de trouver un résultat significatif augmente lorsqu on s intéresse à plusieurs résultats. Présenter les résultats sur tous les estimateurs mesurés, même les non significatifs.

38 Effets hétérogènes du traitement Data mining vs. Implications de politique publique Présenter les résultats de tous les groupes

39 Données Groupées Un choc autre que le traitement peut affecter le groupe Besoin d ajuster les écarts-type pour les groupes Ce n est pas optimal si le nombre de groupes est petit. Méthode lorsque le nombre de groupes est petit : conduire des tests de falsification. On peut générer un placebo et vérifier si un effet de magnitude similaire est présent avec une probabilité de 5% ou 10 %.

40 Variables de Contrôle Que contrôler? Si l échantillonnage aléatoire est stratifié : rajouter des effets fixes par strates. D autres Covariances: Peut améliorer la précision Il faut faire attention à exclure toute variable qui pourrait être affectée par le traitement Règle: Présenter les résultats originaux et les résultats des régressions ajustées (pondérées).