La méthode de régression par discontinuité et l évaluation des politiques de l emploi

La méthode de régression par discontinuité et l évaluation des politiques de l emploi Thomas Lemieux University of British Columbia Le 24 novembre 2009

Plan de la présentation La méthode de régression par discontinuité (RD) Historique et concepts importants La méthode RD en pratique Exemples d études récentes, en particulier Lemieux et Milligan (aide sociale au Québec) et Lalive (assurance-chômage en Autriche) Pour de plus amples détails sur la méthode RD, voir Lee et Lemieux Regression Discontinuity Designs in Economics NBER WP # 14723, à paraître dans le Journal of Economic Literature

La méthode RD Méthode non expérimentale L assignation à un traitement (e.g. programme de formation) dépend d une règle stricte: Le traitement n est disponible que lorsqu une variable observable (âge, résultat d un test, etc ) est plus grande ou égale à un seuil c. Ces règles créent des discontinuités dans les relations entre variables pertinentes qui permettent d estimer l effet du traitement Les règles strictes et arbitraires sont très utiles dans l évaluation de programme.

Exemple classique: Thistelwaite et Campbell, 1960 Effet des certificats au mérite (merit awards) sur les performances ultérieures des étudiants Problème d évaluation difficile puisque ce sont les étudiants les plus performants (meilleures notes) qui reçoivent les certificats en question Solution: comparons les étudiants dont les notes sont tout juste au dessus ou en dessous du seuil d attribution des certificats. C est la discontinuité qui permet d identifier l effet causal des certificats au mérite

RD et tests d admission Tout comme Thistelwaite et Campbell, nombre d etudes récentes utilisent le résultat d un test d aptitude ou d admission comme source de discontinuité Effet des universités d élite sur l emploi, le revenu, etc. Hoekstra (Floride), Pop-Eleches et Urquiola (Roumanie), Colombie Aide financière: Van der Klauuw (2002), Desjardins et McCall (Fondation Gates), Scott-Clayton

4 Figure 1: Simple Linear RD Setup 3 Outcome variable (Y) 2 τ 1 0 C Assignment variable (X)

Thistelwaite et Campbell: l approche par régression Régression: Y i = D i τ + X i β + ε i D i : variable traitement, D i =1[X i c] Problème général d une telle régression: ε i et D i sont potentiellement corrélées Solution RD: D i ne dépend que de X i (D i =1[X i c]), donc pas de corrélation possible entre ε i et D i lorsqu on contrôle aussi pour X i dans la régression

HTV: l approche «potential outcomes» «Potential Outcomes» Y = Y(1) lorsque D =1 Y = Y(0) lorsque D =0 E[Y(1) - Y(0)] (le «ATE») Hahn, Todd et van der Klauuw (2001): Le TE au point X=c: τ = E(Y(1)-Y(0) X=c) est identifié sous l hypothèse que les fonctions E(Y(1) X) et E(Y(0) X) sont continues. HTV suggèrent d estimer τ à l aide de régressions linéaires locales (LLR)

Figure 2: Potential outcomes approach 4.00 3.50 Observed 3.00 Outcome variable (Y) 2.50 2.00 1.50 E[Y(1) X] Observed B A 1.00 0.50 E[Y(0) X] 0.00 0 0.5 1 1.5 2 2.5 3 Xd 3.5 4 Assignment variable (X)

Lee (2008): randomisation locale Randomisation: approche expérimentale (en laboratoire ou sur le terrain) => comparaison de moyennes Bien que la méthode RD soit non expérimentale, sous l hypothèse énoncée dans Lee (2008) il s en suit qu on a de la randomisation locale (dans le voisinage de X=c) Hypothèse: les agents contrôle la variable X (e.g. le résultat d un test) de façon imparfaite On peut ensuite vérifier si l hypothèse tient comme dans le cas de l approche expérimentale: Pas de différence entre la moyenne des variables indépendantes de chaque côté de c («balanced covariates») Continuité de la densité de X au point c (McCrary 2008)

Figure 3: Randomized Experiment as a RD Design 4.0 3.5 E[Y(1) X] Observed (treatment) 3.0 Outcome variable (Y) 2.5 2.0 1.5 Observed (control) E[Y(0) X] 1.0 0.5 0.0 0 0.5 1 1.5 2 2.5 3 3.5 4 Assignment variable (random number, X)

La méthode RD en pratique (1) Estimation de τ: problème d estimation non paramétrique car on ne connaît pas la forme fonctionnelle f(x) dans l équation Y i = D i τ + f(x i ) + ε i Solution communes: Régressions linéaires locales à l intérieur d une fenêtre h (c-h X c+h) Fonction polynomiale pour f(x i ) Dans les deux cas on estime des régressions différentes de chaque côté du seuil c

La méthode RD en pratique (2) Illustration graphique de la relation entre Y et X Vérification de l hypothèse de randomisation locale Pas de différence entre la moyenne des variables indépendantes de chaque côté de c (balanced covariates) Continuité de la densité de X au point c (McCrary 2008) Nous illustrons brièvement ces concepts à l aide des données de Lee sur les élections à la chambre des représentants des États-unis.

Figure 7b: Winning the next election, bandwidth of 0.01 (100 bins) 1.00 0.90 0.80 0.70 0.60 0.50 0.40 0.30 0.20 0.10 0.00-0.5-0.4-0.3-0.2-0.1 0 0.1 0.2 0.3 0.4 0.5

Figure 8: Discontinuity in baseline covariate (share of vote in prior election) 0.80 0.70 0.60 0.50 0.40 0.30 0.20-0.5-0.4-0.3-0.2-0.1 0 0.1 0.2 0.3 0.4 0.5

Figure 9: Density of the forcing variable (vote share in previous election) 2.50 2.00 1.50 1.00 0.50 0.00-0.5-0.4-0.3-0.2-0.1 0 0.1 0.2 0.3 0.4 0.5

Domaines d application principaux de la méthode RD Éducation: Van der Klauuw, IER 2002, Angrist et Lavy (1999) et des douzaines d études aux cours des dernières années Économie politique, élections, etc. Santé: Medicare aux EU (Card et al.), consommation d alcool à 21 ans (Carpenter et Dobkin) Crime, environnement, etc. Marché du travail et l évaluation des politiques de l emploi

Lemieux et Milligan, 2008 Aide sociale au Québec Durant les années 1980, les prestations étaient beaucoup plus faibles pour les adultes de moins de 30 ans sans enfants à charge que pour les 30 ans et plus. Données tirées du recensement canadien Analyse ciblée sur les hommes peu instruits sans enfants

Figure 1: Social Assistance Benefits, Single Employable Individual (benefits in constant 1986 dollars) 500 450 Monthly benefits (1986 $) 400 350 300 250 200 150 100 50 0 1980 1981 1982 1983 1984 1985 1986 1987 1988 1989 1990 1991 1992 Under 30 30 and over

Taux d emploi (semaine de référence) 0.70 0.68 0.66 0.64 Employment rate 0.62 0.60 0.58 0.56 0.54 0.52 0.50 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 Age (census day)

Tableau de résultats de régressions Empl. rate Empl. Rate Difference Weekly Specification for age last year at census in empl. rate hours Mean of the dependent variable 0.562 0.618 0.056 24.39 Regression discontinuity estimates Linear -0.045 *** -0.041 *** -0.029 ** -1.45 ** (0.012) (0.012) (0.011) (0.54) Quadratic -0.048 *** -0.051 *** -0.031 ** -1.75 ** (0.013) (0.012) (0.012) (0.61) Cubic -0.043 ** -0.048 *** -0.030 ** -1.47 * (0.018) (0.014) (0.013) (0.70) Linear spline -0.047 *** -0.049 *** -0.032 ** -1.72 *** (0.013) (0.011) (0.013) (0.55) Quadratic spline -0.038-0.056 ** -0.035 * -1.66 (0.024) (0.018) (0.016) (0.94) Goodness of fit statistic (p-value) Linear 0.48 0.52 0.91 0.48 Linear spline 0.47 0.72 0.85 0.00

Taux d emploi: ensemble de la population (hommes) 0.95 Employment rate (census week) 0.90 0.85 0.80 0.75 0.70 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 Age Quebec 86 Quebec 91 ROC 86 ROC91

Lalive, Journal of Econometrics 2008 Effet incitatif de la durée des prestations d assurance-chômage en Autriche En juin 1988, la durée maximale passa de 30 à 209 semaines pour les individus de 50 ans et plus vivant dans certaines régions du pays Lié à l effondrement de l industrie de l acier (concentrée dans ces régions)

En terminant Centaines d études au cours des dernières années Règles strictes nécessaires à la méthode RD sont très répandues En dépit de sa nature non expérimentale, la méthode RD partage plusieurs des avantages de l approche expérimentale (randomisation locale) Avantage par rapport au autres méthodes expérimentale: validité interne Inconvénient: validité externe