De la portée et des limites de certaines méthodes visant la mesure des effets nets Présenté par Hugues Tétreault Direction de l évaluation Direction générale adjointe de la recherche, de l évaluation et de la statistique MESS Octobre 2002
Plan de présentation La mesure des effets nets d un programme Concept Le problème de base L approche expérimentale Fondement et principaux avantages Quelques défis Utilisation dans le contexte gouvernemental L approche quasi-expérimentale Le problème lié à la répartition non aléatoire
Plan de présentation Des méthodes pour contrer le biais de sélection La correction par variables instrumentales (approche de Heckman) L estimation des différences en différences L appariement L utilisation concomitante de plus d une méthode Quelques exemples récents Conclusion
La mesure des effets nets d un programme Concept L effet net d un programme se définit comme étant le changement survenu chez les participants au programme qui est attribuable au programme. En terme de mesure, cela correspond à la différence entre : ce qui est effectivement arrivé aux participants suite à leur participation et, ce qui leur serait arrivé s ils n avaient pas participé.
La mesure des effets nets d un programme Le problème de base On ne peut observer un individu à la fois en tant que participant et en tant que non participant. Comment isoler les effets nets du programme d autres «causes» possibles (validité interne)?
La mesure des effets nets d un programme Le problème de base Y T + U i = β + β X i + β 0 1 1 2 X 2i + β3 Comment estimer β 3 en contrôlant X 1 et X 2, où Y : Variable d intérêt (ex. : revenu). X 1 : Caractéristiques observées (ex. : âge, sexe) X 2 : Caractéristiques non observées (ex. : motivation) T : Exposition au programme U : Terme d erreur aléatoire i i
L approche expérimentale Fondement et principaux avantages Hypothèse : La sélection aléatoire fait en sorte que les participants et les non participants sont, en moyenne, similaires au point de départ, tant au niveau des caractéristiques observées (X 1 ) que des caractéristiques non observées (X 2 ). Mesure : L écart entre les groupes correspond à l effet net moyen du programme sur les participants.
L approche expérimentale Quelques défis Méthodologique : Allocation aléatoire déficiente. Les non participants peuvent décider de participer à autre chose. Éthique : On prive les non participants d un programme qui, en théorie, doit améliorer la qualité de vie des gens. Pratique : La plupart des programmes sont lancés par l administration et le politique de façon universelle et on doit les évaluer.
L approche expérimentale Utilisation dans le contexte gouvernemental Utilisation : Dans le cadre de projets pilotes à échelle réduite, Quand on cherche à évaluer les effets de modifications apportées à un programme existant. Règles d application : Expliquer les conditions particulières d admission au programme et les raisons motivant leur mise en place. Effectuer la sélection aléatoire parmi les postulants qui auront préalablement accepté ces conditions (libre choix).
L approche quasi-expérimentale Le problème lié à la répartition non aléatoire L absence d une répartition aléatoire des individus peut faire en sorte que les participants et les non participants diffèrent sur la base de caractéristiques observables (X 1 ) et de caractéristiques non observables (X 2 ) (motivation, état d esprit). Il y a donc possibilité d un biais de sélection.
L approche quasi-expérimentale Méthodes pour contrer le biais de sélection Méthodes tenant compte des différences observables pouvant affecter les effets Modélisation (régression linéaire, régression logistique, etc.) Appariement (sur la base de caractéristiques observées) Méthodes tenant compte des différences non observables pouvant affecter les effets Correction par variables instrumentales Estimation des différences-en-différences Appariement (sur la base de scores de propensité)
L approche quasi-expérimentale Estimation par variable instrumentale Repose sur l hypothèse de l existence d une variable : permettant de prédire la participation au programme statistiquement indépendante du résultat mesuré. Méthode : Échantillon représentatif de participants et de non participants (aléatoire) Effectuer une régression de type probit sur la probabilité de participation, Les effets sont mesurés en incluant la correction du biais de sélection découlant de l étape précédente.
L approche quasi-expérimentale Estimation par variable instrumentale Avantages : Fournit une estimation non biaisée même en présence de corrélation entre la participation et l effet de la mesure. L utilisation d une fonction probit bivariée permet de contrôler à la fois le biais de sélection et la non réponse. inconvénients : Approche complexe nécessitant des connaissances spécialisées. La méthode est très sensible à la procédure utilisée ce qui génère de l instabilité.
L approche quasi-expérimentale Estimation des différences-en en-différences Repose sur l hypothèse à l effet que les différences inobservables entre les individus soient constantes dans le temps pour chaque individu. Méthode : Pour chaque individu, on mesure la différence entre la situation après le programme et celle prévalant avant. On calcul la différence moyenne chez les participants d et les non participants d. p L effet du programme correspond à d - np p dnp
L approche quasi-expérimentale Estimation différences-en en-différences Avantages : Peut être utilisée conjointement avec une sélection par appariement ou un contrôle par modélisation. Facile à interpréter. Inconvénients : Nécessite une mesure avant et une mesure après la participation. Fournit une estimation erronée si les différences inobservables changent dans le temps ou sont influencées par la participation au programme (maturation différentielle).
L approche quasi-expérimentale L appariement par scores de propension Repose sur l hypothèse que les caractéristiques non observables sont corrélées à la propension à participer au programme. Méthode : Développer un modèle prédisant la décision de participer au programme (scores de propension). Apparier des non participants aux participants sur la base de scores de propension.
L approche quasi-expérimentale L appariement par scores de propension 1 0 0 0,2 0,4 0,6 0,8 1
L approche quasi-expérimentale L appariement par scores de propension Avantages : Plus simple à utiliser que l appariement sur un grand nombre de caractéristiques et minimise les pertes encourues faute de «jumeaux». Un participant peut être jumelé à plusieurs non participants. Inconvénients : Fournit une estimation erronée si des différences non observables pouvant affecter les effets ne sont pas corrélées à la propension de participer au programme.
L approche quasi-expérimentale L utilisation concomitante de deux méthodes Les méthodes : Variable instrumentale de type Heckman et appariement par scores de propension; Parce que développées à partir d échantillons aléatoires simples de participants et de non participants. Bénéfices escomptées : Comme les méthodes utilisées reposent sur des prémices différents, les effets mesurés auraient une plus grande crédibilité en cas de concordance.
L approche quasi-expérimentale L utilisation concomitante de deux méthodes Le danger : En cas de divergence, il pourrait s avérer impossible de déterminer quelle est la meilleure estimation. Doit-on alors poursuivre l investigation?
Quelques exemples récents Formation professionnelle au secondaire (1998) Le programme APPORT (1998) Évaluation du Fonds de lutte contre la pauvreté (2000 et 2002) Évaluation sommative des mesures actives offertes aux individus par Emploi-Québec (en cours).
Conclusions L approche expérimentale : Offre une estimation fiable et facile à interpréter des effets d un programme Son utilisation nécessiterait des changements majeurs dans la pratique gouvernementale. L approche quasi expérimentale : Repose sur des hypothèses concernant la nature des différences non observables Tente d expliquer et d éliminer ces différences par la modélisation complexe, la soustraction, la sélection minutieuse des groupes témoins.
Conclusions La validité des estimations des effets dépend de la qualité des données disponibles, du bien-fondé des postulats et de la robustesse des techniques. L utilisation concomitante de méthodes différentes est faisable et pourrait accroître la crédibilité des estimations en cas de concordance.