Département de science politique

Transcription

1 Département de science politique Université de Montréal PLAN DE COURS L ÉVALUATION DES POLITIQUES PUBLIQUES POL 6509 Guy Lachapelle, Ph.D. Professeur titulaire, Université Concordia Département de science politique Secrétaire général de l Association internationale de science politique guy.lachapelle@concordia.ca SESSION : Hiver 2006 Mardi 8:30 à 11:30

2 I. Objectifs et description du cours Ce cours a pour objectif d initier les étudiants et étudiantes aux méthodes d évaluation visant à mesurer l impact des programmes et politiques gouvernementales. Il existe une multitude de techniques et d approches pour évaluer les programmes gouvernementaux. Dans ce cours, nous insisterons plus particulièrement sur les méthodes expérimentales et quasi-expérimentales. Il ne s agit pas d un cours de statistiques, l objectif étant davantage de préparer et développer des protocoles et des stratégies d intervention permettant de mieux apprécier l action des gouvernements. Nous regarderons de plus près certains enjeux de l évaluation des politiques publiques tels que l observation du changement, la fiabilité et la validité du choix des indicateurs, les techniques pour analyser les données, les tableaux de bord, etc. L objectif premier de ce cours est de permettre aux étudiants et étudiantes d être capable de présenter des protocoles ou design de recherche qui permettrons ultérieurement d arriver à des conclusions plausibles quant à l effet réel des programmes et politiques. II. Pédagogie et méthodes d évaluation Ce cours sera mené comme un séminaire et chaque semaine nous discuterons des divers thèmes au plan de cours. Les étudiants et étudiantes seront encouragés à faire des lectures, à préparer des résumés sur des thèmes particuliers et à participer en classe. Chaque étudiant et étudiante a les responsabilités suivantes : a. remettre pour le 7 février 2006 un résumé d un article au choix de l étudiant tiré de la Revue canadienne d évaluation de programme. Cet essai ne doit pas dépasser 10 pages (20%). b. remettre pour le 7 mars 2006 un essai descriptif portant sur un programme gouvernemental liste de questions en classe -10 pages (20 %). c. remettre pour le 11 avril 2006 un travail présentant le cadre d évaluation (protocole, devis, étude préparatoire) du programme gouvernemental étudié. Ce travail doit avoir une longueur maximale de 20 pages (30 %). Il y aura une présentation orale le 4 avril (10%). d. Un examen maison portant sur le matériel vu en classe sera remis le 11 avril Il devra être remis le 24 avril 2006 au plus tard. Il s agira pour l étudiant et l étudiante de répondre à deux questions choisies parmi une liste d environ une dizaine de questions (20%). 2

3 III. Livres complémentaires **Huey-Tsyh Chen, Practical Program Evaluation, Sage, (obligatoire) Lee G. Anderson et Russell F. Settle, Analyse coûts-avantages un guide pratique, Montréal, PUQ/HEC, Michel Bellavance, Maurice Patry et Roland Parenteau, L analyse des politiques gouvernementales, Québec, PUL, Michel Bellavance, Les politiques gouvernementales : Élaboration, gestion, évaluation, Montréal, Agence d Arc/ÉNAP, Conseil scientifique de l évaluation, L évaluation en développement 1993 Rapport annuel sur l évolution des pratiques d évaluation des politiques publiques, Paris, La Documentation française, Bernard Crousse, Jon Alexander et Réjean Landry, Évaluation des politiques scientifiques et technologiques Expériences nationales, Québec, PUL, Roland Lecomte et Leonard Rutman (sous la direction de), Introduction aux méthodes de recherche évaluative, Québec, PUL, Éric Monnier, L évaluation de l action des pouvoirs publics Du projet au bilan, Paris, Economica, Marc-André Nadeau, L évaluation de programme Théorie et pratique, Québec, PUL, Jean-Pierre Nioche et Robert Poinsard (sous la direction de). L évaluation des politiques publiques, Paris, Economica, Roland Parenteau (dir.), Management public Comprendre et gérer les institutions de l État, Québec, PUQ,

4 Thèmes des cours Janvier Semaine 1 (10 janvier) - Semaine 2 (17 janvier) - Semaine 3 (24 janvier) - Semaine 4 (31 janvier) Introduction : l analyse de l action gouvernementale La définition des paradigmes : l évaluation de politiques et de programmes dans un contexte politique L inférence causale et le langage de l expérimentation I (Vidéo : Design expérimental #12) L inférence causale et le langage de l expérimentation II (Vidéo : Blocking and Sampling : Experiments and Samples # 13) Février Semaine 5 (7 février) - Semaine 6 (14 février) - Semaine 7 (21 février) - Semaine 8 (28 février) - Comment choisir ses répondants? La randomisation en évaluation (Vidéo : Sampling and Surveys Sampling #14) Les modèles expérimentaux en évaluation (Vidéo : Comparing Two Means # 22) L opérationalisation des concepts et variables (Vidéo : Correlation #20) Semaine de lecture Mars Semaine 9 (7 mars) - Semaine 10 (14 mars) - Semaine 11 (21 mars) - Semaine 12 (28 mars) - La mesure du changement : la résistance au changement (Vidéo : Models for Growth #7) Les séries chronologiques (Vidéo : Time-Series #6) L utilisation de données passives (Vidéo : Confidence Interval #19) L analyse de la faisabilité politique et économique des interventions gouvernementales (Vidéo : Case Study #26) Avril Semaine 13 (4 avril) - Semaine 14 (11 avril) - Présentations Conclusion - L imputabilité et l évaluation des politiques et des programmes 4

5 Plan de cours Semaine 1 (10 janvier) - Introduction : l analyse de l action gouvernementale, The Lay of the Land: Evaluation Practice in Canada Today, CJPE, 19 (1), 2004: Conseil du Trésor du Canada, Principes pour l évaluation des programmes par les ministères et organismes fédéraux, septembre Conseil du Trésor du Canada, Guide sur la fonction de l évaluation de programme, mai Conseil scientifique de l évaluation, L évaluation en développement 1993 Rapport annuel sur l évolution des pratiques d évaluation des politiques publiques, Paris, La Documentation Française, 1994, chap. 1. Guy Lachapelle, «De l analyse des politiques à l évaluation de programmes : la recherche de nouveaux paradigmes», dans Lucille Beaudry, Chantal Maillé, Lawrence Olivier (dir.), Les avenues de la science politique Théories, paradigmes et scientificité, ACFAS, 1990, p Richard Marceau, Daniel Otis et Pierre Simard, «La planification d une évaluation de programme», dans Roland Parenteau (dir.), Management public Comprendre et gérer les institutions de l État, Québec, PUQ, 1992, p Richard Marceau, Daniel Otis et Pierre Simard, «La gestion de l évaluation de programme au gouvernement du Québec», dans Roland Parenteau (dir.), Management public Comprendre et gérer les institutions de l État, Québec, PUQ, 1992, p Marc-André Nadeau, L évaluation de programme Théorie et pratique, Québec, PUL, 1988, Chap Semaine 2 (17 janvier) - La définition des paradigmes : l évaluation des politiques et des programmes dans un contexte politique Ernest R. House, The Role of the Evaluator in a Political World, RCÉP 19 (2), 2004: Eleanor Chelimsky (ed.), Program Evaluation: Patterns and Directions, Washington, D.C.: The American Society for Public Administration, Eleanor Chelimsky, «Old Patterns and New Directions in Program Evaluation», dans E. Chelimsky (dir.), Program Evaluation: Patterns and Directions, p John A. Crane, Evaluation as Scientific Research, Evaluation Review, 12, 5, octobre 1988, p Joan L. Herman et al., Evaluator s Handbook, Berverly Hills, Ca, Sage Publications, Guy Lachapelle et Claude Desranleau, «L évaluation d un programme innovant : le programme de soutien et de renforcement des liens universités/industries et de recherche dite de transfert (LUI), Revue canadienne d évaluation de programme, avril-mai

6 Roland Lecompte et Leonard Rutman (dir.), Introduction aux méthodes de recherche évaluative, Québec, PUL, 1982, chap. 1. Marc-André Nadeau, L évaluation de programme théorie et pratique, Québec, PUL, 1988, chap Dennis J. Palumbo, «Politics and Evaluation», dans D.J. Palumbo (dir.), The Politics of Program Evaluation, Beverly Hills, CA, Sage Publications, Chap. 1. Peter H. Rossi, J.P. Wright et S. R. Wright, The Theory and Practice of Applied Social Research, Evaluation Quarterly 2, 2 (mai 1978), p James H. Tien, «Toward a Systematic Approach to Program Design», IEEE Transactions on Systems, Man, and Cybernetics 9 (9), septembre 1979, p Carol Weiss, «Where Politics and Evaluation Research Meet», in D. J. Palumbo (dir.), The Politics of Program Evaluation, chap. 2. Semaine 3 (24 janvier) - L inférence causale et le langage de l expérimentation I Coope, Felder, Hollis, Peck, «Faudrait-il établir le modèle d évaluation avant, pendant ou après l évaluation d un programme», RCÉP, 6 (2), Richard A. Berk et Peter H. Rossi, Thinking About Program Evaluation, Beverly Hills, CA: Sage Publications, Richard D. Bingham et Claire L. Felbinger, Evaluation in Practice - A Methodological Approach, New York, Longman, Donald T. Campbell et M. Jean Russo, Social Experimentation, Beverly Hills, CA., Sage Publications, Alan Clarke, Evaluation Research: An Introduction to Principles, Methods and Practice, Sage, Thomas D. Cook et Donald T. Campbell, Quasi-Experimentation - Design and Analysis Issues for Field Settings, Chicago: Rand McNally College Publishing Co., 1979, chap John Kousik, Mythe et réalité de la violence conjugale, miméo, 20 p. Mark W. Lipsey, «Practice and Malpractice in Evaluation Research», Evaluation Practice, 1988, p Marc-André Nadeau, L évaluation de programme, chap

7 Semaine 4 (31 janvier) - L inférence causale et le langage de l expérimentation II Thomas D. Cook and Donald T. Campbell, Quasi-Experimentation - Design and Analysis Issues for Field Settings, Chicago: Rand McNally College Publishing Co., 1979, chap. 2. HRDC - Evaluation and Data Development (web site), Evaluation toolkit - Quasi-Experimental Evaluation, January 1998 (en français et en anglais). Lawrence B. Mohr, Impact Analysis for Program Evaluation, Sage Publications, 2ème édition, John Owen and Patricia Rogers, Program Evaluation: Forms and Approaches, Sage Publications, Peter H. Rosssi et Sonia R. Wright, «Evaluation Research An Assessment of Theory, Practice and Politics», Evaluation Quarterly, 1 : 1, février 1977, p Leonard Rutman (dir.), Evaluation Research Methods: A Basic Guide, (Beverly Hills, CA: Sage Publications, Carol Taylor Fitz-Gibbon and Lynn Lyons Morris, How to Design a Program Evaluation, Sage Publications, Semaine 5 (7 février) Comment choisir ses répondants? La randomisation en évaluation H. Smith Fowler, T. Aubry, M. Smith, Conducting evaluation research with hard-to-follow populations: adopting a participant-centred approach to maximize participant retention, RCÉP, 19(3), 2004: John Owen et Particia Rogers, Program Evaluation: Forms and Approaches, Sage Publications, 1999, chap. 5. chap. 4. Arlene Fink, The Survey Handbook, Sage Publications, 1995, chap. 2. Thomas D. Cook et Donald T. Campbell, Quasi-Experimentation..., chap. 2 and 8. Ross F. Conner, "Selecting a Control Group: Analysis of the Randomized Process in Twelve Social Reform Programs", Evaluation Quarterly 1 (2), Mai 1977, p Robert M. Mark et Thomas D. Cook, Design of Randomized Experiments and Quasi-Experiments", in Leonard Rutmann (dir.), Evaluation Research Methods: A Basic Guide, Sage Publications, 1984, chap. 4. Robert F. Boruch et al., "Randomized Experiments for Evaluating and Planning...". dans Eleanor Chelimsky (dir), Program Evaluation: Patterns and Directions, Washington D.C.: The American Society for Public Administration, Richard D. Bingham and Claire L. Felbinger, Evaluation in Practice..., chap

8 Semaine 6 (14 février) - Les modèles expérimentaux en évaluation John Owen et Patricia Rogers, Program Evaluation: Forms and Approaches, Sage Publications, 1999, chap chap. 4. Thomas D. Cook et Donald T. Campbell, Quasi-Experimentation... chap James A. Caporaso, "Quasi-Experimental Approaches to Social Science - Perspectives and Problems", dans James Caporaso and Leslie L. Ross, Jr. (dir), Quasi-Experimental Approaches - Testing Theory and Evaluating Policy, Evanston, ILL; Northwestern University Press, 1973, p James H. Dwyer, "The Excluded Variable Problem in Non-Randomized Control Groups Designs", Evaluation Review 8 (4) Août 1984, p Carol Taylor Fitz-Gibbon et al., How to Design a Program Evaluation, Sage Publications, Richard D. Bingham et Claire L. Felbinger, Evaluation in Practice..., chap. 6. Semaine 7 (21 février) - L opérationnalisation des concepts et variables William O. Bearden, Richard G. Netemeyer et Mary F. Mobley, Handbook of Marketing Scales, Sage Publications, Richard D. Bingham et Claire L. Felbinger, Evaluation in Practice..., chap. 6. Edward Carmines et Richard A. Zeller, Reliability and Validity Assessment, Newbury Park, CA: Sage Publications, Sage University Paper #17. Arlene Fink, The Survey Handbook, Sage Publications, 1995, chap. 3. Mark S. Litwin, How to measure survey reliability and validity, Sage Publications, Delbert C. Miller, Handbook of Research Design and Social Measurement, Sage Publications, 1991 (5ème edition). Arthur A. Nelson Jr., "Measurement, Reliability and Validity", dans A.A. Nelson (dir.), Research in Pharmacy Practice: Principles and Methods, Columbia, SC: American Society of Hospital Pharmacists, 1981, p John P. Robinson et Philip R. Shaver, Measures of Social Psychological Attitudes, Institute for Social Research, 1980 (sixth edition). Semaine 8 (28 février) Semaine de lecture 8

9 Semaine 9 (7 mars) - La mesure du changement chap. 7. Jerianne Heimendinger et Nan Lard, "Growth Changes - Measuring the Effect of an Intervention" Evaluation Review 7 (1), February 1983, Wayne H. Holtzman, "Statistical Models for the Study of Change in the Single Case", in Chester W. Harris (ed.), Problems in Measuring Change, Madison, WI: University of Wisconsin Press, 1963, Frederick M. Lord, "Elementary Models for Measuring Change", dans Chester W. Harris (ed.), Problems in Measuring Change, Richard D. Bingham et Claire L. Felbinger, Evaluation in Practice..., chap. 8 and 19. Semaine 10 (14 mars) -Les séries chronologiques Lawrence B. Mohr, Impact Analysis for Program Evaluation, Sage Publications, 2ème édition, 1995, chap. 9. Thomas D. Cook et Donald T. Campbell, Quasi-Experimentation..., chap. 5. Richard D. Bingham et Claire L. Felbinger, Evaluation in Practice..., chap. 12. Donald T. Campbell et H. Laurence Ross, "The Connecticut Crackdown on Speeding -Times Series Data in Quasi Experimental Analysis", Law and Society Review 3 (1), August 1968, Charles T. Clotfelter et John C. Hahn, "Assessing the National 55mph Speed Limit", Policy Sciences 9 (3), June 1978, Brian A. Jonah et John L. Lawson, "The Effectiveness of the Canadian Mandatory Seat Belt Use Laws", Accident Analysis and Prevention 5-6 (1984), Janace A. Pierce, Safety Benefits of the Seat Belt Legislation and Speed Limit Reduction in Ontario, Government of Canada: Transport Canada - Systems Research & Development Branch, June Dana B. Kamerud, "Benefits and Costs of the 55 mph Speed Limit: New Estimates and Their Implications", Journal of Policy and Management 7: 2 (1988), p

10 Semaine 11 (21 mars) - L utilisation de données passives chap Thomas D. Cook and Donald T. Campbell, Quasi-Experimentation..., chap. 7. Michael S. Lewis-Beck and John R. Alford, "Can Government Regulate Safety? The Coal Mine Example", American Political Science Review 74 (3), September 1980, p Donald T. Hartman, J.M. Gottman et al., "Interrupted Time-Series Analysis and Its Application to Behavioral Data, Journal of Applied Behavior Analysis 13 (4), Winter 1980, p Richard D. Bingham et Claire L. Felbinger, Evaluation in Practice..., chap. 7. Semaine 12 (28 mars) - L analyse des la faisabilité politique et économique des interventions gouvernementales a. Faisabilité politique Arnold J. Meltsner, "Political Feasibility and Policy Analysis", Public Administration Review 32 (6), Novembre-Décembre 1972, p Ralph K. Huitt, "Political Feasibility", dans Austin Ranney (dir.), Political Science and Public Policy, Chicago: Markham Publishing Co., 1968, p Eleanor Chelimsky, "Toward an Evaluation Which Serves Politics by Arriving on Time and, Even, Early", Canadian Journal of Program Evaluation 2 (2), October-November 1988, p R.N. Krone, "Political Feasibility and Military Decision-Making", Journal of Political and Military Sociology 9 (1), Spring 1981, p b. L analyse du risque: Ken Watson, "Risk Analysis and Program Evaluation", The Canadian Journal of Program Evaluation, 3 (2), octobre-novembre 1988, p D.B. Hertz and H. Thomas, Risk Analysis and Its Applications, New York: John Wiley & Sons, S. Reutlinger, Techniques for project appraisal under uncertainty, Washington D.C.: International Bank for Reconstruction and Development, P.J. Nagy, Country Risk, London: Euromoney Publications,

11 Semaine 13 (4 avril) - Présentations Semaine 14 (11 avril) Conclusion - L imputabilité et l évaluation de politiques et de programmes chap. 12. Mark S. Thompson et Eric E. Fortree, "Cost-Effectiveness Analysis in Health Program Evaluation", Evaluation Review 4 (1), Août 1980, p Henry M. Levin, "Cost-Effectiveness Analysis in Evaluation Research", dans Elmer L. Struening et Marcia Guttentag (dir.), Handbook of Evaluation Research - Vol. 2, Beverly Hills, CA: Sage Publications, 1975, p Robert B. Albritton, "Cost-Benefits of Measles Eradication: Effects of a Federal Intervention, Policy Analysis 4 (1), Hiver 1978, p Richard D. Bingham et Claire L. Felbinger, Evaluation in Practice..., Part V. Vers un revenu minimum garanti? chap. 8. S.E. Bennett, "Do Public Program Clients Understand Public Program Rules? The Manitoba Basic Annual Income Experiment", Canadian Public Administration 29 (3), Automne 1986, p David Kershaw and Jerilyn Fair, The New Jersey Income Maintenance Experiment, New York: Academic Press, 1976, p Joseph A. Pechman et P. Michael Timpane, Work Incentives and Income Guarantees: The New Jersey Negative Income Tax Experiment, Washington, D.C.: The Brookings Institution, 1975, p Robert B. Albritton, "Measuring Public Policy: Impacts of the Supplemental Security Income Program", American Journal of Political Science 23 (3), Août 1979, p Richard D. Bingham et Claire L. Felbinger, Evaluation in Practice..., Chap