d évaluation des programmes de recherche en sciences sociales

Transcription

1 Cadre d analyse et méthodologie d évaluation des programmes de recherche en sciences sociales Présentation préparée par Kaddour Mehiriz, agent de recherche et tdoctorant t Marie Paumier, agente de recherche Richard Marceau, professeur Colloque de la SQEP, octobre 2009

2 Plan de la présentation Introduction Cadre d analyse Méthodologie Conclusion

3 Cadre d analyse Une question qui intrigue les analystes en politiques publiques : Si la recherche (y compris l évaluation) n est pas utilisée, pourquoi des fonds publics sont consacrés à cette activité? Cette question trouve sa légitimité dans les conclusions de plusieurs études sur l influence de la recherche sur la prise de décisions. Il y a des raisons de croire que les résultats de plusieurs études sur le sujet sous-estiment l effet de la recherche, à cause des problèmes à définir l utilisation 1. usage instrumental? 2. usage conceptuel? 3. usage symbolique? des difficultés à mesurer l effet de la recherche 1. difficulté de faire la généalogie des idées, 2. difficulté d isoler disoler l effet de la recherche des autres facteurs.

4 Cadre d analyse (suite) Postulats du modèle proposé Le comportement des acteurs est le résultat de plusieurs influences, notamment 1. les idées 2. les institutions 3. les intérêts Les idées ne sont pas figées dans le temps; elles évoluent à la suite de l exposition des acteurs à de nouvelles informations ou expériences. Le caractère non figé des idées en fait des cibles des interventions publiques visant à influencer le comportement des acteurs (éducation, information, propagande, recherche, etc.).

5 Cadre d analyse (suite) Les programmes de recherche en sciences sociales visent à stimuler la production et la diffusion des connaissances relatives 1. aux phénomènes sociaux, à leurs causes et leurs conséquences 2. aux moyens d agir sur ces phénomènes Ils constituent des moyens de développement des capacités des personnes, des groupes et des organisations, particulièrement 1. les capacités de prise de décisions 2. les capacités d action

6 Cadre d analyse (suite) Les pouvoirs publics disposent de plusieurs moyens d intervention pour orienter et stimuler la recherche : 1. créer et financer des organisations publiques dédiées à la recherche, 2. accorder des subventions pour réaliser des recherches et développer la capacité de recherche, 3. commander des recherches. Chaque moyen d intervention a un mécanisme d influence qui lui est particulier et dont il faut tenir compte dans l analyse des effets des programmes de recherche.

7 Cadre d analyse (suite) Les programmes d aide à la recherche se présentent souvent sous forme de subvention visant 1. la formation de nouveaux chercheurs, 2. les infrastructures de recherche, 3. la réalisation des projets de recherche sur des sujets d intérêt. Ces programmes stimulent la recherche dans la mesure où ils prennent en charge une partie ou la totalité des coûts afférents. Ils ont pour effets directs le renforcement de la capacité de la recherche (mesures 1 et 2) et le progrès des connaissances (effet direct de la mesure 3 et indirect des mesures 1 et 2).

8 Modèle d analyse des effets des programmes de recherche

9 Adaptation du modèle au Programme de recherche sur la persévérance et la réussite scolaires (PRPRS) Présentation du PRPRS Programme conjoint : MELS et FQRSC Mis en place en Nature de l intervention : 1. programme de recherche orientée finançant des projets de recherche sur la persévérance et tla réussite scolaires 2. contribution financière du MELS et du FQRSC d environ 12 millions de dollars (2002 à 2008)

10 Adaptation du modèle au PRPRS

11 PRPRS : questions d évaluation 1. Quel est l effet du Programme sur la constitution des équipes de recherche relatives à la persévérance et à la réussite scolaires? 2. Quel est l effet du Programme sur la préparation de la relève en recherche sur la persévérance et la réussite scolaires? 3. Quel est l effet du Programme sur la constitution de partenariats? 4. Quelle est la contribution du Programme au développement de la connaissance sur la persévérance et la réussite scolaires? 5. Quel est le niveau d exposition des intervenants en éducation aux résultats des projets de recherche sur la persévérance et la réussite scolaires?

12 PRPRS : questions d évaluation (suite) 6. Quel est le niveau d utilisation des résultats des recherches dans la prise de décisions concernant la persévérance et la réussite scolaires? 7. Quel est l effet du Programme sur la persévérance et la réussite scolaires? 8. Quels sont les facteurs qui expliquent l utilisation des résultats de la recherche par les intervenants dans le domaine de l éducation? l accessibilité des recherches, les caractéristiques ti de la recherche, h les facteurs personnels, les facteurs organisationnels.

13 Méthodologie d évaluation Besoin de focaliser l évaluation : déterminer les principaux acteurs et canaux de production, de transfert et d utilisation des recherches en éducation

14 Méthodologie d évaluation (suite) Contribution du Programme au développement des capacités de recherche sur la persévérance et la réussite scolaires : 1. études de cas : 9 projets de recherche (entrevues avec chercheurs et leurs partenaires) Contribution du Programme au développement des connaissances sur la persévérance et la réussite scolaire : 1. recension des publications PRPRS, 2. validation de la liste par les chercheurs, h 3. entrevues avec les chercheurs (études de cas).

15 Méthodologie (suite) Exposition des intervenants aux résultats des recherches : 1. un échantillon de la liste validée par les chercheurs a été envoyé aux conseillers pédagogiques et services d aides aux étudiants (commissions scolaires, cégeps, universités); 2. les conseillers pédagogiques gq ont eu à indiquer, parmi cette liste, les publications qu ils avaient lues; 3. des entrevues ont été menées avec les chercheurs et leurs partenaires, le MELS et un centre de transfert de connaissance.

16 Méthodologie (suite) Amélioration des interventions visant à prévenir l échec et le décrochage scolaire : données obtenues par sondage auprès des conseillers pédagogiques concernant les effets des publications lues sur 1. l acquisition des connaissances, 2. le développement des compétences, 3. l efficacité des interventions. Les effets sur la persévérance et la réussite scolaire n ont pas été évalués.

17 Méthodologie (suite) Analyse des déterminants de l utilisation des recherches en éducation à l aide de modèles statistiques ti ti mettant t en lien les déterminants t suivants de l utilisation : 1. accessibilité de la recherche, 2. facteurs personnels, 3. facteurs organisationnels, 4. caractéristiques de la recherche et les facteurs mesurant l utilisation des recherches en éducation : 1. lecture des publications en éducation en général, 2. propension à lire des publications issues du PRPRS, 3. influence des publications lues sur l efficacité des interventions, d entrevues avec les chercheurs, leurs partenaires, le MELS et les centres de transferts.

18 Conclusion Le modèle proposé souligne les effets des programmes de recherches sur 1. la capacité de recherches, 2. le progrès des connaissances, 3. la capacité de prise de décision et d action, 4. le comportement des personnes, des groupes et des organisations. Le modèle distingue les facteurs pouvant interférer avec les effets du Programme L utilisation du modèle dans l analyse des effets du PRPRS montre son utilité dans l évaluation des programmes de recherche en sciences sociales.

19 Quelques références 1. Campbell, J. L. (2002) Ideas, Politics, and Public Policy, Annual Review of Sociology 28: Estabrooks, C. A. et al. (2003) Individual Determinants of Research Utilization: a Systematic Review, Journal of Advanced Nursing 43(5): Hall, P. (1993) Policy Paradigms, Social Learning, and the State: the Case of Economic Policy-Making in Britain, Comparative Politics 25(3): Hemsley-Brown, J. and C. Sharp (2003) The Use of Research to Improve Professional Practice: a Systematic ti Review of the Literature, t Oxford Review of Education 29(3): Knott, J. and A. Wildavsky (1980) If Dissemination is the Solution, what is the Problem? Science Communication 1(4): Landry, R., M. Lamari and N. Amara (2003) The Extent and Determinants of the Utilization of University Research in Government Agencies», Public Administration Review 63(2): Lavis, J., S. Ross, C. McLeod and A. Gildiner (2003) Measuring the Impact of Health Research Journal of Health Services Research and Policy 8(3): Schneider, A. and H. Ingram (1990) Bahavioral Assumptions of Policy Tools, Journal Of Politics 2(2): Weiss, C. H. and M. J. Bucuvalas (1977) The Challenge of Social Research to Decision' in C. H. Weiss (ed.) Using Social Research in Public Policy Making, pp Lexington, MA: Lexington Books