RAPPORT DE STAGE MANDAT RÉALISÉ DIRECTION DES SERVICES D'ÉVALUATION DU PATRIMOINE CANADIEN PRÉSENTÉ PAR IGOR STRATICIUC. en administration publique

Transcription

1 RAPPORT DE STAGE MANDAT RÉALISÉ DELA DIRECTION DES SERVICES D'ÉVALUATION DU PATRIMOINE CANADIEN PRÉSENTÉ PAR IGOR STRATICIUC vue la en administration publique Option pour analystes de Gatineau Mars, 2013

2 Table des matières Remerciements Introduction Description du mandat Contexte organisationnel Méthodologie Résultats Conclusion Bibliographie

3 Remerciements à évaluation tout de la mon Mes sincères remerciements en particulier à Mme Joelle Mader, gestionnaire d'équipe d'évaluation pour son soutien et la confiance dont elle m'a fait preuve tout en m'accompagnant durant ce stage. Je remercie profondément mon directeur de stage et professeur à l'énap, M. Filip Palda, d'avoir bien voulu m'encadrer tout au long de mon stage. Les conseils et l'expérience de M. Palda m'ont grandement aidé dans les différentes étapes du stage. J'adresse aussi mes remerciements à l'école nationale d'administration publique pour 1 'expérience enrichissante dont elle m'a aidé à profiter par cette activité d'intégration propre à la maîtrise en administration publique pour analystes. 3

4 LISTE DES ACRONYMES BDPVÉ DGP OSÉ DSVA ENAP FCEC FCFSA FCIC FCPA PCH SCT Bureau du Dirigeant principal de la vérification et de l'évaluation Direction de la gestion des pratiques Direction des services d'évaluation Direction des services de vérification et d'assurance École Nationale d'administration publique Fonds du Canada pour les espaces culturels Fonds du Canada pour la formation dans le secteur des arts Fonds du Canada pour l'investissement en culture Fonds du Canada pour la présentation des arts Ministère du Patrimoine canadien Secrétariat du Conseil du Trésor 4

5 1. Introduction Les besoins des contribuables sont de plus en plus complexes et exigeants. Les Canadiennes et les Canadiens veulent des services et des programmes de grande qualité, ainsi que 1' atteinte des résultats attendus à un coût raisonnable. Dans ce contexte, le Secrétariat du Conseil du Trésor a mis en place en 2009 une politique sur 1' évaluation qui définit les conditions associées aux évaluations et à la mesure du rendement des programmes dans l'administration fédérale. Au gouvernement du Canada 1, l'évaluation est la collecte et l'analyse systématique de données probantes sur les résultats des programmes afin d'en juger la pertinence et le rendement et d'examiner d'autres façons d'exécuter les programmes ou d'obtenir les mêmes résultats à un moindre co('tt. En vertu de la Loi fédérale sur la responsabilité et de la Politique sur l'évaluation, les ministères et organismes fédéraux doivent évaluer, sur une période de cinq ans, la totalité des programmes de paiements de transfert, c'est-à-dire les programmes de subventions et contributions. Le ministère du Patrimoine canadien (PCH) joue un rôle central dans le soutien des activités culturelles et communautaires au Canada. La Direction des services d'évaluation (DSÉ) permet au Ministère du Patrimoine canadien de respecter ses obligations à l'égard de la Politique sur 1' évaluation. L'École Nationale d'administration publique (ENAP) offre plusieurs programmes de 2-e cycle en administration publique pour analystes, profil avec stage. Le programme de maîtrise en évaluation de programmes a pour objectif de former des personnes destinées à travailler à titre d'analyste ou de conseiller dans le domaine de l'évaluation de programmes. Le stage représente la dernière étape de la maîtrise qui permet à l'étudiant de compléter l'activité d'intégration dans une organisation reconnue. C'est dans ce contexte que la Direction des services d'évaluation du PCH nous a offert une occasion de stage dans le but de mener efficacement son exercice d'évaluation. Le présent rapport de stage est un exposé écrit dans lequel nous rendons compte de la démarche choisie afin de bien réaliser le mandat qui nous a été confié. Le rapport comprend entre autres la description du mandat reçu, l'organisme d'accueil, la méthodologie suivie, les résultats et les livrables produits. 1 Secrétariat du Conseil du Trésor. Politique sur l'évaluation,

6 Ce est en contexte est l'introduction (premier chapitre). deuxième chapitre donne un aperçu sur le tel qu'il a le attentes qm ont été spécifiées et les tâches concrètes à exécuter lors du stage. Le troisième chapitre présente le contexte organisationnel. Ce chapitre fournit des informations spécifiques sur le Ministère du Patrimoine et la Direction des services d'évaluation au sein de laquelle le stage a effectué. L'approche méthodologique utilisée dans notre stage sera traitée dans le quatrième chapitre du rapport. Dans le chapitre cinq, l'emphase sera mise sur les résultats et les livrables produits durant le stage. Le dernier chapitre résume nos conclusions et impressions du stage. Il est important de mentionner que ce rapport ne contiendra pas en annexes les livrables produits durant le stage à cause de l'information sensible dans leur contenu. 2. Description du mandat La principale composante du mandat consistait à appuyer l'équipe des services d'évaluation dans la réalisation de projets d'évaluation qui se déroulaient entre septembre 2012 janvier Les principales activités à accomplir touchaient la préparation et la conduite d'études et de recherches à vocation évaluative. Pour ses activités, la est de deux équipes d' Les équipes d' évaluateurs ont pour mandat de conduire des évaluations et de travailler en collaboration avec les gestionnaires de programme dans chacun des portefeuilles qui sont affectés afin que la fonction d'évaluation soit bien intégrée dans les processus de gestion et de prise de décision de Patrimoine canadien. Mme Joclle Mader, qui a stage. le début. nous avons été dans l'équipe d'évaluation gérée par la formation pratique tout au long de notre Durant la période du l'équipe d'évaluation de Mme Mader conduisait plusieurs projets d'évaluation. Nous avons été affectés dans la conduite de deux projets d'évaluation liés aux arts et à la culture : Fonds du Canada pour la formation dans le secteur arts (FCFSA); Évaluation groupée des Fonds du Canada pour les espaces culturels (FCEC); Fonds du Canada pour la présentation des arts (FCP A); Fonds du Canada pour l'investissement en culture (FCIC). 6

7 Selon le mandat formulé, nous devions accomplir les tâches suivantes : Collecte et anal y se de données : revue documentaire, entrevues, étude de cas Fourniture des commentaires sur les documents préparés en fin d'évaluation (ex.-cadre d'évaluation, stratégies et devis d'évaluation, rapports techniques, guides d'entrevues, etc.) Participation à la rédaction des rapports spécifiques d'évaluation (ex. rapports techniques sur les méthodes de collecte de données). Notre mandant a formulé aussi les livrables à fournir jusqu'à la fin du stage. Chaque projet d'évaluation supposait la livraison d'un produit d'évaluation spécifique. Le Fonds du Canada pour la formation dans Je secteur des arts avait comme extrant deux diagrammes d'influence, crées à l'aide du logiciel Mind42. L'objectif de notre travail était de comparer deux établissements de formation dans le secteur des arts : un établissement subventionné par le programme et 1' autre non subventionné. Pour le projet d'évaluation groupée des Fonds du Canada pour les espaces culturels (FCEC); Fonds du Canada pour la présentation des arts (FCP A); Fonds du Canada pour 1' investissement en culture (FCIC), le livrable représentait un rapport sur la revue documentaire, comme méthode de collecte de données secondaires. Le rapport devait contenir en annexe une matrice, comme outil de collecte de données, qui permettra de réunir et de catégoriser des éléments d'information qui serviront plus tard à nourrir l'analyse et à justifier des constats et des observations. 3. Contexte organisationnel Ce chapitre présente un petit survol sur l'organisme qui nous a accueillis durant notre stage. Pour une meilleure compréhension du contexte organisationnel dans lequel se déroulait le stage, ce chapitre portera sur Je rôle et les mandats du Patrimoine canadien, du Bureau du dirigeant principal de la vérification et de l'évaluation et de la Direction des services d'évaluation. Le ministère du Patrimoine canadien est chargé de développer des politiques et de mettre en place des programmes qui aident tous les Canadiens à participer à la vie culturelle et civique de leur collectivité. PCH a pour mission de favoriser un environnement dans lequel tous les Canadiens profitent pleinement d'expériences culturelles dynamiques, célèbrent leur histoire et leur patrimoine, et contribuent à bâtir des communautés créatives 2. Le ministère s'acquitte de 2 Patrimoine canadien. Rapport sur les plans et priorités

8 cette en et en mettant en oeuvre au d'auteur, aux investissements et à la radiodiffusion, relatives aux aux au aux au au d'état et au protocole, et aux symboles canadiens 3. Parmi les principales activités du Ministère, mentionnons le financement d'organismes communautaires et d'autres organismes externes pour promouvoir les avantages de la culture, du patrimoine, de l'identité et du sport auprès de la population canadienne. Le Ministère est composé de quatre grands secteurs et sept services corporatifs 4. Les secteurs et leurs directions générales : Affaires culturelles Citoyenneté et patrimoine Sport, événements majeurs et régions Politique stratégique, planification et affaires ministérielles Les services corporatifs : Communications Gestion des ressources humaines et du milieu de travaîl et Bureau du dirigeant principal de la vérification et de l'évaluation Services juridiques Affaires du portefeuille Secrétariat général Le mandat du BDPVÉ 5 est d'assurer au Ministère des serv1ces d'évaluation, de vérification indépendante, de gestion financière, de contrôles internes et d'atténuation des risques. Le dirigeant principal de la vérification et de l'évaluation (DPVÉ) relève directement du sousministre et est appuyé par une structure cornposée de trois directions : Direction des services de 3 Parlement du Canada. Loi sur le ministère du Patrimoine canadien Patrimoine canadien. ministérielle de développement durable Patrimoine Plan d'évaluation ministériel à

9 et d'assurance (DSVA), pratiques (DGP). et la La est de interne à PCH. indépendante des services de vérification et d'assurance, ainsi que des consultations connexes, en vue d'ajouter de la valeur aux activités de PCH, et de les améliorer. La DGP fournit un soutien et des conseils en matière de logistique et de contenu au Dirigeant principal de la vérification et de l'évaluation (DPVE), ainsi qu'à la Direction des de vérification et d'assurance (DSV A) et à la Direction des services d'évaluation (OSE), de même qu'à la haute direction et aux partenaires ministériels. La Direction des services d'évaluation (OSÉ) permet au Ministère de respecter ses obligations à l'égard de la Loi fédérale sur la responsabilisation, de la Politique sur l'évaluation du Conseil du Trésor, de la Directive sur la fonction d'évaluation et des Normes sur l'évaluation du gouvemement du Canada, et de la Loi sur la gestion des finances publiques. Conformément à la Directive sur la fonction d'évaluation du SCT 6, la Direction des services d'évaluation (OSE) examine des stratégies de mesure du rendement pour tous les nouveaux prograrnmes et les programmes en cours, et elle offre aux gestionnaires du Ministère des conseils à cet égard. La Directive 7 prévoit qu'il incombe au gestionnaire de programme d'élaborer, de mettre en œuvre et de surveiller la stratégie de mesure continue du rendement pour le programme. La Direction fournit aussi des conseils sur l'élaboration de 1' Architecture des activités de programmes, du Cadre mesure rendement et des autres fonctions se rapportant au rendement, selon les instructions des organismes centraux ou du sous-ministre. OSÉ compte un total de 14 postes équivalents temps plein pour réaliser son mandat. Pour conduire ses activités, la OSÉ est composée de deux équipes d' évaluateurs et d'une sous-équipe sous la direction d'un directeur. Les équipes d' évaluateurs ont pour mandat de conduire des évaluations et de travailler en collaboration avec les gestionnaires de programme dans chacun 6 Secrétariat du Conseil du Trésor. Directive sur la fonction d'évaluation, Idem 9

10 des portefeuilles qui leur sont affectés afin que la fonction d'évaluation soit bien intégrée dans les processus de gestion et de prise de décision de Patrimoine canadien. De plus, ils sont chargés de revoir et de donner avis et conseils sur les principaux outils de la mesure de rendement des programmes du ministère. Deux ressources sont directement affectées au développement d'approches d'évaluation de la OSÉ. 4. Méthodologie Le présent chapitre décrit 1' approche méthodologique retenue aux fins de réaliser notre mandat de stage. Dans la première partie du chapitre, nous allons présenter le processus d'évaluation chez PCH. La deuxième partie du chapitre sera consacrée aux méthodes et techniques d'évaluation que nous avons utilisés durant notre stage. Le processus d'évaluation à PCH se déroule en six phases principales : préparation et planification; collecte de données; rédaction du rapport d'évaluation; approbation; clôture; suivi des recommandations. Dans le passé, la OSÉ faisait appel presque exclusivement à des experts-conseils de 1 'extérieur pour la conduite de la majorité de ses évaluations, alors que maintenant, le travail d'évaluation se fait de plus en plus avec les ressources à l' interne, incluant le développement de cadres d'évaluation et d'outils de collecte de données, la conduite d'entrevues, l'analyse de données et la rédaction de rapports. La DSÉ travaille en étroite collaboration avec les programmes en mettant sur pied des groupes de travail de 1' évaluation qu'elle préside et qui sont composés de représentants des programmes. Les membres des groupes de travail fournissent des observations et des conseils quant à l' approche à adopter à 1 'égard de 1' évaluation, aux calendriers et aux produits à livrer, p. ex., les projets de rapports. Cette approche axée sur la collaboration offre un grand degré de ce1titude à 1' égard de la validité et de la fiabilité des faits relevés dans le cadre des évaluations ct permet aux gestiom1aires des programmes d'être informés bien à l'avance de toute constatation susceptible de soulever des controverses ou des problèmes délicats. Dans l' exécution des tâches spécifiques du mandat, nous avons utilisé une méthodologie mixte ralliant les pratiques de collecte et d'analyse de données en évaluation de programmes et celles utilisées au sein de la Direction des services de 1 'évaluation du Patrimoine canadien. Nous avons été impliqués directement dans les deux phases d'évaluation durant notre stage, soit la collecte de données et la rédaction du rapport final cl' évaluation. 10

11 Dans la réalisation du mandat, nous avons utilisé trois méthodes de collecte pour recueillir des données qualitatives et quantitatives : des entrevues avec intervenants-clés des programmes; revue documentaire et 1 'étude de cas. L'utilisation des études des cas dans les projets d'évaluation est très répandue. Le grand avantage de cette méthode consiste en utilisation d'un ou plusieurs exemples réels afin d'obtenir une connaissance approfondie du sujet étudié et si possible d'en tirer des enseignements pour l'ensemble de l'évaluation 8. L'étude de cas permet d'observer une multitude de variables chez un nombre réduit de sujets, qui permet de prendre en compte plusieurs facteurs de causalité (influences). Dans le cadre de l'évaluation du Fonds du Canada pour la formation dans le secteur des arts (FCFSA), notre étude de cas présente une analyse comparative des trois établissements de formation dans le secteur de danse au Canada (deux établissements subventionnés par le programme et un établissement non subventionné). Nous avons fait appel à un outil de comparaison particulier, soit les diagrammes d'influences, parce qu'ils donnent une bonne idée générale de la situation sous une forme facile à expliquer. En effet, un diagramme d'influence est une méthode simple et visuelle pour décrire les relations entre différents types de variables. Dans notre démarche méthodologique, nous avons dù identifier, dans un premier instant, les variables pour notre étude. Celles-ci ont été choisies selon les questions d'évaluation. Ainsi, nous avons retenu les variables suivantes pour les établissements analysés : les sources de financement, le conseil d'administration, le corps professoral, les étudiants, le processus d'évaluation des demandes de financement, les diplômés, l'impact national de l'établissement et les influences potentielles. Après avoir choisi les variables, nous avons créé, à 1' aide du logiciel Mind42, des diagrammes d'influence pour chaque établissement de formation analysée. Ensuite, on a utilisé les variables afin de mesurer le rendement du programme. Notre analyse s'appuyait sur deux sources de données: examen des dossiers administratifs (demandes de financement, évaluations artistiques indépendantes, sondages annuels des établissements financés) et des bases de données et des entrevues avec les intervenants-clés. 8 Benoit Gauthier, et coll. Recherche sociale De la problématique à la collecte de données,

12 et l' d'étude cas, cette comporte certaines limites. Notre étude cas s'est penchée sur l'anal y se de trois de au et ne peuvent à représentativité statistique de l'ensemble des établissements de formation artistiques. On avait un biais de validité externe, puisqu'on ne pouvait pas généraliser les résultats de notre étude sur les trois établissements analysés. Notre étude de cas comportait aussi un biais de validité interne, parce qu'elle est beaucoup basée sur notre jugement et nous permettait juste rarement une "'"'''U'-''11 statistique des données. Pour le projet d'évaluation groupée des Fonds du Canada pour les espaces culturels (FCEC); Fonds du Canada pour la présentation des arts (FCPA); Fonds du Canada pour l' investissernent en culture (FCIC), nous avons été responsables de la revue documentaire, comme méthode de collecte et d'analyse de données secondaires. L'objectif de la revue documentaire consistait avant tout à permettre de se familiariser avec les FCP A, FCEC et FCIC, de camper les programmes dans son contexte historique et actuel ainsi que de documenter, dans la mesure du possible, les réponses aux questions-clés de l'évaluation des programmes pour les exercices à La technique utilisée lors la revue documentaire comme de collecte de données, qui nous a permis de réunir et de catégoriser des éléments d'information qui ont servi plus tard à nounir l'analyse et à justifier des constats et des observations dans la rédaction du rapport technique de la revue documentaire. Une centaine des ont aux de la revue documentaire. La ces documents proviennent de Patrimoine canadien (anciens rapports d'évaluation de chaque programme, rapports des programmes, etc.). La matrice sur plans et priorités et sur le rendement, iignes directrices de données et non un outil d'analyse. Nous avons une séquence précise afin de compléter la matrice de collecte de données : (a) trouver/consulter une source; 9 Secrétariat du Conseil du Trésor, Méthodes d'éval uation des programmes: mesures et attributions des résultats des programmes 12

13 (b) donner un numéro à la source et ajouter la référence à la liste apparaissant à la fin du modèle; (c) signaler les renseignements intéressants (passages de document) au moyen de languettes adhésives; (d) déterminer les indicateurs correspondant à chaque information repérée (une information peut s'appliquer à plusieurs indicateurs); (e) copier-coller ou retaper les informations aux endroits appropriés du modèle; (f) passer à la source suivante. À mesure que la matrice se remplissait, elle est devenue lourde. Pour cette raison, nous avons fractionné la matrice en trois sous-matrices par question d'évaluation (pertinence, efficacité et efficience des programmes). Une fois la collecte de données a été achevée, nous avons procédé à l'analyse des données et la rédaction du rapport technique de la revue documentaire. Une autre méthode de collecte de données utilisée lors de la réalisation de notre stage était les entrevues auprès des intervenants clés. Cette méthode a été utilisée pour les deux projets d'évaluation dans lesquels nous avons été affectées. Le but premier des entrevues était de vérifier si la participation financière du gouvernement du Canada aux programmes évalués s'avère toujours pertinente dans le contexte actuel ainsi que de recueillir les commentaires et impressions des intervenants-clés au sujet des résultats des programmes, ainsi que des contraintes et défis auxquels ces derniers sont confrontés. Toutes les questions d'entrevue ont été consignées dans des guides d'entrevue qui ont été établis pour chaque catégorie des intervenants-clés (les cadres de PCH, représentants provinciaux, les experts en domaine des arts, récipiendaires de financement, des organismes dont le financement a été refusé, etc.). Chaque question se rattachait à une ou plusieurs questions apparaissant dans la matrice d'évaluation. Une lettre d'introduction était envoyée d'avance à chaque intervenant afin de clarifier le mandat de l'équipe de l'évaluation de la DSÉ et le contexte général de 1 'évaluation. Les entrevues se déroulaient, particulièrement par téléconférence. Les entrevues avec les gestionnaires des programmes de PCH se déroulaient en personne. Dans les fins d'entrevues, nous avons élaboré des grilles d'entrevues comme outil de collecte de données. Les entrevues ont aussi été enregistrées afin de mieux capter les propos des intervenants clés. 13

14 Résultats ont été sur l' le secteur arts (FCFSA), qm contenait en annexe des diagrammes d'influence pour chaque établissement. Rapport sur la revue documentaire, comme méthode de collecte de données secondaires pour le projet d'évaluation groupée des Fonds du Canada pour les espaces culturels (FCEC); Fonds du Canada pour la présentation des arts (FCPA); Fonds du Canada pour l'investissement en culture (FCIC). Le rapport contenait en annexe une matrice d'évidence, comme outil de collecte de données. Nous avons appuyé durant notre stage la DSÉ dans la fourniture des commentaires sur les documents préparés en fin d'évaluation (ex.-cadre d'évaluation, stratégies et devis d'évaluation, rapports techniques, guides d'entrevues, etc.). Dans ce contexte, nous avons fourni des commentaires sur le cadre d'évaluation et sur les guides d'entrevues financés et non financés du Fonds du Canada pour la formation dans le secteur des arts (FCFSA). Nous avons nos sur tous rapports par le consultant externe, soit rapport technique sur la revue documentaire et dossiers administratifs, rapport sur les entrevues avec les intervenants clés, puis le rapport final de l'évaluation. D'autres activités ont été réalisées durant notre stage, soit :,. élaboration des grilles d'entrevues >- traduction des guides d'entrevues,. sur rapports techniques de la revue de du FCFSA >- élaboration des questions pour les panels d'experts (projet d'évaluation groupée sur arts). au 14

15 6. Conclusion Cette expérience de 18 semaines passées au sein de la Direction des services d'évaluation du PCH a été révélatrice à plus d'un titre. Le stage nous a permis de mieux comprendre l'univers d'évaluation dans un organisme fédéral, de mettre en application des connaissances acquises à l'enap, apprendre de nouvelles approches dans la planification des évaluations, soit calibration et regroupement des programmes. La calibration de projets d'évaluation est effectuée afin d'identifier l'approche la plus efficace pour la conception et la méthodologie d'évaluation. L'exercice de calibration est fondé sur les risques et d'autres critères pertinents. La décision de regrouper les programmes est prise après un examen approfondi des éléments stratégiques communs entre les programmes: les buts et les niveaux de maturité des programmes, les populations cibles, les parties prenantes, les partenaires dans la livraison des programmes, les résultats immédiats, intermédiaires et à long terme, les budgets, les types de gouvernance interne, les résultats de 1' analyse du risque associé à l'évaluation ainsi que les engagements envers le Conseil du trésor en regard du renouvellement des programmes et des évaluations. Cette activité d'intégration a parfaitement répondu à mon souhait de découvrir le métier d'analyste en évaluation de programmes. Elle m'a rassuré sur mon projet professionnel tout en me confortant dans 1' idée de travailler au sein d'un organisme du gouvernement fédéral. J'ai apprécié de ne pas être traité comme le stagiaire qui n'est là qu'un temps et d'être investi de responsabiîités. Je pense avoir vraiment aidé et contribué aux activités de la Direction des services d'évaluation du PCH. 15

16 7. Bibliographie 1. Benoit Gauthier, et coll. Recherche sociale : De la problématique à la collecte de données, 5e Edition, Presses de l'université du Québec, Parlement du Canada, Loi sur le ministère du Patrimoine canadien, 1995 [en ligne], justice.ec.ca/fra/lois/c-17.3/textecomplet.btml 3. Patrimoine canadien, Plan d'évaluation ministériel à , Juin Patrimoine canadien, Stratégie ministérielle de développement durable [en ligne], /inclex-fra.cfm 5. Patrimoine canadien, Rapport sur les plans et priorités [en ligne], /insl/pch/pchtb-fra.asp 6. Secrétariat elu Conseil du Trésor, Méthodes cl ' évaluation des programmes : mesures et attributions des résultats des programmes, Pratiques cl' examen et cl' études, 3-eme Edition 7. Secrétariat du Conseil du Trésor, Politique sur l'évaluation, 2009 [en ligne], Secrétariat du Conseil du Trésor, Directive sur la fonction d'évaluation, 2009 [en ligne], Secrétariat elu Conseil elu Trésor, Normes d'évaluation pour le Gouvernement du Canada, en lignel, w.tbs- sct.gc.ca/pol/doc-fra.a~?id=l