Guide d élaboration des cadres de gestion et de responsabilisation axés sur les résultats

Transcription

1 Guide d élaboration des cadres de gestion et de responsabilisation axés sur les résultats Août 2001 Secrétariat du Conseil du Trésor

2 CGRR Guide Août, 2001 TABLE DES MATIÈRES Section 1. Introduction au Cadre de gestion et de responsabilisation axé sur les résultats (CGRR) Qu est-ce qu un CGRR? Pourquoi faut-il un CGRR? Le continuum de la mesure des résultats Qui devrait participer à l élaboration d un CGRR? Quels sont les principes directeurs relatifs à ce processus?...9 Section 2. Composantes d un CGRR...10 Section 3. Étapes du processus d élaboration d un CGRR Profil Modèle logique Stratégie de mesure continue du rendement Détermination des indicateurs de rendement Stratégie de mesure du rendement Stratégie relative à l évaluation Détermination des questions et enjeux relatifs à l évaluation Détermination des exigences relatives aux données Stratégie relative à la collecte des données Stratégie en matière de rapports Mise en œuvre et examen Conseils utiles...33 ANNEXE A : ANNEXE B : ANNEXE C : ANNEXE D : Lexique Critères d auto-évaluation Exemple de tableau récapitulatif : mesure continue du rendement Exemple de tableau récapitulatif : stratégie relative à l évaluation ii

3 CGRR Guide Août, 2001 Section 1. Introduction au cadre de gestion et de responsabilisation axé sur les résultats Le présent guide aidera les gestionnaires et les spécialistes de l évaluation à établir les assises d un engagement ferme à l égard des résultats, l une des responsabilités fondamentales assumées par les gestionnaires de la fonction publique. Comme le précise le cadre de gestion du gouvernement fédéral, Des résultats pour les Canadiens et les Canadiennes, les gestionnaires de la fonction publique sont censés définir les résultats stratégiques, diriger leur attention sur l atteinte de ces résultats, mesurer le rendement de façon régulière et objective, tirer parti de l information recueillie et modifier leurs interventions afin d en accroître l efficience et l efficacité. Les gestionnaires utiliseront le cadre de gestion et de responsabilisation axé sur les résultats (CGRR) comme plan directeur pour mesurer les résultats et en rendre compte tout au long du cycle de vie d une politique, d un programme ou d une initiative. Le présent document décrit les différentes composantes du cadre et offre aux gestionnaires et spécialistes de l évaluation certains conseils qui les aideront dans leur préparation. 1.1 Qu est-ce qu un CGRR? Qu il soit associé à une politique, à un programme ou à une initiative, le cadre de gestion et de responsabilisation axé sur les résultats vise à aider les gestionnaires à: décrire clairement les rôles et les responsabilités des principaux partenaires qui participent à l exécution de la politique, du programme ou de l initiative, par l établissement d une structure de gouvernance saine; formuler un modèle clair et logique qui lie les ressources aux résultats prévus, par la définition d un modèle logique axé sur les résultats qui illustre une séquence logique d activités et d extrants ainsi qu un enchaînement de résultats à l égard de la politique, du programme ou de l initiative; déterminer les mesures du rendement appropriées et élaborer une stratégie de mesure du rendement saine qui leur permettra de suivre les progrès, de mesurer les résultats, d appuyer les travaux d évaluation subséquents, d apprendre des expériences passées et d apporter les ajustements nécessaires en vue d améliorer leurs interventions sur une base permanente; définir toute activité d évaluation qui devrait être réalisée tout au long du cycle de vie d une politique, d un programme ou d une initiative; 3

4 CGRR Guide Août, 2001 s assurer que les résultats font l objet de rapports adéquats. Lorsqu il est élaboré de façon appropriée, le cadre représente : une entente entre les partenaires quant aux résultats stratégiques, aux méthodes à employer pour les atteindre ainsi qu aux mécanismes à appliquer pour mesurer les résultats et en rendre compte; un outil permettant de faciliter la gestion, l apprentissage et la responsabilisation tout au long du cycle de vie d une politique, d un programme ou d une initiative; une indication précoce que la politique, le programme ou l initiative est organisé de façon logique (et comporte un engagement ferme à l égard des résultats) et présente de bonnes chances de réussite. 1.2 Pourquoi faut-il un CGRR? Selon le cadre de gestion du gouvernement fédéral, Des résultats pour les Canadiens et les Canadiennes, les gestionnaires sont censés diriger leur attention sur la mesure des progrès réalisés vers l atteinte des résultats de leurs politiques, programmes et initiatives, de manière à pouvoir constamment les améliorer. La Politique sur les paiements de transfert 1 du Conseil du Trésor (CT) formalise l obligation d inclure un CGRR dans les présentations au CT, et la Politique d évaluation 2 du CT précise les autres circonstances dans lesquelles un CGRR peut s avérer utile pour les gestionnaires, et ce même lorsque son élaboration n est pas exigée par la Politique sur les paiements de transfert. L orientation et la politique du gouvernement fédéral consistent à fournir aux députés et aux citoyens des renseignements pertinents, exacts, consolidés et opportuns sur l utilisation que le gouvernement fédéral fait de l argent des contribuables et sur les avantages que les Canadiens et les Canadiennes en retirent. Le gouvernement du Canada s est engagé non seulement à mesurer les résultats et à en rendre compte, mais également à fixer des normes claires auxquelles ces résultats seront comparés. Trois instruments parlementaires jouent un rôle crucial dans l atteinte de ces objectifs. Les rapports ministériels sur les plans et les priorités (RPP), qui sont déposés au Parlement au printemps en même temps que le Budget principal des dépenses, rendent compte des justifications à l égard des initiatives

5 CGRR Guide Août, 2001 mises en oeuvre et déterminent les résultats stratégiques auxquels le rendement réel sera comparé. Les rapports ministériels sur le rendement (RMR) sont des documents budgétaires déposés à l automne. Ils comparent les réalisations aux principaux résultats stratégiques qui avaient été initialement établis dans le RPP du ministère. Le troisième document essentiel, Une gestion axée sur les résultats, est également déposé à l automne de concert avec les RMR, dans le cadre des «rapports présentés à l automne». Ce document pangouvernemental sur le rendement fait maintenant l objet d une réorientation de manière à rendre compte des réalisations canadiennes au moyen d une série d indicateurs sociétaux clés. Ces trois rapports sont déposés au Parlement par la présidente du Conseil du Trésor, et peuvent être soumis pour examen au comité permanent approprié de la Chambre des communes. La structure et l orientation des activités ministérielles de planification et de reddition des comptes sont fondées sur la structure de planification, de rapport et de responsabilisation (SPRR) d une organisation. La SPRR ministérielle, qui est un document approuvé par le Conseil du Trésor, fournit le cadre sur lequel s appuient l élaboration des RPP et des RMR et l affectation des ressources à la plupart des organisations fédérales. Le SPRR exige des ministères et des organismes qu ils définissent clairement les résultats conjoints qu ils souhaitent atteindre au nom des Canadiens et des Canadiennes. Le CGRR doit être préparé dès que les travaux relatifs à une politique, un programme ou une initiative sont entrepris, de préférence au moment où sont prises les décisions concernant leur structure et leur mode de prestation. Lorsque le CGRR est intégré à une présentation au Conseil du Trésor, les approbations sont implicites. Par contre, les CGRR préparés hors du cadre de présentation au Conseil du Trésor sont assujettis à un processus d approbation, puisque le CGRR représente un engagement ferme à l égard de la mesure des résultats et des rapports connexes. Dans le but de mieux s acquitter de leur engagement, pris en vertu de l Entente cadre sur l union sociale (ECUS) 3, d améliorer la reddition de comptes et la transparence envers les Canadiens et les Canadiennes, les gestionnaires devraient consulter le Modèle de responsabilisation de l ECUS 4 lorsqu ils élaborent des cadres de gestion et de responsabilisation axés sur les resultats. Ce modèle exhaustif, qui couvre tous les aspects des dispositions de l ECUS en matière de responsabilisation, sera utilisé pour la mise en œuvre d un projet pilote en appui aux engagements du gouvernement fédéral dans ce domaine

6 CGRR Guide Août, 2001 Bien que les CGRR répondent généralement à la majeure partie des exigences du modèle de l ECUS, il y aurait peut-être lieu d examiner certains domaines spécifiques, notamment : les mécanismes ayant pour but d obtenir l engagement des Canadiens et des Canadiennes dans l élaboration et l examen des politiques sociales et de leurs résultats; l établissement de procédures permettant aux Canadiens et Canadiennes de faire appel de certaines pratiques administratives; l utilisation d indicateurs comparables, le cas échéant; l évaluation de la façon dont les Canadiens et Canadiennes perçoivent la contribution du gouvernement fédéral à des politiques, programmes et initiatives. 1.3 Le continuum de la mesure des résultats La mesure des résultats n est pas une activité isolée. Elle s inscrit plutôt dans un processus qui débute avec l élaboration d une politique, d un programme ou d une initiative et qui évolue avec le temps. Diverses activités de la mesure des résultats se déroulent à des moments précis, mais elles font toujours partie de la gestion permanente d une politique, d un programme ou d une initiative. Ce continuum, qui va de l étude initiale de la mesure du rendement à la réalisation des évaluations formative et sommative, en passant par la surveillance du rendement, est illustré à la figure 1.1. Le diagramme présente une vue d ensemble des principales étapes du processus d élaboration des mesures du rendement touchant une politique, un programme ou une initiative. Bien que le processus soit illustré ici sous forme linéaire, on notera que le processus d élaboration des mesures du rendement est itératif, et que l examen et la rétroaction constituent des éléments importants du processus. L élaboration d un CGRR fait appel aux étapes 0 à 3 du continuum : il s agit essentiellement de déterminer les engagements à l égard de la mesure des résultats. Toutefois, cette activité ne constitue pas une fin en soi. La capacité de mesurer les résultats et d en rendre compte nécessite la «mise en œuvre» du CGRR étapes 4 à 6 et établit les bases des activités d évaluation étapes 7 et 8. Bien que les gestionnaires de programme soient responsables du processus et doivent participer étroitement à toutes les étapes, la plupart des organisations disposent de spécialistes qui pourraient contribuer à l élaboration et à la mise en œuvre des activités de mesure des résultats. En particulier, les évaluateurs, qui jouent un rôle essentiel aux étapes 7 et 8, peuvent également se révéler utiles à titre de facilitateurs aux étapes 0, 1 et 2. De même, les spécialistes de la gestion de l information peuvent agir à 6

7 CGRR Guide Août, 2001 titre de principaux conseillers aux étapes 3 et 4. Ces rôles sont décrits plus en détail plus loin dans le présent Guide. 1.4 Qui devrait participer à l élaboration d un CGRR? Trois groupes clés participent à l élaboration et à la mise en œuvre des cadres de gestion et de responsabilisation axés sur les résultats : les gestionnaires, les spécialistes de l évaluation et, lorsque le CGRR accompagne une présentation au Conseil du Trésor, les analystes du Secrétariat du Conseil du Trésor du Canada (SCT). Les gestionnaires assument la responsabilité principale à l égard de l élaboration du CGRR : il incombe aux gestionnaires de s assurer que le contenu du cadre est exact et qu il reflète bien la structure et le mode de fonctionnement de la politique, du programme ou de l initiative, ainsi que toutes les exigences en matière de rapports; les gestionnaires sont responsables de la mise en œuvre du CGRR, c est-à-dire qu ils s assurent que les données sont recueillies et font l objet des rapports appropriés. Les spécialistes de l évaluation peuvent fournir un soutien efficace aux gestionnaires dans ce processus : en collaboration avec les gestionnaires, les évaluateurs peuvent fournir des conseils importants et une expertise technique tout au long de l élaboration et de la mise en œuvre du CGRR; les évaluateurs sont bien placés pour participer à l élaboration du modèle logique, pour faciliter la mise au point d un ensemble approprié de mesures du rendement et pour donner des conseils sur les principales questions de méthodologie et d évaluation inhérentes aux stratégies de mesure et d évaluation du rendement. Lorsqu un CGRR est élaboré pour satisfaire à un engagement du Conseil du Trésor, les analystes du Secrétariat du Conseil du Trésor peuvent conseiller les gestionnaires et les évaluateurs ministériels à l égard des exigences générales associées au cadre, avant que celui-ci ne soit approuvé par le ministre et présenté au Conseil du Trésor. En conséquence, il peut être utile de consulter ce groupe au cours de la préparation du CGRR. 7

8 CGRR Guide Août, 2001 FIGURE 1.1 Le continuum de la mesure des résultats Principales étapes de l élaboration et de la mise en œuvre d une politique, d un programme ou d une initiative Rétroaction Compréhension de la mesure du rendement Profil du programme Modèle logique clarification Résultats stratégiques Formulation des mesures du rendement Établissement d une stratégie appropriée de collecte des données Mise au point d un système d information et collecte des données Mesure et rapport sur le rendement Examen, évaluation et modification Évaluation formative questions relatives à la gestion Évaluation sommative questions fondamentales touchant le programme TEMPS Principales questions touchant l évaluation 8

9 1.5 Quels sont les principes directeurs relatifs à ce processus? L élaboration et la mise en œuvre d un cadre de gestion et de responsabilisation axé sur les résultats doivent respecter les principes directeurs suivants : utilité s assurer que les gestionnaires puissent utiliser le cadre pour expliquer leurs politiques, programmes et initiatives aux Canadiens et aux Canadiennes et pour mettre en œuvre des méthodes saines de mesure du rendement et de gérer en fonction des résultats; sentiment d appartenance satisfaire aux besoins de toutes les parties intéressées et s assurer que les besoins en information des gestionnaires ainsi que les exigences formelles en matière de responsabilisation sont remplis, et ce avec la participation active des gestionnaires; transparence s assurer que toutes les parties intéressées comprennent quels sont les résultats prévus, comment ils seront mesurés et à quel moment; orientation privilégiant la décision et l action s assurer que l information dont les gestionnaires et les autres parties intéressées ont besoin est disponible au moment où sont prises les décisions importantes; crédibilité s assurer que les normes professionnelles 5 sont respectées et que le cadre renferme des engagements en matière de mesure du rendement et de rapports réalistes; souplesse afin de s adapter au contexte mouvant dans lequel évoluent les politiques, programmes et initiatives, le cadre doit être réévalué régulièrement et modifié au besoin. Bien que la longueur des CGRR ne soit pas déterminée, le document final sera le plus utile s il renferme une courte présentation de chaque composante importante. Un cadre pourrait compter au minimum de 10 à 15 pages et, de préférence, au maximum de 30 à 35 pages. Les gestionnaires doivent exercer leur jugement au moment de déterminer le niveau de détail nécessaire, en se demandant par exemple si l information existe déjà dans un autre document (auquel cas l information sera simplement résumée dans le présent document) et en maximisant la probabilité d utilisation du document (en limitant sa longueur à une taille raisonnable). On trouvera aux sections suivantes la description des différentes composantes d un CGRR ainsi que les principales étapes de leur élaboration. Les principaux concepts, tirés d un lexique produit par le CT sur 5 Voir par exemple, Appendice B : Normes d évaluation pour le gouvernement du Canada, de la Politique d évaluation du Conseil du Trésor. 9

10 les termes à employer dans le contexte de la mesure et de l évaluation du rendement, sont présentés à l annexe A. Section 2. Composantes d un CGRR Le cadre de gestion et de responsabilisation axé sur les résultats répond à la fois aux exigences en matière de mesure continue du rendement et à la nécessité de procéder à une planification de l évaluation à plus long terme. En pratique, le cadre permet d incorporer les principes de la mesure et de l évaluation du rendement à toutes les étapes de la gestion d une politique, d un programme ou d une initiative. Le cadre de gestion et de responsabilisation axé sur les résultats comporte plusieurs composantes : 1. Profil description concise de la politique, du programme ou de l initiative, comprenant une description du contexte, de la nature des besoins, de la clientèle cible, du mode de prestation, des ressources nécessaires, de la structure de gouvernance et des résultats prévus. 2. Modèle logique illustration de l enchaînement de résultats et des liens entre les activités d une politique, d un programme ou d une initiative et les résultats finaux Stratégie de mesure continue du rendement plan relatif à la mesure continue du rendement, y compris la détermination des indicateurs de rendement à l égard des extrants et des résultats dans le modèle logique et stratégie décrivant comment ces indicateurs seront mesurés, à quelle fréquence et à quel coût. 4. Stratégie relative à l évaluation plan d évaluation de la politique, du programme ou de l initiative, y compris la détermination des questions et enjeux relatifs aux évaluations formative et sommative, la détermination des exigences relatives aux données et la stratégie de collecte des données qui servira d assise aux activités d évaluation subséquentes. 5. Stratégie relative aux rapports plan visant à rendre compte systématiquement des résultats liés à la mesure continue et à l évaluation du rendement, afin de garantir que toutes les exigences en matière de rapports sont satisfaites. La section suivante décrit la raison d être de chaque composante, le processus d élaboration suggéré ainsi que le résultat prévu de ce processus. 6 Remarque : Le terme «final» est employé dans le présent Guide pour désigner les résultats globaux à long terme d une politique, d un programme ou d une initiative. 10

11 Section 3. Étapes du processus d élaboration d un CGRR La préparation d un cadre de gestion et de responsabilisation axé sur les résultats fait appel à un processus systématique et méthodique dans le cadre duquel il faut tenir compte des différents aspects de la politique, du programme ou de l initiative et de son rendement. La présente section du Guide présente aux gestionnaires et aux spécialistes de l évaluation les étapes distinctes de ce processus. Le résultat de chaque étape est un élément clé du cadre final. Les critères d auto-évaluation du cadre de gestion et de responsabilisation axé sur les résultats sont présentés à l annexe B. L utilisation de ces critères aidera à décider du contenu et du degré d exhaustivité du cadre. Les analystes du SCT utiliseront ces critères pour évaluer les CGRR présentés au CT. 3.1 Profil a. Objet Cette section du CGRR décrit de façon concise la politique, le programme ou l initiative. La description fournie doit permettre à un lecteur externe de comprendre clairement les objectifs visés par la politique, le programme ou l initiative et d évaluer les mesures envisagées pour atteindre ces objectifs. Cette exigence nécessite entre autres de bien définir le contexte. Ainsi, le profil doit comprendre une brève description de ce qui suit : l origine de la politique, du programme ou de l initiative et une indication des besoins que la politique, le programme ou l initiative est censé satisfaire; le mode de prestation, y compris un énoncé clair des rôles et responsabilités des principaux partenaires et la description des moyens employés pour s assurer que la politique, le programme ou l initiative atteint bien sa clientèle cible; les ressources affectées à l organisation pendant la période de financement et la description de la manière dont les fonds seront utilisés pour mettre en œuvre la politique, le programme ou l initiative au cours de cette période; les principaux bénéficiaires visés (les clientèles ou populations cibles); les résultats prévus (les avantages que les ministères se sont engagés à fournir au cours de la période de financement); 11

12 les résultats finaux à atteindre (qui pourraient également être des résultats stratégiques), ou les avantages à fournir aux citoyens au moyen de la politique, du programme ou de l initiative; la structure de gouvernance, du point de vue de la responsabilisation et plus particulièrement dans le contexte des politiques, programmes ou initiatives comportant plusieurs partenaires. Quelles sont les principales parties intéressées et quels sont leurs responsabilités et rôles respectifs? b. Processus La majeure partie du travail requis pour mener à terme le profil est réalisée au cours de la préparation des documents de planification initiaux de la politique, du programme ou de l initiative. Ainsi, le processus d élaboration du profil consiste souvent à examiner la documentation disponible, y compris les plans d activités et les protocoles d entente. Toutefois, il est probable que certains renseignements nécessaires n auront pas été produits pour ces autres documents et devront être préparés au cours du processus d élaboration du profil. Il faut consulter les gestionnaires, les concepteurs et le personnel responsable de la prestation, ainsi que toute autre partie intéressée bien informée, au moyen d entrevues ou d autres méthodes. Ces consultations permettent de déterminer si le profil «axé sur des documents» correspond au profil «fondé sur la réalité», selon les personnes intéressées qui connaissent le mieux la situation. Ainsi, il sera plus facile de préciser si des modifications ont été apportées à la structure de la politique, du programme ou de l initiative, ou encore en ce qui a trait à la clientèle cible au cours de la mise en œuvre, et si tous les partenaires s entendent sur les résultats stratégiques. Par ailleurs, ces consultations peuvent aider à combler les lacunes qui existent au chapitre de l information nécessaire eu égard au profil. c. Produit Le profil doit prendre la forme d une description concise de la politique, du programme ou de l initiative qui permettra à un lecteur externe de bien comprendre sans équivoque les résultats stratégiques, les justifications, les ressources affectées et la nature de la population cible. Il doit également décrire clairement la stratégie retenue en matière de prestation ainsi que la structure de gouvernance applicable à la politique, au programme ou à l initiative. 12

13 3.2 Modèle logique a. Objet Un modèle logique identifie les liens entre les activités accomplies dans le cadre d une politique, d un programme ou d une initiative et l atteinte des résultats. Il décrit de façon succincte l ensemble des activités qui composent la politique, le programme ou l initiative et la séquence des résultats qui devraient découler de ces activités. Le modèle logique sert de «feuille de route»; il illustre l enchaînement des résultats qui relie les activités aux résultats finaux, et identifie par conséquent les étapes à franchir pour atteindre ces résultats. Le modèle logique est un outil aux usages multiples : il sert à clarifier, à l intention des gestionnaires et du personnel, les liens qui existent entre les activités, les extrants et les résultats prévus de la politique, du programme ou de l initiative. Ce faisant, le modèle logique permet de clarifier et de distinguer les résultats immédiats, intermédiaires et finaux; il permet de communiquer aux personnes extérieures au projet les justifications, les activités et les résultats prévus de la politique, du programme ou de l initiative; il permet de vérifier si la politique, le programme ou l initiative est «réaliste» d un point de vue logique; il sert à établir l assise fondamentale sur laquelle les stratégies de mesure et d évaluation du rendement sont fondées (c.-à-d. établir les déterminants du succès). b. Processus Le processus recommandé à l égard de l élaboration du modèle logique consiste à entreprendre un travail méthodique, interactif et inclusif avec le personnel spécialisé dans le domaine. Les gestionnaires devraient collaborer avec les spécialistes de l évaluation de leur ministère ou organisme à l élaboration du modèle logique. La maîtrise du domaine visé par la politique, le programme ou l initiative, associée à l expérience qu ont acquise les évaluateurs relativement au modèle logique, permettent d élaborer un tel modèle de façon efficace et opportune. Afin d élaborer un modèle logique, il est nécessaire d identifier chacune des composantes suivantes : Activités Quelles sont les principales activités auxquelles le personnel participe dans le cadre de la politique, du programme ou de l initiative? Autrement dit, quelles sont 13

14 les principales activités visant à contribuer à l atteinte des résultats (par opposition aux activités administratives qui sont entreprises en vue d établir l infrastructure de la politique, du programme ou de l initiative)? Extrants Quels sont les extrants des activités principales? En d autres mots, qu est-ce qui démontre que les activités ont bien été entreprises? Les extrants correspondent aux produits ou services générés par les activités; ils sont la preuve que l activité a réellement eu lieu. Résultats immédiats Quels sont les résultats à court terme découlant des activités et des extrants? En règle générale, dans un modèle logique, un mot d action est associé aux résultats (par exemple, «accru» ou «amélioré»), qui représentent les conséquences prévues des activités et des extrants. Résultats intermédiaires Quels sont les maillons subséquents dans l enchaînement de résultats qui découlent des activités et des extrants et se produisent après l atteinte des résultats immédiats? Il s agit en quelque sorte des résultats à moyen terme. Résultats finaux Quels sont les tout derniers résultats prévus de la politique, du programme ou de l initiative; ou encore, pour quelle raison ces activités ont-elles été entreprises? Il s agit en règle générale des résultats dont l atteinte nécessite plus de temps; ils sont soumis à des influences extérieures à la politique, au programme ou à l initiative et peuvent se produire à un niveau plus stratégique. Il importe de comprendre que le modèle logique décrit sous forme de diagramme la logique théorique d une politique, d un programme ou d une initiative, c est-à-dire qu il décrit comment un ensemble d activités est censé donner lieu aux résultats prévus. Toutefois, certains éléments des politiques et des initiatives ne sont pas, en règle générale, intégrés au modèle logique, notamment : les détails opérationnels particuliers, étape par étape, du mode d exécution d une politique, d un programme ou d une initiative; les activités organisationnelles ou liées à l infrastructure, qui sont également centrées sur le processus et qui comprennent des activités telles que l embauche de personnel, l achat d équipement et l exécution des responsabilités; bien qu il s agisse d activités de programme essentielles, elles ne font pas partie du modèle logique. Pour élaborer un modèle logique, l équipe doit identifier, l un après l autre, les principaux éléments de chaque composante du modèle. Une méthode efficace consiste à concevoir le modèle à l occasion d une séance de travail d équipe, animée par un spécialiste de l évaluation. Ainsi, des personnes ayant des points de vue divers pourront contribuer à l élaboration du modèle. Selon la complexité de la politique, du programme ou de l initiative, l élaboration d un modèle complet pourrait nécessiter une séance de travail d un ou deux jours. Ainsi, le produit final traduira une compréhension commune de la logique sous-jacente de la politique, du programme ou de l initiative. 14

15 Il existe de nombreux styles de présentation de modèles logiques, et chaque organisation devrait utiliser le format qui convient le mieux à son auditoire interne. La souplesse est primodiale, en autant que les composantes essentielles du modèle logique sont présentes (c.-à-d. activités, extrants et résultats). Par exemple, une organisation pourrait choisir de présenter son modèle logique sous la forme d un tableau plutôt que d un organigramme (figure 3.1). De même, il n existe pas de nombre précis de niveaux de résultats à présenter. Bien que de nombreux modèles logiques présentent les trois niveaux illustrés cidessous (immédiat, intermédiaire et final), certains peuvent en comporter seulement deux, tandis que d autres en comporteront davantage. Le facteur déterminant réside dans la capacité du modèle logique à illustrer adéquatement la séquence de résultats découlant des activités et des extrants. Les figures 3.1 et 3.2 ci-après présentent deux formats possibles de modèle logique. FIGURE 3.1 Modèle logique de type «organigramme» Activités ACTIVITÉ 1 ACTIVITÉ 2 ACTIVITÉ 3 ACTIVITÉ 4 Extrants EXTRANT 1 EXTRANT 2 EXTRANT 3 EXTRANT 4 Résultats immédiats RÉSULTAT IMMÉDIAT 1 RÉSULTAT IMMÉDIAT 2 RÉSULTAT IMMÉDIAT 3 RÉSULTAT IMMÉDIAT4 Résultats intermédiaires RÉSULTAT INTERMÉDIAIRE 1 RÉSULTAT INTERMÉDIAIRE 2 RÉSULTAT INTERMÉDIAIRE 3 Résultats finaux RÉSULTAT FINAL 1 15

16 Le format illustré à la figure 3.1 vise à présenter l information du modèle logique dans un diagramme ressemblant à un organigramme. Sous cette forme, chaque composante occupe un rang du modèle. L enchaînement prévu des événements, des activités jusqu aux résultats finaux, est illustré par les lignes reliant les boîtes. S ils utilisent cette approche de l élaboration d un modèle logique, les membres de l équipe s adonneront individuellement en premier lieu à une séance de «remue-méninges» afin de définir ce qu ils jugent être les activités principales de leur politique, programme ou initiative. Les résultats de cette séance de remueméninges seront ensuite partagés et discutés en groupe, et un ensemble final d activités convenues mutuellement sera placé dans le premier rang du modèle. Ce rang correspond au rang supérieur illustré à la figure 3.1. Ensuite, les membres de l équipe se livreront à une nouvelle séance individuelle de remue-méninges afin d identifier les extrants associés à chacune des activités déjà répertoriées de la politique, du programme ou de l initiative. Une activité peut comporter divers extrants (biens et services, ou autres produits de l activité), et un ensemble d extrants sera associé à chaque activité figurant dans le premier rang. Encore une fois, les résultats de la séance individuelle de remue-méninges seront partagés et discutés en groupe, et l ensemble final des extrants sera ajouté au modèle, dans le second rang. Ce processus est répété pour chaque composante subséquente, et notamment pour les résultats immédiats et intermédiaires. Ainsi, les participants s interrogent sur les premiers résultats qu ils s attendent à voir se réaliser, en fonction des activités et des extrants. Après discussion et acceptation de ces premiers résultats, le groupe passe au niveau de résultats suivant dans l enchaînement des résultats. Enfin, le modèle logique se termine avec l identification des résultats finaux. Les expériences passées ont démontré qu il peut être plus utile pour certains groupes d entreprendre l élaboration du modèle logique en commençant par l identification des résultats finaux, donc en commençant par le dernier rang de l organigramme, en déterminant ensuite les activités pour enfin remplir le reste des rangs du centre. Chaque organisation ou groupe doit déterminer la méthode qui lui convient le mieux. Il peut être utile à ce stade-ci de consulter de nouveau l énoncé des principaux résultats stratégiques, qui figurent dans les documents de planification, afin de s assurer qu ils sont bien représentés dans le modèle logique. 16

17 En règle générale, l élaboration d un modèle logique de type «organigramme» (figure 3.1) sera plus aisée si les connexions entre les rangs sont ajoutées seulement après que toutes les composantes du modèle ont été identifiées. Ainsi, l étape finale consistera à déterminer les liens particuliers dans le modèle. Ces liens illustrent les connexions de cause à effet théoriques, des activités jusqu aux résultats. La figure 3.2 ci-dessous illustre un autre format de modèle logique. Cette approche décrit la logique d une politique, d un programme ou d une initiative au moyen d un «enchaînement de résultats». Il importe de noter qu un enchaînement de résultats peut comporter des intrants, des activités, des extrants et des résultats multiples. FIGURE 3.2 Modèle logique de type «enchaînement de résultats» ZONE DE CONTRÔLE INTERNE À L ORGANISATION Produits ou services atteignant les groupes externes ZONE D INFLUENCE EXTERNE À L ORGANISATION INTRANTS (RESSOURCES) ACTIVITÉS EXTRANTS RÉSULTATS IMMÉDIATS (DIRECTS) RÉSULTATS INTERMÉDIAIRES (INDIRECTS) RÉSULTATS FINAUX FACTEURS EXTERNES Le modèle logique doit être accompagné dans le CGRR d une courte explication décrivant ce que comporte chaque case du modèle, ainsi que d une brève discussion des facteurs externes ou environnementaux qui peuvent contribuer à l atteinte des résultats finaux par la politique, le programme ou l initiative. Cette discussion donne l occasion d identifier dans le modèle logique les résultats qui ne sont pas soumis à l influence ou au contrôle direct de la politique, du programme ou de l initiative, mais auxquels la politique, le programme ou l initiative contribue. Il est important de comprendre que l élaboration d un modèle logique est un processus itératif. Après avoir élaboré le modèle à l occasion des séances de travail de groupe, il sera utile d examiner le produit obtenu d un œil critique et d apporter toute modification jugée nécessaire. 17

18 Enfin, une fois le modèle élaboré, il peut être utile d obtenir les commentaires : de personnes qui connaissent bien la politique, le programme ou l initiative, mais qui n ont pas pris part à la séance de travail, afin de s assurer que tous les éléments nécessaires sont représentés dans le modèle; des spécialistes de l évaluation, afin de s assurer que les éléments du modèle sont appropriés. c. Produit Le produit final de ce processus est un modèle logique d une page identifiant clairement les liens entre les activités, les extrants et la séquence des résultats escomptés, les détails pertinents étant décrits dans les commentaires d accompagnement. Cette description succincte du fonctionnement d une politique, d un programme ou d une initiative et des résultats qui sont censés découler de ses activités deviendra une référence importante pour les étapes subséquentes de l élaboration du CGRR. Elle se révélera également utile à titre de produit autonome que pourront utiliser les gestionnaires ministériels pour définir le contexte et les justifications de leurs politiques, programmes et initiatives. 3.3 Stratégie de mesure continue du rendement Détermination des indicateurs de rendement a. Objet La mesure continue du rendement représente la collecte régulière de renseignements afin de vérifier l état d une politique, d un programme ou d une initiative à un moment donné. Elle peut servir à rendre compte de la situation concernant l atteinte des résultats prévus et des tendances en matière de rendement. L élaboration d une stratégie de mesure continue du rendement sera possible dans la mesure où sont clairement identifiés, dans le cadre du processus d élaboration du CGRR, les éléments d information clés à recueillir (c.-à-d. les indicateurs de rendement) qui permettront d évaluer les progrès de la politique, du programme ou de l initiative vers l atteinte de ses résultats finaux, tel qu ils sont décrits dans le modèle logique. 18

19 Plus précisément, les indicateurs de rendement doivent permettre de vérifier si un extrant a été produit ou si un résultat particulier a été atteint. La mesure continue du rendement fournit à intervalles réguliers des «bilans» sur le rendement d une politique, d un programme ou d une initiative. Grâce à cette activité de surveillance, la mesure continue du rendement agit comme un outil descriptif permettant de savoir comment évolue la politique, le programme ou l initiative. Il est important de comprendre que la mesure continue du rendement ne vise pas à décrire comment un résultat a été atteint ni pourquoi un résultat stratégique a été ou non réalisé. La description du «comment» et du «pourquoi» se fait à l étape de l évaluation, décrite plus en détail dans une section subséquente du présent Guide. L information liée à la mesure du rendement fournit aux gestionnaires les données dont ils ont besoin pour gérer leur politique, programme ou initiative sur une base continue. Cette information peut leur fournir l assurance que le projet se déroule bien comme prévu ou servir de premier avertissement lorsque les résultats prévus ne se produisent pas (ce qui pourrait inciter le gestionnaire à entreprendre des recherches additionnelles, par exemple à l aide d une évaluation, pour tenter de déterminer la nature du problème). La mesure et l évaluation du rendement sont inextricablement liées : la mesure continue du rendement peut être considérée comme une partie intégrante de l évaluation. L information découlant de la surveillance continue du rendement est utilisée dans les évaluations périodiques (dont l objet consiste à expliquer plus en profondeur les résultats atteints) de la politique, du programme ou de l initiative. On peut également considérer les commentaires de la clientèle ou les données sur le taux de satisfaction de la clientèle comme une forme particulière de mesure du rendement. Bien que le taux de satisfaction ne soit pas en soi, en général, considéré comme un résultat d une politique, d un programme ou d une initiative (il s agit davantage d une indication de la qualité d un extrant), l évaluation du taux de satisfaction de la clientèle peut fournir des renseignements précieux qui contribueront à l amélioration des politiques, programmes et initiatives, et accroître ainsi la probabilité que les résultats seront atteints. b. Processus Le principal outil nécessaire à la mise au point des indicateurs existe déjà à ce stade-ci de l élaboration du cadre de gestion et de responsabilisation axé sur les résultats : il s agit du modèle logique. Cet outil fait en 19

20 sorte que la stratégie de mesure du rendement est fondée sur une assise solide et logique, ce qui permet de vérifier la mesure dans laquelle les résultats de la politique, du programme et de l initiative sont censés être atteints. Le processus visant à déterminer les indicateurs de rendement potentiels consiste à passer en revue chaque rang du modèle logique, à l exception du rang des activités, et à déterminer quel élément d information ou donnée particulière serait nécessaire pour vérifier si l extrant a bien été produit ou si le résultat a bien été atteint. Par exemple : si l extrant est un type de document, l indicateur permettant de démontrer que cet extrant a bien été produit pourrait simplement être le nombre de documents produits. si un résultat immédiat est défini comme étant l accroissement de la sensibilisation à une question précise au sein d un groupe cible, l indicateur pourrait être le taux de sensibilisation réel, tel que mesuré au sein du groupe. Il est donc important, à cette étape, de tenir compte également de la portée de la politique, du programme ou de l initiative. Un indicateur de rendement peut être quantitatif (c est-à-dire fondé sur des chiffres ou des données objectives) ou qualitatif (information narrative ou subjective). Toutefois, à cette étape-ci de l élaboration du CGRR, il ne s agit pas de déterminer de quelle manière les indicateurs seront mesurés; cette opération est abordée dans l élaboration de la stratégie de mesure du rendement. Il s agit ici d identifier les éléments d information particuliers dont le gestionnaire aura besoin pour vérifier si un extrant a été produit ou si un résultat a été atteint. On trouvera à l annexe C un exemple de tableau pouvant servir à structurer et à présenter les indicateurs. c. Produit À ce stade-ci du processus, un ensemble concis d indicateurs de rendement est produit. À chaque extrant et résultat décrit dans le modèle logique doivent correspondre des indicateurs précis (par ex., de un à trois). Ces indicateurs joueront un rôle clé dans la stratégie de mesure continue du rendement. 20

21 3.3.2 Stratégie de mesure du rendement a. Objet Il est nécessaire de mettre en œuvre une stratégie de mesure du rendement afin d établir un plan réaliste de collecte des données nécessaires à l égard de la mesure continue du rendement. À la présente étape, les produits des activités précédentes devraient être consolidés sous forme de tableaux pour faciliter l élaboration de la stratégie. On trouvera un exemple de tableau à l annexe C (il est acceptable de modifier le tableau afin de l adapter aux besoins précis de l organisation 7 ). La stratégie de mesure du rendement expose les paramètres qui serviront à la mesure des principaux indicateurs de rendement. Pour chaque indicateur, la stratégie doit indiquer clairement la méthode, les responsables et la fréquence de la collecte de l information. Il faut aussi tenir compte de la nécessité de recueillir des données de référence pour certains indicateurs avant le début du projet. Les coûts prévus de la collecte et de l analyse des données doivent également figurer dans la stratégie. La mise en œuvre de la stratégie de mesure du rendement garantit que l information sur les résultats est disponible au moment opportun. Il est donc essentiel que l élaboration de la stratégie tienne compte des besoins des gestionnaires en matière d information ainsi que de leurs engagements en matière de responsabilisation et de rapports. b. Processus L ensemble d indicateurs de rendement identifié précédemment sert de point de départ pour la présente étape de l élaboration du CGRR. Pour chaque indicateur, plusieurs éléments doivent être déterminés : la source des données et la méthode de collecte, le calendrier et la fréquence de la collecte et enfin la responsabilité à l égard de la mesure du rendement. Dans la mesure du possible, il faut également préciser le coût des mesures, normalement en fonction de la méthodologie retenue, plutôt qu en fonction des indicateurs, puisqu une même méthodologie peut être employée pour recueillir l information sur plusieurs indicateurs. 7 On notera que le tableau offert en exemple comporte également des colonnes permettant d indiquer que certains résultats pourraient ne pas être convenablement mesurés dans le cadre de la mesure continue du rendement et devraient plutôt être évalués dans le cadre des activités d évaluation. 21

22 En ce qui concerne la méthode de collecte, les indicateurs de rendement proviennent en général de l une de trois sources principales : données administratives - information déjà recueillie dans les dossiers ou bases de données de la politique, du programme ou de l initiative, ou qui pourrait être recueillie en modifiant simplement les processus existants; données primaires - information qui doit être recueillie lors d activités de collecte spécialisées, telle que les groupes de discussion, la consultation d experts ou les sondages; données secondaires - utilisation de données qui avaient été recueillies à d autres fins, mais qui peuvent également servir dans le présent contexte, telles que les statistiques nationales sur la santé ou sur l économie. Pour sélectionner la méthode à employer, il convient également de tenir compte d autres facteurs tels que le type de données requises (qualitatives ou quantitatives) et la source particulière des données (clientèle, grand public, dossiers particuliers, documents de la politique, du programme ou de l initiative, etc.). Pour ce qui est du calendrier de la collecte des données, les indicateurs dont la mesure fait partie de la surveillance continue du rendement doivent être mesurés à intervalles réguliers (il faudra définir la notion «d intervalle régulier» pour chaque indicateur). Par exemple, il peut être nécessaire de recueillir certains indicateurs au moment de chaque transaction; tandis que d autres peuvent nécessiter une simple collecte annuelle. De plus, il faut signaler les indicateurs qui doivent être mesurés à titre d information de référence. On notera que les résultats finaux d une politique, d un programme ou d une initiative ne font habituellement pas partie des activités normales de mesure du rendement, puisqu il peut être difficile de les mesurer ou de les affecter à des activités précises. Après avoir déterminé un ensemble exhaustif d indicateurs de rendement et les stratégies de mesure connexes, il faut identifier un sous-groupe des indicateurs les plus appropriés. Les critères dont il faut tenir compte dans la sélection des indicateurs sont les suivants : la fiabilité, la validité et la crédibilité de l indicateur; la rentabilité à l égard des coûts de collecte et de traitement; la pertinence de son lien avec l extrant ou le résultat en question. Les spécialistes de l évaluation peuvent se révéler particulièrement utiles dans la détermination des indicateurs de rendement ainsi que dans la sélection des «meilleurs» indicateurs finaux. De même, les 22

23 responsables de la gestion de l information et des technologies de l information peuvent contribuer à ce processus, particulièrement dans les situations où la mise en œuvre de la stratégie de mesure continue du rendement nécessite la conception ou le remaniement d un système de données. La stratégie de mesure continue du rendement doit être liée à la mise en œuvre de la politique, du programme ou de l initiative. L élaboration de la stratégie doit également être fondée sur la reconnaissance de ce qui est jugé pratique et raisonnable sur le plan de la mise en œuvre. La stratégie de collecte de données la plus rigoureuse échouera si sa mise en œuvre est trop coûteuse ou nécessite trop de main-d œuvre. c. Produit À cette étape-ci de l élaboration du CGRR, le produit est une stratégie de mesure du rendement détaillée et réaliste qui décrit quelles données seront recueillies, de quelle manière (y compris par qui) et selon quel calendrier; elle décrit également les liens qui existent entre la collecte des données et les extrants et résultats dans le modèle logique. Enfin, elle précise les coûts prévus de la collecte des données. 3.4 Stratégie relative à l évaluation Détermination des questions et enjeux relatifs à l évaluation a. Objet L élaboration d une stratégie d évaluation adéquate à l égard de la politique, du programme ou de l initiative représente une composante essentielle du cadre de gestion et de responsabilisation axé sur les résultats. L évaluation fournit l occasion d examiner périodiquement et en détail l évolution de la politique, du programme ou de l initiative. L évaluation doit, en premier lieu, permettre d apporter des améliorations qui faciliteront l atteinte des résultats prévus, ou de déterminer la mesure dans laquelle la politique, le programme ou l initiative a permis d atteindre les résultats escomptés (c.-à-d. attribution). En règle générale, l évaluation est réalisée à deux moments précis du cycle de vie de la politique, du programme ou de l initiative : 23

24 la première évaluation survient tôt dans le cycle de vie d une politique, d un programme ou d une initiative (le plus souvent au cours des deux premières années); on vise dans ce cas à examiner comment la politique, le programme ou l initiative est mis en œuvre et quels ajustements sont nécessaires, et à vérifier si des progrès sont réalisés en vue de l atteinte des résultats (cette évaluation est fréquemment désignée évaluation formative ou de mi-mandat); la seconde évaluation est effectuée lorsque la politique, le programme ou l initiative existe depuis suffisamment de temps pour qu il soit réaliste de s attendre à ce que certains résultats aient déjà été atteints (en général dans les cinq années suivant le lancement de la politique, du programme ou de l initiative); elle vise à vérifier la mesure dans laquelle les résultats ont été atteints et à déterminer quelle a été la contribution de la politique, du programme ou de l initiative à l atteinte de ces résultats (souvent appelée évaluation sommative). La première démarche à accomplir dans l élaboration d une stratégie relative à l évaluation consiste à identifier les questions et enjeux connexes qui devront être abordés à l occasion des évaluations périodiques. La détermination de ces enjeux et questions fournit un guide à l égard de l élaboration de la stratégie; ce processus fait en sorte que toutes les questions essentielles ont été identifiées et qu elles seront abordées à l occasion des évaluations subséquentes. Par ailleurs, les questions identifiées seront par la suite utilisées pour élaborer un ensemble d exigences relatives aux données et des stratégies de collecte des données qui, à leur mise en œuvre, aideront les gestionnaires à s assurer que l information nécessaire à l évaluation est disponible au moment opportun. Pour ces raisons, la stratégie d évaluation doit être liée à la stratégie de mesure continue du rendement, puisque la mesure continue du rendement permettra de satisfaire à certaines exigences relatives aux données. Les enjeux liés à l évaluation représentent les thèmes généraux qu il faut examiner au cours du processus d évaluation, tandis que les questions liées à l évaluation représentent des questions de recherche plus spécifiques auxquelles il faudra répondre afin de pouvoir résoudre chaque enjeu. Les enjeux et questions peuvent faire partie d une évaluation formative, d une évaluation sommative ou des deux types d évaluation. Chaque politique, programme ou initiative comporte son propre ensemble d enjeux et son propre calendrier d évaluation. Par exemple, les initiatives devant être réalisées dans un délai restreint peuvent nécessiter une évaluation formative après seulement un an, tandis qu une telle évaluation pourrait avoir lieu, dans le cas des politiques, programmes ou initiatives à plus long terme, après deux ou trois ans d activité. 24

25 b. Processus Tel qu indiqué à l Appendice B : Normes d évaluation pour le gouvernement du Canada, de la Politique d évaluation du Conseil du Trésor, il faut tenir compte de trois principaux enjeux liés à l évaluation : Pertinence - Est-ce que la politique, le programme ou l initiative est toujours compatible avec les priorités du ministère et de l ensemble du gouvernement et répond véritablement à un besoin réel? Succès - Est-ce que la politique, le programme ou l initiative atteint ses résultats escomptés, sans dépassement de budget et sans effets indésirables? Est-ce que la politique, le programme ou l initiative fait des progrès dans l atteinte des résultats finaux? Rentabilité - Utilise-t-on les moyens les plus appropriés et les plus efficaces pour atteindre les résultats ou y aurait-il lieu d envisager d autres modes de conception et d exécution? Ainsi, pour chaque politique, programme ou initiative, il faut accorder une attention particulière aux principaux enjeux liés à l évaluation (pertinence, succès et rentabilité). Les enjeux associés à la pertinence peuvent viser à déterminer si la politique, le programme ou l initiative est la réponse la plus appropriée au besoin identifié. Ils peuvent également viser à vérifier si le besoin qui a donné lieu à la mise en œuvre de la politique, du programme ou de l initiative a changé. Les enjeux associés au succès visent à mesurer les résultats atteints dans la séquence des résultats présentée dans le modèle logique, ou encore à mesurer les progrès réalisés dans l atteinte des résultats finaux. De plus, il faut également évaluer la mesure dans laquelle la mise en œuvre de la politique, du programme ou de l initiative a entraîné des résultats positifs ou négatifs inattendus. La détermination de la rentabilité consiste à établir les liens entre les ressources utilisées et le rendement obtenu, sous forme d extrants et de résultats. De même, les questions liées à la mise en œuvre ou à la l exécution d une politique, d un programme ou d une initiative, doivent être examinées en regard des enjeux d évaluation. Ces questions visent à déterminer de quelle manière la politique, le programme ou l initiative est réellement mis en œuvre, comparativement à ce qui avait été prévu. Différents aspects du mode de prestation seront également abordés, tels que l évaluation des extrants et la portée (c.-à-d. la mesure dans laquelle les récipiendaires ciblés ont été atteints). L évaluation doit également aborder la pertinence de la stratégie de mesure du rendement. 25

26 Plusieurs méthodes peuvent être employées pour déterminer les enjeux et les questions d évaluation appropriés. L examen attentif des documents liés à la politique, au programme ou à l initiative est un excellent point de départ, puisqu il peut permettre de relever certains aspects que devrait aborder une évaluation. Par ailleurs, les entrevues menées auprès des gestionnaires, des concepteurs, du personnel et des principales parties intéressées permettront de déterminer quels sont les enjeux importants pour les personnes qui sont le plus étroitement associées à la politique, au programme ou à l initiative. Dès qu une liste complète des enjeux liés à l évaluation et des questions connexes a été créée, il faut procéder à l établissement des priorités pour s assurer que la liste finale des enjeux est raisonnable et réaliste. Comme il est improbable qu une évaluation puisse régler tous les enjeux et toutes les questions possibles, il importe d examiner la liste afin de distinguer les questions qui doivent absolument être abordées de celles qui ne sont pas essentielles (les questions pour lesquelles il serait «intéressant» d obtenir des réponses). Au moment d établir les priorités en ce qui concerne les enjeux liés à l évaluation, les gestionnaires doivent tenir compte de leurs considérations en matière de gestion du risque et déterminer les points qui exigent le plus d attention. Le processus d élaboration d un inventaire des questions d évaluation possibles et de détermination subséquente des questions prioritaires permettra de s assurer que l ensemble final de questions répond réellement aux principaux besoins des gestionnaires en matière d information et qu il est adéquat sur le plan du calendrier et des ressources. Un tel processus permet également de documenter tous les enjeux relatifs à l évaluation qui ont été examinés mais dont la priorité a été jugée insuffisante pour justifier leur inclusion dans le processus d évaluation de la politique, du programme ou de l initiative. c. Produit Un ensemble d enjeux et de questions qui, lorsqu elles auront été réglées, permettront d évaluer en profondeur la pertinence, le succès et la rentabilité d une politique, d un programme ou d une initiative, tout en fournissant aux gestionnaires des renseignements qui les aideront dans leur prise de décisions. 26

27 3.4.2 Détermination des exigences relatives aux données a. Objet L étape suivante dans l élaboration d une stratégie d évaluation consiste à identifier clairement les éléments d information clés qu il faut recueillir afin de pouvoir répondre à chacune des questions d évaluation. Il importe surtout à ce stade-ci d identifier toute exigence relative aux données d évaluation qui nécessite la collecte continue de données, de manière à s assurer que les données nécessaires seront disponibles au moment de l évaluation. b. Processus Les principaux outils nécessaires à la détermination des exigences relatives aux données d évaluation ont déjà été créés à la présente étape de l élaboration du cadre de gestion et de responsabilisation axé sur les résultats : il s agit de l ensemble d enjeux et de questions d évaluation. Le processus permettant de déterminer les exigences relatives aux données consiste à examiner l ensemble des enjeux et des questions d évaluation pour identifier quels éléments d information seraient nécessaires pour répondre à chaque question, et ainsi résoudre les enjeux. À cette étape-ci du processus, il s agit d identifier les exigences particulières relatives aux données sans aborder les stratégies de collecte de ces données (cette démarche fait l objet de l étape suivante). Il est important de comprendre le lien qui existe ici entre la stratégie de mesure du rendement et la stratégie d évaluation. L évaluation du succès vise à déterminer la mesure dans laquelle les résultats prévus ont été atteints. En ce sens, les exigences relatives aux données concernant ces questions se superposeront aux indicateurs déterminés à l égard des résultats, qui ont été élaborés pour la stratégie de mesure du rendement. Dès qu un ensemble complet d exigences relatives aux données a été déterminé, il faut sélectionner les exigences les plus pertinentes. Comme il a été expliqué plus tôt, les critères à considérer à l égard des exigences relatives aux données sont les suivants : la fiabilité, la validité et la crédibilité de l indicateur; 27

28 la rentabilité à l égard des coûts de collecte et de traitement; la pertinence de son lien avec l extrant ou le résultat en question. c. Produit Un ensemble raisonnable d exigences relatives aux données qui permet de faire correspondre les indicateurs à chaque question et enjeu associé à l évaluation Stratégie relative à la collecte des données a. Objet Une stratégie de mesure est nécessaire afin d établir un plan réaliste de collecte des données nécessaires aux fins de l évaluation. À la présente étape, les produits des activités précédentes associées à la stratégie d évaluation doivent être regroupés sous forme de tableaux récapitulatifs afin de structurer la stratégie. On trouvera à l annexe D un exemple de tableau récapitulatif adapté à une stratégie d évaluation. La stratégie de mesure décrit les attributs associés à la mesure des principales exigences relatives aux données qu il faut recueillir afin de pouvoir répondre aux questions relatives à l évaluation. Pour chaque exigence relative aux données, la stratégie de mesure doit indiquer clairement la source des données, la méthode de collecte ainsi que sa fréquence. Dans la mesure du possible, il faut également préciser les coûts relatifs à la collecte et à l analyse des données. Aux fins de l évaluation, la stratégie de mesure expose également le moment auquel il faut aborder des questions particulières (c.-à-d. au moment de l évaluation formative ou de l évaluation sommative) et précise si l information provenant de la mesure continue du rendement sera utilisée pour répondre à une question liée à l évaluation (principalement dans le contexte de l évaluation du succès). Bien que la mesure du rendement fournisse des données descriptives sur les résultats d une politique, d un programme ou d une initiative, l évaluation doit examiner les données sur le rendement plus en profondeur afin de pouvoir expliquer pourquoi les résultats ont ou n ont pas été atteints. Le processus d évaluation est ainsi plus complexe que le processus de mesure continue du rendement. 28

29 La stratégie de mesure aux fins de l évaluation doit aborder les enjeux plus précis reliés à la conception de la recherche et à l analyse qui permettent de déterminer dans quelle mesure la politique, le programme ou l initiative a réellement contribué à l atteinte des résultats. Par exemple, il est possible que la stratégie d évaluation doive intégrer les données recueillies provenant d un groupe témoin ne participant pas à la politique, au programme ou à l initiative de manière à évaluer les différences constatées chez les participants. Il peut également être nécessaire de recourir à des analyses statistiques complexes. La question de l attribution, qui vise à déterminer la mesure dans laquelle une politique, un programme ou une initiative a eu une incidence réelle, est l un des enjeux les plus difficiles à examiner. Pour cette raison, il est en général nécessaire de faire appel à des experts en méthodologie de la recherche afin de faciliter la préparation de cette composante de la stratégie d évaluation. 8 b. Processus L ensemble des exigences relatives aux données qui avaient été identifiées dans le cadre de la détermination des questions et enjeux liés à l évaluation sert de point de départ pour la présente étape de l élaboration du CGRR. Pour chaque exigence relatives aux données, plusieurs éléments doivent être déterminés : la méthode de collecte des données, le calendrier de la collecte (évaluation formative ou sommative) ainsi que la responsabilité à l égard de la collecte. Dans la mesure du possible, il faut préciser les coûts des activités de mesure dans le CGRR. Comme on l a indiqué auparavant dans la méthode, les exigences relatives aux données proviennent en général de l une de trois sources principales : données administratives : information déjà recueillie dans les dossiers et bases de données de la politique, du programme ou de l initiative, ou qui pourrait être recueillie en modifiant simplement les processus existants; 8 Pour plus de détails sur la conception des évaluations, consulter le document Méthodes d évaluation des programmes : Mesure et attribution des résultats des programmes, troisième édition, Secrétariat du Conseil du Trésor du Canada, disponible sur le site 29

30 données primaires : information qui doit être recueillie lors d activités de collecte spécialisées, telle que les groupes de discussion, la consultation d experts ou les sondages; données secondaires : utilisation de données qui avaient été recueillies à d autres fins, mais qui peuvent également servir dans le présent contexte, telles que les statistiques nationales sur la santé ou sur l économie. Au moment de sélectionner la méthode à utiliser, il faut également tenir compte du type de données requises (qualitatives ou quantitatives) ainsi que de la source des données (clientèle, grand public, dossiers, etc.). Il est important de reconnaître qu il puisse être nécessaire de recueillir certaines données requises aux fins de l évaluation sur une base continue. L exemple de tableau présenté à l annexe D comporte une colonne permettant de préciser les indicateurs qui devront être mesurés dans le cadre de la stratégie de surveillance continue afin d en assurer la disponibilité pour les activités d évaluation. Ainsi, l établissement d une stratégie de mesure continue du rendement doit également tenir compte des exigences relatives aux données aux fins de l évaluation. Comme on l a vu plus tôt, le calendrier de collecte des données compte normalement deux étapes: évaluation formative ou de mi-mandat, qui vise à déterminer quelles améliorations apportées à la politique, au programme ou à l initiative permettraient d accroître la probabilité que les résultats soient atteints; évaluation sommative, qui se déroule plus tard dans le cycle de vie de la politique, du programme ou de l initiative et vise plus précisément l atteinte des résultats. Le calendrier relatif à ces activités doit figurer dans le CGRR. c. Produit Une stratégie de mesure détaillée et réaliste indiquant quelles données seront recueillies, comment, par qui, à quel moment et à quel coût estimé, et décrivant les liens entre la collecte des données et les questions et enjeux particuliers liés à l évaluation. Cette composante servira de fondement aux activités d évaluation subséquentes liées à la politique, au programme ou à l initiative, dont l élaboration (c.-à-d. les considérations méthodologiques relatives à la collecte sporadique de données dans le cadre de certaines activités d évaluation) sera définie selon ce que dicte le calendrier d évaluation. 30

31 3.5 Stratégie en matière de rapports a. Objet La composante finale du cadre de gestion et de responsabilisation axé sur les résultats vise à assurer qu il existe des mécanismes pour rendre compte systématiquement des résultats des activités de mesure continue et d évaluation du rendement et que les engagements en matière de rapports sont satisfaits. Comme il existe de nombreux utilisateurs potentiels de ces informations, la stratégie en matière de rapports doit pouvoir répondre à tous les besoins de ces utilisateurs. Les utilisateurs potentiels des données sur le rendement sont notamment : les gestionnaires de la politique, du programme ou de l initiative, les organismes centraux et les parties intéressées (internes et externes). L information sera utilisée de façon différente selon le type d utilisateur et son utilisation pourrait s inscrire notamment dans la prise de décisions de gestion, la responsabilisation, la communication et le partage d information. b. Processus La plupart des politiques, programmes et initiatives exigent que l on fasse rapport de leurs progrès annuellement. Cette responsabilité offre une excellente occasion de comptabiliser les résultats de la mesure continue du rendement et de rendre compte régulièrement des progrès réalisés. De plus, la plupart des politiques, programmes et initiatives nécessitent des évaluations périodiques. Par exemple, dans le cas d une nouvelle initiative, il faut souvent réaliser une évaluation de mi-mandat peu de temps après la mise en œuvre, ainsi qu une évaluation sommative vers la fin de la période de financement. Au moment de rédiger la stratégie relative aux rapports, deux éléments clés doivent être identifiés et décrits : l autorité de gestion (ou des autorités, lorsqu il existe des partenaires multiples) responsable de faire rapport sur les données sur le rendement et les résultats de l évaluation; 31

32 le mécanisme (par exemple, rapports d étape annuels, rapports ministériels sur le rendement, évaluation de mi-mandat, évaluation sommative) et le calendrier de présentation des données sur le rendement au ministère principal (s il y a lieu), au Secrétariat du Conseil du Trésor, aux ministres du Conseil du Trésor et au Parlement. La stratégie relative aux rapports doit être résumée sous forme de tableau, comme dans l exemple illustré à la figure 3.3. FIGURE 3.3 Exemple de calendrier des rapports Activité de mesure des résultats Produit Date des rapports Mesure continue du rendement Rapport annuel sur le rendement fin de l année 1 fin de l année 2 fin de l année 3 fin de l année 4 Évaluation formative/de mi-mandat Rapport d évaluation formative/ de mi-mandat Année 3 Évaluation sommative Rapport d évaluation sommative Année 5 c. Produit Une stratégie claire relative aux rapports indiquant à quel moment les rapports sur la mesure continue du rendement et sur les évaluations périodiques doivent être produits, par qui et de quelle manière. 3.6 Mise en œuvre et examen La responsabilité de la mise en œuvre du CGRR incombe aux gestionnaires de la politique, du programme ou de l initiative. Les gestionnaires doivent opérationnaliser et surveiller la stratégie de mesure du rendement afin de s assurer non seulement qu elle progresse telle que prévue, mais aussi qu elle permet d obtenir des renseignements utiles. Les ajustements appropriés doivent être apportés au besoin aux activités de mesure du rendement afin de maximiser l utilité des données recueillies. Les rapports annuels sur le rendement et les études de l évaluation formative/de mi-mandat donnent aux gestionnaires l occasion de vérifier l efficacité de la stratégie de mesure du rendement, y compris le 32

33 mesure dans laquelle l information recueillie répond aux exigences relatives aux données. Il est donc recommandé de surveiller la stratégie de mesure du rendement à la lumière du plan stratégique (c.-à-d. la mise en œuvre de la politique, du programme ou de l initiative) et d incorporer l examen de ces activités de mesure à la stratégie relative aux rapports. En règle générale, la mesure du rendement est un processus itératif qui s appuie sur les expériences précédentes en matière de mesure du rendement pouvant être centrées principalement sur les extrants. Toutefois, les activités de mesure du rendement devraient normalement évoluer et se centrer davantage sur les résultats, rehaussant ainsi la reddition de comptes. 3.7 Conseils utiles Le processus d élaboration et de mise en œuvre des CGRR est relativement nouveau, et les données concernant la façon la plus efficace d accomplir ces activités commencent à peine à émerger. Le texte qui suit présente quelques conseils utiles tirés du travail d élaboration du CGRR accompli à ce jour : Miser sur le plan d activités ou le plan stratégique élaboré à l égard de la politique, du programme ou de l initiative. Faire participer les partenaires et les principales parties intéressées à la politique, au programme ou à l initiative. S assurer que la haute direction est tenue au courant des processus, et y participe. Former un groupe de travail composé de représentants de tous les domaines touchés par la politique, le programme ou l initiative, et maintenir la composition du groupe tout au long de l élaboration du CGRR. Obtenir des engagements clairs à l égard de l accomplissement des travaux et s assurer que des ressources suffisantes existent pour permettre l élaboration et la mise en œuvre du CGRR. Sélectionner les indicateurs en fonction des éléments qui fourniront l information de la meilleure qualité, et non pas en fonction des éléments les plus faciles à mettre en œuvre. Établir un ensemble réaliste d indicateurs et des stratégies de collecte de données. Examiner les activités de collecte de données régulièrement afin de s assurer que les données obtenues sont pertinentes et utiles. Utiliser une approche souple et adapter le CGRR au besoin. Reconnaître que le CGRR n a pas à être parfait. Aborder la mesure du rendement comme un processus itératif dans le cadre duquel la reddition de comptes s améliore avec le temps. 33

34 Annexe A LEXIQUE 34

35 CGRR Guide Août, 2001 LEXIQUE Gestion et responsabilisation axés sur les résultats Activité Opération ou démarche exécutée par une organisation et destinée à produire des extrants précis (p. ex., des produits ou services). Les activités font parties du premier chaînon de la progression vers l atteinte des résultats. (Activity) Attribution Assertion voulant que des événements ou des conditions peuvent, dans une certaine mesure, être causés ou influencés par d autres événements ou conditions. Cela signifie qu il est possible d établir un lien raisonnable entre un résultat particulier et les activités et extrants d une politique, d un programme ou d une initiative du gouvernement. (Attribution) But Énoncé général des résultats à atteindre au cours d une période donnée. Le terme but est approximativement équivalent à résultat stratégique. Par souci de précision technique, le SCT recommande d utiliser plutôt résultat stratégique au lieu de but (voir aussi objectif). (Goal) Cadre de gestion et de responsabilisation axé sur les résultats (CGRR) Le cadre de gestion et de responsabilisation axé sur les résultats (CGRR) sert comme plan directeur, aux gestionnaires, pour mesurer les résultats et en rendre compte tout au long du cycle de vie d une politique, d un programme ou d une initiative. (Results-based Management and Accountability Framework RMAF) Enchaînement de résultats (synonymes : modèle logique axé sur les résultats, séquence de résultats) La relation déterminante ou logique entre les activités, les extrants et les résultats d une politique, d un programme, ou d une initiative que ceux-ci sont censés produire. Habituellement présenté sous forme d organigramme. (Results Chain) FIGURE A - 1 ENCHAÎNEMENT DE RÉSULTATS ZONE DE CONTRÔLE INTERNE À l ORGANISATION ZONE D INFLUENCE EXTERNE À l ORGANISATION INTRANTS ACTIVITÉS EXTRANTS RÉSULTATS IMMÉDIATS (DIRECTES) RÉSULTATS INTERMÉDIAIRES (INDIRECTS) RÉSULTATS FINAUX FACTEURS EXTERNES EFFICIENCE EFFICACITÉ Effet Effet, tout comme impact, est un synonyme de résultat, bien que, les impacts présupposent habituellement une relation plus directe. Les deux termes (effet et impact) sont couramment utilisés, mais aucun d eux n a de caractère technique. Par souci de précision technique, le Secrétarait du Conseil du Trésor recommande d utiliser résultat plutôt que effet. (Effect) Efficacité Mesure dans laquelle une organisation, une politique, un programme ou une initiative produit les résultats prévus. Terme connexe : efficacité en fonction du coût Mesure dans laquelle une organisation, une politique, un programme ou une initiative produit les résultats prévus par rapport à la dépense en ressources. (Effectiveness) 35

36 CGRR Guide Août, 2001 Efficience Mesure dans laquelle une organisation, une politique, un programme ou une initiative produit les extrants prévus par rapport à la dépense en ressources. (Efficiency) Engagement en matière de service En règle générale, les engagements ou normes en matière de service établissent les objectifs de rendement à l égard de la prestation des services ou de la remise des produits gouvernementaux au public. Ces engagements précisent la qualité ou le niveau de service auquel s engage un ministère ou un organisme ou qu on est en droit d attendre de ce ministère ou de cet organisme. (Service Commitment) Énoncé de mission Déclaration formelle et publique exposant la raison d être d une organisation. L énoncé de mission est utilisé par la haute direction pour fixer les orientations et les valeurs de l organisation. (Mission Statement) Évaluation Cueillette et analyse systématiques de l information sur le rendement d une politique, d un programme ou d une initiative permettant de porter des jugements sur sa pertinence, ses progrès et succès, et son effacité en fonction du coût et/ou d éclairer des décisions sur la conception et la mise en œuvre de programmes. (Evaluation) Extrant Produit ou service direct provenant des activités d une politique, d un programme ou d une initiative, et livré à un groupe ou à une population cible. (Output) Des résultats pour les Canadiens et les Canadiennes Document clé décrivant le cadre de gestion du gouvernement du Canada, publié au début de On y expose les quatre engagements du gouvernement fédéral en matière de gestion : les services centrés sur les citoyens, les valeurs, les résultats et les dépenses judicieuses. (Results for Canadians) Gestion axée sur les résultats Une approche à la gestion qui est à la fois globale et basée sur le cycle de vie d une politique, d un programme ou d une initiative. Cette approche intègre la stratégie d ensemble, les gens, les processus et les mesures pour améliorer la prise de décision ainsi que pour influencer le changement. Elle se concentre sur l acquisition d un bon plan (tôt dans le processus), la mise en oeuvre des mesures de rendement, l apprentissage et l adaptation ainsi que la reddition de compte. (Results-based Management) Groupe cible (Population cible) Ensemble des personnes sur lesquelles une activité est censée exercer une influence. (Target Group) Impact Impact, tout comme effet, est un synonyme de résultat, bien que les impacts présupposent habituellement une relation plus directe. Les deux termes sont couramment utilisés, mais aucun d eux n a de caractère technique. Par souci de précision technique, le Secrétariat du Conseil du Trésor recommande d utiliser résultat plutôt que impact. (Impact) Indicateur Statistique ou paramètre qui, lorsqu il est suivi dans le temps, renseigne sur l évolution d un phénomène et porte une signification qui déborde celle qui est associée aux propriétés de la statistique même. (Indicator) Termes connexes : Indicateur comparable Indicateur fondé sur un niveau de référence commun, des définitions semblables, une approche comparable de collecte de données et un système compatible d élaboration de rapport. Ce terme est utilisé spécifiquement en relation avec l Entente-cadre pour l union sociale. (Comparable Indicator) Indicateur sociétal ou indicateur de société Indicateur utilisé pour mesurer l état de la société canadienne. Il sert à placer les réalisations ministérielles dans un contexte global de société et, en incluant les indicateurs de rendement, à orienter les décisions concernant les politiques, programmes et initiatives du gouvernement. (Societal Indicator) D autres indicateurs utilisés dans le contexte fédéral mais non définis incluent : les indicateurs du développement durable, les indicateurs environnementaux, etc. 36

37 CGRR Guide Août, 2001 Intrant Ressources (humaines, matérielles, financières, etc.) utilisées pour exécuter des activités, produire des extrants et/ou atteindre des résultats. (Input) Mesures du rendement Indicateur (quantitatif ou qualitatif) servant à déterminer jusqu à quel point une politique, un programme ou une initiative atteint ses résultats. (Performance Measures) Modèle logique (Également désigné modèle logique axé sur les résultats) Illustration de l enchaînement des résultats et des liens entre les activités d une politique, d un programme ou d une initiative et les résultats finaux. Habituellement présenté sous forme d organigramme. Voir Enchaînement de résultats. (Logic Model) Objectif Bénéfices durables et à long terme vers lequel les efforts sont déployés. Le terme est approximativement équivalent à résultat stratégique. Par souci de précision technique, le Secrétariat du Conseil du Trésor recommande d utiliser résultat stratégique. (Objective) Portée Concept représentant les personnes et les organisations ciblées et directement touchées par une politique, un programme ou une initiative. (Reach) Rapports ministériels sur le rendement (RMR) Les rapports ministériels sur le rendement, déposés chaque année à l automne par la présidente du Conseil du Trésor au nom de tous les ministères et organismes du gouvernement fédéral désignés dans les annexes I, I,1 et II de la Loi sur la gestion des finances publiques, font partie du processus du Budget des dépenses et du processus d attribution des crédits. Les rapports expliquent ce que le gouvernement a réalisé grâce aux ressources et autorisations qui lui ont été fournies par le Parlement. L information sur le rendement contenue dans ces rapports aide les députés à conseiller le gouvernement en matière d affectation des ressources en préparation du processus annuel d établissement du budget et d attribution des crédits qui se déroule au printemps. (Departmental Performance Reports DPR) Reddition de compte Présentation d information sur le rendement fondée sur les faits. Rendre compte sert à éclairer les décisions, à rencontrer les exigences de responsabilisation et sert de point de départ pour l engagement des citoyens et citoyennes et pour le dialogue des parlementaires sur le rendement. (Performance Reporting) Rapports sur les plans et les priorités (RPP) Rapports faisant partie du Budget principal des dépenses et qui renferment de l information sur les plans et le rendement attendu des ministères sur une période de trois ans. Ces rapports sont déposés au Parlement chaque année au printemps, après les discussions sur l attribution des ressources. On y trouve généralement de l information sur la mission ou le mandat, les stratégies ainsi que sur les résultats stratégiques et les engagements précis en matière de rendement. (Reports on Plans and Priorities RPP) Rendement Mesure dans laquelle une organisation, une politique, un programme ou une initiative atteint les résultats prévus. Ces résultats prévus sont comparés à des cibles, des normes ou des critères spécifiques. En gestion axée sur les résultats, le rendement est mesuré et analysé, communiqué et utilisé comme fondement des décisions en matière de gestion. (Performance) Responsabilisation Obligation de démontrer et d assumer ses responsabilités de rendement en fonction d attentes convenues. Ce concept diffère de la responsabilité, qui est l obligation d agir, alors que la responsabilisation est l obligation de répondre d une action. (Accountability) Résultat Conséquences attribuables aux activités d une organisation, d une politique, d un programme ou d une initiative. Ce terme général peut inclure à la fois les extrants produits et les résultats atteints par l organisation, la politique, le programme ou l initiative. (Result) Dans le plan fédéral de gestion axée sur les résultats et dans Des résultats pour les Canadiens et les Canadiennes, le terme résultat est plus spécifique et n inclut pas les extrants. Les résultats peuvent alors être décrits comme immédiats, intermédiaires ou finaux, directs ou indirects, voulus ou fortuits. (Outcome) 37

38 CGRR Guide Août, 2001 Résultat final Il s agit en règle générale, des résultats dont l atteinte nécessite plus de temps; ils sont soumis à des influences extérieures à la politique, au programme ou à l initiative, et peuvent se produire à un niveau plus stratégique. (Final Outcome) Résultats prévus (Cibles) Énoncé clair et concret des résultats à atteindre (comprenant les extrants et les résultats) au cours d un cycle de planification et de rapport de rendement parlementaire et ministériel (d un an à trois ans), permettant la comparaison avec les résultats obtenus. (Planned Results Targets) Résultat horizontal (Enjeu ou résultat collectif) Résultat réalisé par l apport d au moins deux ministères ou organismes, compétences ou organisations non gouvernementales. (Horizontal Result) Résultats stratégiques (Termes précédemment utilisés : résultats ministériels, objectifs stratégiques, principaux engagements en matière de résultats, résultats liés aux secteurs d activités) Bénéfices durables et à long terme pour les Canadiens et les Canadiennes qui découlent de la vision et des efforts du ministère. Ces résultats décrivent ce qu un ministère est mandaté d offrir aux Canadiens et aux Canadiennes. Dans la plupart des cas, ces résultats exigeront des ressources et des efforts soutenus de plusieurs partenaires et ce, pour une période prolongée. Plus important encore, le progrès vers ces résultats ne pourra se faire qu avec le leadership d un ministère ou d un organisme fédéral, conformément aux attentes des Canadiens et des Canadiennes. (Strategic Outcomes) Secteur d activités Un secteur d activités est un mécanisme pour associer l effort collectif et les ressources aux résultats stratégiques dans l ensemble de l organisation interne du ministère. Pour les plus petites agences, les secteurs d activités peuvent correspondre aux unités organisationnelles, mais pour les minstères plus gros et plus complexes, les secteurs d activités ont très peu de chances d être alignés sur leur structure organisationnelle. Les secteurs d activités fonctionnent en tant que forum pour établir l orientation, s assurer de la cohérence dans l exécution des programmes, établir des imputabilités claires pour les résultats à l ensemble des organisations internes, faire le suivi et la reddition de compte ainsi que pour donner un contexte commun pour l allocation des ressources aux résultats. (Business Line) Stratégie de mesure du rendement Sélection, développement et utilisation continue des mesures du rendement pour guider les décisions ministérielles. L étendue des informations provenant d une stratégie de mesure du rendement peut inclure : la portée, les extrants et les résultats, les mesures de rendement, les sources de données, la méthodologie et les coûts. (Performance Measurement Strategy) Structure de planification, de rapport et de responsabilisation (SPRR) La SPRR définit les activités fondamentales (secteurs d activités) d un organisme ainsi que sa responsabilisation, les principales mesures du rendement et l allocation des ressources. L objectif général de la politique sur la SPRR (qui a été approuvée par le SCT) est d offrir aux ministères et aux organismes des assises à partir desquelles ceux-ci pourront planifier et gérer. La SPRR devrait également favoriser la communication de l information sur le rendement aux parlementaires. (Planning, Reporting and Accountability Structure PRAS) Suivi du rendement Processus continu de cueillette d information permettant d évaluer la progression vers l atteinte des résultats stratégiques souhaités et prévus et, s il y a lieu, d émettre une mise en garde si le progrès n est pas tel que prévu. (Performance Monitoring) 38

39 CGRR Guide Août, 2001 Annexe B Critères d auto-évaluation 39

40 CGRR Guide Août, 2001 Critères d auto-évaluation du cadre de gestion et de responsabilisation axé sur les résultats L ensemble des critères qui suit a été élaboré pour servir de guide pour l auto-évaluation de la pertinence du contenu d un CGRR. Ces critères donnent une indication des éléments fondamentaux qui devraient se trouver sous chaque composante d un CGRR. Les auteurs devraient se reporter aux critères à mesure qu ils élaborent un CGRR afin de s assurer que leur document renfermera tous les éléments nécessaires, selon un niveau de détail suffisant. Les récipiendaires d un CGRR pourraient également utiliser ces critères pour déterminer si un CGRR donné satisfait aux exigences fondamentales. 1. Profil de la politique, du programme ou de l initiative (Rôles et responsabilités) Enjeux et exigences Critères 1. Origine et justification Le contexte de la politique, du programme ou de l initiative est clairement décrit. 2. Mandat et résultats stratégiques Le besoin est clairement défini et appuyé d une analyse courte et solide de l écart entre les conditions sociétales actuelles et celles recherchées. Les résultats stratégiques de la politique, du programme ou de l initiative sont clairement énoncés et sont conformes au mandat général de l organisation. 3. Gouvernance Les rôles et responsabilités sont établis au sein de la structure organisationnelle responsable de la politique, du programme ou de l initiative. Lorsqu il y a plusieurs partenaires, les rôles et responsabilités respectifs au chapitre de la responsabilisation (c est-à-dire les mesures de rendement et l évaluation) sont clairement définis. 4. Clientèles et populations cibles Identification des clientèles intermédiaires et finales visées par la politique, le programme ou l initiative. 5. Mode de prestation La manière dont la politique, le programme ou l initiative prévoit rejoindre sa clientèle ou population cible avec ses produits et services est bien formulée. 6. Résultats prévus Les résultats prévus s entendent des avantages que les ministères, et par extension les gestionnaires, se sont engagés à fournir aux Canadiens et aux Canadiennes ou à toute autre population cible pendant la période de financement. 7. Ressources Les ressources allouées à l organisation et aux partenaires chargés de la prestation pendant la période de financement, y compris les fonds distincts qu ils ont engagés, sont présentés. De plus, la manière dont ces fonds seront utilisés pour mettre en œuvre la politique, le programme ou l initiative pendant la période en question est exposée. 40

41 CGRR Guide Août, Liens (modèle logique) Enjeux et exigences Critères 1. Modèle logique La conception du programme décrit de manière plausible les liens entre les activités, les extrants et les résultats à tous les niveaux. La discussion concernant le modèle cerne clairement les facteurs qui tombent sous le contrôle et l influence de la politique, du programme ou de l initiative, et qui servent à atteindre les résultats finaux. 3. Stratégie de mesure du rendement Enjeux et exigences 1. Indicateurs de mesure du rendement 2. Méthodes de mesure du rendement 3. Tableaux de mesure du rendement Critères Le document définit les indicateurs qui serviront à mesurer le rendement, à l évaluer et à en rendre compte au cours de la période de financement (y compris les mesures de référence). Le document indique aussi les sources de données et les méthodes qui seront utilisées pour mesurer et analyser le rendement. Les tableaux fournissent une brève description des éléments ci-après pour chaque composante de la politique, du programme ou de l initiative déterminée dans le modèle logique : Activités principales (qu est-ce qui sera fait?) Extrants et résultats prévus (qu est-ce qui sera réalisé?) Indicateurs de rendement (comment serons-nous informés objectivement?) Sources de données (où trouverons-nous l information?) Méthodologie (comment se fera la mesure et l analyse, et à quel prix?) 4. Stratégie relative à l évaluation Enjeux et exigences Critères 1. Enjeux liés à l évaluation Les enjeux liés à l évaluation sont déterminés conformément aux exigences générales de la politique d évaluation (c.-à-d. le besoin de tenir compte de la pertinence, de la réussite et de la rentabilité) et aux liens qui les unissent au modèle logique. 2. Évaluation de mi-mandat (formative) Pour les politiques, programmes ou initiatives nouveaux ou considérablement modifiés, il est souvent indiqué d effectuer une étude d évaluation de mi-mandat (évaluation formative) pour examiner les enjeux de gestion (conception et mise en œuvre). S il est nécessaire de procéder à une telle évaluation, la date cible pour la publication du rapport d évaluation est précisée. 3. Évaluation finale (sommative) À une étape subséquente, il faut habituellement procéder à une étude d évaluation sommative pour traiter des enjeux liés à l évaluation, et la date cible pour la publication du rapport d évaluation est précisée. 41

42 CGRR Guide Août, Stratégie en matière de rapports Enjeux et exigences 1. Responsabilités en matière de rapports 2. Approche en matière de rapports Critères L autorité de gestion (ou les autorités lorsqu il y a plusieurs partenaires) chargée de faire rapport relativement aux données sur le rendement décrites dans les Tableaux de mesure du rendement est clairement établie. Dans le cas d initiatives interministérielles, la responsabilité pour la coordination des activités touchant les rapports et la préparation des rapports annuels (relevant normalement du ministère principalement responsable) est clairement définie. Le mécanisme et le calendrier pour la communication des données sur le rendement au ministère principalement responsable (le cas échéant), au SCT, aux ministres du CT ou au Parlement sont précisés. 6. Mise en œuvre et examen Enjeux et exigences Critères 1. Processus d examen (suivi) Un processus et un calendrier formels sont définis pour mener à bien les activités suivantes : mise en œuvre de la stratégie sur la mesure du rendement; surveillance des progrès réalisés dans la collecte de données sur le rendement et les rapports; examen et évaluation du caractère approprié de données sur le rendement disponibles; recommandations pour des rajustements ou des modifications au cadre (s il y a lieu). 42

43 CGRR Guide Août, 2001 Annexe C Exemple de tableau récapitulatif : Mesure continue du rendement 43

44 CGRR Guide Août, 2001 Exemple de tableau récapitulatif : Mesure continue du rendement Élément Indicateur de rendement Source des données et méthode de collecte Responsabilité à l égard de la collecte Calendrier et fréquence des mesures Mesure continue Évaluation formative Évaluation sommative Extrants Extrant 1 Extrant 2 Extrant 3 Extrant x Résultats Résultat immédiat 1 Résultat immédiat 2 Résultat immédiat x Résultat intermédiaire 1 Résultat intermédiaire 2 Résultat intermédiaire x Résultat final 1 Résultat final 2 Résultat final x 44

45 CGRR Guide Août, 2001 Annexe D Exemple de tableau récapitulatif : Stratégie relative à l évaluation 45

46 CGRR Guide Août, 2001 Exemple de tableau récapitulatif : Stratégie relative à l évaluation Enjeux concernant l évaluation Questions liées à l évaluation Indicateur Source des données et méthode de collecte Responsabilité à l égard de la collecte Calendrier et fréquence des mesures Surveillance continue Évaluation formative Évaluation sommative Justification Question liée à la justification 1 Question liée à la justification X Succès Question liée au succès 1 Question liée au succès 2 Question liée au succès 3 Question liée au succès X Rentabilité Question liée à la rentabilité 1 Question liée à la rentabilité 2 Question liée à la rentabilité X Alternatives (conception et prestation) Question liée aux alternatives 1 Question liée aux alternatives X 46