Guide d élaboration des cadres de gestion et de responsabilisation axés sur les résultats

Transcription

1 Guide d élaboration des cadres de gestion et de responsabilisation axés sur les résultats Août 2001 Secrétariat du Conseil du Trésor

2 CGRR Guide Août, 2001 TABLE DES MATIÈRES Section 1. Introduction au Cadre de gestion et de responsabilisation axé sur les résultats (CGRR) Qu est-ce qu un CGRR? Pourquoi faut-il un CGRR? Le continuum de la mesure des résultats Qui devrait participer à l élaboration d un CGRR? Quels sont les principes directeurs relatifs à ce processus?...9 Section 2. Composantes d un CGRR...10 Section 3. Étapes du processus d élaboration d un CGRR Profil Modèle logique Stratégie de mesure continue du rendement Détermination des indicateurs de rendement Stratégie de mesure du rendement Stratégie relative à l évaluation Détermination des questions et enjeux relatifs à l évaluation Détermination des exigences relatives aux données Stratégie relative à la collecte des données Stratégie en matière de rapports Mise en œuvre et examen Conseils utiles...33 ANNEXE A : ANNEXE B : ANNEXE C : ANNEXE D : Lexique Critères d auto-évaluation Exemple de tableau récapitulatif : mesure continue du rendement Exemple de tableau récapitulatif : stratégie relative à l évaluation ii

3 CGRR Guide Août, 2001 Section 1. Introduction au cadre de gestion et de responsabilisation axé sur les résultats Le présent guide aidera les gestionnaires et les spécialistes de l évaluation à établir les assises d un engagement ferme à l égard des résultats, l une des responsabilités fondamentales assumées par les gestionnaires de la fonction publique. Comme le précise le cadre de gestion du gouvernement fédéral, Des résultats pour les Canadiens et les Canadiennes, les gestionnaires de la fonction publique sont censés définir les résultats stratégiques, diriger leur attention sur l atteinte de ces résultats, mesurer le rendement de façon régulière et objective, tirer parti de l information recueillie et modifier leurs interventions afin d en accroître l efficience et l efficacité. Les gestionnaires utiliseront le cadre de gestion et de responsabilisation axé sur les résultats (CGRR) comme plan directeur pour mesurer les résultats et en rendre compte tout au long du cycle de vie d une politique, d un programme ou d une initiative. Le présent document décrit les différentes composantes du cadre et offre aux gestionnaires et spécialistes de l évaluation certains conseils qui les aideront dans leur préparation. 1.1 Qu est-ce qu un CGRR? Qu il soit associé à une politique, à un programme ou à une initiative, le cadre de gestion et de responsabilisation axé sur les résultats vise à aider les gestionnaires à: décrire clairement les rôles et les responsabilités des principaux partenaires qui participent à l exécution de la politique, du programme ou de l initiative, par l établissement d une structure de gouvernance saine; formuler un modèle clair et logique qui lie les ressources aux résultats prévus, par la définition d un modèle logique axé sur les résultats qui illustre une séquence logique d activités et d extrants ainsi qu un enchaînement de résultats à l égard de la politique, du programme ou de l initiative; déterminer les mesures du rendement appropriées et élaborer une stratégie de mesure du rendement saine qui leur permettra de suivre les progrès, de mesurer les résultats, d appuyer les travaux d évaluation subséquents, d apprendre des expériences passées et d apporter les ajustements nécessaires en vue d améliorer leurs interventions sur une base permanente; définir toute activité d évaluation qui devrait être réalisée tout au long du cycle de vie d une politique, d un programme ou d une initiative; 3

4 CGRR Guide Août, 2001 s assurer que les résultats font l objet de rapports adéquats. Lorsqu il est élaboré de façon appropriée, le cadre représente : une entente entre les partenaires quant aux résultats stratégiques, aux méthodes à employer pour les atteindre ainsi qu aux mécanismes à appliquer pour mesurer les résultats et en rendre compte; un outil permettant de faciliter la gestion, l apprentissage et la responsabilisation tout au long du cycle de vie d une politique, d un programme ou d une initiative; une indication précoce que la politique, le programme ou l initiative est organisé de façon logique (et comporte un engagement ferme à l égard des résultats) et présente de bonnes chances de réussite. 1.2 Pourquoi faut-il un CGRR? Selon le cadre de gestion du gouvernement fédéral, Des résultats pour les Canadiens et les Canadiennes, les gestionnaires sont censés diriger leur attention sur la mesure des progrès réalisés vers l atteinte des résultats de leurs politiques, programmes et initiatives, de manière à pouvoir constamment les améliorer. La Politique sur les paiements de transfert 1 du Conseil du Trésor (CT) formalise l obligation d inclure un CGRR dans les présentations au CT, et la Politique d évaluation 2 du CT précise les autres circonstances dans lesquelles un CGRR peut s avérer utile pour les gestionnaires, et ce même lorsque son élaboration n est pas exigée par la Politique sur les paiements de transfert. L orientation et la politique du gouvernement fédéral consistent à fournir aux députés et aux citoyens des renseignements pertinents, exacts, consolidés et opportuns sur l utilisation que le gouvernement fédéral fait de l argent des contribuables et sur les avantages que les Canadiens et les Canadiennes en retirent. Le gouvernement du Canada s est engagé non seulement à mesurer les résultats et à en rendre compte, mais également à fixer des normes claires auxquelles ces résultats seront comparés. Trois instruments parlementaires jouent un rôle crucial dans l atteinte de ces objectifs. Les rapports ministériels sur les plans et les priorités (RPP), qui sont déposés au Parlement au printemps en même temps que le Budget principal des dépenses, rendent compte des justifications à l égard des initiatives

5 CGRR Guide Août, 2001 mises en oeuvre et déterminent les résultats stratégiques auxquels le rendement réel sera comparé. Les rapports ministériels sur le rendement (RMR) sont des documents budgétaires déposés à l automne. Ils comparent les réalisations aux principaux résultats stratégiques qui avaient été initialement établis dans le RPP du ministère. Le troisième document essentiel, Une gestion axée sur les résultats, est également déposé à l automne de concert avec les RMR, dans le cadre des «rapports présentés à l automne». Ce document pangouvernemental sur le rendement fait maintenant l objet d une réorientation de manière à rendre compte des réalisations canadiennes au moyen d une série d indicateurs sociétaux clés. Ces trois rapports sont déposés au Parlement par la présidente du Conseil du Trésor, et peuvent être soumis pour examen au comité permanent approprié de la Chambre des communes. La structure et l orientation des activités ministérielles de planification et de reddition des comptes sont fondées sur la structure de planification, de rapport et de responsabilisation (SPRR) d une organisation. La SPRR ministérielle, qui est un document approuvé par le Conseil du Trésor, fournit le cadre sur lequel s appuient l élaboration des RPP et des RMR et l affectation des ressources à la plupart des organisations fédérales. Le SPRR exige des ministères et des organismes qu ils définissent clairement les résultats conjoints qu ils souhaitent atteindre au nom des Canadiens et des Canadiennes. Le CGRR doit être préparé dès que les travaux relatifs à une politique, un programme ou une initiative sont entrepris, de préférence au moment où sont prises les décisions concernant leur structure et leur mode de prestation. Lorsque le CGRR est intégré à une présentation au Conseil du Trésor, les approbations sont implicites. Par contre, les CGRR préparés hors du cadre de présentation au Conseil du Trésor sont assujettis à un processus d approbation, puisque le CGRR représente un engagement ferme à l égard de la mesure des résultats et des rapports connexes. Dans le but de mieux s acquitter de leur engagement, pris en vertu de l Entente cadre sur l union sociale (ECUS) 3, d améliorer la reddition de comptes et la transparence envers les Canadiens et les Canadiennes, les gestionnaires devraient consulter le Modèle de responsabilisation de l ECUS 4 lorsqu ils élaborent des cadres de gestion et de responsabilisation axés sur les resultats. Ce modèle exhaustif, qui couvre tous les aspects des dispositions de l ECUS en matière de responsabilisation, sera utilisé pour la mise en œuvre d un projet pilote en appui aux engagements du gouvernement fédéral dans ce domaine

6 CGRR Guide Août, 2001 Bien que les CGRR répondent généralement à la majeure partie des exigences du modèle de l ECUS, il y aurait peut-être lieu d examiner certains domaines spécifiques, notamment : les mécanismes ayant pour but d obtenir l engagement des Canadiens et des Canadiennes dans l élaboration et l examen des politiques sociales et de leurs résultats; l établissement de procédures permettant aux Canadiens et Canadiennes de faire appel de certaines pratiques administratives; l utilisation d indicateurs comparables, le cas échéant; l évaluation de la façon dont les Canadiens et Canadiennes perçoivent la contribution du gouvernement fédéral à des politiques, programmes et initiatives. 1.3 Le continuum de la mesure des résultats La mesure des résultats n est pas une activité isolée. Elle s inscrit plutôt dans un processus qui débute avec l élaboration d une politique, d un programme ou d une initiative et qui évolue avec le temps. Diverses activités de la mesure des résultats se déroulent à des moments précis, mais elles font toujours partie de la gestion permanente d une politique, d un programme ou d une initiative. Ce continuum, qui va de l étude initiale de la mesure du rendement à la réalisation des évaluations formative et sommative, en passant par la surveillance du rendement, est illustré à la figure 1.1. Le diagramme présente une vue d ensemble des principales étapes du processus d élaboration des mesures du rendement touchant une politique, un programme ou une initiative. Bien que le processus soit illustré ici sous forme linéaire, on notera que le processus d élaboration des mesures du rendement est itératif, et que l examen et la rétroaction constituent des éléments importants du processus. L élaboration d un CGRR fait appel aux étapes 0 à 3 du continuum : il s agit essentiellement de déterminer les engagements à l égard de la mesure des résultats. Toutefois, cette activité ne constitue pas une fin en soi. La capacité de mesurer les résultats et d en rendre compte nécessite la «mise en œuvre» du CGRR étapes 4 à 6 et établit les bases des activités d évaluation étapes 7 et 8. Bien que les gestionnaires de programme soient responsables du processus et doivent participer étroitement à toutes les étapes, la plupart des organisations disposent de spécialistes qui pourraient contribuer à l élaboration et à la mise en œuvre des activités de mesure des résultats. En particulier, les évaluateurs, qui jouent un rôle essentiel aux étapes 7 et 8, peuvent également se révéler utiles à titre de facilitateurs aux étapes 0, 1 et 2. De même, les spécialistes de la gestion de l information peuvent agir à 6

7 CGRR Guide Août, 2001 titre de principaux conseillers aux étapes 3 et 4. Ces rôles sont décrits plus en détail plus loin dans le présent Guide. 1.4 Qui devrait participer à l élaboration d un CGRR? Trois groupes clés participent à l élaboration et à la mise en œuvre des cadres de gestion et de responsabilisation axés sur les résultats : les gestionnaires, les spécialistes de l évaluation et, lorsque le CGRR accompagne une présentation au Conseil du Trésor, les analystes du Secrétariat du Conseil du Trésor du Canada (SCT). Les gestionnaires assument la responsabilité principale à l égard de l élaboration du CGRR : il incombe aux gestionnaires de s assurer que le contenu du cadre est exact et qu il reflète bien la structure et le mode de fonctionnement de la politique, du programme ou de l initiative, ainsi que toutes les exigences en matière de rapports; les gestionnaires sont responsables de la mise en œuvre du CGRR, c est-à-dire qu ils s assurent que les données sont recueillies et font l objet des rapports appropriés. Les spécialistes de l évaluation peuvent fournir un soutien efficace aux gestionnaires dans ce processus : en collaboration avec les gestionnaires, les évaluateurs peuvent fournir des conseils importants et une expertise technique tout au long de l élaboration et de la mise en œuvre du CGRR; les évaluateurs sont bien placés pour participer à l élaboration du modèle logique, pour faciliter la mise au point d un ensemble approprié de mesures du rendement et pour donner des conseils sur les principales questions de méthodologie et d évaluation inhérentes aux stratégies de mesure et d évaluation du rendement. Lorsqu un CGRR est élaboré pour satisfaire à un engagement du Conseil du Trésor, les analystes du Secrétariat du Conseil du Trésor peuvent conseiller les gestionnaires et les évaluateurs ministériels à l égard des exigences générales associées au cadre, avant que celui-ci ne soit approuvé par le ministre et présenté au Conseil du Trésor. En conséquence, il peut être utile de consulter ce groupe au cours de la préparation du CGRR. 7

8 CGRR Guide Août, 2001 FIGURE 1.1 Le continuum de la mesure des résultats Principales étapes de l élaboration et de la mise en œuvre d une politique, d un programme ou d une initiative Rétroaction Compréhension de la mesure du rendement Profil du programme Modèle logique clarification Résultats stratégiques Formulation des mesures du rendement Établissement d une stratégie appropriée de collecte des données Mise au point d un système d information et collecte des données Mesure et rapport sur le rendement Examen, évaluation et modification Évaluation formative questions relatives à la gestion Évaluation sommative questions fondamentales touchant le programme TEMPS Principales questions touchant l évaluation 8

9 1.5 Quels sont les principes directeurs relatifs à ce processus? L élaboration et la mise en œuvre d un cadre de gestion et de responsabilisation axé sur les résultats doivent respecter les principes directeurs suivants : utilité s assurer que les gestionnaires puissent utiliser le cadre pour expliquer leurs politiques, programmes et initiatives aux Canadiens et aux Canadiennes et pour mettre en œuvre des méthodes saines de mesure du rendement et de gérer en fonction des résultats; sentiment d appartenance satisfaire aux besoins de toutes les parties intéressées et s assurer que les besoins en information des gestionnaires ainsi que les exigences formelles en matière de responsabilisation sont remplis, et ce avec la participation active des gestionnaires; transparence s assurer que toutes les parties intéressées comprennent quels sont les résultats prévus, comment ils seront mesurés et à quel moment; orientation privilégiant la décision et l action s assurer que l information dont les gestionnaires et les autres parties intéressées ont besoin est disponible au moment où sont prises les décisions importantes; crédibilité s assurer que les normes professionnelles 5 sont respectées et que le cadre renferme des engagements en matière de mesure du rendement et de rapports réalistes; souplesse afin de s adapter au contexte mouvant dans lequel évoluent les politiques, programmes et initiatives, le cadre doit être réévalué régulièrement et modifié au besoin. Bien que la longueur des CGRR ne soit pas déterminée, le document final sera le plus utile s il renferme une courte présentation de chaque composante importante. Un cadre pourrait compter au minimum de 10 à 15 pages et, de préférence, au maximum de 30 à 35 pages. Les gestionnaires doivent exercer leur jugement au moment de déterminer le niveau de détail nécessaire, en se demandant par exemple si l information existe déjà dans un autre document (auquel cas l information sera simplement résumée dans le présent document) et en maximisant la probabilité d utilisation du document (en limitant sa longueur à une taille raisonnable). On trouvera aux sections suivantes la description des différentes composantes d un CGRR ainsi que les principales étapes de leur élaboration. Les principaux concepts, tirés d un lexique produit par le CT sur 5 Voir par exemple, Appendice B : Normes d évaluation pour le gouvernement du Canada, de la Politique d évaluation du Conseil du Trésor. 9

10 les termes à employer dans le contexte de la mesure et de l évaluation du rendement, sont présentés à l annexe A. Section 2. Composantes d un CGRR Le cadre de gestion et de responsabilisation axé sur les résultats répond à la fois aux exigences en matière de mesure continue du rendement et à la nécessité de procéder à une planification de l évaluation à plus long terme. En pratique, le cadre permet d incorporer les principes de la mesure et de l évaluation du rendement à toutes les étapes de la gestion d une politique, d un programme ou d une initiative. Le cadre de gestion et de responsabilisation axé sur les résultats comporte plusieurs composantes : 1. Profil description concise de la politique, du programme ou de l initiative, comprenant une description du contexte, de la nature des besoins, de la clientèle cible, du mode de prestation, des ressources nécessaires, de la structure de gouvernance et des résultats prévus. 2. Modèle logique illustration de l enchaînement de résultats et des liens entre les activités d une politique, d un programme ou d une initiative et les résultats finaux Stratégie de mesure continue du rendement plan relatif à la mesure continue du rendement, y compris la détermination des indicateurs de rendement à l égard des extrants et des résultats dans le modèle logique et stratégie décrivant comment ces indicateurs seront mesurés, à quelle fréquence et à quel coût. 4. Stratégie relative à l évaluation plan d évaluation de la politique, du programme ou de l initiative, y compris la détermination des questions et enjeux relatifs aux évaluations formative et sommative, la détermination des exigences relatives aux données et la stratégie de collecte des données qui servira d assise aux activités d évaluation subséquentes. 5. Stratégie relative aux rapports plan visant à rendre compte systématiquement des résultats liés à la mesure continue et à l évaluation du rendement, afin de garantir que toutes les exigences en matière de rapports sont satisfaites. La section suivante décrit la raison d être de chaque composante, le processus d élaboration suggéré ainsi que le résultat prévu de ce processus. 6 Remarque : Le terme «final» est employé dans le présent Guide pour désigner les résultats globaux à long terme d une politique, d un programme ou d une initiative. 10

11 Section 3. Étapes du processus d élaboration d un CGRR La préparation d un cadre de gestion et de responsabilisation axé sur les résultats fait appel à un processus systématique et méthodique dans le cadre duquel il faut tenir compte des différents aspects de la politique, du programme ou de l initiative et de son rendement. La présente section du Guide présente aux gestionnaires et aux spécialistes de l évaluation les étapes distinctes de ce processus. Le résultat de chaque étape est un élément clé du cadre final. Les critères d auto-évaluation du cadre de gestion et de responsabilisation axé sur les résultats sont présentés à l annexe B. L utilisation de ces critères aidera à décider du contenu et du degré d exhaustivité du cadre. Les analystes du SCT utiliseront ces critères pour évaluer les CGRR présentés au CT. 3.1 Profil a. Objet Cette section du CGRR décrit de façon concise la politique, le programme ou l initiative. La description fournie doit permettre à un lecteur externe de comprendre clairement les objectifs visés par la politique, le programme ou l initiative et d évaluer les mesures envisagées pour atteindre ces objectifs. Cette exigence nécessite entre autres de bien définir le contexte. Ainsi, le profil doit comprendre une brève description de ce qui suit : l origine de la politique, du programme ou de l initiative et une indication des besoins que la politique, le programme ou l initiative est censé satisfaire; le mode de prestation, y compris un énoncé clair des rôles et responsabilités des principaux partenaires et la description des moyens employés pour s assurer que la politique, le programme ou l initiative atteint bien sa clientèle cible; les ressources affectées à l organisation pendant la période de financement et la description de la manière dont les fonds seront utilisés pour mettre en œuvre la politique, le programme ou l initiative au cours de cette période; les principaux bénéficiaires visés (les clientèles ou populations cibles); les résultats prévus (les avantages que les ministères se sont engagés à fournir au cours de la période de financement); 11

12 les résultats finaux à atteindre (qui pourraient également être des résultats stratégiques), ou les avantages à fournir aux citoyens au moyen de la politique, du programme ou de l initiative; la structure de gouvernance, du point de vue de la responsabilisation et plus particulièrement dans le contexte des politiques, programmes ou initiatives comportant plusieurs partenaires. Quelles sont les principales parties intéressées et quels sont leurs responsabilités et rôles respectifs? b. Processus La majeure partie du travail requis pour mener à terme le profil est réalisée au cours de la préparation des documents de planification initiaux de la politique, du programme ou de l initiative. Ainsi, le processus d élaboration du profil consiste souvent à examiner la documentation disponible, y compris les plans d activités et les protocoles d entente. Toutefois, il est probable que certains renseignements nécessaires n auront pas été produits pour ces autres documents et devront être préparés au cours du processus d élaboration du profil. Il faut consulter les gestionnaires, les concepteurs et le personnel responsable de la prestation, ainsi que toute autre partie intéressée bien informée, au moyen d entrevues ou d autres méthodes. Ces consultations permettent de déterminer si le profil «axé sur des documents» correspond au profil «fondé sur la réalité», selon les personnes intéressées qui connaissent le mieux la situation. Ainsi, il sera plus facile de préciser si des modifications ont été apportées à la structure de la politique, du programme ou de l initiative, ou encore en ce qui a trait à la clientèle cible au cours de la mise en œuvre, et si tous les partenaires s entendent sur les résultats stratégiques. Par ailleurs, ces consultations peuvent aider à combler les lacunes qui existent au chapitre de l information nécessaire eu égard au profil. c. Produit Le profil doit prendre la forme d une description concise de la politique, du programme ou de l initiative qui permettra à un lecteur externe de bien comprendre sans équivoque les résultats stratégiques, les justifications, les ressources affectées et la nature de la population cible. Il doit également décrire clairement la stratégie retenue en matière de prestation ainsi que la structure de gouvernance applicable à la politique, au programme ou à l initiative. 12

13 3.2 Modèle logique a. Objet Un modèle logique identifie les liens entre les activités accomplies dans le cadre d une politique, d un programme ou d une initiative et l atteinte des résultats. Il décrit de façon succincte l ensemble des activités qui composent la politique, le programme ou l initiative et la séquence des résultats qui devraient découler de ces activités. Le modèle logique sert de «feuille de route»; il illustre l enchaînement des résultats qui relie les activités aux résultats finaux, et identifie par conséquent les étapes à franchir pour atteindre ces résultats. Le modèle logique est un outil aux usages multiples : il sert à clarifier, à l intention des gestionnaires et du personnel, les liens qui existent entre les activités, les extrants et les résultats prévus de la politique, du programme ou de l initiative. Ce faisant, le modèle logique permet de clarifier et de distinguer les résultats immédiats, intermédiaires et finaux; il permet de communiquer aux personnes extérieures au projet les justifications, les activités et les résultats prévus de la politique, du programme ou de l initiative; il permet de vérifier si la politique, le programme ou l initiative est «réaliste» d un point de vue logique; il sert à établir l assise fondamentale sur laquelle les stratégies de mesure et d évaluation du rendement sont fondées (c.-à-d. établir les déterminants du succès). b. Processus Le processus recommandé à l égard de l élaboration du modèle logique consiste à entreprendre un travail méthodique, interactif et inclusif avec le personnel spécialisé dans le domaine. Les gestionnaires devraient collaborer avec les spécialistes de l évaluation de leur ministère ou organisme à l élaboration du modèle logique. La maîtrise du domaine visé par la politique, le programme ou l initiative, associée à l expérience qu ont acquise les évaluateurs relativement au modèle logique, permettent d élaborer un tel modèle de façon efficace et opportune. Afin d élaborer un modèle logique, il est nécessaire d identifier chacune des composantes suivantes : Activités Quelles sont les principales activités auxquelles le personnel participe dans le cadre de la politique, du programme ou de l initiative? Autrement dit, quelles sont 13

14 les principales activités visant à contribuer à l atteinte des résultats (par opposition aux activités administratives qui sont entreprises en vue d établir l infrastructure de la politique, du programme ou de l initiative)? Extrants Quels sont les extrants des activités principales? En d autres mots, qu est-ce qui démontre que les activités ont bien été entreprises? Les extrants correspondent aux produits ou services générés par les activités; ils sont la preuve que l activité a réellement eu lieu. Résultats immédiats Quels sont les résultats à court terme découlant des activités et des extrants? En règle générale, dans un modèle logique, un mot d action est associé aux résultats (par exemple, «accru» ou «amélioré»), qui représentent les conséquences prévues des activités et des extrants. Résultats intermédiaires Quels sont les maillons subséquents dans l enchaînement de résultats qui découlent des activités et des extrants et se produisent après l atteinte des résultats immédiats? Il s agit en quelque sorte des résultats à moyen terme. Résultats finaux Quels sont les tout derniers résultats prévus de la politique, du programme ou de l initiative; ou encore, pour quelle raison ces activités ont-elles été entreprises? Il s agit en règle générale des résultats dont l atteinte nécessite plus de temps; ils sont soumis à des influences extérieures à la politique, au programme ou à l initiative et peuvent se produire à un niveau plus stratégique. Il importe de comprendre que le modèle logique décrit sous forme de diagramme la logique théorique d une politique, d un programme ou d une initiative, c est-à-dire qu il décrit comment un ensemble d activités est censé donner lieu aux résultats prévus. Toutefois, certains éléments des politiques et des initiatives ne sont pas, en règle générale, intégrés au modèle logique, notamment : les détails opérationnels particuliers, étape par étape, du mode d exécution d une politique, d un programme ou d une initiative; les activités organisationnelles ou liées à l infrastructure, qui sont également centrées sur le processus et qui comprennent des activités telles que l embauche de personnel, l achat d équipement et l exécution des responsabilités; bien qu il s agisse d activités de programme essentielles, elles ne font pas partie du modèle logique. Pour élaborer un modèle logique, l équipe doit identifier, l un après l autre, les principaux éléments de chaque composante du modèle. Une méthode efficace consiste à concevoir le modèle à l occasion d une séance de travail d équipe, animée par un spécialiste de l évaluation. Ainsi, des personnes ayant des points de vue divers pourront contribuer à l élaboration du modèle. Selon la complexité de la politique, du programme ou de l initiative, l élaboration d un modèle complet pourrait nécessiter une séance de travail d un ou deux jours. Ainsi, le produit final traduira une compréhension commune de la logique sous-jacente de la politique, du programme ou de l initiative. 14

15 Il existe de nombreux styles de présentation de modèles logiques, et chaque organisation devrait utiliser le format qui convient le mieux à son auditoire interne. La souplesse est primodiale, en autant que les composantes essentielles du modèle logique sont présentes (c.-à-d. activités, extrants et résultats). Par exemple, une organisation pourrait choisir de présenter son modèle logique sous la forme d un tableau plutôt que d un organigramme (figure 3.1). De même, il n existe pas de nombre précis de niveaux de résultats à présenter. Bien que de nombreux modèles logiques présentent les trois niveaux illustrés cidessous (immédiat, intermédiaire et final), certains peuvent en comporter seulement deux, tandis que d autres en comporteront davantage. Le facteur déterminant réside dans la capacité du modèle logique à illustrer adéquatement la séquence de résultats découlant des activités et des extrants. Les figures 3.1 et 3.2 ci-après présentent deux formats possibles de modèle logique. FIGURE 3.1 Modèle logique de type «organigramme» Activités ACTIVITÉ 1 ACTIVITÉ 2 ACTIVITÉ 3 ACTIVITÉ 4 Extrants EXTRANT 1 EXTRANT 2 EXTRANT 3 EXTRANT 4 Résultats immédiats RÉSULTAT IMMÉDIAT 1 RÉSULTAT IMMÉDIAT 2 RÉSULTAT IMMÉDIAT 3 RÉSULTAT IMMÉDIAT4 Résultats intermédiaires RÉSULTAT INTERMÉDIAIRE 1 RÉSULTAT INTERMÉDIAIRE 2 RÉSULTAT INTERMÉDIAIRE 3 Résultats finaux RÉSULTAT FINAL 1 15

16 Le format illustré à la figure 3.1 vise à présenter l information du modèle logique dans un diagramme ressemblant à un organigramme. Sous cette forme, chaque composante occupe un rang du modèle. L enchaînement prévu des événements, des activités jusqu aux résultats finaux, est illustré par les lignes reliant les boîtes. S ils utilisent cette approche de l élaboration d un modèle logique, les membres de l équipe s adonneront individuellement en premier lieu à une séance de «remue-méninges» afin de définir ce qu ils jugent être les activités principales de leur politique, programme ou initiative. Les résultats de cette séance de remueméninges seront ensuite partagés et discutés en groupe, et un ensemble final d activités convenues mutuellement sera placé dans le premier rang du modèle. Ce rang correspond au rang supérieur illustré à la figure 3.1. Ensuite, les membres de l équipe se livreront à une nouvelle séance individuelle de remue-méninges afin d identifier les extrants associés à chacune des activités déjà répertoriées de la politique, du programme ou de l initiative. Une activité peut comporter divers extrants (biens et services, ou autres produits de l activité), et un ensemble d extrants sera associé à chaque activité figurant dans le premier rang. Encore une fois, les résultats de la séance individuelle de remue-méninges seront partagés et discutés en groupe, et l ensemble final des extrants sera ajouté au modèle, dans le second rang. Ce processus est répété pour chaque composante subséquente, et notamment pour les résultats immédiats et intermédiaires. Ainsi, les participants s interrogent sur les premiers résultats qu ils s attendent à voir se réaliser, en fonction des activités et des extrants. Après discussion et acceptation de ces premiers résultats, le groupe passe au niveau de résultats suivant dans l enchaînement des résultats. Enfin, le modèle logique se termine avec l identification des résultats finaux. Les expériences passées ont démontré qu il peut être plus utile pour certains groupes d entreprendre l élaboration du modèle logique en commençant par l identification des résultats finaux, donc en commençant par le dernier rang de l organigramme, en déterminant ensuite les activités pour enfin remplir le reste des rangs du centre. Chaque organisation ou groupe doit déterminer la méthode qui lui convient le mieux. Il peut être utile à ce stade-ci de consulter de nouveau l énoncé des principaux résultats stratégiques, qui figurent dans les documents de planification, afin de s assurer qu ils sont bien représentés dans le modèle logique. 16

17 En règle générale, l élaboration d un modèle logique de type «organigramme» (figure 3.1) sera plus aisée si les connexions entre les rangs sont ajoutées seulement après que toutes les composantes du modèle ont été identifiées. Ainsi, l étape finale consistera à déterminer les liens particuliers dans le modèle. Ces liens illustrent les connexions de cause à effet théoriques, des activités jusqu aux résultats. La figure 3.2 ci-dessous illustre un autre format de modèle logique. Cette approche décrit la logique d une politique, d un programme ou d une initiative au moyen d un «enchaînement de résultats». Il importe de noter qu un enchaînement de résultats peut comporter des intrants, des activités, des extrants et des résultats multiples. FIGURE 3.2 Modèle logique de type «enchaînement de résultats» ZONE DE CONTRÔLE INTERNE À L ORGANISATION Produits ou services atteignant les groupes externes ZONE D INFLUENCE EXTERNE À L ORGANISATION INTRANTS (RESSOURCES) ACTIVITÉS EXTRANTS RÉSULTATS IMMÉDIATS (DIRECTS) RÉSULTATS INTERMÉDIAIRES (INDIRECTS) RÉSULTATS FINAUX FACTEURS EXTERNES Le modèle logique doit être accompagné dans le CGRR d une courte explication décrivant ce que comporte chaque case du modèle, ainsi que d une brève discussion des facteurs externes ou environnementaux qui peuvent contribuer à l atteinte des résultats finaux par la politique, le programme ou l initiative. Cette discussion donne l occasion d identifier dans le modèle logique les résultats qui ne sont pas soumis à l influence ou au contrôle direct de la politique, du programme ou de l initiative, mais auxquels la politique, le programme ou l initiative contribue. Il est important de comprendre que l élaboration d un modèle logique est un processus itératif. Après avoir élaboré le modèle à l occasion des séances de travail de groupe, il sera utile d examiner le produit obtenu d un œil critique et d apporter toute modification jugée nécessaire. 17

18 Enfin, une fois le modèle élaboré, il peut être utile d obtenir les commentaires : de personnes qui connaissent bien la politique, le programme ou l initiative, mais qui n ont pas pris part à la séance de travail, afin de s assurer que tous les éléments nécessaires sont représentés dans le modèle; des spécialistes de l évaluation, afin de s assurer que les éléments du modèle sont appropriés. c. Produit Le produit final de ce processus est un modèle logique d une page identifiant clairement les liens entre les activités, les extrants et la séquence des résultats escomptés, les détails pertinents étant décrits dans les commentaires d accompagnement. Cette description succincte du fonctionnement d une politique, d un programme ou d une initiative et des résultats qui sont censés découler de ses activités deviendra une référence importante pour les étapes subséquentes de l élaboration du CGRR. Elle se révélera également utile à titre de produit autonome que pourront utiliser les gestionnaires ministériels pour définir le contexte et les justifications de leurs politiques, programmes et initiatives. 3.3 Stratégie de mesure continue du rendement Détermination des indicateurs de rendement a. Objet La mesure continue du rendement représente la collecte régulière de renseignements afin de vérifier l état d une politique, d un programme ou d une initiative à un moment donné. Elle peut servir à rendre compte de la situation concernant l atteinte des résultats prévus et des tendances en matière de rendement. L élaboration d une stratégie de mesure continue du rendement sera possible dans la mesure où sont clairement identifiés, dans le cadre du processus d élaboration du CGRR, les éléments d information clés à recueillir (c.-à-d. les indicateurs de rendement) qui permettront d évaluer les progrès de la politique, du programme ou de l initiative vers l atteinte de ses résultats finaux, tel qu ils sont décrits dans le modèle logique. 18

19 Plus précisément, les indicateurs de rendement doivent permettre de vérifier si un extrant a été produit ou si un résultat particulier a été atteint. La mesure continue du rendement fournit à intervalles réguliers des «bilans» sur le rendement d une politique, d un programme ou d une initiative. Grâce à cette activité de surveillance, la mesure continue du rendement agit comme un outil descriptif permettant de savoir comment évolue la politique, le programme ou l initiative. Il est important de comprendre que la mesure continue du rendement ne vise pas à décrire comment un résultat a été atteint ni pourquoi un résultat stratégique a été ou non réalisé. La description du «comment» et du «pourquoi» se fait à l étape de l évaluation, décrite plus en détail dans une section subséquente du présent Guide. L information liée à la mesure du rendement fournit aux gestionnaires les données dont ils ont besoin pour gérer leur politique, programme ou initiative sur une base continue. Cette information peut leur fournir l assurance que le projet se déroule bien comme prévu ou servir de premier avertissement lorsque les résultats prévus ne se produisent pas (ce qui pourrait inciter le gestionnaire à entreprendre des recherches additionnelles, par exemple à l aide d une évaluation, pour tenter de déterminer la nature du problème). La mesure et l évaluation du rendement sont inextricablement liées : la mesure continue du rendement peut être considérée comme une partie intégrante de l évaluation. L information découlant de la surveillance continue du rendement est utilisée dans les évaluations périodiques (dont l objet consiste à expliquer plus en profondeur les résultats atteints) de la politique, du programme ou de l initiative. On peut également considérer les commentaires de la clientèle ou les données sur le taux de satisfaction de la clientèle comme une forme particulière de mesure du rendement. Bien que le taux de satisfaction ne soit pas en soi, en général, considéré comme un résultat d une politique, d un programme ou d une initiative (il s agit davantage d une indication de la qualité d un extrant), l évaluation du taux de satisfaction de la clientèle peut fournir des renseignements précieux qui contribueront à l amélioration des politiques, programmes et initiatives, et accroître ainsi la probabilité que les résultats seront atteints. b. Processus Le principal outil nécessaire à la mise au point des indicateurs existe déjà à ce stade-ci de l élaboration du cadre de gestion et de responsabilisation axé sur les résultats : il s agit du modèle logique. Cet outil fait en 19

20 sorte que la stratégie de mesure du rendement est fondée sur une assise solide et logique, ce qui permet de vérifier la mesure dans laquelle les résultats de la politique, du programme et de l initiative sont censés être atteints. Le processus visant à déterminer les indicateurs de rendement potentiels consiste à passer en revue chaque rang du modèle logique, à l exception du rang des activités, et à déterminer quel élément d information ou donnée particulière serait nécessaire pour vérifier si l extrant a bien été produit ou si le résultat a bien été atteint. Par exemple : si l extrant est un type de document, l indicateur permettant de démontrer que cet extrant a bien été produit pourrait simplement être le nombre de documents produits. si un résultat immédiat est défini comme étant l accroissement de la sensibilisation à une question précise au sein d un groupe cible, l indicateur pourrait être le taux de sensibilisation réel, tel que mesuré au sein du groupe. Il est donc important, à cette étape, de tenir compte également de la portée de la politique, du programme ou de l initiative. Un indicateur de rendement peut être quantitatif (c est-à-dire fondé sur des chiffres ou des données objectives) ou qualitatif (information narrative ou subjective). Toutefois, à cette étape-ci de l élaboration du CGRR, il ne s agit pas de déterminer de quelle manière les indicateurs seront mesurés; cette opération est abordée dans l élaboration de la stratégie de mesure du rendement. Il s agit ici d identifier les éléments d information particuliers dont le gestionnaire aura besoin pour vérifier si un extrant a été produit ou si un résultat a été atteint. On trouvera à l annexe C un exemple de tableau pouvant servir à structurer et à présenter les indicateurs. c. Produit À ce stade-ci du processus, un ensemble concis d indicateurs de rendement est produit. À chaque extrant et résultat décrit dans le modèle logique doivent correspondre des indicateurs précis (par ex., de un à trois). Ces indicateurs joueront un rôle clé dans la stratégie de mesure continue du rendement. 20

21 3.3.2 Stratégie de mesure du rendement a. Objet Il est nécessaire de mettre en œuvre une stratégie de mesure du rendement afin d établir un plan réaliste de collecte des données nécessaires à l égard de la mesure continue du rendement. À la présente étape, les produits des activités précédentes devraient être consolidés sous forme de tableaux pour faciliter l élaboration de la stratégie. On trouvera un exemple de tableau à l annexe C (il est acceptable de modifier le tableau afin de l adapter aux besoins précis de l organisation 7 ). La stratégie de mesure du rendement expose les paramètres qui serviront à la mesure des principaux indicateurs de rendement. Pour chaque indicateur, la stratégie doit indiquer clairement la méthode, les responsables et la fréquence de la collecte de l information. Il faut aussi tenir compte de la nécessité de recueillir des données de référence pour certains indicateurs avant le début du projet. Les coûts prévus de la collecte et de l analyse des données doivent également figurer dans la stratégie. La mise en œuvre de la stratégie de mesure du rendement garantit que l information sur les résultats est disponible au moment opportun. Il est donc essentiel que l élaboration de la stratégie tienne compte des besoins des gestionnaires en matière d information ainsi que de leurs engagements en matière de responsabilisation et de rapports. b. Processus L ensemble d indicateurs de rendement identifié précédemment sert de point de départ pour la présente étape de l élaboration du CGRR. Pour chaque indicateur, plusieurs éléments doivent être déterminés : la source des données et la méthode de collecte, le calendrier et la fréquence de la collecte et enfin la responsabilité à l égard de la mesure du rendement. Dans la mesure du possible, il faut également préciser le coût des mesures, normalement en fonction de la méthodologie retenue, plutôt qu en fonction des indicateurs, puisqu une même méthodologie peut être employée pour recueillir l information sur plusieurs indicateurs. 7 On notera que le tableau offert en exemple comporte également des colonnes permettant d indiquer que certains résultats pourraient ne pas être convenablement mesurés dans le cadre de la mesure continue du rendement et devraient plutôt être évalués dans le cadre des activités d évaluation. 21

22 En ce qui concerne la méthode de collecte, les indicateurs de rendement proviennent en général de l une de trois sources principales : données administratives - information déjà recueillie dans les dossiers ou bases de données de la politique, du programme ou de l initiative, ou qui pourrait être recueillie en modifiant simplement les processus existants; données primaires - information qui doit être recueillie lors d activités de collecte spécialisées, telle que les groupes de discussion, la consultation d experts ou les sondages; données secondaires - utilisation de données qui avaient été recueillies à d autres fins, mais qui peuvent également servir dans le présent contexte, telles que les statistiques nationales sur la santé ou sur l économie. Pour sélectionner la méthode à employer, il convient également de tenir compte d autres facteurs tels que le type de données requises (qualitatives ou quantitatives) et la source particulière des données (clientèle, grand public, dossiers particuliers, documents de la politique, du programme ou de l initiative, etc.). Pour ce qui est du calendrier de la collecte des données, les indicateurs dont la mesure fait partie de la surveillance continue du rendement doivent être mesurés à intervalles réguliers (il faudra définir la notion «d intervalle régulier» pour chaque indicateur). Par exemple, il peut être nécessaire de recueillir certains indicateurs au moment de chaque transaction; tandis que d autres peuvent nécessiter une simple collecte annuelle. De plus, il faut signaler les indicateurs qui doivent être mesurés à titre d information de référence. On notera que les résultats finaux d une politique, d un programme ou d une initiative ne font habituellement pas partie des activités normales de mesure du rendement, puisqu il peut être difficile de les mesurer ou de les affecter à des activités précises. Après avoir déterminé un ensemble exhaustif d indicateurs de rendement et les stratégies de mesure connexes, il faut identifier un sous-groupe des indicateurs les plus appropriés. Les critères dont il faut tenir compte dans la sélection des indicateurs sont les suivants : la fiabilité, la validité et la crédibilité de l indicateur; la rentabilité à l égard des coûts de collecte et de traitement; la pertinence de son lien avec l extrant ou le résultat en question. Les spécialistes de l évaluation peuvent se révéler particulièrement utiles dans la détermination des indicateurs de rendement ainsi que dans la sélection des «meilleurs» indicateurs finaux. De même, les 22

23 responsables de la gestion de l information et des technologies de l information peuvent contribuer à ce processus, particulièrement dans les situations où la mise en œuvre de la stratégie de mesure continue du rendement nécessite la conception ou le remaniement d un système de données. La stratégie de mesure continue du rendement doit être liée à la mise en œuvre de la politique, du programme ou de l initiative. L élaboration de la stratégie doit également être fondée sur la reconnaissance de ce qui est jugé pratique et raisonnable sur le plan de la mise en œuvre. La stratégie de collecte de données la plus rigoureuse échouera si sa mise en œuvre est trop coûteuse ou nécessite trop de main-d œuvre. c. Produit À cette étape-ci de l élaboration du CGRR, le produit est une stratégie de mesure du rendement détaillée et réaliste qui décrit quelles données seront recueillies, de quelle manière (y compris par qui) et selon quel calendrier; elle décrit également les liens qui existent entre la collecte des données et les extrants et résultats dans le modèle logique. Enfin, elle précise les coûts prévus de la collecte des données. 3.4 Stratégie relative à l évaluation Détermination des questions et enjeux relatifs à l évaluation a. Objet L élaboration d une stratégie d évaluation adéquate à l égard de la politique, du programme ou de l initiative représente une composante essentielle du cadre de gestion et de responsabilisation axé sur les résultats. L évaluation fournit l occasion d examiner périodiquement et en détail l évolution de la politique, du programme ou de l initiative. L évaluation doit, en premier lieu, permettre d apporter des améliorations qui faciliteront l atteinte des résultats prévus, ou de déterminer la mesure dans laquelle la politique, le programme ou l initiative a permis d atteindre les résultats escomptés (c.-à-d. attribution). En règle générale, l évaluation est réalisée à deux moments précis du cycle de vie de la politique, du programme ou de l initiative : 23

24 la première évaluation survient tôt dans le cycle de vie d une politique, d un programme ou d une initiative (le plus souvent au cours des deux premières années); on vise dans ce cas à examiner comment la politique, le programme ou l initiative est mis en œuvre et quels ajustements sont nécessaires, et à vérifier si des progrès sont réalisés en vue de l atteinte des résultats (cette évaluation est fréquemment désignée évaluation formative ou de mi-mandat); la seconde évaluation est effectuée lorsque la politique, le programme ou l initiative existe depuis suffisamment de temps pour qu il soit réaliste de s attendre à ce que certains résultats aient déjà été atteints (en général dans les cinq années suivant le lancement de la politique, du programme ou de l initiative); elle vise à vérifier la mesure dans laquelle les résultats ont été atteints et à déterminer quelle a été la contribution de la politique, du programme ou de l initiative à l atteinte de ces résultats (souvent appelée évaluation sommative). La première démarche à accomplir dans l élaboration d une stratégie relative à l évaluation consiste à identifier les questions et enjeux connexes qui devront être abordés à l occasion des évaluations périodiques. La détermination de ces enjeux et questions fournit un guide à l égard de l élaboration de la stratégie; ce processus fait en sorte que toutes les questions essentielles ont été identifiées et qu elles seront abordées à l occasion des évaluations subséquentes. Par ailleurs, les questions identifiées seront par la suite utilisées pour élaborer un ensemble d exigences relatives aux données et des stratégies de collecte des données qui, à leur mise en œuvre, aideront les gestionnaires à s assurer que l information nécessaire à l évaluation est disponible au moment opportun. Pour ces raisons, la stratégie d évaluation doit être liée à la stratégie de mesure continue du rendement, puisque la mesure continue du rendement permettra de satisfaire à certaines exigences relatives aux données. Les enjeux liés à l évaluation représentent les thèmes généraux qu il faut examiner au cours du processus d évaluation, tandis que les questions liées à l évaluation représentent des questions de recherche plus spécifiques auxquelles il faudra répondre afin de pouvoir résoudre chaque enjeu. Les enjeux et questions peuvent faire partie d une évaluation formative, d une évaluation sommative ou des deux types d évaluation. Chaque politique, programme ou initiative comporte son propre ensemble d enjeux et son propre calendrier d évaluation. Par exemple, les initiatives devant être réalisées dans un délai restreint peuvent nécessiter une évaluation formative après seulement un an, tandis qu une telle évaluation pourrait avoir lieu, dans le cas des politiques, programmes ou initiatives à plus long terme, après deux ou trois ans d activité. 24