Encourager l utilisation des résultats des évaluations.

Transcription

1 POLITIQUE " DIRECTIVE " PROCÉDURE " AUTRE " VOIR HISTORIQUE SI COCHÉ INSTITUTIONNELLE " SECTORIELLE No:ORG(121 RÉVISION " OUI NON Page1de11 1.& OBJECTIFS Le Curateur public du Québec consacre des efforts continus à l amélioration de ses services. Dans ce contexte, l évaluation de programme soutient la prise de décision par son regard analytique sur les interventions et par les données probantes qu elle fournit. Ce cadre de gestion vise à : Favoriser la stabilité et le développement de la fonction d évaluation de programme; Assurer le bon fonctionnement des activités d évaluation au Curateur public; Baliser la production d évaluations de qualité permettant de soutenir la prise de décision, de favoriser des interventions plus efficaces et efficientes, de mieux répondre aux besoins des personnes nécessitant une protection et à ceux des citoyens, ainsi que d éclairer la reddition de comptes; Encourager l utilisation des résultats des évaluations. 2.& L ÉVALUATION DE PROGRAMME 2.1.& Définitions des termes programme et évaluation de programme Le mot programme est considéré ici dans son sens le plus large, soit un ensemble d actions structurées pour atteindre des objectifs 1. La variété des interventions du Curateur public du Québec correspond donc à cette définition. Dans le contexte du Curateur public du Québec, les programmes sont désignés dans les différents documents qui décrivent et structurent les actions de l organisation (ex. : arbre fonctionnel, descriptions des phases des régimes de protection, politiques et procédures internes, etc.). On les retrouve notamment dans l enclenchement des mesures de protection, dans l information, dans la gestion des patrimoines, dans la réponse aux besoins des personnes inaptes et dans la surveillance des régimes de protection privés. 1.# Inspiré#de#OCDE#(2002)#:#Glossaire#des#principaux#termes#relatifs#à#l évaluation#et#la#gestion#axée#sur#les#résultats.

2 POLITIQUE " DIRECTIVE " PROCÉDURE " AUTRE " VOIR HISTORIQUE SI COCHÉ INSTITUTIONNELLE " SECTORIELLE No:ORG(121 RÉVISION " OUI NON Page2de11 Selon le Secrétariat du Conseil du trésor 2, «l évaluation de programme est une démarche rigoureuse de collecte et d analyse d information qui vise à porter un jugement sur un programme, une politique, un processus ou un projet pour aider à la prise de décision». Les évaluations cherchent à répondre à une ou à plusieurs des questions suivantes : - La pertinence : l intervention répond-elle toujours à un besoin? Les moyens utilisés sont-ils toujours appropriés? - L efficacité : les objectifs sont-ils atteints? - L efficience : quel est le lien entre les résultats observés et les ressources utilisées? - L impact : quels sont les impacts de l intervention sur la clientèle, sur l économie, sur la société? Les évaluations sont comparables à des travaux de recherche. Ainsi, une évaluation en tant que telle est précédée d un devis, communément appelé cadre d évaluation, qui spécifie notamment les questions à inscrire dans cette étude, ainsi que les méthodes de collecte des données et de leur analyse. 2.2.& Qualités des évaluations Les évaluations s appuient sur l utilisation de méthodes de recherche dans une perspective de prise de décision. Ces travaux doivent posséder les qualités 3 suivantes : Des questions et des recommandations réalistes qui s appliquent à la situation visée; L accès aux informations appropriées pour répondre à ces questions; La prise en compte de l intérêt des différents acteurs concernés (clientèle, haute direction, gestionnaires, personnel, partenaires); La fiabilité des résultats présentés (rigueur de la collecte de données et de leur analyse); 2.# Secrétariat#du#Conseil#du#trésor#(2002).#L évaluation#de#programme. 3.# Inspiré#de#Commission#européenne#(2000).#Guide#des#bonnes#pratiques#pour#la#gestion#de#la#fonction#évaluation.

3 POLITIQUE " DIRECTIVE " PROCÉDURE " AUTRE " VOIR HISTORIQUE SI COCHÉ INSTITUTIONNELLE " SECTORIELLE No:ORG(121 RÉVISION " OUI NON Page3de11 La transparence et l objectivité (le rapport d évaluation présente les conclusions de l évaluateur qui en est le signataire). 2.3.& Complémentarité avec d autres activités de gestion La gestion axée sur les résultats a comme point de départ la mesure des besoins et des attentes des citoyens. Elle décrit ensuite un cycle allant de la planification stratégique et opérationnelle, au suivi de l atteinte des résultats et jusqu à la reddition de comptes. En remettant en question la pertinence des interventions et en mesurant leur effet et leur rendement, l évaluation peut influencer la formulation des orientations, le choix des objectifs, voire le choix des moyens pour intervenir. La reddition de comptes permet de situer les résultats en regard des objectifs à atteindre. L évaluation aide à expliquer les écarts positifs ou négatifs observés par rapport à ces cibles. Elle cherche ainsi à renforcer la reddition de comptes en précisant la contribution des actions du Curateur public du Québec à l atteinte de ces objectifs, bref à déterminer le bénéfice de son action pour les personnes représentées et pour la société 4. Le suivi de gestion, ou suivi de la performance, permet de vérifier régulièrement la progression des résultats. Il s applique à la plupart des activités de l organisation et relève de la responsabilité constante de ses différents secteurs. L évaluation se distingue par son caractère ponctuel et approfondi, souvent axé sur des aspects circonscrits de la performance. Elle cherche notamment à faire le lien entre les ressources, les processus et les résultats. La vérification interne effectue principalement un examen des risques et des contrôles internes au Curateur public. Elle se penche aussi sur la conformité aux lois, sur l utilisation économique et efficiente des ressources, sur l atteinte des objectifs et sur les systèmes d information soutenant la reddition de comptes. Bien que partageant certains des thèmes de la vérification, l évaluation se distingue par ses méthodes issues des sciences sociales et par son angle d analyse qui évalue davantage l intervention en fonction des besoins de la clientèle et cherche à isoler son effet net. La mesure des attentes et de la satisfaction de la clientèle informe sur la qualité perçue et espérée de différents aspects de la prestation des services. L évaluation s intéresse davantage à la réponse aux besoins et aux effets des services sur la clientèle, 4.# Mercatus#Center#(2003).#4 th #Annual#Performance#Report#Scorecard:#Which#Federal#Agencies#Inform#The#Public?

4 POLITIQUE " DIRECTIVE " PROCÉDURE " AUTRE " VOIR HISTORIQUE SI COCHÉ INSTITUTIONNELLE " SECTORIELLE No:ORG(121 RÉVISION " OUI NON Page4de11 quoiqu elle puisse également inclure une analyse des besoins ou une mesure des attentes et de la satisfaction. Les activités de recherche sur les clientèles permettent de mesurer les besoins et de comprendre les facteurs qui ont une influence sur les problèmes que le Curateur public du Québec cherche à résoudre. L évaluation utilise les résultats de ces études pour analyser la pertinence des interventions. La gestion intégrée des risques vise l adaptation des contrôles de l organisation en fonction de son environnement (interne et externe), lequel est évalué en termes de risque (événement susceptible de nuire à l atteinte des objectifs); cela doit permettre au Curateur public du Québec de respecter sa mission et favoriser l atteinte de ses objectifs. En évaluant ses interventions, une organisation diminue le risque d ignorer des faits et des analyses essentiels à la prise de décision, à l amélioration de ses actions et à l allocation optimale de ses ressources. Ainsi, elle répond mieux aux besoins de sa clientèle et est plus susceptible d atteindre ses objectifs. 3.& PARTAGE DES RÔLES ET DES RESPONSABILITÉS 3.1.& La Curatrice publique Comme le précise le Conseil du trésor 5, la curatrice publique 6 est responsable de la fonction d évaluation de programme, de son organisation et des ressources qui lui sont consacrées : Elle approuve et s assure de l application du Cadre de gestion sur l évaluation de programme; Elle approuve le choix des interventions et des activités à évaluer ainsi que la portée des évaluations en approuvant le plan pluriannuel d évaluation; Elle reçoit les rapports d évaluation, puis décide des suites à y donner et de la diffusion des résultats. 5.# CT#198345#(28#mai#2002)#:#Concernant#les#orientations#du#Conseil#du#trésor#relatives#à#la#fonction#d évaluation#de# programme#dans#les#ministères#et#organismes. 6.# CT#198345#(28#mai#2002)#:#Concernant#les#orientations#du#Conseil#du#trésor#relatives#à#la#fonction#d évaluation#de# programme#dans#les#ministères#et#organismes.

5 POLITIQUE " DIRECTIVE " PROCÉDURE " AUTRE 3.2.& Le comité directeur " VOIR HISTORIQUE SI COCHÉ Le comité de direction du Curateur public (Codir) : INSTITUTIONNELLE " SECTORIELLE No:ORG(121 RÉVISION " OUI NON Page5de11 Formule des recommandations à la curatrice publique sur le Cadre de gestion sur l évaluation de programme et sur le Plan pluriannuel d évaluation de programme. 3.3.& La Direction de la planification stratégique et de la recherche Au CPQ, la gestion de la fonction d évaluation incombe à la Direction de la planification stratégique et de la recherche. Le rôle de cette équipe est d assurer la cohérence des actions de l organisation en matière d évaluation, notamment : - Favoriser la pérennité et le développement de la fonction au Curateur public du Québec; - Aider les gestionnaires à prévoir l évaluation des interventions du Curateur public dès leur conception; - Proposer au Codir un cadre de gestion de l évaluation; - Proposer au Codir le plan pluriannuel des évaluations et le réviser annuellement; - Voir à la réalisation des travaux d évaluation prévus dans le plan pluriannuel, soit en les réalisant elle-même, soit en les soutenant et les suivant s ils sont réalisés par une ressource externe. La direction voit en outre à optimiser la portée des évaluations et à s assurer qu elles répondent aux standards de la discipline. - Transmettre tous les rapports d évaluation à la curatrice publique et au secteur responsable de l intervention évaluée, en y joignant un avis sur la portée de l étude et une proposition de diffusion de ses résultats; - Voir à ce que les résultats des évaluations soient pris en compte dans les activités de planification et de reddition de comptes du Curateur public du Québec; - Rendre compte annuellement au Codir des travaux d évaluation et des suites aux recommandations qui ont été formulées ultérieurement; - Fournir le service-conseil connexe à l évaluation de programme et offert à l ensemble du Curateur public du Québec.

6 POLITIQUE " DIRECTIVE " PROCÉDURE " AUTRE " VOIR HISTORIQUE SI COCHÉ INSTITUTIONNELLE " SECTORIELLE No:ORG(121 RÉVISION " OUI NON 3.4.& Les gestionnaires responsables des interventions évaluées Page6de11 La collaboration des responsables des interventions est la première condition du succès d une évaluation. À cette fin, les gestionnaires ont les tâches suivantes : Anticiper 7 l évaluation des interventions dès leur conception ou leur révision; Participer à la préparation du Plan pluriannuel d évaluation en proposant des mandats d études potentiels, qui seront précisés avec la collaboration de la DPSR, pour être éventuellement soumis au Codir; Participer à la préparation des mandats d évaluation pour s assurer que leurs besoins et leurs problématiques sont pris en compte; Collaborer à la réalisation des travaux d évaluation (notamment en assurant l accès aux données et au personnel) et nommer un responsable sectoriel pour chacun des projets de cette nature. 3.5.& Les comités consultatifs des projets d évaluation Les projets d évaluation peuvent faire l objet d un suivi par un comité consultatif, et ce, de leur planification jusqu à la rédaction du rapport. Ce comité jette un regard sur les travaux en cours et donne son avis sur le cadre d évaluation, les questionnaires, le rapport, etc. Il est formé de responsables de l intervention évaluée et de l évaluateur. Il peut également inclure d autres intervenants concernés par l intervention évaluée et un expert externe. Dans le cas d une évaluation menée par la DPSR, ce comité permet d intégrer l expertise sectorielle dans le processus d évaluation et ainsi d augmenter la crédibilité et l utilité des études. Dans le cas d une évaluation menée par un secteur du Curateur public du Québec ou par une ressource externe, la présence d un évaluateur de la DPSR permet de s assurer que l étude répondra aux standards de la discipline et qu elle portera un regard objectif sur l intervention évaluée. C est aux rencontres du comité consultatif que l évaluateur présente les versions préliminaires des rapports des évaluations. 7.## L évaluation#d une#intervention#est#facilitée#si#son#cadre#de#gestion#contient#une#section#à#ce#propos.#cette#section# annonce#le#moment#où#l intervention#doit#être#évaluée,#en#énumère#les#questions#préliminaires,#précise#les#indica\ teurs#de#performance#et#prévoit#les#mécanismes#de#cueillette#de#données#à#mettre#en#place#préalablement.

7 POLITIQUE " DIRECTIVE " PROCÉDURE " AUTRE " VOIR HISTORIQUE SI COCHÉ INSTITUTIONNELLE " SECTORIELLE No:ORG(121 RÉVISION " OUI NON Page7de & Exceptions : évaluations en partenariat avec d autres organismes, ministères ou paliers d intervention Des interventions menées en partenariat, notamment en vertu d ententes spécifiques, peuvent conduire à la réalisation d évaluations à responsabilité partagée. Les partenaires doivent négocier leurs rôles et responsabilités respectifs, de même que les modalités de réalisation et d approbation des outils et des rapports (notamment pour définir les règles d approbation du rapport final et les modalités de diffusion et d utilisation des résultats). 4.& CHOIX DES ÉVALUATIONS À RÉALISER 4.1.& Planification de l évaluation de programme Le Plan pluriannuel d évaluation de programme dresse la liste des travaux à réaliser au cours d une période donnée, selon les priorités de l organisation. Il précise la nature des évaluations et le moment de leur réalisation. Il précise également leur portée et le rôle des intervenants impliqués. Le plan désigne également un responsable sectoriel pour chacun des projets. Les demandes d évaluation peuvent provenir de diverses sources : Les membres du Codir consultent périodiquement les gestionnaires; La curatrice publique, qui est responsable du choix des évaluations, peut demander qu une étude non prévue soit inscrite dans le plan d évaluation. Une fiche d évaluation permet de fournir les principales informations utiles à la définition d un mandat de cette nature. La DPSR reçoit ces demandes et les précise, en collaboration avec les gestionnaires concernés. Elle les soumet au Codir en vue du choix des évaluations, en fonction des critères approuvés par la curatrice publique. Le plan approuvé par la curatrice publique détermine les travaux d évaluation qui doivent être réalisés. La DPSR assure le suivi de ces travaux et rend compte de leur progression.

8 POLITIQUE " DIRECTIVE " PROCÉDURE " AUTRE " VOIR HISTORIQUE SI COCHÉ INSTITUTIONNELLE " SECTORIELLE No:ORG(121 RÉVISION " OUI NON Page8de & Critères déterminant les priorités d évaluation Le choix des priorités d évaluation doit tenir compte des critères suivants : L importance de l intervention à évaluer : - Coûts impliqués; - Répercussions sur la clientèle. L utilité des résultats de l évaluation pour la prise de décision : - Besoins des gestionnaires; - Renouvellement d un programme sur la base de la performance. Nécessité apparente de procéder à des modifications de l intervention : - Changement dans les besoins ou dans l environnement de pratique; - Risques identifiés; - Recommandation formulée dans un rapport de vérification. Obligation d évaluer liée à une entente particulière : - Intervention en partenariat; - Entente spécifique; - Engagements du Curateur public du Québec. Toute intervention réalisée par un tiers mais dont le Curateur public du Québec demeure imputable : - Délégation de responsabilités à un partenaire. Autre raison jugée pertinente. Les projets d évaluation, même s ils sont jugés prioritaires, doivent cependant être réalisables. Pour les inscrire dans la planification, il faut notamment en apprécier les éléments suivants : La faisabilité de l évaluation : elle s apprécie de diverses manières, entre autres en examinant la disponibilité des données ou la possibilité de procéder à des mesures valides et fidèles. On peut également se demander si, logiquement, l intervention est assez répandue ou depuis assez longtemps pour avoir produit des résultats mesurables. La pertinence de réaliser une évaluation compte tenu de sa portée probable. Par exemple, doit-on réaliser une évaluation si l on sait à l avance qu on ne pourra pas en mesurer d effets directs?

9 POLITIQUE " DIRECTIVE " PROCÉDURE " AUTRE " VOIR HISTORIQUE SI COCHÉ INSTITUTIONNELLE " SECTORIELLE No:ORG(121 RÉVISION " OUI NON Page9de11 La valeur ajoutée de l évaluation, compte tenu des efforts nécessaires et des ressources disponibles pour la réaliser. 5.& DÉMARCHE D ÉVALUATION TYPE 5.1.& Formulation d un mandat Les travaux inscrits dans le Plan pluriannuel d évaluation doivent faire l objet d un mandat qui détermine les conditions dans lesquelles ils doivent être réalisés. Il s agit d un document synthétique, préparé en collaboration avec un évaluateur de la DPSR. Le mandat couvre les principaux points suivants : Le contexte et les enjeux entourant l intervention; Une description sommaire de l intervention (incluant un modèle logique); Le contexte de prise de décision à l origine de la demande; Les objectifs de l évaluation et les questions auxquelles celle-ci doit répondre; Le partage des responsabilités; Les conditions de réalisation du mandat (durée, ressources). C est à cette étape qu est constitué, s il y a lieu, le comité consultatif qui suivra les travaux et discutera des outils et des versions préliminaires du rapport de l évaluation. 5.2.& Planification de l évaluation L élaboration d un cadre d évaluation (aussi appelé devis d évaluation) est une étape essentielle de la démarche. Ce cadre constitue un devis présentant la stratégie d évaluation préconisée et précisant les méthodes qui seront utilisées, les données à recueillir, etc. Le devis doit permettre de comprendre comment la prise en compte du contexte et des caractéristiques de l intervention évaluée ont guidé le choix des indicateurs et des méthodes d analyse. Cette étape permet aussi de revoir la remise en question de l évaluation en fonction des délais et de la disponibilité des données.

10 POLITIQUE " DIRECTIVE " PROCÉDURE " AUTRE " VOIR HISTORIQUE SI COCHÉ INSTITUTIONNELLE " SECTORIELLE No:ORG(121 RÉVISION " OUI NON Page10de11 À cette étape, il peut aussi arriver que l on juge qu il n est pas possible d évaluer l intervention (faute de données valides, par exemple) ou que la portée de l évaluation serait trop réduite pour être pertinente. 5.3.& Réalisation de l évaluation et rédaction du rapport L étude est réalisée conformément au devis établi dans le cadre d évaluation. Sa réalisation est généralement constituée de trois étapes : La collecte des données : Que celle-ci soit réalisée par une firme externe ou au Curateur public du Québec, il importe alors de s assurer du respect de la Loi sur l accès aux documents des organismes publics et sur la protection des renseignements personnels; L analyse : Elle doit inclure des données descriptives, des tests statistiques, des analyses économiques ou des analyses qualitatives; La rédaction du rapport : Le rapport d évaluation présente les résultats de l étude. Il contient également une description suffisante du contexte ainsi qu une description détaillée de l approche méthodologique et des procédés d analyse utilisés. Ce rapport est susceptible de faire l objet d une diffusion parmi les intervenants concernés et d être accessible au public. Il importe donc de présenter les recommandations dans un document distinct, celles-ci relevant de la gestion interne. Bien qu il soit possible de discuter de la version préliminaire du rapport pour y apporter des précisions, la version finale est généralement signée par l évaluateur afin d en garantir l indépendance. 5.4.& Utilisation des résultats Le rapport d évaluation de même que les recommandations (celles-ci pouvant être accompagnées d un rapport synthèse) sont remis à la curatrice publique. C est à elle qu il revient d utiliser les constats comme aide à la prise de décision, que ce soit dans le processus de planification stratégique, dans l allocation des ressources ou dans la mise à jour des interventions.

11 POLITIQUE " DIRECTIVE " PROCÉDURE " AUTRE " VOIR HISTORIQUE SI COCHÉ INSTITUTIONNELLE " SECTORIELLE No:ORG(121 RÉVISION " OUI NON Page11de & Suivi L évaluation est utile si ses conclusions sont prises en compte et si des actions en découlent. Il faut donc faire un suivi des actions entreprises ultérieurement et les inclure dans le bilan annuel des activités d évaluation que la DPSR prépare. Les conclusions des évaluations peuvent également être présentées dans le rapport annuel de gestion, surtout si elles permettent d expliquer l atteinte ou non des objectifs visés et si elles précisent l apport du Curateur public du Québec à leur atteinte.