L auto-évaluation de nos programmes : orchestrer notre démarche jouer en harmonie donner un sens et une mesure à nos interventions

Transcription

1 L auto-évaluation de nos programmes : orchestrer notre démarche jouer en harmonie donner un sens et une mesure à nos interventions Pierrette Parent Manuela Mendonça

2 Objectifs de la présentation Partager les résultats obtenus par le CRLB dans le cadre des démarches d élaboration et d évaluation de programmes Prélude Au répertoire Bref historique La politique d évaluation de programme L utilité de l évaluation de programme Orchestration Une structure Une vision Nos chefs d orchestre Un cycle Nos outils une symphonie Les mémoires Les cadres logiques Les plans d auto-évaluation Réalisation des évaluations Une partition La finale Le point de vue de nos musiciens Les étapes suivantes Questions CRLB - 9 novembre

3 CRLB - 9 novembre

4 L évaluation de programme au CRLB: bref historique Loi sur la santé et les services sociaux (Loi 120, art 172) Exigences du MSSS et SAAQ Orientations stratégiques Obligation d équilibre budgétaire L agrément Entente de gestion et d imputabilité avec la RRSSS Une politique d évaluation adoptée le 14 mai 2003 Précision du mandat du comité de programme (pilote) Embauche de ressources spécialisées en évaluation de programme en 2003 CRLB - 9 novembre

5 La politique d évaluation du CRLB Les composantes de la politique précisent: La définition et les fonctions de l évaluation de programmes. Les caractéristiques du processus d évaluation en termes de participation, d utilisation des résultats et de transparence. Les moyens et les ressources utilisés pour faire l élaboration et l évaluation de programmes (qui fait quoi). Ce que l évaluation permet d apprécier (Exemple: la pertinence, la cohérence, l efficacité, l efficience et la qualité de la gestion). La philosophie de l établissement: l auto-évaluation de programme. Les rapports, les recommandations et la diffusion des résultats. Les conditions à respecter pour mettre en œuvre l évaluation. CRLB - 9 novembre

6 L utilité de l auto-évaluation Arrimer les programmes aux besoins des usagers. Prendre des décisions éclairées. Favoriser le développement continu des programmes. Attester la qualité des services. Témoigner de la qualité de la gestion des programmes. Améliorer la qualité des services cliniques et de gestion. La finalité La qualité de services offerts et les résultats obtenus par les programmes et les secteurs d activités du CRLB contribuent à la pleine participation sociale et à l amélioration de la qualité de vie de la clientèle ayant une déficience. CRLB - 9 novembre

7 CRLB - 9 novembre

8 La structure de fonctionnement Comité de direction Comité de programme DPC DSPAU DPMC Équipes d écriture et d auto-évaluation Intervenants, cliniciens CRLB - 9 novembre

9 Développement d une culture d évaluation: la vision d une démarche CRLB - 9 novembre

10 Le rôle des professionnelles en évaluation de programme «Coordonner le jeu des musiciens» CRLB - 9 novembre

11 Le cycle de la démarche d auto-évaluation 6. Évaluation de la démarche 1. Planification du programme: Écriture ou mise à jour du mémoire Cadre logique 5. Utilisation des résultats: Prise de décisions Plan d action pour mettre en œuvre les recommandations 4. Rédaction du rapport d auto-évaluation: Constats sur les principaux résultats Recommandations Diffusion des résultats (communication, présentations) 2. Élaboration du plan d auto-évaluation: Mandat, questions d évaluation, indicateurs, méthodologie et utilisation de l information 3. Réalisation de l autoévaluation: Cueillette de données Analyse et interprétation des données Validation CRLB - 9 novembre

12 CRLB - 9 novembre

13 Les mémoires des programmes Les équipes ont: Une description de leur programme tel qu il est, en identifiant ses forces et ses limites. Une compréhension et une vision commune de toutes les composantes du programme. Une terminologie et un langage communs. Vision des enjeux et des défis des usagers et du programme. Vision et compréhension de la dimension évolutive d un programme. CRLB - 9 novembre

14 L écriture du mémoire des programme La professionnelle fournit le cadre et guide la démarche. Les cliniciens et le gestionnaire possèdent le contenu clinique. Le crayon est tenu par une ou plusieurs personnes (cliniciens, gestionnaire, professionnelle). Phase de consultation auprès d autres membres de l équipe du programme pour des aspects spécifiques ou pour validation. Validation du mémoire par l équipe du programme. Présentation du mémoire par le gestionnaire au Comité de programme. CRLB - 9 novembre

15 La méthode du cadre logique 1. La logique verticale = chaîne de résultats + conditions de réalisation 2. La logique horizontale = indicateurs + moyens de vérification CRLB - 9 novembre

16 Liens entre le PPH et la MCL CRLB - 9 novembre

17 Le cadre logique: une valeur ajoutée Conception du cadre logique avant ou après le mémoire: un choix Présente de manière simple toute l information disponible et nécessaire pour comprendre la complexité des programmes. Est une occasion unique pour amener les participants à se mettre d accord sur les «pourquoi» et les «comment». Permet aux intervenants et aux gestionnaires de clarifier les limites et les différents niveaux de responsabilités. Permet de situer le programme dans la structure organisationnelle du CRLB et dans son contexte social. Situe le client au cœur du programme et les trois niveaux de résultats (buts, objectifs généraux et spécifiques) sont définis en fonction du PPH. CRLB - 9 novembre

18 Vers une vision commune CRLB - 9 novembre

19 La conception du plan d auto-évaluation L équipe d auto-évaluation consulte l équipe du programme: la répétition générale Revue de la politique de gestion en évaluation de programme. Présentation des mémoires et des cadres logiques. Identification et priorisation des questions d évaluation par l équipe du programme. Formulation par l équipe d auto-évaluation des questions retenues par l équipe du programme. Présentation du plan d auto-évaluation par le gestionnaire au Comité de programme pour approbation. Présentation du plan d auto-évaluation approuvé et sollicitation des membres de l équipe pour la réalisation de l évaluation. CRLB - 9 novembre

20 Les plans d auto-évaluation CRLB - 9 novembre

23 Réalisation de l évaluation au Programme de réadaptation au travail L étape de conception du plan d évaluation: Élaboration du cadre logique: les conditions de réalisation permettent de cibler de façon réaliste l atteinte des résultats fixés par le programme (le programme peut influencer l environnement, mais ne peut pas le contrôler). La participation des intervenants à l identification des questions d évaluation maintien leur intérêt tout au long de la démarche et facilite les changements éventuels au programme. La question retenue concerne l évaluation initiale des usagers et la façon de rapporter leurs besoins dans les rapports disciplinaires par 22 cliniciens regroupés en 7 professions différentes. L étape de recueil de données: L amélioration du programme: au fur et à mesure que certains résultats sont constatés, les membres de l équipe modifient leurs façons de faire. La création d une base de données pour compiler les indicateurs reliés à la question d évaluation pourra être très utile pour poursuivre le traitement systématique des informations du programme. CRLB - 9 novembre

25 Ce qui a été le plus utile selon les équipes 1/2 Le soutien aux équipes par les professionnelles (ouverture, respect, disponibilité). Les formations: méthode du cadre logique, planifier une évaluation de programme. Réflexions stimulantes au sein du programme. Mise en commun: alimente les réflexions, partage des idées, questionnements. Possibilité de profiter de l expérience des autres: un enrichissement collectif. Documentation adaptée (guide, outils, matériel de formation). CRLB - 9 novembre

26 Ce qui a été le plus utile selon les équipes 2/2 Libre choix pour la composition des équipes d auto-évaluation. Libre choix pour la formule d écriture. Présence du gestionnaire de programme au sein de l équipe d auto-évaluation. Cadre commun mais personnalisation des programmes. Début du processus individualisé et ensuite démarche établissement. Rythme satisfaisant, assez vite pour garder le fil, pas trop pour augmenter la pression. Auto-évaluation, donc leadership d équipe. Démarche développant l autonomie des programmes pour la continuité. d autres mandats d auto-évaluation. Questions d évaluation correspondent à des préoccupations déjà présentes au sein de l équipe. CRLB - 9 novembre

27 Les «bémols» selon les équipes Le cadre logique: sens, pertinence, intérêt. Ampleur des démarches: ressources, continuité. Difficulté à identifier, préciser et opérationnaliser une question d évaluation (nouveauté des concepts, absence de points de comparaison). Processus itératif exigeant de la consultation et de la participation. Double contrainte: temps dédié à l auto-évaluation vs temps dédié à la clinique. Double nouveauté: démarche organisationnelle + maîtrise des concepts. Temps d intégration requis pour chacune des étapes. Relier l équipe du programme à l équipe d auto-évaluation. CRLB - 9 novembre

28 Suggestions pour améliorer les démarches selon les équipes Poursuivre les suivis individuels dans les programmes. Mettre en place des stratégies pour favoriser la continuité entre les rencontres de travail des équipes. Préciser davantage les objectifs des rencontres de mise en commun. Avoir accès aux ressources (matérielles et informationnelles). Être mieux outillés pour définir et opérationnaliser la question d évaluation. Clarifier les concepts (indicateurs, cadre logique, conditions de réalisation). Impliquer davantage les directeurs dans la démarche. Utiliser davantage le cadre logique comme un outil de suivi et d évaluation. CRLB - 9 novembre

29 Prochaines étapes Activités Réalisation des évaluations Mise en commun des résultats de la démarche Date Automne 2006 Hiver 2007 Mars Avril 2007 Pont à bâtir avec la recherche Automne 2006 Un bilan de la démarche d ensemble et la précision de nouveaux objectifs pour ce secteur d activité Été 2007 CRLB - 9 novembre