L auto-évaluation des programmes d ETP: témoignage et retour d expérience Dr Marianne Lafitte PH cardiologie - UTEP CHU Mme Michèle Desenne, Cadre de santé CEPTA
Qu a-t-on à faire quand on coordonne un programme d ETP?
Nos engagements et obligations Fiche de suivi annuel: suivi d activité, transmission ARS aquitaine Réaliser une auto-évaluation annuelle: suivi du (bon) déroulement du programme (le processus) Faire la synthèse des 4 années pour fournir une évaluation quadriennale, en vue du renouvellement de la demande d autorisation: analyse de l atteinte des objectifs fixés, et des effets du programme
Notre expérience de l auto-évaluation 2011: équipe test: Guide HAS auto-évaluation annuelle Choix de s approprier le guide Première étape: réunion de présentation et de lecture collective du guide HAS Recueil des questions de l équipe Mise en place d une organisation de travail
Clarification: but de l auto-évaluation annuelle d un programme ETP L autoévaluation annuelle est une démarche d évaluation pédagog ique qui engage les équipes et coordonnateurs à évaluer eu x-mêmes et pour euxmêmes leur programme d ETP et à prendre des décisions pour en améliorer la qualité et l ajuster tout au long de sa mise en œuvre. Elle repose sur une analyse qualitative et quantitative des p oints forts et des points faibles du programme d ETP. L a uto évaluation permet aux équipes de comparer leurs pratiq ues, leur organisation et leur coordination, à un référentiel construit par les équipes ellesmêmes, ici le programme d ETP autorisé par HAS une 2012 ARS.
Un rapport d auto évaluation doit être prêt chaque année à la date anniversaire de l autorisation délivrée par l ARS. Des moments d échanges réguliers sont organisés tout au l ong de l année pour partager les expériences de l équipe, décider des améliorations à apporter au programme et suiv re leur mise en œuvre. Le coordonnateur et l équipe ont le choix de la manière de s organiser et de conduire leur auto évaluation pour qu el le soit participative et intégrée aux activités. HAS 2012
Appropriation du guide et de la démarche Tout les soignants viennent avec le guide HAS Surligner : les items intéressants les données qui sont disponibles ou faciles à recueillir Créer un document «maison» avec ces items Répartir le travail et faire des CR des réunions Prendre le temps
Notre choix d outil Un tableau «maison» suivant les étapes préconisées 3 catégories d évaluations (plan du guide HAS) Activité globale Processus Atteinte des objectifs (santé physique, santé psychique, FDR, TTT, comportements de santé) Des items choisis dans le guide Pour leur pertinence Pour la disponibilité des données+++ D autres items rajoutés par l équipe: toutes les idées sont bonnes!
Auto-évaluation de l activité globale du CEPTA
Auto-évaluation du processus
Auto-évaluation de l atteinte des objectifs
Notre expérience 2011-2014 Au départ, mise en place de réunions de travail d équipe Faire en sorte que chaque intervenant dans le programme s exprime, ou soit représenté par un collègue Tour de table des difficultés et solutions possibles, pour chaque activité (professionnel) autour du patient Traduction des questions des soignants sur le programme en objets d évaluation Actuellement, moins de réunions: les objets d évaluation «émergent» au fil de l eau, au cours du travail soignant: rôle du cadre!
2014: Le passage à l évaluation quadriennale Équipe test, un guide HAS, une appropriation plus rapide?? Une volonté de valoriser le travail réalisé depuis 3 ans, sans surcharge inutile en 2014 Des liens entre les 2 guides qui vont faciliter le travail Une synthèse en 2014 de l évolution du programme et de ses effets Pas de nouvel outil, mais une analyse collective des résultats et des améliorations qui ont été apportées depuis 2011
Le guide à paraître: des repères qui «rassurent»
Comment allons-nous réaliser ce travail? «Nettoyage» et Analyse des 3 tableaux, et des actions d amélioration réalisées depuis 3 ans Synthèse en équipe complète, et rédaction par l équipe de coordination Mise en place d un calendrier de travail pour l année à venir Diminuer le temps consacré à l évaluation du programme Le projet de recherche est en cours Les objets d auto-évaluation sont déjà très nombreux L équipe a besoin de se concentrer sur la mise en œuvre de l ETP et sur les actions d amélioration qui restent à travailler
Réflexion sur notre expérience Appropriation du 1 er guide et de la démarche: très long et difficile Dans des conditions «optimisées» En ayant commencé dès 2011 Avec un accompagnement en interne
Les points forts Ces 3 années ont permis d activer une dynamique interne (toute l équipe) favorable à l amélioration de la qualité de l ETP Le cadre de santé est au centre de la mise en œuvre de l auto-évaluation, car au centre des acteurs de la mise en œuvre de l ETP L appropriation de la démarche de l auto-évaluation (démarche qualité) permet la poursuite simplifiée des AE annuelles, et de passer à l AE quadriennale avec un travail en grande partie réalisé
Les points moins positifs L AE nécessite un investissement lourd par les équipes qui mettent en œuvre l ETP L appropriation du guide paru en 2012 ne peut pas être complète actuellement pour tous L accompagnement méthodologique et organisationnel de l AE annuelle reste très insuffisant Rôle des UTEP et des unités d accompagnement, mais plus de 230 programmes en Aquitaine
Les points moins positifs L AE quadriennale sera difficile à mettre en œuvre pour les équipes qui ne sont pas rompues à l AE annuelle Le temps nécessaire à l appropriation de la démarche d AE (annuelle) n est pas rattrapable (programmes autorisés en 2010 et 2011) Encourager les équipes vers l appropriation de la démarche Éviter les écueils des AE réalisées par le coordonnateur seul, ou déléguées à un intervenant extérieur à l équipe
Une vision de l auto-évaluation en ETP L auto-évaluation (qui est imposée) doit être comprise, et conçue comme un temps d équipe C est une démarche qualité Elle offre la possibilité de sortir de la «politique du chiffre»: qualitatif vs quantitatif, et d améliorer son programme Elle doit être vécue positivement, grâce aux échanges pluridisciplinaires dans les équipes, car elle permet: De mieux voir ce qui est fait, et bien fait D améliorer ensemble ce qui pose problème, et qui est parfois simple à changer De réagir collectivement aux problèmes qui ne peuvent pas être résolus, en valorisant ce qui est fait, et non en dévalorisant ce qui n est pas fait
L association de l auto-évaluation et de l évaluation par la recherche Auto-évaluation annuelle du programme (HAS) Activité globale Processus Atteinte des objectifs du programme o Données quantitatives o Données qualitatives Auto-évaluation quadriennale du programme (HAS) Effets du programme sur les bénéficiaires, sur l équipe, intégration à l offre de soins locale Évolutions du programme depuis son autorisation Recherche: méthodes scientifiques (bio-médicales et SHS)
L association de l auto-évaluation et de l évaluation par la recherche Auto-évaluation annuelle du programme (HAS) Auto-évaluation quadriennale du programme (HAS) Décrire, améliorer Recherche: méthodes scientifiques (bio-médicales et SHS) Prouver
Projet de recherche ETHEPAT
EPICES: dans tous les plats de l évaluation Le score EPICES: indicateur individuel de précarité Suivi annuel des caractéristiques des patients inclus dans le programme o Ex. CEPTA: 58% des patients ont un score >30 Comparaison du score à l issue des 4 années du programme et analyse des actions du programme destinées aux sujets en situation précaire Utilisation du score EPICES comme outil de mesure de la santé sociale (projet de recherche ETHEPAT) o Comparaison des groupes avec / sans ETP à 1-2 et 5 ans
Penser l évaluation en terme de pertinence et de faisabilité pour l équipe Les guides fournissent une liste très large d objets d évaluation possibles Tous ne sont pas intéressants pour chaque programme Un choix pertinent pour le programme et les patients cibles est à faire Ex. CEPTA (maladies CV), suivi des caractéristiques des patients inclus: choisir les indicateurs qui montrent que le programme n exclut pas ceux qui en ont le plus besoin o Femmes o Sujets en situation précaire o polyvasculaires
Penser l évaluation en terme de pertinence et de faisabilité pour l équipe Recueil des données en prospectif par l équipe (Ex. EPICES recueilli à l entrée par les aide-soignantes) Choix de recueil des données en pensant d emblée aux 3 types d évaluation possible Ne pas surcharger l équipe Tracer le travail réalisé Mettre en œuvre une évaluation réaliste, sans pénaliser l action de soins, d éducation, et le temps nécessaire à l équipe pour améliorer ses pratiques
Évaluer l ETP Ce n est pas une finalité en soi Évaluer dans le but de améliorer Identifier collectivement les améliorations possibles, les hiérarchiser et les programmer dans le temps Pour l équipe Pour les patients
Conclusion en 2014 Une expérience positive de la mise en place de la démarche d évaluation guidée par la HAS Un investissement énorme A chaque objet d évaluation une action d amélioration ou des nouvelles idées pour le programme Notre travail d évaluation nous a fourni plusieurs années de travail d amélioration de nos programmes?? Évaluation puis amélioration ou évaluation-amélioration en continu??