FICHE METHOLOGIQUE Comment mener son évaluation interne? La méthode Les étapes Les outils
L évaluation interne : la méthode L évaluation interne est une démarche qui contribue à adapter les services et réponses proposés aux usagers pour répondre à leurs besoins, et elle est un levier pour mettre en œuvre un management par la qualité. Elle s appuie sur : un questionnement évaluatif centré sur les usagers une méthodologie qui prend en compte les visions et perspectives des différents acteurs impliqués dans les activités une interrogation régulière de la pertinence et du sens de l action collective au regard des besoins identifiés Pour rappel, la loi indique que les établissements et services mentionnés à l art. L.312-1 du code de l action sociale «procèdent à l évaluation de leurs activités et de la qualité des prestations qu ils délivrent ( )». L évaluation porte sur les effets produits par les activités, leur adéquation aux besoins et attentes des personnes accompagnées, leur cohérence avec les missions imparties et les ressources mobilisées, et permet d interroger les réponses apportées. Il s agit donc d évaluer ce que l on fait et comment on le fait. L évaluation doit être : participative une démarche d analyse collective une démarche d objectivation un outil de connaissance, d aide à la décision et de conduite de changement Pour la mettre en œuvre, 5 étapes sont à suivre : 1- Organisation de la démarche 2- Définition du cadre évaluatif 3- Recueil des informations 4- Compréhension et analyse des informations recueillies 5- Pilotage des suites de l évaluation L évaluation interne : les étapes de mise en œuvre Etape 1- Organisation de la démarche 1.1 Clarifier le contenu et définir les axes prioritaires Comme l indique l ANESM, les prestations engagées par les structures relèvent des principaux objectifs d intervention impartis au secteur social et médico-social. Ces objectifs sont définis dans la loi n 2002-2 du 2 janvier 2002 et les critères d appréciation sont énoncés dans le décret n 2007-975 du 15 mai 2007. 2
Compte tenu des spécificités des services à domicile, l ANESM recommande d évaluer les activités centrées sur les usagers selon quatre axes : Axe 1 : la garantie des droits individuels et la participation des usagers Axe 2 : La prévention des risques Axe 3 : La promotion de l autonomie et de la qualité de vie Axe 4 : La continuité de l accompagnement et la coordination des interventions Cette évaluation constitue une évaluation réalisée en continu sur cinq ans. Une structure peut donc réaliser son évaluation progressivement, en priorisant les thématiques. Le choix de l ordre des axes d évaluation est fait par le comité de pilotage au regard de ce qu il juge prioritaire. 1.2 Constituer les différentes instances de suivi et de mise en œuvre Il est recommandé de nommer un professionnel référent de l évaluation interne, chargé du suivi de la démarche. Une bonne pratique consiste à nommer le référent parmi les professionnels (terrain) afin de favoriser leur implication dans le processus et appropriation de la démarche. A. Un comité de pilotage Un comité de pilotage est constitué au moment du lancement de la démarche. Il est composé a minima du référent de l évaluation, de la direction (directeurs, administrateurs, etc.), mais il est fortement recommandé d y associer selon le contexte : les cadres intermédiaires, les intervenants au domicile, des administratifs, des partenaires, des usagers ou des représentants d usagers, des représentants du personnel (délégué du personnel, etc.), des bénévoles, etc. Il est important que chaque fonction de la structure soit représentée dans la mesure du possible. En termes de missions, le comité de pilotage fixe la méthode de travail et le calendrier, il assure le suivi de la démarche (avancement, difficultés éventuelles), il priorise les thématiques à aborder, et valide la version finale. B. Les groupes de travail Il est recommandé d organiser des groupes de travail associant divers professionnels ; chaque groupe de travail ayant des tâches assignées : recueil des données, analyse des informations, rédaction, etc. Les groupes de travail doivent être constitués de façon cohérente : les professionnels membres du groupe doivent travailler sur des thématiques en lien avec leurs missions. 3
Dans les petites structures, la composition du comité de pilotage peut être identique à celle du groupe de travail. Il importe dans ce cas de bien différencier les fonctions : le comité de pilotage suit, organise la démarche d évaluation et prend les décisions, le groupe de travail élabore le cadre de référence, recueille, analyse les informations et fournit des pistes d amélioration. Pour les organismes gestionnaires de plusieurs structures : si un organisme gérant plusieurs structures décide de mettre en place une démarche d évaluation dans l ensemble de ses structures, il peut mettre en place un comité de pilotage transversal (au niveau du «siège» quand il existe). Dans ce cas, des groupes de travail sont mis en place au sein de chaque antenne. Si la structure a la possibilité de constituer plusieurs groupes de travail, elle peut par exemple en organiser un par axe d évaluation (cf. page 3 axes d évaluation recommandés par l ANESM pour les services à domicile) : GT = groupe de travail GT axe 1 : garantie des droits individuels et participation GT axe 4 : continuité de l'accompagnement et coordination Comité de pilotage GT axe 2 : prévention des risques GT axe 3 : promotion de l'autonomie et qualité de vie Etape 2 : la définition du cadre évaluatif Que doit-on faire? Que veut-on faire? Comment devons nous et voulons nous le faire? L évaluation interne démarre par l élaboration du cadre évaluatif, c est-à-dire définir ce qui constitue les objectifs de la structure et les actions qu elle doit mettre en place pour les réaliser. Comme l indique l ANESM : «si le cadre évaluatif est spécifique à chaque catégorie de structure et ne peut correspondre à un référentiel commun à l ensemble des services, ces derniers peuvent s appuyer sur le référentiel d une démarche qualité existante (NF X50-056, Qualicert, Qualisap, Périclès, UNASSI, etc.). Il aidera à la construction du cadre évaluatif, du recueil d informations ou à son analyse.» 4
2.1 Lister synthétiquement les fondements de la structure, ce qui cadre son intervention Le cadre règlementaire Les schémas départementaux Les recommandations de bonnes pratiques professionnelles de l ANESM Les valeurs et principes d action de la structure Les orientations du projet d établissement ou de service 2.2 Caractériser le profil des populations accueillies et leurs impacts Recenser les caractéristiques des populations accueillies Décliner l impact de ces caractéristiques sur les objectifs généraux de la structure Décliner les objectifs spécifiques de l accompagnement 2.3 Enoncer les résultats attendus et les indicateurs Formuler les résultats attendus pour le service/l établissemement, au regard des fondements, objectifs, et caractéristiques de la population accompagnée listés précédemment Définir des indicateurs pertinents (en choisir un nombre restreint), des critères d appréciation permettant d évaluer les réalisations, l atteinte des résultats Exemple de tableau de synthèse du cadre évaluatif : Fondements cadre de l intervention (lois, agrément, schéma départemental, etc.) CADRE EVALUATIF Objectifs généraux qui en découlent Résultats attendus pour la structure Indicateurs d évaluation Spécificités du public accompagné Objectifs spécifiques (effets de ces caractéristiques sur les objectifs généraux) Résultats attendus pour la structure Indicateurs d évaluation 5
Etape 3 : Recueil des informations Que faisons-nous? 3.1 Identifier les sources de données Lister les sources de données : o Recherche documentaire o Observation o Entretiens o Enquêtes o Etc. 3.2 Recueillir et classer les données quantitatives et qualitatives Attention : le recueil des données doit être réalisé de façon objective. Pour vous aider, l ANESM a listé l ensemble des données devant être évaluées axe par axe avec une proposition de questionnements évaluatifs. Pour la retrouver, RDV dans sa Recommandation de Bonnes Pratiques Professionnelles «L évaluation interne, repères pour les services à domicile» page 29. Exemple de tableau de recueil des informations : Résultat 1 = à reprendre à partir des résultats indiqués dans le tableau de cadrage évaluatif (voir tableau page 5) Exemple : Résultat 1 = Respecter les droits des usagers et trouver l équilibre avec leurs devoirs Indicateur 1A = la source d informations Exemple : Quels outils d information sur les droits et devoirs des usagers existent au sein de ma structure? Quand ces documents sont-ils remis aux usagers / diffusés? sont-ils expliqués? réexpliqués? affichés? A quelle fréquence? Existent-ils une version adaptée pour les enfants? Données chiffrées Source Réf.doc détaillé 1 livret d accueil pour les adultes 1 livret d accueil pour les enfants Dossier partagé pour la version informatique du livret + les version papier sont disponibles à l accueil en annexe Commentaires ETAPE 4 : Compréhension et analyse des données recueillies Le livret d accueil pour les enfants vient d être réalisé, il n a donc pas encore été remis aux usagers. Quels sont les écarts entre ce que l on veut/doit faire et ce que l on fait réellement? 4.1 Etablir les constats Mesurer le niveau de réalisation des objectifs Evaluer l adéquation entre les objectifs et les effets observés Mesurer les écarts, dysfonctionnements et points forts de la structure 6
4.2 Analyser les constats Identifier la cause des écarts constatés (viennent-ils de l organisation, du contexte, etc.?) Identifier les marges de progrès Exemple de tableau d analyse des informations : reprendre le tableau précédent et y ajouter une ligne dédiée à l analyse Résultat 1 à dupliquer autant de fois que de résultats Indicateur 1A - Données chiffrées Source Réf.doc détaillé en annexe Commentaires Ecarts par rapport au résultat visé? Analyse de l écart ETAPE 5 : Pilotage des suites de l évaluation Comment pouvons-nous faire mieux? 5.1 Rédiger le rapport d évaluation interne Rédiger un diagnostic de la situation et une synthèse de l analyse réalisée Prioriser de façon argumentée les objectifs d amélioration à atteindre Lister les résultats visés et les indicateurs de suivi de résultat Décliner les moyens à mobiliser Fixer un calendrier Le rapport de l évaluation interne doit être transmis aux autorités de contrôle. Exemple de plan recommandé pour le rapport d évaluation interne : Présentation de la structure o Contexte / environnement / objectifs principaux du service o Caractéristiques de la population o Missions et activités Méthodologie employée pour mener l évaluation interne o Les instances mises en place et acteurs associés o Les modalités de mise en œuvre et de remontée des informations o Les modalités d association des professionnels et des usagers dans la démarche o Le calendrier Présentation des résultats de l évaluation o Les principaux constats o Les résultats par axe stratégique o Le plan d actions o Annexes et documents associés 7
5.2 Mise en place d un tableau de bord de suivi du plan d amélioration et communication La formalisation d un plan d actions permettra de traduire les résultats de l évaluation en actions opérationnelles à mettre en œuvre par la structure. Sous la forme d un tableau, les actions sont plus faciles à suivre dans le temps. Exemple d un tableau de bord du programme d amélioration de la qualité : Thématique N Action Pilote Moyens/modalités de suivi Indicateurs de résultat 8