L évaluation : une démarche d amélioration

Sylvain Boude Responsable du Pôle Service à Domicile T: 06 22 84 23 71 Sylvain.boude@4-as.fr www.4as-medicosocial.fr L évaluation : une démarche d amélioration

Cadre réglementaire de l évaluation

Loi n 2002-2 du 2 janvier 2002 Loi n 2002-2 du 2/01/2002 : rénovant l action sociale et médico-sociale Objectif : organiser sur un même plan l ensemble des structures intervenant auprès de publics «fragiles» tout en valorisant leurs spécificités Orientations majeures de la loi : Création d un dispositif d autorisation et de planification, avec les SOSMS Obligation d évaluation interne et évaluation externe Renforcement des pouvoirs de contrôle Aménagement des instruments de coopération Unification du droit des établissements sociaux et médico-sociaux

Principes de la loi 2002-2 Promouvoir le droit des personnes au travers de 7 outils Livret d accueil Charte des droits et libertés de la personne accueillie Contrat de séjour Personne qualifiée Conseil de la Vie Sociale Règlement de fonctionnement Projet d établissement et de service Coordination des intervenants Évaluation interne et externe des activités et de la qualité des prestations Développement des systèmes d informations Organisation financière, budgétaire et tarifaire Qualification et formation des professionnels

Loi 2007-975 Loi 2007-975 du 15/05/2007 : mise en œuvre de l évaluation dans les établissements et services visés (art. L.312-1 du CASF) Cette loi fixe le contenu du cahier des charges pour l évaluation externe des activités et de la qualité des prestations des ESSMS L évaluation interne et externe doivent porter sur le même champ L évaluation doit porter sur l effectivité des droits des usagers Conformément aux dispositions de l article L.312-8 du CASF «les établissements et services mentionnés à l article L.312-1 procèdent à l évaluation de leurs activités ( ) par un organisme extérieur habilité (liste établie par l ANESM) Résultats de l évaluation interne sont communiqués tous les 5 ans à l autorité ayant délivré l autorisation Les résultats sont pris en compte pour le renouvellement de l autorisation de l établissement ou du service (Art. L.313-1 et L.313-5)

Evolutions liés à la loi ASV La Loi n 2015-1776 du 28 décembre 2015 relative à l adaptation de la société au vieillissement L ensemble des services autrefois agréés sont réputés autorisés (avec une partie de l activité qui peut rester sur l agrément ou la déclaration) Ils conservent leur zone d intervention sur le département Les outils de la loi 2002-2 sont désormais applicables, notamment : Le livret d accueil La charte des droits et libertés de la personne accueillie Le document individuel de prise en charge Le règlement de fonctionnement Le projet de service Obligation de répondre à un nouveau cahier des charges national

Evolutions liés à la loi ASV Obligation d évaluation interne tous les 5 ans (3 par autorisation) Obligation d évaluation externe tous les 7 ans (2 par autorisation) Obligation d évaluation externe au moment où l agrément aurait pris fin (date théorique 5 ans après l obtention de l agrément) il est précisé que cette obligation ne peut intervenir dans les deux ans suivant la date de promulgation de la loi. Ainsi, l évaluation devra donc être conduite en 2018 ou 2019 pour les services dont l agrément arrive à échéance en 2016 ou 2017.

Qu est-ce qu une évaluation interne/externe

Introduction sur l évaluation L évaluation constitue une démarche de meilleure compréhension d un établissement ou service dans toute sa complexité et permet de concevoir des pistes de progrès dans le souci d améliorer les pratiques et la qualité des prestations. Objectifs : faire un état des lieux des forces et faiblesses du service tout en réfléchissant aux actions d amélioration visant à assurer une qualité de la prise en charge des usagers.

Introduction sur l évaluation L évaluation est une dynamique continue qui : Offre une occasion de réfléchir sur ses pratiques Donne du sens aux actions et à l engagement des professionnels dans l accompagnement des bénéficiaires Participe à l amélioration de la qualité de la structure

Objectifs et responsabilités de l évaluation La loi 2002-2 centre l attention sur l évaluation des activités des institutions et sur la qualité de leurs prestations (art.l.312-8). Cette loi prévoit en effet une évaluation en 2 temps. Le contrôle des établissements se fait par le biais d inspections des services de l Etat, de l Agence Régionale de Santé et/ou du département, dans le cadre décrit par le Code de l Action Sociale et des familles et de le Code de la Santé Publique. L ANESM (Agence Nationale de l Evaluation et de la qualité des Etablissements et Services Sociaux et Médico-Sociaux) a établi deux cahiers des charges : Evaluation interne (réalisée par la structure) les établissements sont obligés d évaluer la qualité des prestations qu ils fournissent en suivant les recommandations de l ANESM. Les résultats de l auto-évaluation doivent être communiqués tous les 5 ans aux autorités compétentes. Celle-ci étant fortement liée au projet institutionnel et visant à l amélioration des pratiques Évaluation externe par des organismes habilités, chargés de contrôler la qualité de la prise en charge et le respect des chartes concernant les droits et la participation des usagers dans leurs accompagnement.

Domaines de l évaluation interne Les axes évalués lors de l évaluation interne : La garantie des droits individuels et la participation des usagers Le respect des personnes La participation des usagers à leur accompagnement L association des usagers à l évolution du fonctionnement du service La prévention des risques La maltraitance Les risques inhérents à la situation de vulnérabilité des personnes Les risques professionnels Les effets constatés pour les usagers Le respect des habitudes de vie L autonomie décisionnelle et fonctionnelle de la personne La participation sociale et/ou professionnelle et les liens avec l entourage La relation entre les professionnels et les usagers La continuité de l accompagnement et la coordination des interventions La cohérence des actions du service La continuité et la diversité des interventions auprès de la personne

Domaines de l évaluation externe Appréciation globale Missions Ex: Convention tripartite, Agrément, CPOM, projet de service Amélioration continue Ex: Rapport d évaluation interne, plan d actions d amélioration Suites évaluation interne Thématiques et registres spécifiques Structure: Ex:Registre de sécurité Prestations/usagers: Ex: Projets personnalisés, questionnaires de satisfaction, coordination des interventions Management: Ex: organisation des équipes, bonnes pratiques

Objectifs de l évaluation externe Dans le cadre de ses missions, les prestations proposées par le service sont-elles adaptées aux besoins et attentes spécifiques des personnes accompagnées? Afin d y répondre l évaluation externe a pour objet de porter une appréciation globale sur : La cohérence et l adaptation du projet institutionnel par rapport aux besoins des usagers Le niveau de réalisation des engagements La capacité d adaptation de l établissement ou du service au regard des évolutions constatées La pertinence des activités déployées au regard des effets pour les usagers Les conditions de réalisation : moyens matériels et humains, gestion des ressources humaines, intégration des ressources humaines du territoire, articulations avec l évaluation interne, cadre de vie Les suites réservées à l évaluation interne L évaluation externe s inscrit dans une démarche globale d amélioration de la qualité : Par son regard extérieur et nouveau, elle permet de valider l organisation mise en place et les moyens déployés Elle met en avant les points forts et les nouveaux défis que doit relever la structure Elle établit un bilan d étape dans une démarche de progrès Elle réalise un point zéro lors de la prise de fonction d une nouvelle équipe de direction

Objectifs et responsabilités de l évaluation externe Portant sur les activités et la qualité des prestations des établissements et services visés à l article L312-1 du CASF, l évaluation externe porte de manière privilégiée sur : La pertinence L impact et la Cohérence des actions déployés par les établissements et services, au regard ; o Des missions imparties o Des besoins et attentes des populations accueillies Une évaluation externe a lieu tous les 7 ans par des organismes extérieurs et indépendants. Le renouvellement tous les 15 ans de l autorisation est dorénavant subordonné aux résultats de cette évaluation externe. Les organismes évaluateurs devront respecter un cahier des charges garantissant leur indépendance et le respect des principes méthodologiques de l évaluation (procédures, étapes successives, interprétation et publication des résultats art. L.312-8) L évaluation externe a pour objectifs de s assurer par l intervention d un organisme indépendant, habilité par l ANESM (l Etat), que les personnes sont accueillies et prises en charge conformément à l agrément et au projet d établissement. Le renouvellement ou non de l autorisation dépend en partie des conclusions de l évaluation externe.

Les participants aux démarches Lors de l évaluation interne et externe, il est nécessaire d inclure toutes les parties prenantes de votre structure : Les professionnels Les intervenants à domicile, le secrétariat, la direction, etc. Les partenaires Libéraux, partenaire sur le territoire, prescripteurs, etc. Les bénéficiaires et leur entourage Famille, proches, représentants des bénéficiaires

Les étapes de l évaluation interne

La préparation de l évaluation interne Mettre en place le comité de pilotage Définir le planning de l évaluation Identifier les moyens et outils facilitant la conduite de l évaluation Mobiliser l ensemble des acteurs

Les étapes de réalisation Définir le cadre évaluatif Recueillir des informations fiables et pertinentes Analyser et comprendre les informations recueillies Piloter les suites de l évaluation

Méthode : Définir le cadre évaluatif Caractériser les activités, valeurs et la population accompagnée Définir les objectifs du service au regard des missions qui lui sont imparties, de ses valeurs et de la population accompagnée Appréhender les moyens à mettre en place pour atteindre ces objectifs Evaluer les effets de la démarche pour les usagers Pilotage et animation Communiquer sur la démarche d évaluation interne Organiser une réflexion sur l intégration de tous les acteurs du service (salariés, usagers, partenaires) dans l évaluation interne Planifier le déroulement du projet (échéances, organisation du projet, etc.) Définir les règles et trames de recueil d information

Recueillir des informations fiables et pertinentes Méthode : Diagnostiquer le service en s appuyant sur des informations qualitatives et quantitatives provenant de sources fiables et pertinentes Observer les écarts entre ce qui est prévu et ce qui est fait effectivement Mesurer les effets attendus et inattendus des actions engagées sur la qualité de prise en charge des bénéficiaires Pilotage et animation Impliquer les usagers dans le recueil d information (au travers d enquêtes de satisfaction par exemple) Impliquer les professionnels dans l identification de leurs pratiques (au travers de groupe de parole par exemple) Impliquer les partenaires pour apprécier la coordination du service avec l extérieur et l ouverture du service sur son environnement (au travers d entretien individuel par exemple)

Analyser et comprendre les informations recueillies Méthode : Identifier les points forts et les écarts Comprendre les causes des écarts identifiés Repérer des actions d améliorations pour agir sur les causes des écarts et évaluer les conditions de faisabilité de ces actions (au regard du contexte interne et externe, des moyens, des résultats attendus, etc.) Pilotage et animation Organiser une réflexion collective et pluridisciplinaire sur les informations récoltées Rédiger un rapport d évaluation interne correspondant aux attentes des autorités Diffuser les résultats de l évaluation interne à toutes les parties prenantes (faire éventuellement une synthèse du rapport) Mobiliser les professionnels du service pour préparer les changements à mener

Méthode : Piloter les suites de l évaluation Hiérarchiser et valider les actions à mener Etablir un plan d actions précisant les objectifs d amélioration les actions à mener les moyens à mobiliser les personnes mobilisés Les échéances définies Les indicateurs de réussite des actions les résultats et effets attendus Pilotage et animation Organiser le suivi de l évaluation interne (réaliser des points d étapes via un comité de suivi par exemple) Transmettre les résultats de l évaluation interne aux autorités

Le plan d actions et les indicateurs Suite à l évaluation interne, un plan d actions devra être mis en place dans la structure (possibilité d utiliser la Méthode QQOCQP (Quoi? Qui? Où? Comment? Quand? Pourquoi?) Les indicateurs : Indicateur de contexte Informations sur les caractéristiques de la population accompagnée Informations sur l environnement d intervention du service Indicateur de conduite de l action Informations sur les actions mises en place et leur suivi (ex: taux de réalisation des projets personnalisés) Indicateur de résultats (intermédiaires ou finaux) Résultats des actions engagées (ex: taux de réponse apporté au réclamations)

Le rapport d évaluation interne Source : L évaluation interne : repères pour les services à domicile au bénéfice des publics adultes, ANESM 2012

Comment s engager dans une démarche d évaluation externe

Comment se lancer dans l évaluation externe Rédaction d un cahier des charges Sélection de plusieurs prestataires Mise en concurrence (obligation légale) Sélection du prestataire final Contractualisation

Le cahier des charges Le document de mise en concurrence devra contenir : La présentation du service L articulation avec le projet de service, l évaluation interne et les démarches formalisées visant à améliorer le service rendu Les premiers éléments permettant de formuler des hypothèses et les premières questions susceptibles d être posées Les modalités de concertation à prévoir lors des phases initiales de l évaluation Les modalités de suivi de la démarche d évaluation externe Le contexte et les éventuelles contraintes liées à l organisation ou aux particularités des activités Les conditions d accès à l information et aux documents disponibles Les modalités concrètes d élaboration et de rendu du rapport Le temps nécessaire et le calendrier Les modalités de facturation Source : Evaluation externe : établir le document de mise en concurrence et choisir son prestataire Guide d aide à la contractualisation, ANESM 2014

Merci de votre écoute, Avez-vous des questions?