Le dispositif d évaluation. interne et externe. dans les établissements. et services médico-sociaux (ESMS)

Le dispositif d évaluation interne et externe dans les établissements et services médico-sociaux (ESMS) Synthèse de la rencontre régionale du 19 juin 2012 à l INSA de Rouen Synthèse de la rencontre régionale sur l évaluation interne et externe des établissements et services médico-sociaux, à l INSA de Rouen le 19 juin 2012 1/17

INTRODUCTION Monsieur Claude d HARCOURT, directeur général de l Agence Régionale de Santé (ARS) de Haute-Normandie En préambule, je souhaite remercier Madame OGER, Vice-présidente du Conseil Général de l Eure, Madame DARTOIS, représentant le Conseil Général de Seine-Maritime ainsi que Monsieur CHARLANNE, Directeur de l ANESM de leur présence. J'adresse également mes remerciements aux différents intervenants qui ont accepté de présenter leurs expériences en matière d évaluation. En France, les notations et les évaluations commencent dès notre entrée à l école et s assimilent souvent à une sanction. Malgré cet héritage culturel, la démarche d évaluation des établissements et services médico-sociaux ne doit en aucun cas y être assimilée. A titre personnel, j ai conduit des évaluations et je suis profondément persuadé du bien fondé de cette démarche. A mon sens, l'évaluation constitue en effet un des leviers majeurs du management de nos organisations. Le secteur médico-social présente deux données essentielles. D une part, il prend une importance croissante et stratégique dans notre organisation sociale. D autre part, la question de la performance n est pas encore bien appréhendée au sein de ce secteur. Or, elle va devenir de plus en plus importante, notamment du point de vue des organismes financeurs. Je fais également trois constats sur ce secteur. Vous êtes d abord des communautés humaines, constituées d hommes et de femmes aux services de leurs semblables. Le résultat de votre action est de faire en sorte que les hommes puissent vivre le mieux possible pour le temps qu ils ont à vivre, ce qui est un résultat extrêmement difficile à évaluer. Ensuite, la relation qui s établit dans vos organisations humaines n est pas une relation équilibrée, au regard de la situation de dépendance des résidents. Enfin, la mesure de l efficacité de votre organisation est très difficile car l appréciation qui en est faite doit rester objective. Ces propos entraînent deux conséquences : La première, c'est qu'un des enjeux majeurs de votre action est de garantir une qualité de prestation durablement et de façon constante. La seconde, c'est que le management est un point crucial. Pratiquement tout repose sur la qualité du directeur et de ses collaborateurs. Dans ce contexte, l évaluation est un outil de management, un moyen de créer et de conserver la responsabilité, d entretenir la liberté d action vis-à-vis des usagers et des médias. J ai un profond respect pour l usager, il est notre "client" mais les critères sur lesquels il s appuie pour apprécier notre prestation ne sont pas forcément les mêmes que les nôtres. L usager est attentif à des données de court terme. L évaluation est là pour effacer l instantanéité du commentaire et permet d inscrire l appréciation dans la durée. L évaluation est aussi un élément fondamental de rationalité, qui permet de dépasser l impulsivité. Cette rationalité est une protection pour les responsables de ces structures. L évaluation ne se fait pas dans l intuition, elle se base sur l existence d un référentiel. Nous travaillons étroitement avec les deux collectivités de Haute-Normandie, qui ont un rôle majeur et leur présence est un véritable atout. A l ARS, nous nous sommes fixés trois principes d action : Nous souhaitons la cohérence et la coordination avec la collectivité départementale dans toute relation avec les établissements et services. Nous travaillons en confiance avec les fédérations, elles sont nos interlocuteurs privilégiés, et nous y attachons beaucoup d importance. Nous ne pouvons pas travailler sans ces corps intermédiaires indispensables à l impulsion de politiques dans un milieu aussi varié. Vous devez avoir confiance en vos fédérations. Nous agissons en transparence tant dans le domaine budgétaire que sur des éléments de stratégie. Synthèse de la rencontre régionale sur l évaluation interne et externe des établissements et services médico-sociaux, à l INSA de Rouen le 19 juin 2012 2/17

Andrée OGER, Vice-présidente, Conseil Général de l Eure Je remercie Monsieur d HARCOURT d avoir organisé ces rencontres régionales sur l évaluation interne et externe des établissements et des services sociaux et médico-sociaux. L évaluation interne de vos services est une obligation légale. Le Département de l Eure autorise et contrôle l activité de 153 organismes relevant de sa compétence propre et/ou en lien avec l ARS (EHPAD, foyers logements, établissements et services pour adultes handicapés, maisons d enfants à caractère social, foyers de l enfance, CLIC et services d aide à domicile). La majorité des autorisations de fonctionnement prennent fin au mois de janvier 2017. Afin d en obtenir le renouvellement, les établissements doivent transmettre leurs rapports d évaluation interne et les résultats de l évaluation externe. Je voudrais insister sur le fait que la base de ces évaluations est bien un processus interne. La réflexion fournie par l ensemble du personnel permet de prendre du recul sur le travail effectué, de voir ce qui est bien, ce qui peut être amélioré et ce qui doit évoluer. Chacun engage alors sa responsabilité, sa capacité à chercher le meilleur pour les usagers comme pour le personnel. L esprit d équipe est renforcé. Cette démarche existe déjà mais elle devient plus codifiée. Le Conseil Général de l Eure a mis en place sa propre évaluation interne pour ses quatre CLIC, et a programmé celle du Foyer de l Enfance qui lui est rattaché. L objectif de ces démarches est de créer une dynamique en interne en associant les professionnels et les usagers pour un meilleur service rendu. Toutes ces préconisations reprises dans l'évaluation externe permettront d'adapter encore mieux les projets d'établissements aux réalités du territoire et aux besoins des populations. Ces évaluations sont donc un moyen d améliorer encore le service public. Caroline DARTOIS, Sous-directrice Hébergement, Conseil Général de Seine- Maritime Les services de l'ars et du Département interagissent au quotidien dans l'accompagnement et le suivi des établissements sociaux et médico-sociaux. La démarche d amélioration est engagée depuis plusieurs années dans ces établissements et se poursuit aujourd'hui avec une nouvelle étape qui est celle de l'évaluation externe. Cette étape s inscrit dans l objectif de qualité de prise en charge des usagers au sein de nos établissements. Synthèse de la rencontre régionale sur l évaluation interne et externe des établissements et services médico-sociaux, à l INSA de Rouen le 19 juin 2012 3/17

INTERVENTION DE L'ANESM Cécile DIZIER, chargée de mission au sein de l ANESM (Agence Nationale de l Evaluation et de la qualité des Etablissements et Services Sociaux et Médicosociaux), en charge de la coordination, de l habilitation et du contrôle des organismes habilités à réaliser les évaluations La loi du 2 janvier 2002 codifiée par deux articles dans le code de l action sociale et des familles (CASF), auxquels s ajoutent différents décrets, a institué ce dispositif d'évaluation. L article L.312-8 fixe les modalités et le calendrier des évaluations. Ainsi, les établissements et services sociaux et médicosociaux se trouvent dans l obligation de «procéder à l évaluation de leurs activités et de la qualité des prestations qu ils délivrent», notamment à travers les recommandations de bonnes pratiques validées par l ANESM. L article L.312-1 fixe le périmètre de l évaluation, à savoir : la protection de l enfance, l enfance handicapée, les personnes adultes handicapées, les personnes âgées, l addictologie, l inclusion sociale, la demande d asile L ANESM, créée en 2007, est chargée de donner aux établissements les moyens de respecter leurs obligations. Pour cela, l ANESM valide ou élabore les recommandations des bonnes pratiques professionnelles. Elle est chargée de l habilitation des organismes extérieurs qui procèdent à l évaluation externe, et en régule le marché. L ANESM a également le pouvoir de suspendre ou de retirer des habilitations en cas de manquement de ces organismes. Elle assure le suivi du déploiement de l évaluation externe, et propose un appui aux autorités dans le suivi du dispositif local de l évaluation. Au sein de l ANESM, un service est chargé de l élaboration des recommandations, un autre est dédié à l habilitation. Le comité d orientation stratégique et le conseil scientifique donnent un avis et soutiennent le directeur de l ANESM, sur les différentes recommandations ou axes méthodologiques. L élaboration des recommandations s organise en quatre phases sur une période de 6 à 8 mois : La phase préparatoire permet notamment une étude qualitative sur les pratiques professionnelles. Puis, un groupe de travail composé d usagers, de professionnels et d experts se réunit cinq à six fois afin d élaborer un projet de recommandation. Ensuite, un groupe de lecture donne son avis sur la lisibilité du document. En dernier lieu, ce projet est soumis pour avis au comité d orientation stratégique et au conseil scientifique. A ce jour, l ANESM a établi 25 recommandations, tous domaines de l évaluation externe confondus. L ANESM peut habiliter pour une durée illimitée les organismes installés sur le territoire français. L habilitation est alors valable sur l ensemble du territoire national. L ANESM peut également procéder à l inscription de prestataires établis dans un autre état membre de l Union Européenne, pour une durée d un an, valable sur l ensemble du territoire national. L habilitation est soumise à la réception par l ANESM d un formulaire d habilitation ou d inscription accompagné des pièces justificatives. L organisme s engage alors à respecter neuf engagements liés essentiellement à la compétence, à la déontologie et à l indépendance. La liste des 997 organismes habilités par l ANESM est publiée au Bulletin Officiel, et est disponible sur le site internet de l ANESM. Concernant les modalités de l évaluation interne, les établissements peuvent choisir l outil d évaluation interne parmi ceux qui existent et l adapter, ou le créer. Les recommandations des bonnes pratiques professionnelles de l ANESM doivent être respectées. Il s agit de recommandations transversales ou spécifiques, et de recommandations sur la méthodologie et sur les pratiques. Synthèse de la rencontre régionale sur l évaluation interne et externe des établissements et services médico-sociaux, à l INSA de Rouen le 19 juin 2012 4/17

L évaluation externe se réalise à l initiative de l ESSMS (Etablissement et Service Social et Médico- Social). L établissement organise tout d abord une mise en concurrence entre des organismes habilités. Il réceptionne ensuite le rapport d évaluation externe, et s assure de la réalisation du service au regard du cahier des charges fixé par l annexe 3-10 du CASF. L établissement transmet le rapport d évaluation externe et ses éventuelles observations écrites à l autorité ayant délivré l autorisation. L évaluateur externe sélectionné par l établissement dispose de quatre éléments, à savoir : le cahier des charges fixé par l annexe 3-10 du CASF, les résultats de l évaluation interne, le modèle de synthèse, le modèle d abrégé du rapport qui met en relief certains points du rapport. Deux modèles récents, disponibles sur le site de l ANESM, doivent être pris en compte pour toutes les évaluations externes engagées à compter du 1er juillet 2012. L évaluateur externe peut prendre en compte la certification de l établissement sous trois conditions : La certification doit intégrer le périmètre prévu par les articles L.115-27 et L.115-28 du code de la consommation. La certification doit être en cours de validité au moment de l évaluation externe. Elle doit avoir fait l objet d un arrêté ministériel de reconnaissance d équivalence, après l avis de l ANESM. Le calendrier des évaluations commence à compter de la date de l autorisation initiale de l établissement ou du service (Article L.313-5 du code de l action sociale et des familles). L évaluation interne est un processus continu dont les résultats sont transmis tous les cinq ans à l autorité. L évaluation externe a lieu tous les sept ans, après la date d autorisation et deux ans avant la date de son renouvellement. Sur une période de quinze ans, trois évaluations internes et deux évaluations externes doivent être réalisées. Les dérogations autorisées sont détaillées par la circulaire du 21 octobre 2011. L ANESM procède également à la régulation du marché national de l évaluation externe. Ce contrôle a posteriori permet de connaître les compétences dont l organisme habilité s est doté. Le contrôle porte sur les conditions de réalisation d une mission d évaluation externe, et permet de s assurer que l organisme habilité respecte ses engagements pris lors de l habilitation, le cahier des charges et les dispositions du CASF. Les enjeux de ce contrôle consistent à garantir l indépendance et la déontologie des organismes habilités. Les résultats vont, notamment tous les quinze ans, être instruits par les autorités en vue de renouveler les autorisations de prise en charge des personnes vulnérables par les ESSMS. En réalité, trois acteurs participent à ce contrôle : l ESSMS, lors de la conduite de l évaluation ou du rendu du rapport, les autorités destinataires des rapports d évaluation externe, l ANESM lors de la réception des rapports d activité semestriels des organismes habilités ou lors de signalements par l établissement ou par l autorité destinataire des rapports. L ANESM peut suspendre l habilitation (six mois ou plus) pour permettre à l organisme de régulariser la situation. Les missions en cours sont suspendues et le délai de réalisation de l évaluation sera prolongé. L ANESM peut également retirer l habilitation pour une durée de cinq ans. A ce jour, 71 retraits sont prononcés. La liste de suspension peut être consultée sur le site internet de l ANESM. Lors de la signature du contrat avec l organisme, il est important d anticiper ces suspensions en rédigeant des clauses spécifiques. L ANESM produit chaque semestre des moyennes nationales basées sur les informations transmises par les organismes habilités. Au 31 décembre 2011, 1 735 missions d évaluation externe sont engagées, dont 1 480 achevées. 6,13 % des ESSMS ont réalisé leur évaluation externe parmi les 24 500 ayant pour échéance le 03/01/2015, 78 % de ces ESSMS sont des services à la personne, 6 % sont des EHPAD, 2 % sont des IME ou ITEP et 2 % sont des ESAT. Le coût moyen d une évaluation externe est de 6 900 euros TTC par EHPAD, 7 000 euros TTC par IME ou ITEP, 5 100 euros TTC par ESAT. Deux à trois évaluateurs réalisent chaque mission. Synthèse de la rencontre régionale sur l évaluation interne et externe des établissements et services médico-sociaux, à l INSA de Rouen le 19 juin 2012 5/17

Didier CHARLANNE, directeur de l ANESM Afin de mettre en œuvre ces obligations d évaluation interne, les ESSMS disposent de 25 recommandations. Le législateur vous demande de piloter votre cœur de métier et d en rendre compte tous les cinq ans par la procédure de l évaluation interne en continu. Il s agit de rendre compte de l avenir et du quotidien des personnes vulnérables qui nous sont confiées. En parallèle, un organisme habilité apporte son regard extérieur tous les sept ans. Une majorité des ESSMS sont tenus de restituer les résultats de leur évaluation interne avant le 31 décembre 2013 et les résultats de l évaluation externe avant le 31 décembre 2014. Pour les aider dans ces démarches, les ESSMS disposent auprès de l'anesm des recommandations qui contiennent les références minimales pour l'évaluation ainsi que des enquêtes, notamment celle sur la bientraitance en EHPAD. Parallèlement, avec le concours des ARS, nous allons lancer une enquête sur la bientraitance dans les foyers d accueil médicalisés (FAM) et dans les maisons d accueil spécialisées (MAS). En outre, des fiches de synthèses et d appropriations ont également été rédigées dans le but d apporter de l aide à l ensemble de vos équipes. Dans le cadre de la procédure d'habilitation, chaque ESSMS choisit l organisme et porte l'entière responsabilité de ce choix, au risque de se voir invalider le rapport d évaluation. Deux principes importants régissent l'activité de ces organismes : indépendance et diligence. L indépendance de l organisme choisi doit être garantie. Ainsi, vous ne pouvez pas sélectionner un organisme avec lequel vous avez eu des relations financières directes ou indirectes pendant l'année qui précède l'évaluation. Quant à la diligence, elle s'appuie sur le contenu du cahier des charges. Il convient de prendre des garanties dans les contrats que vous concluez. A titre d exemple, deux jours d intervention ne sont pas suffisants pour couvrir l intégralité des champs de l'évaluation externe au sein d'un EHPAD. A la lecture du rapport d'évaluation, les ARS et les Conseils Généraux sont tenus de nous signaler tout manquement qui engendrera immédiatement une procédure au niveau de l'anesm. Soyez donc vigilants sur le contenu, le prix, le nombre de jours et les conflits d intérêts qui pourraient exister de façon directe ou indirecte. In fine, ce dispositif d évaluation externe a vocation, en lien avec vos instances de gouvernance, à clarifier les priorités qui sont celles de votre établissement ou de votre service. Il a également vocation à instaurer un dialogue avec le Conseil Général et les services de l Etat. L objectif n est pas de rendre compte de procédures parfaites sur l ensemble du dispositif mais bien de progresser entre deux évaluations. Echanges avec la salle Il arrive souvent que la date d'autorisation prenne effet bien avant la date réelle d ouverture d'un établissement (deux ans d écart, parfois davantage). De ce fait, la période avant l évaluation interne est très courte. Claude d HARCOURT, directeur général de l Agence Régionale de Santé (ARS) de Haute-Normandie L évaluation interne s inscrit dans la dynamique de l établissement. Il est toujours favorable d enclencher ce processus dès l'autorisation de l établissement. Didier CHARLANNE, directeur de l ANESM La date d autorisation est bien la date à prendre en compte. J'attire votre attention sur le fait que plus vous rendrez rapidement votre rapport d'évaluation moins vous aurez de recommandations à prendre en compte. Synthèse de la rencontre régionale sur l évaluation interne et externe des établissements et services médico-sociaux, à l INSA de Rouen le 19 juin 2012 6/17

Piloter le cœur de métier, promouvoir la bientraitance, la démarche qualité, ou encore remplir les obligations réglementaires nécessitent des moyens. De ce fait, la question des budgets ne peut pas être éludée, surtout dans le contexte d'une croissance très faible et de l'augmentation de la masse salariale. Didier CHARLANNE, directeur de l ANESM L ANESM produit ses recommandations à partir de publications internationales. Les recommandations ne dépendent donc pas d un budget alloué. L Etat fait le choix de séparer la gestion des budgets de la qualité des pratiques professionnelles. L évaluation est un exercice de transparence qui permet d instaurer un dialogue entre tous les acteurs et de clarifier les priorités dans un contexte où les ressources sont rares. La cohérence dans l'exploitation des résultats fait partie des questions que nous nous posons. En effet, quelle est la cohérence sur l'interprétation des résultats lorsque le Conseil Général définit une stratégie d évaluation en respectant les 25 recommandations et que l ARS interprète les résultats tout aussi efficacement mais de manière différente? Didier CHARLANNE, directeur de l ANESM Vous êtes largement associés à l élaboration des recommandations. Pour mémoire, le comité d'orientation stratégique comprend 70 membres dont l'uriopss, la FEHAP, la FHF ainsi que les représentants des personnels puisque nous réunissons les principaux syndicats d'employés et d'employeurs. En parallèle, les groupes de travail sont constitués de professionnels de l'ensemble des établissements et services concernés par un projet de recommandation. Synthèse de la rencontre régionale sur l évaluation interne et externe des établissements et services médico-sociaux, à l INSA de Rouen le 19 juin 2012 7/17

Retour d expériences d évaluation interne et externe dans le secteur médico-social Une expérience d évaluation interne réalisée au sein de l institut médicopédagogique de Limesy Didier LE GUICHARD, association «Etennemare» L Association «Etennemare» est constituée de deux établissements : l Institut Médico Pédagogique (IMP) de Limesy qui accueille 60 jeunes de 6 à 16 ans et le Service d Education Spécialisée et de Soins A Domicile (SESSAD), qui comprend 11 jeunes âgés de 6 à 20 ans. L ensemble de ces jeunes présente une déficience intellectuelle légère ou moyenne et des troubles du comportement, psychologiques ou psychiques. L IMP dispose d une instance éducative (20 salariés, dont 4 travaillant la nuit), d une unité d enseignement (6 enseignants de l Education nationale), d une instance des services généraux (12 professionnels), d une instance thérapeutique et d une équipe médicale et paramédicale. Comme l indique le projet d établissement, l équipe se veut compréhensive des symptômes présentés par ces jeunes. La démarche d évaluation a été préparée en 2009 et s est déroulée entre le mois de janvier 2010 et le mois de février 2011. Dès le lancement du processus, l ensemble des professionnels de l IMP a été intégré à cette démarche. Un consultant externe nous a apporté son aide sur une période de dix-huit mois pour créer notre propre référentiel, mettre en place l évaluation interne et la mener jusqu à son terme. Nous avons fait le choix de favoriser non seulement le ressenti des professionnels, mais également celui des enfants eux-mêmes, de leurs familles naturelles et de leurs familles d accueil ou établissements partenaires. Nous avons donc élaboré un questionnaire que nous avons soumis aux jeunes et à une trentaine de familles. Cette démarche s est déroulée en onze étapes. Cinq réunions préparatoires ont eu lieu en équipe de direction. Nous avons organisé deux réunions institutionnelles de lancement. Par l intermédiaire de groupes de travail, nous avons ensuite procédé à la construction du référentiel d autoévaluation (cinq réunions). Nous avons travaillé à la construction d un outil d évaluation à destination des enfants et des familles (deux réunions). Nous avons aussi présenté et validé les outils d évaluation créés (une réunion). Par la suite, l évaluation interne s est déroulée sur dix réunions. Après cela, nous avons exploité les résultats de l évaluation (trois réunions). A l'occasion d une réunion institutionnelle, nous avons présenté les résultats aux professionnels de la structure et nous avons défini la priorisation des actions et le plan d actions d amélioration (deux réunions). En dernier lieu, nous avons présenté le plan d action d amélioration du service rendu aux professionnels, aux enfants et aux familles (une réunion), et avons rédigé un rapport d évaluation. Le référentiel d autoévaluation élaboré s articule autour de quatre axes d évaluation. : Le premier axe consiste à garantir l individualisation de la prise en charge (48 pratiques interrogées). Le second s articule autour de la prévention et de la gestion des risques de maltraitance (97 pratiques interrogées). Le troisième porte sur la mise en œuvre du projet d établissement (20 pratiques interrogées). Le dernier consiste à garantir de l ouverture de l établissement sur l extérieur (23 pratiques interrogées). Synthèse de la rencontre régionale sur l évaluation interne et externe des établissements et services médico-sociaux, à l INSA de Rouen le 19 juin 2012 8/17

Nous avons défini des critères d évaluation pour chaque axe. Pour chaque critère, nous avons établi des références de bonnes pratiques, sur la base des textes règlementaires et des recommandations de bonnes pratiques rédigées par l ANESM. La démarche a favorisé l échange entre tous les professionnels qui ont fait preuve d écoute et une réelle dynamique de travail s est installée. De son côté, le consultant a apporté un soutien méthodologique non négligeable. En parallèle, le questionnaire a suscité un moment d échange positif avec les enfants qui se sont exprimés en toute authenticité. Deux professionnels se sont rendus à domicile pour reprendre le questionnaire envoyé par courrier aux familles une semaine plus tôt. Il ressort des échanges que les familles ont été très touchées que leur avis soit pris en compte. Ce travail a également permis d attirer notre attention sur la précarité de nombreuses familles, non seulement sur le plan financier mais aussi en terme d expression écrite et orale. Nous mettons donc en œuvre une communication plus adaptée avec elles, notamment lors de la rédaction de courriers ou des bulletins scolaires. Nous leur proposons notre aide pour se rendre à l institut si elles n ont pas de moyens de transport ou allons les rencontrer à proximité de leur résidence. L objectif est d instaurer une proximité immédiate avec les familles dans l intérêt des enfants. Dans le prolongement de notre travail, le plan d amélioration retenu se présente sous la forme d un tableau synthétique rappelant, par axe de travail, les actions concrètes programmées ainsi que le responsable de chaque action. Ce plan d actions a été présenté et validé lors d une réunion du conseil d administration. Le directeur de l établissement est responsable du suivi du plan d actions. Lors de chaque rentrée institutionnelle en septembre, le directeur organise une présentation du bilan des actions menées sur l année écoulée ainsi que les travaux à mener pour l année à venir. Au niveau du suivi, deux comités ont lieu chaque année en juin et en janvier. Des bilans intermédiaires sont également établis avec l association gestionnaire de l établissement. Nous avons transmis le rapport d évaluation aux autorités de contrôle. En parallèle, nous avons organisé une restitution auprès de l ensemble des acteurs, professionnels, enfants et familles. Ces évaluations génèrent de nouvelles attentes de la part des professionnels qu'il convient maintenant de concrétiser. La mobilisation des personnels a été forte et représente 1 065 heures de travail, réparties principalement sur des groupes de travail. Ces réunions ont été programmées en supplément du temps de prise en charge des jeunes. Désormais, l évaluation et la pratique des groupes de travail sont réellement ancrées dans l établissement. La démarche d évaluation a permis de mettre à plat le fonctionnement concret de l établissement dans son organisation, dans la prise en charge directe des jeunes et dans leur accompagnement. La construction communautaire du référentiel et le repérage précis des dysfonctionnements sont la base de la mise en place rapide de certaines améliorations. En outre, le travail d observation permet de s interroger sur la cohérence de l ensemble des actions entreprises auprès des jeunes et de leurs familles respectives. Aujourd'hui, l ensemble des professionnels reste mobilisé afin de poursuivre ce travail d évaluation interne. Echanges avec la salle Pourquoi avez-vous fait le choix de créer un référentiel? Didier LE GUICHARD, association «Etennemare» En 2009, peu de référentiels existaient et nous n arrivions pas à nous approprier les référentiels existants. Ces derniers émanaient, pour la plupart, d'associations de parents qui géraient plusieurs établissements. Synthèse de la rencontre régionale sur l évaluation interne et externe des établissements et services médico-sociaux, à l INSA de Rouen le 19 juin 2012 9/17

En parallèle des questionnaires adressés aux familles, avez-vous également recueilli des éléments d observation que vous auriez tracés pour alimenter en continu l évaluation de la qualité des prestations? Didier LE GUICHARD, association «Etennemare» Nous avons complètement revisité notre mode de communication afin de la rendre la plus simple et la plus compréhensible possible. L analyse sociologique que vous avez constatée pose un vrai problème, car elle marque la limite de notre action. Nous ne sommes pas chargés de passer du médico-social au social pur. Didier LE GUICHARD, association «Etennemare» Il s'agit uniquement d'une constatation qui nous est propre. La démarche d'évaluation interne de l'association l'abri Léonard NZITUNGA, association l Abri Cette démarche d évaluation interne a été réalisée au sein de l association l Abri, gestionnaire à Evreux d un centre de soins, d accompagnement et de prévention en addictologie (C.S.A.P.A.), d appartements de coordination thérapeutique et de lits-halte-soins santé. L association l Abri est organisée autour de cinq pôles : Jeunes, Social, Insertion, Ingénierie Sociale, Médico-social. L expérience a été menée au sein de l association dans son ensemble depuis 2005, dans le prolongement de la loi du 2 janvier 2002 mais également suite à une volonté associative. En effet, le projet d établissement met en avant la volonté de l association de se doter d une démarche d évaluation dynamique et participative. Tout d abord, l association et la direction ont formalisé par écrit leur engagement. Ce texte, validé par le conseil d administration et soumis aux salariés, présente la volonté de mettre en œuvre une politique qualité et de la faire évoluer en fonction des besoins de l association. Cet engagement prévoit de faire respecter les dispositions écrites dans le «Manuel qualité». L association s est également engagée à soutenir la personne désignée en tant que responsable qualité. Concernant les moyens, nous avons répondu à l appel à projet (actions innovantes DGCS), et avons bénéficié d une enveloppe de 15 000 euros, ce qui nous a permis de recourir à un consultant extérieur qui nous a accompagnés entre 2005 et 2010. Nous avons également sollicité le Dispositif Local d Accompagnement (DLA). Par ailleurs, le budget alloué par la Direction Départementale de Cohésion Sociale (DDCS) nous a permis de communiquer autour de l outil de l évaluation. De 2005 à 2008, nous avons mis en place un groupe qualité, composé de six personnes et représentant l ensemble des fonctions de l'association Ce groupe a procédé à la mise à plat du fonctionnement et de l organisation de l association. Dans le même temps, le groupe qualité a établi un lien entre le groupe de travail, les salariés, les personnes concernées et la direction. Par la suite, le groupe qualité a procédé à la rédaction du «Manuel qualité». Ce dernier comprend l ensemble des aspects liés au fonctionnement mais regroupe aussi les valeurs prônées par l association. Assez vite, nous nous sommes rendus compte qu'il n'était pas possible de mener l'évaluation au sein des quatre établissements et avons donc mis en place en 2009 l évaluation à blanc d un établissement. L évaluation interne s est déroulée en 2010. Synthèse de la rencontre régionale sur l évaluation interne et externe des établissements et services médico-sociaux, à l INSA de Rouen le 19 juin 2012 10/17

L'évaluation a notamment porté sur le projet d établissement et les outils de la loi 2002-2, les droits et la participation des usagers, les différents registres, les ressources de l environnement, la logistique, les ressources humaines, les moyens administratifs et financiers ainsi que sur la démarche d amélioration de la qualité. En termes de chiffres, l'évaluation a donné lieu à 18 séances de 3 heures, soit 54 heures de travail au total. 5 à 7 professionnels étaient présents par séance, avec deux animateurs du groupe qualité et 24 salariés se sont impliqués. Au global, l action d évaluation représente donc 471 heures de travail, sans compter le temps de préparation. Une fois l'étape d'évaluation interne passée, le groupe qualité a rédigé le rapport d évaluation et le comité de direction a ensuite élaboré le plan d amélioration. Ce plan a été soumis au conseil d administration puis mis en place. Par la suite, la démarche a été étendue au sein des autres services de l association. Cette démarche a été réussie grâce au concours de nombreux acteurs. En parallèle, le soutien des financeurs et la présence d un expert accompagnant ont été d importants atouts. La communication mise en place autour du projet a été essentielle : l édition d un journal qualité a permis à chacun d'être informé en temps réel de l évolution du projet et du rôle de chaque service. Finalement, cet exercice est exigeant mais se révèle être très intéressant. Il constitue un réel outil de management. Echanges avec la salle Claude d HARCOURT, directeur général de l Agence Régionale de Santé (ARS) de Haute-Normandie Le fait d être pionnier explique le temps passé par l association l Abri, et les moyens mis en œuvre par votre association. Didier CHARLANNE, directeur de l ANESM L évaluation n est pas un exercice ponctuel. Ce dispositif en continu intègre le management de l établissement et est piloté par le management. J'en profite pour ajouter que nous avons recommandé 15 indicateurs "sentinelles" à mettre en place au sein des EHPAD et des services à domicile. Ces indicateurs vous permettent de savoir quand déclencher les évaluations pratiques. Une dynamique inter-associative de l évaluation interne et externe Caroline BLAISE, association «Les Papillons Blancs» (Rouen) La première étape a consisté à la construction d'un référentiel national. En l'occurrence, nous avons opté pour le référentiel de notre syndicat employeur. Nous avons également travaillé sur la base du décret du 15 mai 2007 (l annexe 3-10 CASF) qui précise les champs de l évaluation interne ou externe ainsi que les quatre attendus du rapport final, à savoir : les conditions d élaboration et de mise en œuvre du projet d'établissement ou de service, l expression et la participation des usagers, la politique de prévention et de gestion des risques de maltraitance, l ouverture de l établissement ou du service sur son environnement institutionnel, géographique, socioculturel et économique. Synthèse de la rencontre régionale sur l évaluation interne et externe des établissements et services médico-sociaux, à l INSA de Rouen le 19 juin 2012 11/17

Pour mener à bien ces différentes évaluations en continu dans un système de management par la qualité, il est primordial que le conseil d administration impulse une démarche participative au travers d une méthodologie écrite. Plusieurs éléments s inscrivent dans cette démarche : un comité de pilotage, un coordinateur, des groupes de travail, une évaluation financière, un timing. Ce processus continu se déroule en trois phases : la préparation, l évaluation, le partage entre tous des axes d amélioration écrits. Pour l évaluation interne et l évaluation externe, les trois principes fondamentaux à mettre en œuvre sont les principes de réalité, de cohérence et de travail en équipe. Suite à ces évaluations internes ou externes, des pistes d amélioration doivent être déterminées, hiérarchisées et appliquées. Nous nous sommes référés sans cesse à la méthode du «PDCA ou roue de Deming, Plan Do Check Act (Préparer Appliquer Contrôler Agir)». Sylvie NICOLAS (APF) Quatre associations, l ADAPT, l OVE (Œuvre des Villages d Enfants), l ASEI (Association pour la Sauvegarde des Enfants Invalides) et l APF (Association des Paralysés de France) se sont regroupées afin de mutualiser les ressources, les compétences et la démarche de réflexion. L objectif commun était également de décloisonner, de s enrichir les uns les autres, de donner plus de crédibilité à la démarche. En parallèle, des auditeurs extérieurs à la structure et à la région sont intervenus. Ces associations se sont unies pour créer un référentiel. Ce référentiel est le fruit d une volonté interassociative de mutualiser les ressources et les expériences pour aborder les exigences de l évaluation interne et externe. Il intègre les dispositions de la loi 2002-2 et ses décrets d application. Il prend en compte les évolutions liées au contexte et à la réglementation en vigueur, ainsi que les recommandations de bonnes pratiques professionnelles formulées par l ANESM. Didier DEREUX, association l ADAPT Cette démarche inter-associative visait à nous placer en condition d évaluation externe et de mettre les équipes en situation réelle d évaluation. Dans cet objectif, des groupes de travail pluridisciplinaires ont été créés. Un référentiel a été élaboré entre février 2009 et novembre 2009 et constitue une réelle réflexion. Le référentiel est un support de dialogue pour l ensemble des acteurs des ESSMS. Il constitue un socle commun applicable à l ensemble des ESSMS des quatre associations. L ensemble des activités de nos établissements sont évaluées : la personne accompagnée, le parcours, l accompagnement et les prestations proposées, le projet d établissement et les moyens de sa mise en œuvre. Les interactions entre ces différentes dimensions et l environnement (familial, territorial, institutionnel) sont également explorées. Les pratiques des ESSMS et des professionnels sont interrogées selon quatre dimensions complémentaires et étroitement liées : l usager et le respect de ses droits, les prestations réalisées, au regard du projet d ESSMS et de ses modalités de mise en œuvre, l organisation de l ESSMS et son fonctionnement, l ESSMS et les liens avec son environnement. Un modèle de référentiel commun aux quatre associations a été élaboré mais chaque établissement a pu garder son propre mode de fonctionnement. La réussite de ce référentiel est liée au fait que chacun soit acteur, partie-prenante et force de proposition. Dans ce contexte, l acquisition des pré-requis en vue de l évaluation externe est indispensable. Par l évaluation inter-associative, les équipes se réapproprient leur métier, ont un nouveau regard, et se revalorisent. Le métier reprend du sens. Synthèse de la rencontre régionale sur l évaluation interne et externe des établissements et services médico-sociaux, à l INSA de Rouen le 19 juin 2012 12/17

Fabrice FORT, directeur général de l association «Les Papillons Blancs de l'eure» L association «Les papillons blancs de l'eure» comprend 1 200 places et 600 salariés, répartis dans 23 établissements et services. Nous estimions que l évaluation générale devait être une démarche éclairante, stimulante, participative et contradictoire, permettant de remettre en question, d interroger des pratiques, d échanger et de progresser. Pourtant, les acteurs qui s y engagent le font avec réticence, car ils craignent une remise en cause de l équilibre interne qui nous paraît fragile. L évaluation externe, cette obligation du législateur, doit être comprise comme un acte essentiel de management nous permettant d évoluer et de résorber ces craintes. Les mots clés d une véritable approche participative sont : information, communication, échange, valorisation, amélioration de la qualité de la prise en charge et de l accompagnement de la personne. L évaluation externe constitue un processus d amélioration permanent et continu, à caractère stratégique. Mettre en place une évaluation externe est un choc culturel qui prend du temps et qui se prépare. La mise en place d une évaluation s inscrit dans le processus des techniques de management de projet. En 2010, quatre évaluations externes ont été réalisées dans différents établissements. De nouveaux plans d action ont donc été mis en place. En 2012, quatre évaluations externes sont prévues. Nous avions mis en place un système de formation avant le démarrage des évaluations afin de sensibiliser l ensemble des directeurs et des professionnels à la démarche de qualité dans le but de la rendre plus concrète. La démarche d amélioration de la qualité et de l éthique vise à permettre l individualisation des pratiques avec des outils cohérents et pertinents, et à pouvoir en assurer la traçabilité dans une approche de remise en cause permanente. Une expérience d évaluation interne et externe Ludivine GROULT, directrice de la résidence Bouic-Manoury à Fauville-en-Caux Isabelle BOUTIN, cadre de santé, présidente de l association Normandie SSIAD Ludivine GROULT Pour appliquer le cadre réglementaire, l établissement ou le service doit être imprégné de la démarche qualité et désireux de la mettre en place. Il doit également être disposé à la mise en place d'une politique de bientraitance. Isabelle BOUTIN La démarche de Normandie SSIAD repose sur le constat qu'il existe une grande disparité entre les SSIAD, notamment en termes d'appartenance juridique ou de localisation entre territoire rural ou urbain. Les établissements avaient la volonté de se regrouper pour entrer dans la démarche de l évaluation. La DDASS a accepté la proposition de démarche commune des SSIAD et a octroyé 2 500 euros à chaque SSIAD inscrit dans cette démarche commune. Ludivine GROULT La résidence Bouic-Manoury et l association Normandie SSIAD sont entrées dans la démarche évaluative grâce à une politique volontariste d anticipation. En effet, il est intéressant d'anticiper pour permettre à l'établissement d'entrer à son rythme dans la démarche évaluative et d'appréhender la démarche avec davantage de sérénité. Concernant l'évaluation interne, la démarche s'est voulue participative et a conduit à la constitution de groupes de travail. Synthèse de la rencontre régionale sur l évaluation interne et externe des établissements et services médico-sociaux, à l INSA de Rouen le 19 juin 2012 13/17

Isabelle BOUTIN Aucun référentiel n existait pour les SSIAD, nous nous sommes donc rapprochés de l'union nationale des SSIAD et avons donc travaillé ensemble à son élaboration. Ludivine GROULT Comme souvent dans une démarche projet, la communication est primordiale. En expliquant l objectif de la démarche au personnel, celui-ci intègre réellement le projet. Isabelle BOUTIN L auto-évaluation n est pas dans la culture des personnes soignantes. La communication a donc été utile pour expliquer l intérêt de la démarche. Ludivine GROULT L évaluation externe de l EHPAD a eu lieu en décembre 2010. Isabelle BOUTIN Dans un premier temps, les SSIAD rattachés à des établissements qui intègrent la démarche ont commencé l évaluation externe. Ultérieurement, les autres SSIAD sont progressivement entrés dans la démarche. Ludivine GROULT L évaluation externe de l EHPAD a couvert l ensemble des services (EHPAD, SSIAD, accueil de jour). Cette démarche s est mise en place volontairement dans l intégralité de la structure afin que chaque membre du personnel se sente concerné. Tout d abord, nous avons établi une mise en concurrence préalable pour choisir l évaluateur externe. Le critère de choix principal est celui du référentiel proposé par l évaluateur. Le référentiel doit être en adéquation avec notre secteur d activité. Les autres critères sont la méthodologie proposée par l évaluateur et le coût. Nous avons vérifié l habilitation de l évaluateur, délivrée par l ANESM. Sur le plan de la communication, nous avons initié une démarche en amont de l évaluation externe en informant le conseil d administration du démarrage du processus. L évaluation externe s est ensuite déroulée selon deux référentiels différents : un pour l EHPAD et l accueil de jour, le second pour le SSIAD. Concernant l EHPAD, l organisme retenu nous a proposé le référentiel adapté au secteur gérontologique. Une équipe de quatre évaluateurs, professionnels du secteur, s est rendue au sein de l établissement. L organisme nomme un évaluateur référent, qui établit les modalités d évaluation. Il est l interlocuteur privilégié du directeur. Durant une journée de pré-visite, il rencontre la direction et communique avec l ensemble du personnel. Il présente notamment le référentiel. Les équipes se sentent impliquées et valident ce référentiel. L évaluation est basée sur des observations : 400 faits sont relevés en trois jours et deux nuits au sein de l EHPAD. L évaluateur rencontre l ensemble des cadres, les prestataires extérieurs à l établissement, les familles et les résidents. La restitution est faite à huis clos au directeur puis aux équipes. Concernant le SSIAD, le référentiel est spécifique à l activité du SSIAD. L évaluation est réalisée par trois évaluateurs, dont un évaluateur référent. L évaluation, réalisée sur deux jours, est basée sur des observations, des faits et des entretiens. Les résultats de l évaluation sont transmis au directeur, puis aux équipes, et en dernier lieu aux autorités. Les résultats de l évaluation externe se déclinent en forces et en défis. L évaluateur fait état des nonconformités réglementaires, et établit des préconisations classées en "actions prioritaires" et en "actions à programmer". Concernant la démarche d évaluation interne ou externe, aucun frein n a été recensé au sein de la résidence Bouic-Manoury, grâce notamment à l importante campagne d information réalisée en amont. Synthèse de la rencontre régionale sur l évaluation interne et externe des établissements et services médico-sociaux, à l INSA de Rouen le 19 juin 2012 14/17

Isabelle BOUTIN Quelques inquiétudes liées à une méconnaissance de la démarche ont été recensées au sein de l association Normandie SSIAD, sans toutefois que ces inquiétudes génèrent des freins. Ludivine GROULT Au sein de la résidence Bouic-Manoury, la démarche d évaluation a structuré la démarche qualité, avec une mise en place de plan d actions. Elle a instauré une dynamique, elle a remis en question les pratiques professionnelles. Les professionnels ont également pris conscience des contraintes et de la qualité de leur travail. L évaluation est également un outil de communication et de négociation avec les autorités (politiques, administratives). Les élus ont ainsi davantage de visibilité sur l action réalisée. Isabelle BOUTIN L évaluation interne constitue un outil de sensibilisation et de communication. Ludivine GROULT L évaluation est un outil de transparence en interne et en externe. Cette démarche a permis d élaborer un calendrier d actions puis d engager des mesures correctives. Par ailleurs, la notion de calendrier permet de maintenir la dynamique des équipes, car un processus en continu peut rencontrer des périodes d essoufflement. Le véritable défi de cette démarche est de la pérenniser. Isabelle BOUTIN Les axes d amélioration dégagés de l évaluation pour les SSIAD concernent la participation des patients et de leurs familles. Echanges avec la salle Didier CHARLANNE, directeur de l ANESM Nous pourrions croire que le choix de l'évaluateur externe s'établit sur le référentiel qu'il propose. Je rappelle que l annexe 3-10 du CASF précise qu élaborer le cadre évaluatif avec le prestataire est l une des phases de l évaluation. L évaluateur doit vous proposer une prestation qui couvre l ensemble des points prévus à l annexe 3-10 du CASF. Un organisme obtient relativement facilement l habilitation. Comment faire appel à un organisme évaluateur sans faire d erreur de choix? Ne pourrions-nous pas mutualiser des informations dans la mesure où nous serons tous confrontés à la même problématique? Didier CHARLANNE, directeur de l ANESM Vous pouvez solliciter les fédérations pour la sélection du prestataire. Dans certaines régions, des établissements ou associations se regroupent et sollicitent ensemble les fédérations. Vous bénéficiez aussi des informations que nous diffusons au niveau national. Claude d HARCOURT, directeur général de l Agence Régionale de Santé (ARS) de Haute-Normandie Les établissements peuvent se regrouper et lancer un appel d offres commun. Nous favorisons les coopérations. Pouvons-nous envisager une cohérence visant à organiser le calendrier et ses nombreux impératifs? Claude d HARCOURT, directeur général de l Agence Régionale de Santé (ARS) de Haute-Normandie Je suis le premier à vouloir desserrer les contraintes, et à vouloir être cohérent. Cependant, certains événements, à l'image de la campagne budgétaire, ne laisse pas toujours de marge de manœuvre. Croyez-bien que dès que nous le pouvons, nous adaptons le calendrier. Synthèse de la rencontre régionale sur l évaluation interne et externe des établissements et services médico-sociaux, à l INSA de Rouen le 19 juin 2012 15/17

Etat des lieux relatif au dispositif d évaluation dans les établissements et services médico-sociaux destinés aux personnes âgées et dans les structures accueillant des personnes en situation de handicap. Anna FORGUE, inspectrice de l action sanitaire et sociale au pôle qualité, efficience et performance de l ARS de Haute-Normandie. L état des lieux que je vais vous présenter, concernant l évaluation interne et externe des établissements et services médico-sociaux en Haute-Normandie a été réalisé conjointement par le Pôle Organisation de l Offre Médico Sociale (Pôle OOMS) et le Pôle Qualité, Efficience et Performance (Pôle QEP) de l ARS de Haute-Normandie. Le courrier d information et le questionnaire ont été envoyés en 2011 aux ESSMS du secteur des personnes handicapées, suivi d une actualisation en 2012. Concernant les ESSMS du secteur des personnes âgées, la démarche a été effectuée en 2012. De manière concomitante, un groupe de travail s est mis en place et se poursuivra avec les représentants des fédérations des établissements. Le travail concernant le secteur de l addictologie est actuellement en cours, les résultats ne sont donc pas encore présentés. 99 % des ESSMS du secteur des personnes handicapées ont répondu au questionnaire ainsi que 78 % des ESSMS du secteur des personnes âgées. Au total, ce sont donc 88,46 % des ESSMS des deux secteurs qui ont répondu au questionnaire En Haute-Normandie, 64,9 % des évaluations internes ont été réalisées. Pour les établissements qui ne l ont pas encore réalisée, la démarche s inscrit sur les années 2012 et 2013. Par ailleurs, 5,1 % des ESSMS ont réalisé leur évaluation externe. Les réalisations sont prévues sur les années 2012, 2013 et 2014. Autres données intéressantes, 55,1 % des ESSMS ont déjà désigné un référent évaluation et 80,1 % des ESSMS n ont pas reçu de formation à l évaluation externe. En la matière, les attentes des ESSMS portent essentiellement sur la méthodologie de l évaluation interne et externe ainsi que sur le financement de l évaluation externe. Les résultats détaillés de l étude sont présentés sur le site internet de l'ars. Synthèse de la rencontre régionale sur l évaluation interne et externe des établissements et services médico-sociaux, à l INSA de Rouen le 19 juin 2012 16/17

CONCLUSION Claude d HARCOURT, directeur général de l Agence Régionale de Santé (ARS) de Haute-Normandie Je remercie Monsieur CHARLANNE, Christine LE FRECHE et ses collaboratrices et collaborateurs ainsi que les représentants des fédérations et les représentants des Conseil Généraux. Mes remerciements s'adressent également aux différents intervenants. En conclusion, je retiens quelques axes de cette rencontre. Je citerai en premier lieu, l'utilité du regroupement des établissements. Je crois en effet que la réflexion commune rend ce travail plus facile à réaliser. En outre, cette démarche prend du temps et doit donc s'inscrire dans la durée. Cette démarche est aussi participative et doit engager l ensemble du personnel. Il ne faut pas croire, notamment en matière d'évaluation interne, que la démarche concerne nécessairement tous les items. Il faut plutôt s'attacher à traiter les "nœuds", c'est-à-dire les points qui méritent une amélioration. Par ailleurs, le service que vous proposez est extrêmement précieux mais il n est pas assez connu. Il faut être lisible et visible dans la durée et en profondeur dans la société et auprès des autorités de tutelle. Nous avons conscience de l effort que représentent les évaluations et je peux vous assurer que nous les regardons dès leur réception dans l'objectif d'en faire un outil de relation et non de sanction. Merci à tous de votre participation. Toutes les présentations sont sur le site www.ars.haute-normandie.sante.fr Synthèse de la rencontre régionale sur l évaluation interne et externe des établissements et services médico-sociaux, à l INSA de Rouen le 19 juin 2012 17/17