Outils pratiques pour faciliter la mise en œuvre de l évaluation externe dans le secteur médico-social. Guide d utilisation

Transcription

1 Outils pratiques pour faciliter la mise en œuvre de l évaluation externe dans le secteur médico-social Guide d utilisation Avril 2014

2

3 Préambule L'amélioration continue de la qualité et le déploiement de la démarche d évaluation sont en marche dans le secteur médico-social, avec une mobilisation de l'ensemble des acteurs des établissements, des territoires de santé et de la région. La sécurité des prises en charge et la promotion des comportements bientraitants à l égard des usagers sont au cœur des préoccupations quotidiennes et sont prises en considération par les établissements et services mais également par l ARS d'aquitaine, notamment dans le cadre du renouvellement des autorisations dont la préparation doit s'inscrire dans le temps. Les actions d'appui déployées par l'ars d'aquitaine depuis 2010 sont centrées sur des temps d'information et d'échange avec les professionnels, la diffusion de référentiels qualité et la mise en place d'observatoires. C'est dans la poursuite de cette dynamique régionale que l'ars d'aquitaine a demandé au Comité de Coordination de l'evaluation Clinique et de la Qualité en Aquitaine (CCECQA) de réaliser des outils pratiques d'aide aux démarches d'évaluation dans le secteur médico-social. Le CCECQA est une structure régionale d'accompagnement à l'évaluation en santé, de statut associatif. Avec le soutien de l'ars, il contribue, auprès de ses adhérents établissements de santé et médico-sociaux, à l'analyse des pratiques professionnelles, à l'amélioration de la qualité et à la gestion des risques. Le CCECQA mène des projets régionaux mobilisant ses adhérents, met en œuvre des activités missionnées par l'ars et pilote des projets de recherche. Il répond également à des demandes d'accompagnement et de formation. L'appui méthodologique que peut apporter le CCECQA aux équipes contribue à la formalisation des démarches d'évaluation. En outre, la transversalité du réseau de professionnels en santé, que le CCECQA développe depuis 1996, permet le déploiement des démarches qualité et un partage des outils. Nous souhaitons vivement que ce guide, document technique, complémentaire de ceux qui sont à ce jour disponibles pour les démarches qualité et la procédure d'évaluation du secteur médico-social, puisse constituer une ressource utile, à la fois pour ceux qui, au sein des établissements, ont à faire des choix concernant les méthodes de la qualité et ceux qui les mettent en œuvre, pour améliorer la qualité et la sécurité des prises en charges. Michel Laforcade Catherine Pourin & Jean-Luc Quenon Directeur Général de l'ars d'aquitaine Codirecteurs du CCECQA

4 Le Comité de Coordination de l'evaluation Clinique et de la Qualité en Aquitaine (CCECQA) est une structure régionale d'accompagnement à l'évaluation. De statut associatif, il contribue depuis 1996 auprès de ses 180 adhérents, établissements de santé et médico-sociaux, à l'analyse des pratiques professionnelles et à la gestion des risques, avec le soutien de l'ars Aquitaine. Le CCECQA mène des projets régionaux mobilisant ses adhérents, met en œuvre des activités missionnées par l'ars et pilote des projets de recherche. Il répond également à des demandes d'accompagnement et de formation. Hôpital Xavier Arnozan Pessac cedex Tél Fax secretariat@ccecqa.asso.fr Citation : Outils pratiques pour faciliter la mise en œuvre de l évaluation externe dans le secteur médico-social. Guide d utilisation. CCECQA, avril Financement : Ce projet a été financé par l ARS d Aquitaine Rédacteurs : Maika BERROUET, chef de projets CCECQA ; Sandrine DOMECQ, CCECQA ; Laure ESPINASSE, CH Saint-Sever ; François-Emmanuel FAURE, Consultant. Participants : Leila GAILLARD, CCECQA ; Marie LEVIF, CCECQA ; Floriane SEVIN, CCECQA Relecteurs : Régine LECULEE, Marie LEVIF, Catherine POURIN, Nathalie ROBINSON Les auteurs remercient les établissements d Aquitaine ayant apporté leur contribution en renseignant l enquête de retour d expérience sur l évaluation interne et les référentiels d évaluation. Nos remerciements vont également à Maryse PISCAREL, Jenna SAGOT et Marion KRET du CCECQA pour leur aide logistique et soutien.

5 Introduction L évaluation externe a été introduite par la loi n du 2 janvier 2002 rénovant l action sociale et médico-sociale. Portant sur les activités et la qualité des prestations des établissements et services visés à l article L du code de l Action sociale et des familles (CASF), l évaluation externe porte de manière privilégiée sur la pertinence, l impact et la cohérence des actions déployées par les établissements et services, au regard d une part, des missions imparties et d autre part des besoins et attentes des populations accueillies (cf. décret n du 15 mai 2007, rubrique "Outils"). Les champs des évaluations externe et interne sont les mêmes afin d assurer la complémentarité des analyses portées sur un même établissement ou service et de fait, pouvoir apprécier les évolutions et les effets des mesures prises pour l amélioration continue de la qualité du service rendu. Pour réaliser leur évaluation externe, les établissements et services sociaux et médico-sociaux (ESSMS) doivent choisir des organismes habilités possédant des qualifications et compétences déterminées par l annexe 3-10 du CASF. En proposant des outils pratiques, ce guide a pour objet d accompagner les établissements de façon concrète dans la mise en place ou l amélioration de leur démarche d évaluation externe. Il n a pas pour objet la réécriture des fondamentaux, objectifs et concepts de l évaluation externe. Ces différentes dimensions ont été suffisamment explorées dans différents ouvrages et très récemment par l Agence Nationale de l Evaluation et de la Qualité des Etablissements Médico-sociaux (ANESM) dans son guide d aide à la contractualisation. Ce guide n a pas vocation à être opposable. Il appartient à chaque établissement de s approprier les différents outils et préconisations qui sont proposés. Ce manuel a été élaboré entre janvier et avril 2014 par le CCECQA et deux qualiticiens exerçant dans un service Etablissement d Hébergement pour Personnes Agées Dépendantes (EHPAD) et une association du secteur enfance et adultes handicapés. Il s appuie : - d une part, sur la bibliographie faisant référence dans le domaine de l évaluation externe et dans le domaine du management par la qualité (textes réglementaires, recommandations de bonnes pratiques, ouvrages) - d autre part, sur l expérience de professionnels de terrain ayant réalisés une démarche d évaluation externe (implication de deux qualiticiens dans la rédaction du guide, réalisation et traitement d une enquête de retour d expérience auprès de tous les établissements médico-sociaux de la région Aquitaine, réalisation et traitement d une enquête de retour d expérience auprès de tous les organismes habilités de la région Aquitaine, réalisation d un entretien approfondi avec un organisme habilité). Il est structuré autour de trois pivots : - Un plan en quatre parties : 1) rappel du contexte réglementaire, 2) objectifs et enjeux de l évaluation externe, 3) déclinaison opérationnelle des cinq étapes à réaliser pour mener une évaluation interne, 4) évocation des points de vigilance et des leviers à actionner ; - Des messages clés et concis sous forme de focus et de points de vigilance ; - Des fiches «Outil» : il peut s agir de fiches méthodes ou de documents opérationnels directement utilisables et adaptables par les professionnels des structures. Ce guide constitue la base d une campagne de sensibilisation coordonnée par le CCECQA. Deux ateliers d une demijournée sont organisés le 4 avril 2014 à Mont de Marsan et le 8 avril 2014 à Pessac. Ces ateliers sont ouverts à tous les établissements médico-sociaux financés par l ARS de la région Aquitaine.

6

7 Sommaire Resituer le contexte réglementaire page 9 de l évaluation externe Réaffirmer les objectifs et les enjeux page 13 de l évaluation externe Décliner le processus de mise en œuvre de page 19 l évaluation externe Annexes page 31 CCECQA décembre

8 CCECQA décembre

9 Resituer le contexte réglementaire de l évaluation externe > Documentation Loi n du 2 janvier 2002 rénovant l action sociale et médico-sociale Loi n du 21 juillet 2009 portant réforme de l hôpital et relative aux patients, à la santé et aux territoires Décret n du 15 mai 2007 fixant le contenu du cahier des charges pour l évaluation des activités et de la qualité des prestations des établissements médico-sociaux Décret n du 30 janvier 2012 relatif aux conditions de prise en compte de la certification dans le cadre de l évaluation externe des établissements et services sociaux et médico-sociaux Circulaire DGCS/SD5C/2011/398 du 21 octobre 2011 relative à l évaluation des activités et de la qualité des prestations délivrées dans les établissements et services sociaux et médico-sociaux CCECQA décembre

10 CCECQA décembre

11 Calendrier Evaluation interne Evaluation externe Tous les 5 ans Réalisée par la structure et envoyée aux tutelles (ARS / CG) Tous les 7 ans Réalisée par un organisme extérieur et envoyée aux tutelles (ARS / CG), permettant le renouvellement de l autorisation Présentation L évaluation externe a été introduite par la loi n du 2 janvier 2002 rénovant l action sociale et médicosociale. Portant sur les activités et la qualité des prestations des établissements et services visés à l article L du code de l Action sociale et des familles (CASF), l évaluation externe porte de manière privilégiée sur la pertinence, l impact et la cohérence des actions déployées par les établissements et services, au regard d une part, des missions imparties et d autre part des besoins et attentes des populations accueillies (cf. décret n du 15 mai 2007, rubrique "Outils"). Les champs des évaluations externe et interne sont les mêmes afin d assurer la complémentarité des analyses portées sur un même établissement ou service et de fait, pouvoir apprécier les évolutions et les effets des mesures prises pour l amélioration continue du service rendu. Pour réaliser leur évaluation externe, les établissements et services sociaux et médico-sociaux (ESSMS) doivent choisir des organismes habilités possédant des qualifications et compétences déterminées par l annexe 3-10 du CASF. CCECQA décembre

12 CCECQA décembre

13 Réaffirmer les objectifs et les enjeux de l évaluation externe Pour une institution sociale ou médico-sociale, l évaluation externe est un constat réalisé à un moment donné par des intervenants extérieurs. Il porte sur l ensemble du fonctionnement et des pratiques de l ESMS. L évaluation externe a pour but de mieux connaître et comprendre les processus, d apprécier les effets produits au regard des intentions initiales et notamment des projets associatifs et d établissement dans la perspective d améliorer les conduites d action, en référence aux valeurs qui apparaissent comme prioritaires. Selon le décret du 15 mai 2007, l évaluation externe a pour objectifs de : > Porter une appréciation globale > Examiner les suites réservées aux résultats issus de l évaluation interne > Examiner certaines thématiques et des registres spécifiques En synthèse, l évaluation sociale et médico-sociale est une double évaluation : > Des activités (démarches qualité) > Des résultats (effets attendus ou non voulus, positifs ou négatifs) CCECQA décembre

14 CCECQA décembre

15 Les objectifs de l évaluation externe L évaluation externe devrait permettre de répondre à la question suivante : Dans le cadre de ses missions, les prestations proposées par l établissement ou le service sont-elles adaptées aux besoins et attentes spécifiques des personnes accompagnées? L évaluation externe devra porter une appréciation globale sur : > la cohérence et l adéquation du projet institutionnel par rapport aux besoins des usagers > le niveau de réalisation des engagements > la capacité d adaptation de l établissement ou du service au regard des évolutions constatées > la pertinence des activités déployées au regard des effets pour les usagers > les conditions de réalisation : moyens matériels et humains, gestion des ressources humaines, intégration des ressources du territoire, articulations interne et externe, cadre de vie > les suites réservées à l évaluation interne L évaluation externe s inscrit dans une démarche globale d amélioration de la qualité : > par son regard extérieur et nouveau, elle permet de valider l organisation mise en place et les moyens déployés > elle met en avant les points forts et les nouveaux défis que doit relever la structure > elle établit un bilan d'étape dans une démarche de progrès > elle réalise un point zéro lors de la prise de fonction d'une nouvelle équipe de direction L'évaluation externe évalue un système mais en aucun cas le personnel ou les usagers CCECQA décembre

16 Les enjeux de l évaluation externe L enjeu officiel : le renouvellement d autorisation des établissements et services > Les modalités de renouvellement de l autorisation sont définies dans l article L du CASF : «Le renouvellement, total ou partiel de l autorisation, est exclusivement subordonné aux résultats de l évaluation externe mentionnée au deuxième alinéa de l article L.312-8». Les ESMS sont autorisés pour une durée limitée et doivent tenir compte des échéances réglementaires précédemment exposées (décret n du 3 novembre 2010). > L article L du CASF prévoit que «l autorisation est réputée renouvelée par tacite reconduction sauf si, au moins un an avant la date de renouvellement, l autorité compétente, au vu de l évaluation externe, enjoint à l établissement ou au service de présenter dans un délai de 6 mois une demande de renouvellement.» L enjeu principal : un révélateur du fonctionnement des organismes gestionnaires avec le rapport d évaluation externe > Indicateur du fonctionnement des organismes gestionnaires, de leur capacité à conduire leurs établissements et services ; > Photographie de l existant ; > Implication des ESMS dans une démarche envisagée à la fois sous l angle d une évaluation des pratiques et d une évaluation des résultats. L établissement doit apporter la preuve qu il maîtrise l ensemble des dispositifs garants du respect des droits des usagers : L évaluation est distincte du contrôle (tout en participant à un processus de contrôle) L évaluation est une évaluation des pratiques et des dispositifs L évaluation n est pas une évaluation des «représentations» CCECQA décembre

17 En synthèse. L évaluation externe permettra de répondre aux questionnements suivants : Quels objectifs, missions, valeurs de l ESMS? Quels résultats attendus? Quelles caractéristiques de la population accompagnée? Quelles dispositions mises en place? Quelles pratiques effectivement mises en œuvre? Quels effets observés pour les usagers? Quels constats? Quels écarts entre ce qui est attendu et ce qui est observé? Quelles raisons? Quelles priorités? Quels objectifs? Quels résultats attendus? Quels moyens? Quels délais? Elle s appuiera sur : > Une organisation en mode projet : pilotage, planification, définition d objectifs ; > Une démarche collective, participative et co-construite ; > Des outils de collecte, d analyse et de suivi des informations ; > Des compétences spécifiques et un processus maîtrisé. Evaluer, c est comprendre!!! Mais l évaluation n est pas une fin en soi! La démarche d amélioration continue doit poursuivre son chemin en alimentant le PAQ et en assurant son suivi Utile aux décideurs, dirigeants, professionnels, usagers, elle permet de porter une appréciation globale sur un établissement ou un service et de mettre en valeur actions, savoir-faire, visions de l action sociale et service rendu. La boucle de l amélioration continue CCECQA décembre

18 CCECQA décembre

19 Décliner le processus de mise en œuvre de l évaluation externe Pour rendre efficace et efficiente sa démarche d évaluation externe, il est nécessaire de : > Définir son projet > Respecter des règles établies > Appliquer le rythme et la tonalité fixés > Suivre les cinq étapes identifiées : Etape 1 Etape 2 Etape 3 Etape 4 Etape 5 Réunir les conditions nécessaires Elaborer les documents de mise en concurrence Choisir l organisme habilité Veiller au bon déroulement de l évaluation externe Valider le rapport d évaluation externe > Documentation Loi n du 2 janvier 2002 Pour chaque étape, un focus sera réalisé sur des actions et des outils spécifiques à mettre en place Ces outils constituent une base support et de référence pour chaque structure et ne sont en aucun cas opposables. Ils doivent être réactualisés et adaptés au contexte et à l organisation de chacun Loi HPST n du 21 juillet 2009 Décret n du 15 mai 2007 Décret n du 30 janvier 2012 Circulaire DGCS/SD5C/2011/398 du 21 Code de la consommation Code des marchés publics Code de l action sociale et des familles CCECQA décembre

20 CCECQA décembre

21 Etape 1 Réunir les conditions nécessaires GANTT pour planifier la procédure générale d évaluation externe Définition de l étape L engagement dans le processus d évaluation externe est un moment stratégique. En effet, cette évaluation va marquer la fin d une première étape et l entrée dans un second cycle évaluatif où se succéderont à nouveau évaluation interne et externe. Le décret n du 15 mai 2007 fixe le contenu réglementaire de l évaluation externe. Le périmètre assigné à l évaluateur est précisé par trois objectifs : > Porter une appréciation globale sur le projet, en termes de pertinence, cohérence, efficacité et efficience ; > Examiner les suites réservées aux résultats issus de l évaluation interne ; > Examiner certaines thématiques et certains registres spécifiques. Cette étape initiale consistera pour l ESMS à s assurer qu il est prêt à réaliser un examen tel que défini par le décret. L évaluation supposera la mise en place d un système d enregistrements propre à démontrer à l évaluateur le caractère effectif des orientations prises pour garantir un fonctionnement bientraitant. L évaluation devra impliquer la participation volontaire des professionnels à la démarche. Dans les limites réglementaires, l engagement dans la procédure devra donc se faire à un moment opportun pour l ESMS. Processus clés Satisfaction aux exigences réglementaires et aux RBPP Satisfaction aux conditions de mise en œuvre de l évaluation externe Choix du bon moment pour engager la procédure CCECQA décembre

22 CCECQA décembre

23 Etape 2 Elaborer les documents de mise en concurrence Outils proposés Fiche méthode «Rédiger son cahier des charges» - Exemple de cahier des charges Définition de l étape Selon le décret de 2007, «la sélection de l organisme habilité est réalisée dans le cadre habituel des procédures de mise en concurrence, et pour les établissements publics dans le respect des règles du Code des marchés publics». La démarche débute nécessairement par la rédaction et la diffusion d un document de mise en concurrence. Cette mise en concurrence passe par la communication aux évaluateurs des éléments nécessaires à l élaboration de leur offre. Ces éléments sont précisés dans l annexe 3-10 du CASF. Ce document sert ainsi de «fondement» au contrat que l organisme gestionnaire et l évaluateur seront amenés à signer une fois que l offre de prestation sera validée. Le contenu du document pourra s organiser alors autour d une présentation sommaire des ESMS à évaluer et la définition des éléments de réponses attendus concernant la méthode et les moyens de l organisme habilité. Processus clés Présentation de l ESMS Formulation des questions ou des hypothèses à soumettre Précision sur les éléments de réponse attendus CCECQA décembre

24 CCECQA décembre

25 Rédiger son cahier des charges Cadre juridique Le décret du 15 mai 2007 fixe le déroulement de l évaluation et rappelle la nécessaire mise en concurrence des organismes habilités : «la sélection de l organisme habilité est réalisée dans le cadre habituel des procédures de mise en concurrence, et pour les établissements publics dans le respect des règles du Code des marchés publics. Si la personne physique ou la personne morale de droit public ou de droit privé gestionnaire de l établissement ou du service social ou médico-social assume la responsabilité de la signature du contrat avec l organisme habilité, le responsable de l établissement ou du service à évaluer peut être associé à la phase d établissement du contrat, aux fins d adapter précisément le contenu du contrat» (chapitre III, section 1, paragraphes 1.1, 1.2 et 1.3). Objectifs Pour mettre en concurrence des organismes habilités, il faut communiquer aux évaluateurs les informations nécessaires à l élaboration de leur offre. Ces informations constitueront le cadre général de l évaluation. Elles seront utilisées comme références pour rédiger le contrat de prestation qui sera établi avec l organisme habilité. Le cahier des charges est considéré comme étant le fondement de la relation contractuelle entre le commanditaire et l évaluateur. Contenu Le cahier des charges contient les éléments suivants : Présentation de l établissement ou du service ; Articulation avec le projet d établissement ou de service, l évaluation interne et les démarches formalisées visant à améliorer le service rendu (informations de portée générale) ; Les premiers éléments permettant de formuler des hypothèses et les premières questions susceptibles d être posées (pré-diagnostic ; porte d entrée de l évaluation ; thématiques et processus particulièrement explorés) ; Les modalités de concertation à prévoir lors des phases initiales de l évaluation ; Les modalités de suivi de l évaluation externe ; Le contexte et les contraintes liées à l organisation ou aux particularités des activités ; Les conditions d accès à l information et aux documents disponibles (questions de méthodes dont notamment la dimension participative ) ; Les modalités concrètes d élaboration et de rendu du rapport ; Le temps nécessaire et le calendrier ; Les modalités de facturation.

26 Diffusion Prendre en compte la spécificité de sa structure (nombre d établissements à évaluer..) ; Consulter la liste des organismes habilités ; Publier éventuellement l annonce sur un site officiel ; Sélectionner au préalable 5 à 6 organismes habilités par l ANESM parmi ceux semblant capables de répondre à votre demande (plusieurs prestataires pour opter pour une logique de réseaux si plusieurs établissements ; proximité géographique ) ; Adresser par courrier ou par mail le dossier en fixant une date limite de réponse ; Demander aux organismes un dossier de réponse contenant : une première note synthétique, la présentation d une première trame d un déroulé d évaluation, des éléments d information sur l organisme, des références récentes d interventions, le cv des personnes chargées de l évaluation ; les conditions habituelles de tarification.

27 Cahier des charges et règlement de consultation relatif à l évaluation externe LOGO ETABLISSEMENT Adresse Etablissement 1

28 SOMMAIRE 1 LE CONTEXTE DE L EVALUATION EXTERNE PRESENTATION DE L ETABLISSEMENT FICHE D IDENTIFICATION DESCRIPTIF DE L ETABLISSEMENT ET ELEMENTS D HISTOIRE CAPACITE DE L ETABLISSEMENT POPULATION ACCUEILLIE ORGANISATION LOCAUX ARTICULATION DE L EVALUATION EXTERNE AVEC L EVALUATION INTERNE ET LE PROJET D ETABLISSEMENT LES CONDITIONS D EXECUTION DE LA PRESTATION PERIMETRE ET LIEU D EXECUTION DESCRIPTION DE LA PRESTATION RESULTATS ATTENDUS MODALITES DE COLLABORATION ENTRE LE PRESTATAIRE ET L ETABLISSEMENT Interlocuteurs mutuels, préparation et suivi de la prestation Préparation et suivi des prestations Calendrier de réalisation Remplacement des intervenants en cours d exécution du marché Absence de conflit d intérêt Modalités financières Confidentialité Intuitu personae Sous-traitance Profil des intervenants Résiliation Pièces contractuelles Propriété intellectuelle CALENDRIER DE REALISATION

29 5 REPONSE DE L ORGANISME HABILITE HABILITATION ET REFERENCES ÉQUIPE DES EVALUATEURS METHODOLOGIE DE LA DEMARCHE COUT DE LA PRESTATION MODALITES DE DIFFUSION ET DE JUGEMENT DE L OFFRE (MODALITES DE REPONSE ; CRITERES DE SELECTION) DATE ET MODE DE DIFFUSION DE L OFFRE, DATE LIMITE DE REPONSE COMPOSITION ET ROLE DE LA COMMISSION DE SELECTION CALENDRIER PREVISIONNEL DE LA CONSULTATION CRITERES DE SELECTION NEGOCIATIONS EVENTUELLES NOTIFICATION DU RESULTAT DU MARCHE RENSEIGNEMENTS COMPLEMENTAIRES

30 1 LE CONTEXTE DE L ÉVALUATION EXTERNE Dans le cadre de la loi du 2 janvier 2002 et conformément à l article L du Code de l action sociale et des familles, l établissement ou le service procède à l évaluation de ses activités et de la qualité des prestations délivrées par un organisme extérieur. Le champ de l évaluation externe est le même que celui de l évaluation interne, précédemment réalisée, afin d en assurer la complémentarité, conformément au décret n du 15 mai Les objectifs de l évaluation externe sont de deux ordres (cf référence) : Porter une appréciation sur les activités et la qualité des prestations au regard des droits des usagers, et les conditions de réalisation du projet personnalisé ; Donner des éléments d appréciation sur les activités et la qualité des prestations au regard de l ouverture de l établissement ou du service sur son environnement, et des interactions. Le présent cahier des charges a pour objectif de borner le champ de l évaluation externe, de présenter la démarche et de fixer les critères en vue de sélectionner l organisme habilité qui procédera à ladite évaluation. 2 PRÉSENTATION DE L ÉTABLISSEMENT Création de l établissement Valeurs Mission principale 2.1 FICHE D IDENTIFICATION Raison sociale Code FINESS Adresse Téléphone Fax Adresse mail Nature juridique Président de l organisme gestionnaire Directeur 4

31 Propriétaire des lieux 2.2 DESCRIPTIF DE L ÉTABLISSEMENT ET ÉLÉMENTS D HISTOIRE Secteur de prise en charge Résidents accueillis Type de structure (public/privé, mono établissement/ groupement ) Place de l établissement dans son environnement Contraintes organisationnelles 2.3 CAPACITÉ DE L ÉTABLISSEMENT Hébergement permanent Hébergement temporaire Total Nombre places autorisées Nombre places installées Nombre places habilitées à l aide sociale Taux d occupation POPULATION ACCUEILLIE Nombre Taux Age moyen GMP, PMP, GIR éventuellement 5

32 2.5 ORGANISATION Préciser ici le nombre d ETP de l établissement et insérer l organigramme de la structure LOCAUX Superficie Date de construction 3 ARTICULATION DE L ÉVALUATION EXTERNE AVEC L ÉVALUATION INTERNE ET LE PROJET D ÉTABLISSEMENT Et les objectifs de contractualisation Cohérence des différentes réflexions de l établissement : Engagement dans une démarche d amélioration continue Instance de pilotage de la démarche qualité (année de mise en place, composition, missions) Date de réalisation de l évaluation interne, méthodologie, calendrier, accompagnement consultant éventuel Axes d amélioration priorisés Elaboration et bilan des fiches action Elaboration et communication rapport d évaluation interne Lien projet établissement 4 LES CONDITIONS D EXÉCUTION DE LA PRESTATION 4.1 PÉRIMÈTRE ET LIEU D EXÉCUTION Dénomination établissement Locaux établissement concerné 6

33 4.2 DESCRIPTION DE LA PRESTATION La circulaire n DGCS/SD5C/2011/398 du 21 octobre 2011 relative à l évaluation des activités et de la qualité des prestations délivrées dans les ESMS précise le champ de l évaluation externe ainsi que le contenu minimum du rapport d évaluation. Le contenu du rapport d évaluation devra être conforme à l annexe de la circulaire n DGCS/SD5C/2011/398 du 21 octobre 2011 et contenir : Eléments de cadrage ; Descriptif de la procédure d évaluation externe ; Développements informatifs ; Résultats de l analyse détaillée ; Synthèse ; Toute observation utile à l aide à la décision ; Abrégé du rapport ; Annexes. 4.3 RÉSULTATS ATTENDUS En respectant les outils et la démarche, le champ de l évaluation interne et le décret du 15 mai 2007, l équipe des évaluateurs s attachera à analyser : Les choix réalisés par l établissement, dans sa singularité, pour répondre aux missions et besoins de l usager ; Les moyens mis en œuvre pour atteindre les objectifs fixés ; La qualité d engagement de l établissement vis-à-vis des droits des usagers ; La cohérence entre les éléments déclaratifs et les pratiques. La prestation devra comprendre : Un processus d aide à la décision pour l établissement ; Une appréciation sur la qualité et la pertinence des actions engagées au regard des obligations réglementaires et des recommandations de bonnes pratiques professionnelles de l ANESM et des projets institutionnels (axes d amélioration privilégiés par l établissement). Des préconisations étayées et engagées dans les analyses du rapport, assorties d une vision stratégique et managériale prenant en compte les potentiels de l organisation de l établissement, de ses acteurs. L organisme candidat devra présenter la méthodologie utilisée ainsi que les référentiels et autres, sur lesquels il s appuiera le cas échéant. Aucun changement de méthode ne pourra avoir lieu en cours d évaluation. 7

34 4.4 MODALITÉS DE COLLABORATION ENTRE LE PRESTATAIRE ET L ÉTABLISSEMENT La conduite de l évaluation externe fera l objet d un suivi régulier et d échanges réguliers, planifiés entre l organisme habilité et le commanditaire Interlocuteurs mutuels, préparation et suivi de la prestation Dès la signature du présent marché, des interlocuteurs seront désignés de part et d autre, possédant le niveau de responsabilité suffisant (chefs de mission) pour s informer régulièrement et diligemment de l exécution de la prestation, objet du présent marché. Le comité de pilotage de l établissement est constitué de : Il a pour mission de : Valider le cahier des charges de l évaluation externe ; Participer au choix de l organisme habilité ; Faciliter le bon déroulement de la démarche d évaluation externe ; Participer à l étude du pré-rapport. L établissement s engage à transmettre à l évaluateur les documents suivants selon la réglementation en vigueur : Tout document public permettant d identifier la personne physique ou la personne morale de droit public ou de droit privé gestionnaire de l établissement ou du service médico-social ; Une copie de l autorisation ou de la déclaration avec descriptif des activités, des publics accueillis, un organigramme et un document relatif aux personnels : effectifs en poste, répartition par catégorie ; Le projet établissement et autres documents de référence utilisés : charte, supports de la démarche qualité ; Le livret d accueil de l établissement remis à chaque personne accueillie ; Les comptes rendus du CVS ou de toute autre forme de participation conformément à l article L ; Les documents relatifs à l hygiène et la sécurité ; Les résultats de l évaluation interne et tout document utile à la compréhension de sa réalisation ; Une note retraçant les choix opérés pour donner suite aux préconisations de l évaluation interne. L établissement s engage également à mettre à disposition de l organisme habilité tout document estimé utile pour la réalisation de l évaluation externe, dans le respect de la réglementation sur la protection des données personnelles. 8

35 L établissement s engage à faciliter les rencontres planifiées par les évaluateurs. L établissement mettra à disposition des évaluateurs les moyens nécessaires au bon déroulement de la visite Préparation et suivi des prestations Le prestataire s assure : Du respect du cahier des charges ; Du respect des délais ; De la communication d un rapport périodique sur l état d avancement de l évaluation ; De la communication au donneur d ordre de tout évènement susceptible d entraîner un nonrespect des délais de livraison ; Que toutes les conditions nécessaires au bon déroulement de sa prestation sont réunies. Décliner ici les étapes de l évaluation externe et notamment l organisation des interventions des évaluateurs (horaires, accès aux documents, personnes à rencontrer ), la co-construction du projet évaluatif, la restitution Calendrier de réalisation Insérer ici un diagramme de GANTT Remplacement des intervenants en cours d exécution du marché Profils équivalents devront être proposés ; Possibilité d annuler le marché si aucun des profils n est validé par le donneur d ordre Absence de conflit d intérêt Organisme retenu ou professionnel intervenant pour le compte de celui-ci s engage à avoir, au moment de la signature du cahier des charges ou avoir eu, au cours de l année précédente, d intérêt financier direct ou indirect avec le commanditaire Modalités financières L établissement versera le montant correspondant à la prestation selon l échéancier ci-dessous :..% lors de la signature du contrat ; % lors du démarrage de l évaluation ;.% du montant total à la validation du rapport définitif par le comité de pilotage. Le prix fixé dans le marché est ferme et non négociable. Il tient compte de tous les éléments (frais de déplacement et déjeuner), de toutes les circonstances et de toutes les particularités propres au bon déroulement de la prestation. 9

36 4.4.7 Confidentialité L engagement à ne pas divulguer, laisser divulguer ou communiquer à quiconque, par quelque moyen que ce soit, les documents donnés, informations, outils transmis par le pouvoir adjudicateur, dont il aurait eu connaissance à l occasion de ses contacts ; Toutes les mesures nécessaires prises par le prestataire pour préserver le caractère confidentiel des informations ; Le fournisseur s engage à prendre toutes les dispositions pour faire respecter la confidentialité par les membres de son personnel concernés et ses éventuels sous-traitants, et en assume toutes les responsabilités ; La confidentialité maintenue : pendant toute la durée du marché et 3 ans après son terme ; Le prestataire ne pourra pas se prévaloir des relations commerciales entretenues avec l établissement et en faire la publicité sauf autorisation expresse de l établissement Intuitu personae Le présent marché ne pourra pas faire l objet d une cession totale ou partielle à titre gracieux ou onéreux par le titulaire, sauf accord écrit et préalable au commanditaire Sous-traitance Le prestataire s engage à ne pas sous-traiter tout ou partie des obligations pises à sa charge et objet du présent marché sauf autorisation expresse et écrite du commanditaire Profil des intervenants Ils doivent présenter les qualités et compétences suivantes : Expérience professionnelle dans le champ du secteur MS ; Formation aux méthodes évaluatives dont méthodologie d analyse pluridimensionnelle, globale, utilisant différents supports ; Connaissances actualisées et spécifiques dans le domaine de l action MS, portant sur les recommandations des bonnes pratiques professionnelles, sur les orientations générales des politiques de l action MS ; Des expériences en tant que consultant ; références dans des missions d évaluation similaires. Le commanditaire privilégiera la présence de plusieurs intervenants. 10

37 Résiliation Résiliation pour faute En cas d inexécution de tout ou partie des engagements du prestataire Aucun dommage et intérêt Résiliation qui interviendra après une mise en demeure restée infructueuse. Les retards de remise de travaux au pouvoir adjudicateur constituent un motif de résiliation pour faute s ils sont récurrents. Des pénalités de xx% du montant du marché pourront être appliquées par jour calendaire de retard. Résiliation pour retrait d agrément Si retrait d agrément avant le terme de la mission, le prestataire s engage à rembourser la totalité des sommes versées, ce retrait d agrément rendant caduque l objet de cette mission Pièces contractuelles Le marché est constitué par les pièces suivantes : Acte d engagement du candidat comprenant le descriptif détaillé du prix ; Le présent cahier des charges dont l exemplaire original est conservé par le commanditaire faisant seule bonne foi Propriété intellectuelle Par le commanditaire des travaux et documents conduits dans le cadre de cette mission 4.5 CALENDRIER DE RÉALISATION Exemple de diagramme de GANTT 5 RÉPONSE DE L ORGANISME HABILITÉ Il s agit ici d étayer le contenu de la proposition et les pièces à fournir 5.1 HABILITATION ET RÉFÉRENCES Pièces justificatives habilitation ANESM Références en matière d évaluation externe des ESSMS 11

38 Déclaration des chiffres d affaires réalisés au cours des trois derniers exercices Extrait KBIS Justification d un contrat d assurance au titre de la responsabilité civile (art 1382 et art 1384 du code civil et de la responsabilité professionnelle en cas de dommage occasionné par l exécution du marché) Attestation sur l honneur reprenant les éléments de la page 3 du DC1 ( 5.2 ÉQUIPE DES ÉVALUATEURS L organisme habilité doit préciser : Qualité et nombre d évaluateurs Formations, expériences, qualifications requises (cv) 5.3 MÉTHODOLOGIE DE LA DÉMARCHE Préciser : La démarche d évaluation globale et détaillée (temps de l analyse documentaire, nombre de journées sur site, méthodologie de recueil des données, de l analyse, temps de rédaction du rapport. ) ainsi que les critères. Planning de réalisation Plan du rapport d évaluation 5.4 COÛT DE LA PRESTATION Nombre de jours facturés (détaillé le nombre de journées sur site et le nombre de journées d'étude) Déplacements facturés 6 MODALITÉS DE DIFFUSION ET DE JUGEMENT DE L OFFRE (MODALITÉS DE RÉPONSE ; CRITÈRES DE SÉLECTION) 6.1 DATE ET MODE DE DIFFUSION DE L OFFRE, DATE LIMITE DE RÉPONSE Date de diffusion Diffusion Candidatures sélectionnées par Date limite de réception des offres Par LR/AR à Où? site Commission de sélection Adresse 12

39 6.2 COMPOSITION ET RÔLE DE LA COMMISSION DE SÉLECTION Elle aura pour mission : D étudier les propositions reçues De sélectionner les organismes pour entretien De recevoir les organismes pour choix final et contractualisation CALENDRIER PRÉVISIONNEL DE LA CONSULTATION Date limite de réception des propositions Le à heures Ouverture des plis et présélection de. candidats Du.. au. Audition des candidats. Choix définitif.. Lancement des évaluations A partir du CRITÈRES DE SÉLECTION L enregistrement et le jugement des offres sont effectués dans les conditions prévues à l article 24 du décret du 30 décembre La commission se réunit et prend connaissance des synthèses relatives à l analyse des offres effectuées au préalable. Les offres inappropriées, irrégulières ou inacceptables seront rejetées ; un avis sur la proposition d attribution sera donné. Les critères énoncés ci-après permettront d apprécier les différentes offres reçues : Qualité du dossier technique 15 % Méthodologie 35 % Expérience / adéquation des candidats 35 % Prix 15 % 6.5 NÉGOCIATIONS ÉVENTUELLES Au terme du processus de sélection, le comité de sélection se réserve la possibilité d engager des négociations avec l organisme sur les conditions tarifaires et de mise en œuvre 13

40 (échanges sur les moyens d améliorer la qualité des offres, éventuelles précisions tarifaires ). 6.6 NOTIFICATION DU RÉSULTAT DU MARCHÉ Au terme de la phase de sélection, un courrier sera adressé au candidat classé premier l informant de l attribution du marché, ainsi qu aux candidats non retenus. 6.7 RENSEIGNEMENTS COMPLÉMENTAIRES Ils seront obtenus sur demande écrite : Par courrier :.Préciser adresse ici Par mail :..Préciser le mail ici Fait à Le 14

41 Etape 3 Choisir l organisme habilité Outils proposés Fiche méthode «Choisir son organisme habilité» Outil : Grille de sélection Fiche méthode «Contractualiser avec un organisme habilité» Définition de l étape Le choix de l organisme habilité sera réalisé à partir d une analyse des offres reçues. L enjeu réside à cette étape dans le caractère objectif de cette analyse. Celle-ci doit conduire à retenir l offre la plus proche de la prestation attendue. Différents aspects sont à considérer et chaque offre sera à comparer avec les autres. Il est préférable de réaliser le repérage des dimensions et critères en amont du processus de sélection afin de s assurer une bonne lecture et comparaison des offres. Plusieurs dimensions sont à prendre en compte : > Les références de l organisme habilité à pratiquer l évaluation externe > La qualité technique de l offre > Le profil des évaluateurs et leur statut au sein de l organisme habilité > Les modalités financières Le contrat sera élaboré au terme de la procédure de mise en concurrence, après analyse des différentes offres. Ce contrat fixera les obligations qui s imposent respectivement aux deux parties dans la mise en œuvre de la procédure évaluative. Processus clés Pré-sélection des organismes habilités sur dossier Organisation des entretiens Choix de l organisme habilité Rédaction du contrat de prestation CCECQA décembre

42 CCECQA décembre

43 Choisir l organisme habilité Méthodologie La réception des offres de prestation et l analyse des dossiers vont vous permettre de réaliser un premier choix. Afin de faciliter cette démarche, vous pouvez vous appuyer sur l outil «grille d aide à la décision» que nous vous proposons en annexe. Quatre dimensions, à cotation variable, sont proposées dans cet outil : Qualification et compétences des évaluateurs Qualité technique de l offre Modalités de réalisation Modalités financières Pour valider votre choix définitif vous pourrez alors organiser une série d entretiens avec les 2-3 prestataires qui vous semblent les plus fiables, crédibles et proches de votre «commande». 1. Qualification et compétences des évaluateurs Les qualifications et compétences attendues des évaluateurs sont à apprécier en adéquation avec les éléments de réponses exigés dans le cahier des charges. Plusieurs expériences et qualifications sont requises : Une expérience professionnelle dans le champ social ou médico-social La connaissance du secteur est nécessaire pour être en mesure de réaliser l évaluation externe. L évaluateur doit porter une appréciation sur le projet, sa pertinence, son efficacité, efficience.. Une formation aux méthodes évaluatives L évaluation externe comporte une double approche. L évaluation des activités en termes de conformité aux procédures en vigueur et RBPP, mais également évaluation des résultats, en termes d effets ou d impacts sur l usager. Une expérience de l évaluation dans le secteur social ou médico-social Dont : connaissance approfondie du périmètre évaluatif, maitrise des textes réglementaires, niveau de connaissance acquis... Une pluridisciplinarité des évaluateurs L équipe d évaluateurs doit être composée de différents corps de métiers.

44 2. Qualité technique de l offre Clarté et précision du plan d évaluation (planning organisé jour par jour, heure par heure, de type : horaires, parties rencontrées, domaines d évaluation, éléments examinés) Cohérence du plan d intervention au regard des hypothèses évaluatives de votre structure (cohérence des parties rencontrées, thèmes et typologie des éléments examinés ) : le questionnement évaluatif élaboré doit être capable d apporter, par sa spécificité, des réponses qui confirment ou infirment les hypothèses que vous aurez préalablement conçues Capacité de l évaluateur à se situer dans une logique d écoute des parties prenantes (prise en compte de la parole des différentes parties entendues) Cohérence du plan d évaluation au regard du périmètre réglementaire de l évaluation : vérifier à partir du plan d évaluation que tous les éléments réglementaires feront l objet d une investigation de la part de l évaluateur; comparer votre référentiel interne au plan d évaluation proposé par l évaluateur externe et vérifier qu aucun domaine ne manque dans le plan d évaluation. Garantie d un examen contradictoire des points examinés afin de s assurer que les informations reçues n ont pas été interprétées avec distorsion. Autres garanties (éléments permettant de juger de la capacité du prestataire à assurer sa mission jusqu au bout et dans les meilleures conditions). 3. Modalités de réalisation Nombre de journées sur place Nombre de journées au total Nombre d évaluateurs sur le terrain 4. Modalités financières S assurer que la proposition faite présente un coût global raisonnable, ni trop élevé, ni trop bas. Nécessité de disposer d un devis suffisamment détaillé (durée des séquences, garanties présentées par organisme habilité) Clarté et précision du devis (durée totale passée sur le terrain en nombre d heures, rapport entre temps passé sur le terrain et temps d étude ne devant pas être trop éloigné de 2 pour 1) Coût : honoraires journaliers évaluateur (cf anesm publication des coûts moyens)

45 Grille d'analyse et d'aide à la décision pour le choix de l'organisme habilité Organisme n 1 : Eléments de réponse Cotation du Commentaires Organisme n 2 : Eléments de réponse Cotation du Commentaires Qualifications et compétences des évaluateurs 0/30 0/30 Expérience professionnelle dans le champ social ou médico-social Formation aux méthodes évaluatives Pluridisciplinarité des évaluateurs Expérience de l'évaluation dans le secteur social ou médico-social Qualité technique de l'offre 0/30 0/30 Clarté et précision du plan d'intervention (étapes, méthode d'évaluation, et modalités de recueil des informations) Cohérence du plan d'évaluation au regard des hypothèses de départ soumises par l'établissement ou le service Cohérence du plan d'évaluation et du questionnement évaluatif au regard du périmètre réglementaire de l'évaluation Capacité de l'évaluateur à se situer dans une logique d'écoute des professionnels, des usagers, des familles et des partenaires Qualité opérationnelle de l'offre (réalisation de lee) /20 /20 Nombre de journées sur place Nombre de journées total Nombre d'évaluateurs sur le terrain Modalités financières /20 /20 Garanties Coût TOTAL

46 Contractualiser avec l organisme habilité Son cadre Le contrat de prestation correspond au document formalisant la commande de l établissement ou du service. Il s élabore dans le prolongement du document de mise en concurrence : «le document de mise en concurrence est le fondement de la relation contractuelle entre le commanditaire et l évaluateur» (décret du 15 mai 2007). Il en reprend par conséquent les principaux thèmes qu il décline sous la forme d un contrat. Cinq parties sont généralement prévues dans ce contrat : Partie 1. Description du projet évaluatif La mise en concurrence des organismes habilités suppose la communication aux évaluateurs des informations Présentation de l établissement ou du service (situer le cadre général de l établissement, les besoins des personnes accompagnées, organisation et fonctionnement de la structure) Questionnement évaluatif (en cohérence avec le décret de 2007) comportant au moins deux volets complémentaires : un volet relatif à l effectivité des droits des usagers et un autre volet adapté à l établissement ou au service considéré. Ils seront déclinés autour des trois premiers objectifs assignés aux évaluateurs (porter une appréciation globale sur la qualité et la pertinence des activités, examiner les suites réservées aux résultats issus de l évaluation interne, examiner certaines thématiques et registres spécifiques). Il pourra être complété par d autres hypothèses ou questions évaluatives Comité de suivi de l évaluation (présentation) Plan d évaluation proposé par l organisme habilité, validé par établissement ou service et intégré au contrat Conditions d accès à l information et documents disponibles Partie 2. Composition de l équipe d évaluateurs Préciser l identité des intervenants désignés Penser à demander que toute modification ultérieure de la composition de l équipe d évaluateurs soit soumise à votre agrément Partie 3. Rapport d évaluation externe Définir de façon précise le contenu du rapport d évaluation (cf décret du 15 mai 2007 et outil sur validation du pré-rapport) Partie 4. Modalités de facturation Préciser le nombre de jours pour chaque étape de la procédure et le prix par journée Préciser dans quel délai interviendra le règlement de la facture une fois la prestation terminée et le rapport définitif remis Prévoir des pénalités de retard si le rapport n est pas remis dans les délais fixés Prévoir une exonération de paiement si le contenu du rapport n est pas réglementaire Partie 5. Annexes du contrat de prestation Déclaration sur l honneur de l évaluateur par laquelle il atteste remplir les conditions énoncées par le décret du 15 mai 2007 et celles figurant dans le dossier d habilitation de l organisme. Engagement à tenir à la disposition du responsable d établissement et du commanditaire les modalités de recueil des déclarations d intérêt imposées aux intervenants rémunérés ainsi que les modalités de contrôle interne pour garantir le respect des règles de conduite applicables aux organismes habilités et aux équipes.

47 Etape 4 Veiller au bon déroulement de l évaluation externe Outils proposés Documents de preuves Exemple de questionnaire sur la thématique du PP Définition de l étape Il est nécessaire de mettre en place dans un premier temps un comité de suivi de l évaluation. Il aura pour mission de recueillir l avis des professionnels et des usagers et de le communiquer aux évaluateurs externes. Sa mise en place éventuelle et sa composition devront être clarifiées dans le contrat passé avec l organisme habilité. Pour que l évaluation se déroule dans les meilleures conditions, il est indispensable que les évaluateurs puissent accéder sans difficulté à toute l information nécessaire. Ainsi, la préparation en amont de l ensemble des documents facilitera cette étape. Enfin, l attitude adoptée par l évaluateur externe significative : l évaluation n est pas un contrôle. Sa posture devra donc se rapprocher de celle d un partenaire. Processus clés Organisation et animation d un comité de suivi Organisation et préparation du recueil de données Contrôle de la posture des évaluateurs ; communication CCECQA décembre

48 CCECQA décembre

49 Nom de l'établissement : ÉLÉMENTS DE PREUVE PAR PROCESSUS CARTOGRAPHIE DES PROCESSUS Processus de direction Besoins et attentes l usager Politique qualité sécurité, GDR Processus de réalisation Admission Accueil Processus supports Communication interne et externe Projet Personnalisé Élaboration Réactualisation Éthique Réalisation des actions d accompagnement / de soin / d animation / éducatives / pédagogiques Développement durable Orientation Fin de vie Satisfaction des usagers Achat Logistique Ressources humaines Environnement Partenaires Informatique Ressources financières 1

50 Les cases en orange dans la colonne «Documents, éléments de preuve» correspondent aux documents qui seront envoyés au préalable à l organisme évaluateur Processus concerné Thèmes Documents, éléments de preuve Réalisé En cours QUALITÉ SÉCURITÉ GESTION DES RISQUE Projet d'établissement Pilotage de la Qualité Évaluation Interne Gestion documentaire Projet d'établissement (PE) Comptes- rendus de réunions pluridisciplinaire / réflexion du PE Décision de validation du PE par le Conseil d'administration Avis du CVS sur la rédaction du PE Preuves de la communication des orientations stratégiques du PE aux professionnels Autorisation de l établissement Composition du COPIL qualité Compte rendu de réunions + feuilles d'émargements Composition du COPIL Évaluation interne (si différent du COPIL qualité). Comptes- rendus de réunions + feuilles d'émargements Composition des groupes d'évaluations internes Comptes- rendus des groupes d'évaluation + feuilles d'émargements Plan d'amélioration de la Qualité + suivi (fiches actions) Protocole d'évaluation interne Support de communication auprès des professionnels Appel à participation Référentiel utilisé Rapport d'évaluation interne Procédure des procédures Architecture de la gestion documentaire Liste des procédures, protocoles, fiches techniques et documents d'enregistrements validés Non réalisé 2

51 Processus concerné Thèmes Documents, éléments de preuve Réalisé En cours Mesure de la satisfaction Droits des usagers Sécurité Gestion des risques Questionnaires de satisfaction Résultats des enquêtes Constitution du CVS Règlement de fonctionnement du CVS Comptes-rendus des réunions du CVS Registre des plaintes et des réclamations Procédure de gestion des plaintes et réclamations Charte des droits et libertés Procédure de consultation de son dossier par l'usager Contrat de séjour Règlement de fonctionnement Registre de sécurité Preuve de la réalisation des exercices d'évacuation Formation incendie Vérification extincteur, lampes de sorties de secours Formation secouriste au travail Contrat de maintenance Visite de maintenance mensuelle (ascenseurs, ) Contrôle réglementaire (ascenseur,...) Cartographie des risques DUERP Composition du CHSCT (s'il existe) Comptes- rendus des réunions du CHSCT Analyse des Risques Psychosociaux (RPS) Non réalisé 3

52 Processus concerné Thèmes Documents, éléments de preuve Réalisé En cours Procédure de gestion des événements indésirables et des actes de maltraitance Fiche de signalement des événements indésirables et de la maltraitance Liste des actions correctives et préventives mises en place Non réalisé COMMUNICATION INTERNE ET EXTERNE Communication interne Communication externe Procédure en cas de pandémie grippale Procédure en cas de gale Plan Bleu (canicule) Procédure de gestion et de tri des déchets (DASRI) Protocoles / hygiène (lavage des mains, précaution standard) Protocoles de nettoyage des locaux DARI Carnet sanitaire (légionnelle) Procédure en cas de légionnelle dans l'ecs (Eau Chaude Sanitaire) AES Protocoles de soins (pose cathéter veineux, traitement des escarres, ) Circuit du médicament (Prescription, commande, livraison, stockage, préparation des piluliers, distribution, administration, surveillance) Circuit du linge Journal interne Liste des abonnements (existence d'une bibliothèque) Communication sur le déroulement de l évaluation externe Articles de presse Conventions de partenariat Journées portes ouvertes Organisation de rencontres 4

53 Processus concerné Thèmes Documents, éléments de preuve Réalisé En cours Composition du comité éthique (s'il existe) Non réalisé ÉTHIQUE DÉVELOPPEMENT DURABLE ADMISSION ACCUEIL PROJET PERSONNALISE Éthique Développement durable Admission Accueil Élaboration Chapitre du Projet d'établissement Rapport d'activité Prise en compte des recommandations de l'anesm Politique Achat Bilan des gaz à effet de serre Bilan énergétique Plan d'action d'amélioration Procédure de pré-admission et d'admission Comptes rendus de la commission d'admission Procédure d'accueil de l'usager Livret d'accueil de l'usager Procédure d'élaboration du projet personnalisé Modalité de participation de l'usager et /ou sa famille Actualisation Actualisation annuelle du projet Commission gériatrique (comptes- rendus, règlement) Prise en charge de la douleur (outils) ACCOMPAGNEMENT ET SOINS Accompagnement/ Soins Dossier de l'usager Prise en charge des escarres Prévention des chutes Prescription médicale des contentions Protocoles de soins Suivie des effets induits du projet personnalisé Procédure de gestion du dossier de l'usager Règles de confidentialité 5

54 Processus concerné Thèmes Documents, éléments de preuve Réalisé En cours ANIMATION ORIENTATION FIN DE VIE ACHAT Animation Orientation Fin de vie Assurance Les bâtiments Déclaration à la CNIL en cas d'informatisation Composition du dossier de l'usager (parties Administrative, Médicale, soins infirmier, éducative, pédagogique, ) Modalité de consultation Modalités d'organisation et de choix des activités Liste des intervenants éventuels Projet de sorties Formalisation d'un compte rendu sur les activités et sorties réalisées Organisation des anniversaires et repas à thème Procédure de fin de prise en charge Modalités d accompagnement dans l établissement aval Modalités de communication du dossier de l usager à la nouvelle structure Accompagnement fin de vie Convention avec une équipe mobile de soins palliatifs Protocole d isolement du corps Procédure en cas de décès Registre des décès Recueil du choix de la famille (Dossier de l usager) Contrat responsabilité civile Contrat assurance véhicule Contrat d'auto-mission (assurance des conducteurs) Contrat multirisque des établissements Contrat de maintenance mutualisé Contrat de prélèvements et d'analyses de l'eau Achat mutualisé des produits d'entretien Non réalisé 6

55 Processus concerné Thèmes Documents, éléments de preuve Réalisé En cours Restauration Contrat d'externalisation Transport Contrat avec un prestataire (taxis, autre, ) Contrat de maintenance mutualisé avec un garage Protocole d'entretien des locaux Protocole d'entretien des VMC Entretien des locaux Tableau des astreintes techniques Tableau relatifs aux vérifications techniques Fiches de sécurité Protocole de nettoyage du matériel Protocoles assurant le respect des normes RABC Circuit du linge dans les services Nettoyage de la lingerie Fiche de traçabilité : contrôle visuel des résultats LOGISTIQUE Fiche de traçabilité : Mise en machine Lingerie Suivi du poids du linge Réception des sacs de linge sale Sortie de machine Nettoyage et désinfection des chariots de linge propre Affichage des protocoles dans la lingerie Compte rendu du CLAN et/ou de la commission de restauration Résultats des prélèvements de surfaces Restauration Protocoles / Respect du guide des bonnes pratiques HACCP Rapport de la DSV Traçabilité de la surveillance des températures des préparations Non réalisé 7

56 Processus concerné Thèmes Documents, éléments de preuve Réalisé En cours RESSOURCES HUMAINES Indicateurs Recrutement Formation Licenciement Vie dans l'entreprise IRP Traçabilité de la surveillance des températures des réfrigérateurs Plan alimentaire Affichage des menus Taux d'absentéisme Nombre d'accidents du travail Tableau des effectifs par catégorie Procédures de recrutement (CDI, CDD, stagiaire) Modèle de contrat Livret d'accueil du nouvel arrivant Règlement intérieur Procédure d'accueil du salarié Organigramme Procédure d'élaboration du plan de formation Fiche de vœux individuels Procédure de demande de DIF, CIF, DPC Critères des choix de formations collectives Procédure de licenciement (fautes lourdes, fautes graves, économiques, inaptitude) Suivi des visites médicales Pose des congés Cahiers des délégués du personnel Comptes rendus du CE Élections des membres du CE Comptes rendus des NAO Non réalisé 8

57 Processus concerné Thèmes Documents, éléments de preuve Réalisé En cours ENVIRONNEMENT / PARTENAIRE INFORMATIQUE RESSOURCES FINANCIÈRES Conventions de partenariat avec d'autres associations Rencontre avec les autorités de tutelles Structure du système informatique Contrat de maintenance pour les logiciels utilisés Déclaration à la CNIL Charte informatique Sécurisation du système et des serveurs Procédure de réalisation et de validation des Budgets Procédure d'élaboration du PPI (Plan Pluriannuel d'investissement) CPOM ou convention tripartite Modalité de mise en œuvre du CPOM Suivi des indicateurs financiers Tableau de bord de contrôle de gestion Rédaction des rapports d'activité Validation des comptes par le Commissaire aux Comptes Respect des règles comptables Arrêté des dotations Non réalisé 9

58 Exemple de questionnement évaluatif Autour du Projet Personnalisé... Méthodologie d élaboration du projet personnalisé Chaque usager dispose d un projet personnalisé? L établissement a défini les modalités de recueil des observations? L établissement dispose d outils formalisés de recueil d observation et d évaluation des besoins des usagers? La conception du projet personnalisé résulte d un partage pluridisciplinaire? L établissement dispose d une trame formalisée de projet personnalisé, garantissant l homogénéité de leur contenu entre les usagers? Une procédure d élaboration formalisée est connue des acteurs et mises en place? Le projet personnalisé est diffusé aux professionnels concernés par l accompagnement de l usager, connu et mis en œuvre? L établissement dispose d outils d évaluation du contenu et de la mise en œuvre du projet personnalisé? Une évaluation régulière et systématique du projet personnalisé et de sa pertinence est réalisée et donne lieu, si nécessaire à des ajustements? L établissement a mis en place un coordonnateur de projet et a défini ses missions? Participation de l usager à la conception et à la mise en œuvre de son projet personnalisé Les attentes et demandes de l usager sont recueillies et prises en compte lors de la conception de son projet personnalisé? Le projet personnalisé est présenté et expliqué aux usagers avant sa mise en œuvre? L accord de l usager est formellement recueilli avant la mise en œuvre du projet personnalisé qui le concerne? L établissement tient compte des remarques éventuelles de l usager lors de la présentation du projet personnalisé? L établissement a défini les modalités de prise en compte des demandes des aidants/de la famille dans le cadre de la conception du projet personnalisé? Respect des obligations règlementaires liées au projet personnalisé Les délais de conception du projet personnalisé sont connus et respectés? Le projet personnalisé donne lieu à la formalisation d un avenant au contrat de séjour, signé par l usager et/ou sa famille? Le projet personnalisé est actualisé au minimum une fois par an?

59 Exemple de questionnement évaluatif Suite... Le contenu du projet personnalisé Les rubriques du projet sont définies et homogènes entre les usagers? L ensemble des axes nécessaires à l accompagnement sont définis dans le projet personnalisé (soins, loisirs )? Les objectifs tiennent compte des besoins et capacités de chaque usager? Les projets personnalisés intègrent des objectifs en lien avec : la promotion de la santé, la promotion de l autonomie, l intégration sociale et les loisirs, la prévention des risques inhérents à la situation de vulnérabilité des usagers Les objectifs définis dans le projet personnalisé tiennent compte des ressources extérieures mobilisables par l établissement? Les objectifs sont déclinés en actions opérationnelles? Le projet personnalisé prévoit les animations à proposer aux usagers dans le cadre de l accompagnement quotidien? Le projet personnalisé tient compte des habitudes de vie de l usager? Les aspects liés à la vie affective et sexuelle, aux croyances des usagers sont pris en compte dans le projet personnalisé? Les objectifs du projet individuel sont cohérents avec ceux du projet d établissement?

60 Etape 5 Valider le rapport d évaluation externe Outils proposés Fiche méthode : «valider son prérapport» Outil : Grille de lecture du prérapport Outil : formulaire d observations Questionnaire de satisfaction Définition de l étape Le rapport est l élément de sortie du processus évaluatif. C est l unique pièce sur laquelle devra se fonder, à l exclusion de toute autre, l autorité administrative lorsqu elle décidera du renouvellement d autorisation. Le rapport mérite de ce point de vue une attention particulière. L établissement devra veiller à la qualité générale du document et à sa validité. La remise d un pré-rapport, avant le rapport définitif, est une obligation pour l organisme habilité. Elle donnera lieu à un échange entre l établissement et les évaluateurs et facilitera ce contrôle. La validité du contenu du rapport s appréciera sur deux critères : l exhaustivité des thématiques évaluées et la qualité des informations recueillies et des analyses conduites. Si, sur une thématique ou un registre, les points de vue diffèrent entre l ESMS et l évaluateur, il appartient à l établissement de faire part à l autorité administrative de ses réserves, comme l article D l y invite. Processus clés Réception et lecture du pré-rapport Navette jusqu à validation avec l organisme Envoi du rapport final à l autorité de tarification Modification du PAQ et mise en œuvre d actions d amélioration CCECQA décembre

61 CCECQA décembre

62 Valider le pré-rapport Objectifs Durant cette phase, le chef de projet organise avec le COPIL une relecture critique du pré-rapport afin de s'assurer : De l'objectivité des constats, Du respect des attendus énoncés dans le cahier des charges, Du respect du Décret n du 30 janvier 2012, De la clarté des observations formulées. Les critères de validation du pré rapport Le COPIL procède à la relecture du pré rapport en s assurant du respect d un certain nombre de critères : La lisibilité du rapport L exactitude des éléments administratifs relatifs à l établissement La qualité de l analyse Le niveau de documentation de l analyse Le rapprochement avec les constats effectués sur les mêmes thèmes lors de l évaluation interne La qualité et la faisabilité des préconisations Cohérences des préconisations avec le Projet d Établissement Prise en compte des recommandations de l Anesm Les propositions d axes de travail susceptibles d apporter des améliorations dans la prise en compte des besoins des usagers Méthodologie de relecture Étape Qui? Quoi? Chef de projet Chaque lecteur Chef de projet 4 COPIL 5 COPIL 6 COPIL 7 Chef de projet Diffuser le pré rapport à l'ensemble des membres du comité de pilotage ainsi qu'à l'ensemble des personnes ayant participé l'évaluation externe, afin d'en assurer une lecture pluridisciplinaire. Définir pour chacun un temps de lecture individuelle avec pour premiers objectifs de vérifier l'objectivité des constats, les erreurs d'interprétation. Formuler les observations sur la fiche prévue (cf. outil CCECQA) en identifiant les éléments de preuves nécessaires à l argumentation. Colliger l ensemble des fiches d observations et réunir le COPIL. Passer en revue l ensemble des observations et valider celles qui seront retenues. Vérifier que le contenu du pré rapport respecte le décret n du 30 janvier 2012 (cf. outil "Grille de lecture"). Valider les commentaires touchant aussi bien le fond que la forme du prérapport. Réunir les éléments de preuves nécessaires (copies ou scans). Envoyer à l organisme évaluateur la grille de lecture complété, les fiches d observation définitives accompagnées des éléments de preuves idoines. 8 COPIL Valider la prise en compte des observations par l organisme évaluateur.

63 GRILLE DE LECTURE DU PRÉ-RAPPORT D ÉVALUATION EXTERNE Nom de l Établissement : Date : Contenu obligatoire du Pré-rapport Manquant À développer Présent PRÉSENTATION DE L'ÉTABLISSEMENT Identification de l établissement ou du service concerné - Présentation de l organisme gestionnaire (historique, valeurs, ) - Autorisation de l établissement - Organisation RH (organigramme) - Ressources matériel - Activité réalisée Principaux textes règlementaires applicables à l établissement PROFIL DE LA POPULATION ACCUEILLIE Caractéristiques des personnes accompagnées - Analyse démographique - Analyse des types de pathologie et leurs répartitions - Type de Prise en charge (internat, internat modulé, semi internat, externat, ) Environnement des personnes accompagnées - Origine géographique des usagers - Moyens de transport utilisés et temps de transport moyen, - Parcours des personnes accompagnées - Provenance des usagers - Orientation des usagers ORGANISATION DE L'ÉVALUATION EXTERNE Méthodologie mise en place Professionnels et usagers rencontrés Documents consultés ÉVALUATION INTERNE ET DYNAMIQUE QUALITÉ Démarche d évaluation interne - Conformité du périmètre - Participation du personnel - Participation des familles Dynamique qualité - Réalisation des actions figurant sur le PAQ - État d esprit des professionnels - Articulation entre le Plan d Amélioration Qualité, Projet Etablissement, Contrat Pluriannuel d Objectifs et de Moyens (formalisation sur un document synthétique unique) Prise en compte des recommandations de bonnes pratiques professionnelles de l Anesm et d autres organismes - Diffusion des recommandations de l'anesm - Appropriation des recommandations par les professionnels (instauration de temps de travail) - Référence aux recommandations dans les documents réalisés CONDITIONS D ÉLABORATION ET DE MISE EN ŒUVRE DU PROJET D ÉTABLISSEMENT OU DE SERVICE ET L ORGANISATION DE LA QUALITÉ DE LA PRISE EN CHARGE OU DE L ACCOMPAGNEMENT DES USAGERS Projet d établissement 1

64 Contenu obligatoire du Pré-rapport Manquant À développer Présent - Présentation de la population accueillie et de son évolution dans le Projet d Établissement - Description des modalités d'accompagnement - Description des compétences disponibles et de leur adaptation - Bilan du précédent projet - Projection sur les années à venir - Modalité de financement des objectifs - Modalité d évaluation de la mise en œuvre du Projet d Établissement - Diffusion du projet aux partenaires Objectifs d accompagnement - Déclinaison des objectifs globaux d'accompagnement du PE dans les projets d'activités. - Inscription des objectifs d accompagnement dans l environnement (partenaires, ) Gestion des ressources humaines et l organisation collective - Procédure d'accueil des nouveaux salariés et des stagiaires. - Évolution des compétences au regard de la population (formation, GPEC, ) - Fiches de postes - Mise en place d'entretien professionnel - Organigramme - Présence d un chapitre RH dans le Projet d Établissement Pilotage de l établissement et des activités - Suivi d indicateurs de pilotage (activité, ressources mobilisées) - Mise en place des indicateurs de mesure des effets de l accompagnement OUVERTURE DE L ÉTABLISSEMENT OU DU SERVICE SUR SON ENVIRONNEMENT INSTITUTIONNEL, GÉOGRAPHIQUE, SOCIOCULTUREL ET ÉCONOMIQUE Ouverture sur l extérieur - Conventions de partenariats formalisées avec les services de soins avoisinants - Convention afin de favoriser des activités culturelles Cadre de vie - Conventions avec les transports - Conventions pour les activités de loisirs PERSONNALISATION DE L ACCOMPAGNEMENT, EXPRESSION ET PARTICIPATION INDIVIDUELLE ET COLLECTIVE DES USAGERS Projet personnalisé - Formalisation et actualisation au moins annuelle du projet personnalisé - Utilisation d'une trame actualisée - Définition claire des objectifs du projet et les modalités d'évaluation des effets induits - Participation de l usager et/ou de la famille dans l'élaboration du PP. (décrire les modalités) Dossier de l usager - Sécurisation du stockage des dossiers des usagers - Procédure de constitution, de consultation et d'archivage du dossier Accompagnement - Formalisation des procédures d admission et de fin de prise en charge - Description de l articulation entre les différents professionnels lors de l accompagnement Participation de la personne accueillie - Organisation du CVS (3 par an au moins) - Autres formes de participation (rencontres avec les familles, enquête de satisfaction - Registre des plaintes et des réclamations des usagers - Formalisation de la procédure de recueil et de traitement des plaintes et des réclamations GARANTIE DES DROITS ET LA POLITIQUE DE PRÉVENTION ET DE GESTION DES RISQUES Respect des droits et libertés 2

65 Contenu obligatoire du Pré-rapport Manquant À développer Présent - Règlement de fonctionnement actualisé - Livret d'accueil actualisé - DIPC et contrats de séjours signés - Conformité avec les textes Gestion des évènements indésirables et la prévention de la maltraitance - Référence à la prévention de la maltraitance et la promotion de la bientraitance dans le PE - Sensibilisation des professionnels à la prévention de la maltraitance (formation) - Mise en place des outils de recueil des événements indésirables Sécurité, la prévention et la gestion des risques - Rédaction d'un document unique des risques professionnels (RPS, pénibilité ) - Respect de la réglementation en matière de sécurité incendie (exercices d'évacuation, formations incendie, ) - Contrats de maintenance - Visite de sécurité SYNTHÈSE DE L'ÉVALUATION EXTERNE (cf. modèle de synthèse de l Anesm) Conditions d élaboration et de mise en œuvre du projet d établissement ou de service (PEPS) et l organisation de la qualité de la prise en charge ou de l accompagnement des usagers Ouverture de l établissement ou du service sur son environnement institutionnel, géographique, socioculturel et économique Personnalisation de l accompagnement, expression et participation individuelle et collective des usagers Garantie des droits et la politique de prévention et de gestion des risques - Points forts, - Points faibles - Préconisations ABRÉGÉ DU RAPPORT D'ÉVALUATION EXTERNE Démarche d'évaluation interne Prise en compte des recommandations de bonnes pratiques de l'anesm Elaboration, mise en œuvre et actualisation du projet d'établissements ou de service et organisation de la qualité de la prise en charge Ouverture sur l'environnement institutionnel, géographique, socioculturel et économique Personnalisation de l'accompagnement Expression et la participation individuelle et collective des usagers Garantie des droits et la politique de prévention et de gestion des risques Appréciation globale de l'évaluation externe Méthodologie de l'évaluation externe Commentaires de l'établissement ou service sur l'évaluation externe - Commentaire sur le déroulement de l'évaluation externe - Commentaire sur les conclusions de l'évaluation externe 3

66 FORMULATION DES OBSERVATIONS Nom de l établissement : N de page du pré rapport N du chapitre N du paragraphe Phrases concernées Proposition de reformulation, suppression ou compléments Éléments de preuve N de pièce 1

67 GRILLE D'EVALUATION DE LA DEMARCHE D'EVALUATION EXTERNE ET DE LA PRESTATION Nom de l'établissement : Date de réalisation de l'évaluation externe : Date de renseignement de la grille d'évaluation : CONTENU DE L'AUTOEVALUATION Ce questionnaire met en exergue 5 thèmes : THEME 1 : LA PREPARATION DE L'EVALUATION EXTERNE THEME 2 : LE DEROULEMENT DE L'EVALUATION EXTERNE THEME 3 : LA FINALISATION DE L'EVALUATION EXTERNE THEME 4 : LES ASPECTS CONTRACTUELS DE L'EVALUATION EXTERNE THEME 5 : LES RETOMBEES DE L'EVALUATION EXTERNE MODALITES DE REMPLISSAGE Chaque critère de ce questionnaire doit être renseigné selon l'échelle de gradation suivante : Pour tous les critères, il est demandé à chaque professionnel de s autoévaluer sur chaque élément d appréciation Jamais Rarement Souvent Toujours

68 EVALUATION DE LA DEMARCHE ET DE LA PRESTATION Pour vous autoévaluer, cochez les cases ci-dessous Contenu LA PREPARATION DE L'EVALUATION EXTERNE Critères 1.1 Le temps de préparation méthodologique en amont a été suffisant Pour vous autoévaluer,cochez les cases ci-dessous COMMENTAIRES 1.2 La démarche a été correctement expliquée 1.3 Les parties prenantes étaient sereines avant la réalisation de l'ee 1.4 La liste des documents demandés pour l'analyse préliminaire était claire LE DEROULEMENT DE L'EVALUATION EXTERNE Critères 2.1 Vos demandes et/ou contraintes ont été prises en compte pour organiser la visite COMMENTAIRES 2.2 Le planning de visite de l'évaluation externe a été respecté Toutes les parties prenantes (professionnels, usagers, familles, partenaires extérieurs) ont pu être rencontrées ou entendues lors de la visite sur site La liste complémentaire des documents demandés en tant qu'éléments de preuves était claire Un débriefing avec la direction ou le pilote du projet en interne a été systématiquement réalisée après chaque journée d'évaluation

69 LA FINALISATION DE L'EVALUATION EXTERNE Critères 3.1 Le délai de validation du pré-rapport était suffisant COMMENTAIRES 3.2 Les faits présentés dans le pré-rapport étaient exacts 3.3 Le contenu du rapport était exhaustif, compréhensible et conforme au décret 3.4 Vos éventuels remarques et commentaires apportés notamment par les éléments de preuves ont été pris en compte LES EVALUATEURS EXTERNES 4.1 Critères Les évaluateurs ont fait preuve de professionnalisme (connaissance du secteur, attitude ) COMMENTAIRES Les évaluateurs étaient à l'écoute pendant les différentes étapes de l'évaluation externe Les évaluateurs étaient disponibles pendant les différentes étapes de l'évaluation externe (communication, obtention de réponses ) LES ASPECTS CONTRACTUELS Critères 5.1 Le cahier des charges a été respecté COMMENTAIRES 5.2 Les échéances contractualisées ont été respectées

70 LES RETOMBEES DE L'EVALUATION EXTERNE Critères L'EE a permis d'établir une photographie sincère et conforme de l'établissement ou du service L'EE a permis une distanciation du quotidien COMMENTAIRES L'évaluation externe a contribué à la démarche d'amélioration continue de la qualité (mise en exergue d'actions d'amélioration) L'EE a permis la valorisation de la prise en charge du résident, de l'engagement de l'établissement et de sa dynamique institutionnelle 6.5 L'EE a permis la validation de la cohérence des orientations stratégiques Les préconisations et pistes d'amélioration proposées ont pu être utilisées pour améliorer le PAQ Les préconisations et pistes d'amélioration proposées ont pu être utilisées pour améliorer le système documentaire APPRECIATION GLOBALE

71 Annexes Bibliographie Entretien organisme habilité Synthèse des retours d expérience Etablissements Synthèse des retours d expérience Organismes habilités CCECQA décembre

72 CCECQA décembre

73 Bibliographie > ANESM - > BERNOUX J.-F., Évaluer la performance de l action sociale, Dunod, > BOUQUET B., JAEGER M., SAINSAULIEU I., Les défis de l évaluation en action sociale et médico-sociale, Dunod, > CHARLEUX F., GUAQUÈRE D., Évaluation et qualité en action sociale et médico-sociale, Éditions ESF, 2e éd., > CHARLEUX F., JOUVE S., Réussir l évaluation interne et externe en institution sociale et médico-sociale, Éditions ESF, > DESHAIES J.-L., Réussir l amélioration continue de la qualité, Dunod, > DUCALET P., LAFORCADE M., Penser la qualité dans les institutions sanitaires et sociales : sens, enjeux et méthodes, Seli Arslan, 3e éd., > ENSP. La qualité dans les établissements et services médico-sociaux : outils et management. Module interprofessionnel de santé publique > FAUGERAS S., L évaluation de la satisfaction dans le secteur social et médico-social, Seli Arslan, > JANVIER R., Conduire l amélioration de la qualité en action sociale, Dunod, > LEFEVRE P., Promouvoir la qualité et l évaluation dans les organisations sociales et médico-sociales, Cahiers de l Actif, n 350/351 et 352/353, > LOUBAT J.-R., La démarche qualité en action sociale et médico-sociale, Lexitis éditions, > MARECHAL C., Comprendre l évaluation dans le secteur social et médico-social, Dunod, > SAVIGNAT P., Évaluer les établissements et les services sociaux et médico-sociaux, Dunod, > SAVIGNAT P., Conduire l évaluation externe, 2 ème édition, Dunod, CCECQA décembre

74

75 ENTRETIEN AVEC LES INTERVENANTS D UN ORGANISME D EVALUATION EXTERNE Le document proposé s appuie sur un entretien réalisé par le CCECQA en février 2014 par Maika Berrouet, chef de projet du secteur médico-social et Leila Gaillard, stagiaire en sociologie. S inscrivant dans une démarche d'élaboration d un guide d'aide à la mise en œuvre de l'évaluation externe dans les structures médico-sociales, cette rencontre devait permettre de donner la parole à deux évaluateurs externes. Invités à présenter le fonctionnement de leur organisme, ces professionnels se sont également exprimés sur le déroulement de l évaluation externe, ses limites et les points d amélioration identifiés. De même, ils ont pu rendre compte de l intérêt que représente cette démarche pour les établissements. Les échanges restitués ont été anonymisés. Pour des raisons pratiques, le document proposé s appuie sur des extraits d un entretien initialement retranscrit dans son intégralité. Les verbatims les plus significatifs ont été retenus et certains passages ont été retravaillés afin de permettre une lecture fluide des échanges présentés. En quelques mots, pouvez-vous présenter votre structure et expliquer votre cheminement jusqu à votre mission d évaluation externe? Interviewé 1 : Nous sommes un groupement d intérêts publics, plutôt organisme de formation historiquement. Nous avons trois départements : un département formation, un département conseil et un département validation des acquis d expériences. Nous intervenons sur le conseil depuis 1996, sur le secteur sanitaire et médico-social depuis 1998 avec des expériences variées. Les démarches qualité, diagnostic organisationnel, accompagnement à l écriture de projets d établissement étaient déjà mises en place bien avant la parution du décret de 2007 et l obligation de réalisation des évaluations internes et externes. Nous réalisions alors des diagnostics organisationnels. Par suite, les clients avec qui nous avions travaillés nous ont sollicités et nous ont demandé de nous positionner sur l évaluation externe. Notre particularité, c est que nous ne sommes pas une structure à but lucratif. Comme beaucoup de structures publiques, notre but, c est l équilibre des comptes et la satisfaction des clients. Nous pouvons donc nous permettre de proposer des tarifs relativement compétitifs parce que nous fonctionnons sur un coût réel qui couvre notre coût de fonctionnement et nos dépenses d investissements Interviewé 2 : Nous nous sommes spécialisés sur le secteur gérontologique plutôt que handicap, le profil de nos évaluateurs étant majoritairement issu de ce secteur-là. Quelles sont les formations professionnelles et les compétences des membres de votre équipe? Interviewé 2 : L équipe est constituée d experts, de corps de métiers complémentaires, de professionnels capables de conseiller les établissements. 1

76 Interviewé 1 : Ce sont des consultants qui sont qualiticiens ou formés aux outils de la qualité et qui connaissent l analyse des processus, l analyse systémique ou l analyse organisationnelle. Il faut également qu ils aient une expérience dans le secteur, imposée de toute façon par le décret. Il est vrai que c est un plus s ils sont formés, s ils ont suivi des formations à l évaluation externe type formation AFNOR. Nous ne l exigeons pas mais c est bien s ils l ont fait. Pour ceux qui n ont pas de formation spécifique, ils ont déjà travaillé sur l évaluation interne. On les prend alors en duo pour les former à l évaluation externe. Interviewé 2 : Ils sont formés théoriquement et ont un stage pratique en accompagnement d une équipe d évaluateurs externes. Interviewé 1 : oui, sur une ou deux missions pour que la personne soit au point tant sur la partie «sur site» ainsi que sur la partie rédaction de rapports, qui est également assez complexe. Interviewé 1 : En termes de profils, pour résumer : des profils de consultants formés à l analyse systémique avec une expérience significative soit de cadre supérieur de santé, soit de directeur d établissement mais également des médecins, des psychologues, des infirmières... Interviewé 2 : Nous avons des profils financiers également. Interviewé 1 : Des responsables qualité aussi, ce sont des profils en adéquation avec la démarche parce qu ils ont une certaine rigueur et une analyse assez intéressante des choses. Nous avons donc un certain nombre de vacataires qui interviennent pour nous, avec des profils divers et variés. Ils ont tous au moins une 1ère expérience en duo avec la responsable de mission qui évalue leur prestation. Il est nécessaire d avoir une certaine aisance dans les relations avec l autre quand on passe huit heures à faire des entretiens avec tout public, le chef cuisinier, l infirmier, le médecin etc. Il faut maîtriser à minima la communication orale. Quant au décret, il stipule plusieurs éléments. : une expérience professionnelle dans le champ social ou médicosocial, une formation aux outils d évaluation, la connaissance des RBPP et de la politique générale de l action sociale et ses dispositifs et la mise en place d une démarche contradictoire. Depuis quand êtes-vous habilité par l ANESM? Interviewé 1 : Nous sommes habilités par l ANESM depuis Notre activité depuis lors est centrée à 80 % sur l évaluation externe. Les 1ères évaluations ont débuté en 2013 avec 7 missions réalisées puis l activité explose en 2014 comme cela était prévisible avec déjà 6 évaluations réalisées et 3 en cours. Interviewé 2 : En 2013 nous avons réalisé à la fois des évaluations internes et externes. Interviewé 1. Donc 2014 explosion, mais ce secteur, comme le mentionne l ARS, est très en retard sur la mise en place des appels d offre. Les établissements se rendent compte qu ils ont des obligations au premier janvier Comme ils s y prennent très tardivement, nous avons logiquement des demandes qui affluent. 2

77 Notre planning est complet jusqu au mois de septembre. Mais nous avons été sollicités par des structures pour la fin de l année dont nous n avons pas le retour à ce jour. Nous ne souhaitons ni ne pouvons agréer à toutes les demandes, surtout celles issues d un secteur que nous connaissons moins bien. Interviewé 1 : Il y a effectivement une certaine cohérence à avoir entre le profil de nos intervenants et nos clients. Interviewé 2 : En ce qui me concerne, je ne souhaite pas intervenir dans un autre secteur que celui de la personne âgée dans la mesure où, d une part, la demande est importante et d autre part, je n ai pas une connaissance suffisante des autres secteurs pour mener à bien la mission de conseil. Interviewé 1 : Et c est là que je crains qu il y ait des dérapages. Certaines structures, par opportunité et voyant ce marché assez lucratif pourraient tout de même accepter. Interviewé 2 : L ANESM a ouvert un service juridique et met à jour sur son site les organismes habilités avec retrait et suspension d agrément Interviewé 1 : Au-delà des déclarations/dénonciations, ces retraits restent peut-être pour l instant assez administratifs C est-à-dire liés aux formalités administratives qui ne sont pas toujours remplies correctement et à temps par les organismes habilités. Comment vous êtes-vous fait connaître par votre public cible? Interviewé 1 : Les clients nous contactent essentiellement par bouche à oreille. Nous n avons quasiment pas fait de communication, aucune publicité. Donc ce sont essentiellement des clients a priori satisfaits des précédentes missions qui en ont parlé à d autres, souvent dans le cadre de formations organisées. Ils disent «on a travaillé avec cette structure, cette structure nous a donné satisfaction» et c est comme cela qu un certain nombre de propositions, enfin de demandes de devis nous sont arrivées. Nous répondons aussi aux appels d offre en réalisant une veille assez régulière. Interviewé 1 : Nous travaillons essentiellement avec des structures publiques et avec des structures associatives à but non lucratif. Interviewé 2 : Comme nous avons des tarifs bas du fait de notre statut, nous préférons privilégier des établissements qui n ont pas beaucoup de moyens. Interviewé 2 : C est un choix politique que nous avons fait. Interviewé 1 : Déontologiquement nous sommes plus en phase avec ce secteur. Et puis c est vrai que nous avons l habitude des appels d offre. Un choix à la fois éthique et pratique. Combien d évaluations externes avez-vous réalisées? Interviewé 2 : 18 évaluations ont été réalisées par l ensemble du groupe. Dont deux gros établissements de 400 lits chacun, un Ehpad et un Ssiad. 3

78 Sur ces 18 établissements rencontrés, combien bénéficient d un service qualité en place et d un personnel dédié? Interviewé 1 : Sur 18 structures 7 ont un référent qualité soit 38%. Sur les 18, 100% ont réalisé leur évaluation interne, mis en place la démarche qualité. La difficulté réside dans la gestion documentaire et la surveillance du système qualité quasi inexistante : 3 structures pratiquent par exemple l audit interne et la revue de dossier. Avec ces derniers, nous arrivons à travailler rapidement. Pour les autres, le travail d investigation va être plus long, l analyse documentaire va être plus complexe. Le déploiement sur site nécessitera des entretiens complémentaires souvent téléphoniques pour obtenir les informations manquantes. Avez-vous refusé de travaillé avec certains établissements pour des contraintes autres que calendaires? Interviewé 2 : Ca ne nous est pas encore arrivé. Nous avons fait le choix de nous focaliser sur notre compétence c est-à-dire le grand âge Nous sommes allés un peu sur le handicap avec un EHPAD qui avait également un FAM. Dans ce cas-là, nous sollicitons un collègue qui est issu du handicap. A l exception de ce cas de figure, nous n allons pas sur le handicap, la petite enfance, les publics «sociaux». Le deuxième point, c est le but lucratif. Nous avons décidé de privilégier les établissements à but non lucratif, pas parce que nous sommes contre le but lucratif mais parce que nous ne pouvons pas répondre favorablement à tout le monde et que nous avons dû nous positionner. J ai en effet accompagné un EHPAD à but lucratif extraordinaire dans la mise en place de sa démarche qualité. Enfin, nous nous sommes positionnés sur l Aquitaine. Interviewé 1 : Oui et puis il y a également des façons de travailler. C est-à-dire que si on nous demande quelque chose le jour pour le lendemain, nous ne le faisons pas. Si on nous demande de diviser notre tarif par deux, nous ne le ferons pas non plus. Je trouve que nous sommes relativement compétitifs sur le marché du fait que nous ne sommes pas assujettis à la TVA et du fait que nous n avons pas d actionnaires! Il ne s agit pas de brader nos prestations tant en termes de durées qu en termes de coûts, déjà modérés au demeurant. Des clients souhaitent réduire le nombre de journées prévues pour diminuer le tarif de la prestation. En termes d audition sur site et de rédaction de rapport, nous comptabilisons souvent au minimum et nous dépassons très souvent ce prévisionnel. Donc quand nous projetons trois jours, ces trois jours sont vraiment nécessaires. Comment établissez-vous ce prévisionnel d accompagnement en termes de durée? Interviewé 2 : Nous tenons compte du volume en nombre de lits ou de places mais aussi de l histoire de l établissement, des éventuelles fusions, de l ETP, la masse salariale bien évidemment Interviewé 1 : S ils sont en démarche qualité ou pas également, c est-à-dire s ils sont structurés 4

79 Interviewé 2 : Cela dépend également du référentiel qu ils ont choisi, s il est conforme aux exigences du Décret. Dans les référentiels-maison, on ne trouve parfois peu de recommandation de bonnes pratiques professionnelles. Un cahier des charges est-il systématiquement élaboré par les établissements? Interviewé 2 : Concernant le cahier des charges, oui, la majorité des structures a réalisé un cahier des charges, environ 80%. Pour les petites structures, c est différent. Une MARPA nous a contactés récemment. Ils n ont pas d obligation de lancer d appel d offre car leur budget est inférieur à Ils n ont pas fait de cahier des charges. C est nous qui leur demandons les éléments du cahier des charges. Nous ne parlons pas à proprement parler de «cahier des charges» car ce terme les inquiète, mais nous leur demandons des éléments de cadrages etc... Il s agit quand même de la minorité des établissements. Interviewé 1 : C est-à-dire qu il y a deux types de structures. Tout d abord ces structures qui n ont pas l obligation d entrer dans un appel d offre pour les marchés inférieurs à euros. Donc effectivement le cahier des charges il n y en a pas ou il est réduit à un format A4 avec quelques informations. Nous leur demandons de compléter le cahier des charges, nous leur posons un certain nombre de questions, ce qui nous permet d affiner notre proposition et de leur proposer un devis cohérent. Nous avons besoin de savoir quand était l évaluation interne, quel référentiel ils ont utilisé, la date de l autorisation : les informations basiques. Quand il s agit des appels d offre, surtout pour les structures médico-sociales rattachées aux hôpitaux, tout est beaucoup plus balisé évidemment. Nous pouvons également voir des mutualisations entre structures : des petits EHPAD ou des petits SSIAD qui se réunissent à quatre ou cinq Interviewé 1 : Ils font un cahier des charges ensemble. Il s agit souvent de copié/collé mais le document a le mérite d exister. Il nous suffit de demander quelques informations complémentaires et cela se passe assez bien. Comme 80% de notre activité se fait sur appel d offre, je dirais qu on a très souvent des cahiers des charges. Par suite nous avons 20% de demandes directes de devis où là c est très flou, où il faut retravailler un peu plus avec le client. Comment vous organisez-vous en interne pour mener à bien vos évaluations? Interviewé 1 : Nous fonctionnons toujours a minima en binôme pour plus d objectivité. Quand nous sommes avec des vacataires, nous souhaitons qu ils soient vraiment en phase avec notre façon de travailler. Je préfère que les gens travaillent avec [ma collègue] pour obtenir et conserver une cohérence dans la rédaction, une cohérence dans la méthodologie. Interviewé 2 : Pour les établissements de 20 places ou lits, nous ne déplaçons pas deux évaluateurs externes. Par contre dès que les 60 sont dépassés, nous sommes systématiquement en binôme ou plus sur le terrain. 5

80 Interviewé 2 : Au total, nous sommes au minimum quatre en lissé par évaluation, parce qu il y a le pré-rapport, le rapport et la contradiction que nous faisons valider par notre commission en interne. Avez-vous l occasion de rencontrer les organismes habilités et d échanger sur votre mission? Interviewé 2 : Une seule rencontre a été organisée par l ANESM. Interviewé 2 : Je trouve que cela manque vraiment. Pour maintenir un marché notamment. Pour garder un marché, il faudrait avoir une certaine cohérence que nous n avons pas aujourd hui. Nous trouvons tout et n importe quoi au niveau des tarifs ou de la méthodologie. Interviewé 1 : Il y a un double problème, il y a le problème de la concurrence. Nous sommes sur un marché concurrentiel donc effectivement les structures ne voient pas forcément d un bon œil l échange de pratiques entre concurrents. Et en même temps, on sait très bien que peu sont actifs sur ce marché. Ceux qui sont actifs pourraient je pense être intéressés par cet échange de pratiques. Mais il faudrait qu ils soient organisés, structuré par l ANESM dans le cadre de tables rondes, de séminaires réalisés sur des thèmes bien précis. C est à tel point que quand nous ne pouvons pas intervenir chez un client pour des raisons de délais de carences etc. et qu il nous sollicite pour avoir le nom d une autre structure, nous sommes très ennuyés. [Ma collègue] intervient pour une autre structure donc je lui laisse la liberté de la recommander mais moi je ne le fais pas, je ne propose aucun nom et ce n est pas par mauvaise volonté. C est tout simplement parce que je ne les connais pas, que j ai peu voire aucun échange avec eux, que je ne connais pas leurs pratiques. C est très cloisonné. Connaissez-vous les critères de sélection des organismes par les structures? Interviewé 1 : Nous avions été appelé pour un groupement d une dizaine d établissements et comme nous avons été retenu, nous leur avons posé la question. Ils nous cité dit trois critères Interviewé 1 : Le prix était un critère important. Le nombre de jours sur site également, c est-à-dire ce que nous appelons le déploiement et le nombre d intervenants sur site. Sur une proposition qui fait dix jours par exemple si vous comptez une seule journée sur site ce n est pas très cohérent, surtout pour un EHPAD de plus de 100 lits Ensuite le profil des intervenants, c est-à-dire leurs expériences assez significatives dans le secteur du grand âge. Donc l expérience et puis la rapidité d intervention, la capacité à se mobiliser sur des délais C est-à-dire qu une mission, entre la date de démarrage et la fin, la restitution, ne doit pas être échelonnée sur plus de deux mois. Certains nous demandent même d intervenir sur un mois. Il faut donc avoir des intervenants disponibles, être très organisé, très structuré. L expérience de l organisme est importante aussi. C est-à-dire qu un organisme qui intervient régulièrement sur l évaluation externe nous semble davantage qualifié qu une structure qui intervient très ponctuellement sur ce type de mission. Surtout si ses missions sont assez récentes. Et puis après, la qualification des intervenants bien sûr, s ils sont des intervenants permanents ou non Interviewé 2 : oui, savoir si les organismes font souvent appel à de la sous-traitance. 6

81 Interviewé 1 : Parce qu il y a un certain nombre de cabinets qui prennent des auto-entrepreneurs, qui travaillent avec des vacataires etc. Nous, nous avons essentiellement des personnes issues du secteur qui ont quand même une certaine disponibilité. Sur la plupart des missions importantes on a toujours un permanent, une personne qui travaille au cabinet en continu. On n aura jamais deux vacataires seuls sur une mission par exemple. Ce n est pas envisageable. Interviewé 1 : Donc voilà la disponibilité, les profils, et le prix bien sûr critère important, d après ce que disent tous les clients Interviewé 2 : Le fait que nous soyons un organisme public semble rassurer les structures publiques. Interviewé 1 : Nous parlons un langage commun qui les rassure. Nous comprenons leur fonctionnement et leurs contraintes! Comment déroulez-vous vos évaluations externes? Interviewé 1 : Nous réalisons systématiquement une présentation au départ en expliquant la méthodologie et une restitution orale à la fin, en plus du rapport écrit remis à l ensemble des acteurs pour leur faciliter la communication. Interviewé 2 : Oui, une réunion d ouverture et une réunion de clôture! C est un minimum, nous essayons de rassurer en amont et de respecter les gens que nous avons entendus et qui nous ont dédié du temps. Sous quel format recevez-vous les documents? Quels documents demandez-vous aux établissements? Interviewé 2 : Nous regardons les éléments a minima (cf décret). Si on voit qu il n y a pas d évaluation interne par exemple, on sait qu on va devoir tout balayer. Si c est un SSIA D, on sait qu on n a pas d hébergement donc pas la cuisine, pas la lingerie etc. C est donc également fonction des processus en place. Interviewé 1 : On voit vite dans la conversation quand il y a un responsable qualité. On passe très rapidement la direction et l essentiel des échanges se fait avec le responsable qualité. C est lui qui connait la gestion documentaire, les procédures etc. Interviewé 1 : Lorsqu on a à faire à un directeur qui n a pas mis en place de démarche qualité c est déjà un petit plus compliqué. Quand ce n est pas informatisé là ça devient excessivement compliqué. Interviewé 2 : Oui parce que nous travaillons en amont sur du tout numérisé. Nous réalisons des ouvertures de DropBox, mais c est une pratique peu courante dans le secteur. Interviewé 1 : Avant les établissements nous envoyaient des cartons avec leurs documents. Trente jours à l avance on demandait les documents et on recevait des cartons avec des dossiers reliés, le projet d établissement etc. Et les gens nous demandaient si nous avions bien reçu le carton. Il nous était impossible d analyser tous ces documents papier. D abord parce que nous analysons les 7

82 documents au fur et à mesure que nous construisons un cadre évaluatif. Il y a des documents qui sont pertinents au début de l évaluation, d autres qui le sont pendant ou à la fin. Donc nous préférons leur demander les documents au fur et à mesure. Nous les numérisons à chaque fois que l information est validée puis nous passons au document suivant etc. Les établissements avaient pris l habitude de procéder ainsi : ils prenaient la liste, faisaient des photocopies, reliaient le tout et ils nous envoyaient un gros carton. Ce n était pas leur rendre service que de travailler comme ça. Nous y passions un temps fou avec des journées supplémentaires d analyse documentaire, donc en termes de coup c était plus cher. Les documents n étaient pas toujours actualisés, pas toujours correctement mis en forme Interviewé 2 : Il n y a pas de liste type commune à tous les établissements. Ce sera en fonction de l établissement, de sa spécificité, de son contexte, de son organisation. Cela dépend de l environnement. Toutes les preuves apportées permettront d enrichir le rapport Interviewé 1 : Mais nous avons une liste de base effectivement. Nous partons des documents obligatoires (décret) et nous étayons cette liste avec les documents qui structurent le fonctionnement et la vie de l établissement. Interviewé 2 : Cette liste est présentée dans le cahier des charges et validée par le contrat. Plus il y a de documents, plus c est bon signe. Pour schématiser un peu, si un établissement nous dit «nous, on a rien de formalisé», il n y a pas de traçabilité, c est un peu inquiétant. Interviewé 1 : Je nuancerais un peu. La traçabilité passe effectivement beaucoup par l écrit mais pas systématiquement. On peut tout de même avoir des choses qui sont mises en place Interviewé 2 : Oui mais en termes de gestion documentaire c est compliqué, il n y a pas de preuves. Or, nous élaborons notre rapport au regard des éléments de preuves apportés. Interviewé 1 : Disons que c est la réactivité de la structure à trouver l information qui est significative. Si nous demandons une information et qu il faut une semaine pour trouver le document, qu il n est pas à jour, pas signé etc. là, il y a un problème. Nous n exigeons pas des protocoles pour tout, mais il doit y avoir un minimum de traçabilité : des choses très simples, même deux lignes, mais avec une date, un pied de page, le signataire. Si ces éléments peuvent être donnés dans des délais très courts cela signifie que la structure est réactive, qu elle est organisée, que la gestion documentaire est relativement structurée. Donc là il n y a pas de soucis, on ne demande pas des masses de documents on n a pas besoin d un annuaire, ce n est pas ça! Avez-vous une grille d analyse documentaire? Interviewé 2 : La première chose que je regarde pour construire mon projet évaluatif ce sont le cadre et le planning. Le cadre : on part du référentiel de la structure s il est correct, c est-à-dire s il intègre toutes les recommandations des bonnes pratiques. Si ce n est pas le cas, soit nous proposons de croiser leur référentiel avec un autre référentiel soit nous alimentons leur référentiel. Cela arrive très souvent! Sur le référentiel de la fédération hospitalière de France par exemple, il n y a rien sur la gestion financière, donc nous rajoutons ces éléments manquants. Nous devons passer en revue l ensemble des processus. Je regarde également le projet établissement ou de service quand il 8

83 existe, le rapport d évaluation interne, le Plan d Amélioration de la Qualité et le suivi des actions mises en place. Je m assure que la méthodologie de l évaluation interne est conforme à la législation et je valide (ou pas) l évaluation interne. Nous nous positionnons systématiquement sur l évaluation interne. Je regarde après les outils de la loi du 2 janvier Nous déclinons comme cela : de l obligatoire puis nous affinons en fonction des thématiques et des processus. Entre le moment où l on demande les documents et le moment où l on produit le projet évaluatif il peut se passer un mois ou deux mois. Après, au moment de la rédaction du pré-rapport, nous les sollicitons sur des ratios, des indicateurs Quand il y a un qualiticien c est fabuleux : les EPP sont en place enfin tout est structuré. Un établissement peut avoir mis en place une démarche qualité mais ne pas avoir compris qu il faut un indicateur pour l atteinte d objectifs Ce que je trouve d intéressant lors de l écriture du rapport, c est de pouvoir l étayer avec par exemple les résultats d une enquête de satisfaction, quand elle est crédible et faite comme il faut, et tous les indicateurs disponibles Interviewé 1 : Ce qui pose aussi problème dans cette analyse documentaire souvent, à l exception des structures publiques relativement bien organisées, c est tout ce qui touche à la gestion financière où il y a rarement une comptabilité analytique en place. Interviewé 2 : Les comptabilités analytiques sont présentes dans le secteur hospitalier et très peu dans le monde associatif et territorial (dans l expérience qui est la nôtre). Comment planifiez-vous l évaluation externe? Est-elle co-construite avec l établissement? Interviewé 2 : Cette planification fait partie du projet évaluatif. Interviewé 1 : Elle se fait en deux temps, d abord nous proposons des dates de déploiement sur site qui sont, si nous sommes retenus, validées par la structure. Ensuite quand [ma collègue] élabore le cadre évaluatif, elle l élabore dans le cadre de ces deux jours. Elle propose un certain nombre d entretiens, lors de sa présence sur site. Elle est là de 8h le matin jusqu à 19h le soir. Elle est donc disponible pour rencontrer tous les professionnels dans l ordre qu ils souhaitent. Interviewé 2 : Et parfois le soir pour voir les travailleurs de nuit. Je les rencontre systématiquement. C est l occasion de leur donner la parole, et ils me disent souvent être ravis d être entendus. Interviewé 1 : Concrètement une proposition est faite par [ma collègue] à l établissement. Je la signe et elle est envoyée au client. S il est d accord, il la signe à son tour, s il n est pas d accord, il la modifie et nous la renvoie pour validation Interviewé 2 : Nous souhaitons co-construire et nous adapter à l établissement. Interviewé 1 : Tout est préparé en amont. Nous avons toujours un document co-signé stipulant la liste des entretiens, les horaires, les professionnels rencontrés etc. Avant d aller sur site les évaluateurs savent déjà qui ils vont rencontrer. Interviewé 2 : Oui. Nous demandons aux directeurs, à la réunion de présentation, que tous les professionnels qui vont être rencontrés soient présents. Cela permet de dédramatiser. Ce qui est 9

84 important également c est qu on restitue à chaud le soir avec le responsable qualité, le directeur Il y a un représentant de la structure et le qualiticien s il y en a un. A quel moment a lieu la réunion de présentation de la démarche? Interviewé 1 : Nous commençons par demander les documents 30 jours avant cette journée de présentation de la méthodologie. Ensuite on intervient sur site pour cette demi-journée. La construction du cadre évaluatif se fait généralement dans la semaine qui suit. Et le déploiement, la semaine suivante. Interviewé 2 : Après nous nous donnons une quinzaine de jours pour la rédaction du pré-rapport puis du rapport. Interviewé 1 : Oui, entre la fin du déploiement, la fin des entretiens sur site et le rapport définitif il faut compter environ 15 jours, 3 semaines. C est relativement court. Interviewé 2 : Cela peut également dépendre des établissements. Certains d entre eux ne respectent pas les dates, donc nous nous adaptons. Comment se passe l accueil dans les structures? Etes-vous bien accueillis? Interviewé 2 : Oui, nous sommes très bien accueillis! Interviewé 1 : De manière générale les choses sont bien posées. Le président, le responsable de la structure et un certain nombre d acteurs sont présents. Le comité de pilotage également. Certains établissements bien structurés permettent aux professionnels qui vont être présents d être rencontrés. C est plus compliqué pour certains professionnels, comme les infirmières qui manquent de disponibilité. Interviewé 2 : J ai même eu droit, dans l atelier d un établissement, au drap blanc pour que je puisse poser mon ordinateur et qu il n y ait pas de poussière. Rien à redire au niveau de l accueil! Nous disposons de tous les moyens nécessaires pour travailler dans de bonnes conditions. Qui rencontrez-vous lors des entretiens? Interviewé 2 : Nous rencontrons physiquement et systématiquement les professionnels, les usagers et les familles. Le contact est pris avec les financeurs si besoin par téléphone ainsi que les partenaires : professionnels libéraux, les élus, les écoles de formation, CLIC, partenaires conventionnés 10

85 Comment se déroulent les entretiens? Interviewé 2 : Souvent, ils se déroulent dans l émotion. Un entretien sous l émotion peut être compliqué. Il faut très souvent recentrer. On leur explique ce qu est un entretien, qu il est possible de reformuler les informations et que nous ne noterons que ce qu ils nous autorisent à dire, en dehors de la maltraitance bien évidemment. Nous constatons que les entretiens sont rarement préparés à l avance ; la parole est libre. Interviewé 1 : Si nous obtenons une information un peu sensible à ce moment là on essaye de la recouper, à la fin de chaque journée de déploiement. Nous réalisons systématiquement un débriefing avec l équipe de direction et le qualiticien si présent. Interviewé 2 : Oui tous les jours. Qu en est- il de la confidentialité des informations obtenues lors des entretiens? Interviewé 2 : Un exemple qui m est arrivé dernièrement. Je rencontre une personne qui me dit «moi je suis inapte à mon poste de travail depuis 3 ans mais on ne m a pas reclassé. Je ne veux pas que vous le disiez ou que vous l écriviez» je lui ai dit «pas de problème». Je vais voir le directeur pour faire le point en fin de journée et j en profite pour lui demander de me montrer son suivi de médecine du travail. Je lui demande alors s il n a pas d inaptitudes. Voilà comment j amène cette thématique. Mais à aucun moment, je ne citerai le professionnel concerné. C est une question de déontologie. Comment se déroule la phase liée au pré-rapport? Interviewé 1 : Le client nous pose souvent cette exigence en nous disant qu il faut que tout se passe sur un mois. Donc 15 jours entre l audit sur site et la fourniture du rapport sauf qu on établit d abord un pré-rapport. Des échanges s opèrent sur ce pré-rapport dans lequel nous avons fait un certain nombre de commentaires. Le client peut encore nous apporter des preuves pour répondre ou venir préciser certaines remarques. Certain sont très réactifs, mais d autres structures peuvent mettre plus de temps à nous envoyer un document. Par suite, la rédaction du rapport définitif est décalée. Si le client est surpris de ce décalage nous lui rappelons que nous sommes toujours en attente de ses réponses C est là qu il peut y avoir parfois de petites tensions. Rien de méchant, nous restons diplomates pour tenir les délais et pour faire en sorte que le client soit satisfait. Interviewé 2 : Jusqu'à présent nous n avons été en difficulté qu une seule fois par rapport au délai du pré-rapport. Interviewé 1 : C était lié aux élections municipales qui approchaient Ils voulaient le rapport avant Interviewé 2 : Avant d envoyer le rapport aux établissements, nous le faisons valider par notre commission interne. 11

86 Interviewé 1 : C est une navette. Il est envoyé au client qui fait ses corrections et qui nous le retourne : c est un échange entre l établissement et les évaluateurs, une vraie co-construction. Il revient ensuite à la commission pour validation finale. Les établissements apposent-ils des commentaires sur le pré-rapport? Interviewé 1 : Oui c est systématique, et nous le souhaitons de toute façon. Interviewé 2 : Les commentaires sont rarement très étoffés. Quand ils le sont, cela signifie qu ils ont trouvé des éléments de preuve. Interviewé 1 : Nous réalisons un travail pédagogique en inscrivant des préconisations. Si elles sont en rouge c est qu elles sont obligatoires par rapport à la loi. Le client est alors interpellé et nous met un commentaire «mais pourquoi cette préconisation, mais nous le faisons, je ne comprends pas que vous mettiez ça??!!...». A chaque fois nous retournons vers des éléments factuels en recherchant et demandant l élément de preuve. S il n y en a pas, nous expliquons que nous ne sommes pas là pour mettre la structure en difficulté, mais que nous sommes bien là pour la prévenir des risques qu elle encourt vis-à-vis des tutelles, vis-à-vis de la loi, des usagers etc. Il est donc important et nécessaire qu ils se prémunissent très rapidement par rapport à cette préconisation. Ce n est pas une préconisation sanction, nous ne sommes pas là pour les noter, mais pour qu ils s améliorent très vite et sur ces points là en priorité. Il y a donc tout ce travail d explication je dirais, qui a lieu dans le cadre de la restitution finale, lors de la dernière demi-journée à l oral avec l ensemble des acteurs. Des échanges téléphoniques aussi pour les rassurer et leur dire que finalement ce n est pas si grave. Qu ils sont sur la bonne voie mais qu il y a quand même des points sur lesquels ils doivent être attentifs en priorité. Interviewé 2 : Certains directeurs sont hyper réactifs. J ai eu un message la semaine dernière d un directeur dont on a fait l évaluation externe. Il a souhaité décaler la restitution pour une raison de réunion politique interne. Quand nous avons organisé la réunion de clôture, il avait déjà mis en place l audit organisationnel que nous avions conseillé Tous les organismes habilités procèdent-ils de la même manière? Interviewé 1 : Nous l espérons. Les préconisations sont obligatoires Quelles sont les étapes de rédaction et de validation du rapport? Interviewé 2 : Il est compliqué pour nous d avoir un recul sur la qualité de notre rapport. Il n existe pas de modèle approuvé et validé.. Nos rapports font entre 60/80 pages, sans compter les annexes. C est vrai que ce n est peut-être pas le cas de tous les organismes habilités.. Interviewé 2 : La lecture et validation des rapports par l ARS et le CG sont encore assez floues. Les limites liées à la date de validation se posent. 12

87 Interviewé 1 : Admettons qu un rapport est lu tout simplement dix-huit mois après avoir était donné à la structure. La structure a donc bénéficié de préconisations et des recommandations. Elle a commencé à mettre en place des actions. Que se passera-t-il si l ARS lit le rapport et trouve des choses à redire? 18 mois plus tard quel est le recours par rapport à l organisme habilité si le rapport ne convient pas? Si l organisme n est plus agréé ou s il n existe plus? Cela pose quand même des problèmes de délais légaux, d organisation Comment est structuré l abrégé? Interviewé 1 : Nous avons souhaité mettre en cohérence l abrégé avec la synthèse. L ANESM ne souhaite pas modifier les choses. Ils restent très rigides sur cette présentation, du coup il existe des redondances. Interviewé 2 : Mon souci est bien lié à l abrégé, pas au rapport Interviewé 1 : Notre abrégé fait parfois 15 pages. Interviewé 2 : Certains abrégés de nos collègues sont nettement plus courts. Mais nous ne souhaitons pas les modifier et les raccourcir. Cela représente beaucoup de travail, mais nous craignons que les autorités ne lisent que ça et que les établissements n appliquent que ce que nous avons inscrit dans l abrégé.. Interviewé 1 : La seule chose que [l ARS] dit c est que la synthèse et l abrégé sont nécessaires à l acceptation et validation du rapport. Personnellement, je ne vois pas l intérêt de la synthèse, je pense que l abrégé est suffisant car très intéressant. Il faut dire nos rapports sont très exhaustifs donc effectivement l abrégé est une synthèse sous une autre forme Interviewé 2 : Sous une forme de type Forces - faiblesses! Interviewé 1 : Exactement! La synthèse est lisible par tous, on voit très vite les points forts et les points faibles. La synthèse me semble plus un outil à destination de l ARS ou de l ANESM. La plusvalue, nous, nous ne la voyons pas. Cela représente une surcharge de travail. Nous écrivons vingt chapitres et devons réorganiser les choses à l intérieur, synthétiser. Si nous ne devions garder qu un seul élément, ce serait l abrégé. Interviewé 2 : Je suis tout à fait d accord. Moi, en tant qu ancien directeur, c est l abrégé qui m intéresse. Les établissements modifient-ils leur PAQ suite à votre venue et au regard du rapport? Interviewé 2 : Oui, ils insèrent dans leur PAQ existant les préconisations, avec les dates butoirs en fonction. Il m arrive de les conseiller dans leur choix et leur rédaction. Certains établissements peinent cependant à rédiger leur PAQ. Ils sont également friands de modèles et d outils en tous genres comme le DARI par exemple. 13

88 Interviewé 1 : Comme nous travaillons beaucoup par bouche à oreille, les clients se connaissent, et créent un petit réseau social entre eux. Pour préparer leur évaluation ils n hésitent pas à appeler un collègue qui a déjà été évalué, «Comment as-tu procédé? Qu est-ce que tu as fait? etc». Cela permet de créer du lien. Interviewé 1 : Oui, cela décloisonne et facilite les choses. Il y a les outils effectivement qui sont libres de droit, qu on peut leur laisser et puis après il y a les échanges de pratiques. Et il y a une maturité, c est-à-dire qu ils murissent pendant l évaluation externe, entre le démarrage où on leur demande des documents, où ils sont extrêmement angoissés, et on va dire deux mois plus tard où c est terminé. Ils ont leur rapport avec les préconisations et un fil rouge à suivre Des préconisations très prioritaires et d autres prioritaires mais qu ils peuvent réaliser dans les six mois, etc. Les trames que nous leur proposons constituent une base. Les échanges leur permettent de construire une méthodologie adaptée au contexte de chaque structure. Une structure de 150 lits n a pas grandchose à voir avec une petite MARPA. Il faut être vigilant à ce que les outils ne soient pas surdimensionnés pour une petite structure. Il faut des choses concrètes, qui soient mise en œuvre rapidement et de façon efficace. Nos évaluateurs ne sont jamais avares de conseils gratuits. Est-ce que vous recueillez la satisfaction de vos clients? Interviewé 2 : Oui, nous avons élaboré un questionnaire de satisfaction que nous soumettons systématiquement aux établissements. Interviewé 1 : Nous l exploitons en interne, pour nous améliorer. Nous ne le transmettons pas. Cela nous paraissait logique de le faire dans ce cadre qu est l évaluation! Nous sommes en démarche qualité, nous questionnons les démarches qualité de nos clients, il nous parait donc évident de rechercher l amélioration continue. Quel autre outil aurions-nous pu utiliser?? Avez-vous identifié des facteurs de réussite concernant l évaluation externe? Interviewé 2 : Oui. La présence d un qualiticien tout d abord. Un qualiticien ou une personne dédiée à la démarche. Ce sera notre personne ressource pour la durée de l évaluation. Interviewé 1 : Je dirais que c est effectivement un aspect opérationnel important. Mais comme pour la mise en place d une démarche qualité, il faut que ce projet soit porté politiquement. Dans l évaluation externe il faut que le président et le directeur de la structure (impliqué généralement puisque c est lui qui rédige souvent le cahier des charges) soient parties prenantes dans cette démarche. Il est également nécessaire qu en termes de communication, elle soit réalisée en amont et auprès de tous les acteurs. Nous ne souhaitons pas que les acteurs soient sur la défensive. Nous voulons une démarche, ce qu on essaie de leur expliquer dès le départ, de co-construction. Il va y avoir des remarques mais l objectif est bienveillant. Il s agit vraiment de les aider à s améliorer, nous sommes ancrés dans une démarche d amélioration continue. C est une photographie à un instant. Dans un an les choses seront différentes. Ce n est donc en aucun cas une évaluation sanction, et ça c est important à souligner. C est vrai qu il y a des structures qui sont sur la défensive au départ et là on a quelque fois des difficultés à obtenir l information, des difficultés à comprendre, parce qu à chaque fois ils se demandent pourquoi on leur demande telle ou telle information et ce que nous 14

89 mettons derrière.., Nous nous retrouvons dans un petit jeu du chat et de la souris qui est extrêmement épuisant et pour eux et pour nous. Interviewé 2 : Donc, pour résumer : engagement politique, communication, co-construction, personne dédiée et temps dédié! Quels sont selon vous les bénéfices de l évaluation externe? Interviewé 2 : En tant que directeur, j aurais adoré pouvoir bénéficier d une évaluation externe, d un regard extérieur d experts avec une casquette de conseil. Cela représente une réelle opportunité de se poser en tant que directeur, de lever le nez du guidon, et de pouvoir échanger. Les directeurs sont souvent isolés dans leur poste de direction. Avoir quelqu un en face de moi qui me donne des conseils, m interpelle dans telle ou telle situation, serait pour moi, une véritable plus-value. Aujourd hui, certains directeurs ont peur et ne retiennent qu une chose, que c est opposable. Ils nous l expriment et on a bon leur dire «ah oui c est opposable d accord mais vous êtes dans une démarche d amélioration de la qualité, de PDCA etc.» ils persévèrent et continuent à ne voir que ce principe d opposabilité. Nous ne comparons pas les établissements les uns aux autres, nous tenons vraiment compte de l environnement. Les conclusions que nous prodiguerons pour un établissement dans un environnement hospitalier ne seront pas les mêmes que dans le territorial par exemple. Interviewé 1 : Oui, en fait la législation du secteur médico-social est très particulière en matière d évaluation. La plupart des autres secteurs professionnels (Education, industrie, hôtellerie ) se limitent à regarder la conformité à un référentiel. En aucun cas il n y a de préconisations formulées. C est le client, ensuite, qui est certifié ou qui ne l est pas et qui va réagir en fonction. Le secteur médico-social a la chance d avoir un regard extérieur accompagné d un conseil. C est vraiment un point fort. C est pour cela que je dis que ce n est pas un audit, mais vraiment une évaluation, une coconstruction. Ce n est pas une sanction puisque derrière vous avez des préconisations. Ils le voient comme une contrainte parce que c est une obligation légale qu ils doivent ponctionner sur leurs propres deniers. Ils peuvent s estimer chanceux que le législateur ait prévu cette casquette de conseil. S ils avaient dû se limiter à un audit de conformité, je pense que ça leur aurait beaucoup moins apporté Quelles sont les limites de l évaluation externe pour les établissements et pour les usagers? Interviewé 1 : Les limites sont liées aux moyens financiers pour le coût de la prestation et pour la mise en œuvre des actions d amélioration en suivant. C est vrai que souvent les clients nous disent qu ils se trouvent dans un équilibre financier précaire et que ce que nous leur demandons risque d être très complexe à budgéter. Interviewé 2 : Je ne suis pas d accord avec eux. En tant qu ancienne gestionnaire financière je sais très bien que s ils avaient anticipé suffisamment, ils n auraient pas les soucis qu ils ont aujourd hui.. La difficulté je la perçois plus sur le mode déclaratif des partenaires. Tant que le marché ne sera pas plus structuré, il est essentiel de continuer à demander systématiquement les preuves requises et 15

90 d être moins déclaratifs. On demande d apporter des preuves aux établissements et on ne le demande pas aux organismes habilités. Je trouve qu il y a une certaine incohérence Interviewé 1 : Sur la déclaration ANESM, on doit uniquement mettre le nom de l évaluateur et sa compétence, cela tient en trois mots. C est facile d inscrire une compétence pour un évaluateur. Si je prends l exemple de ma collègue, j inscrits ingénieur qualité certifié. Mais elle a plein d autres compétences que je pourrais également inscrire. Le CV n est pas demandé Nous pourrions également joindre l appréciation du client à la fin de l abrégé par exemple Cela permettrait d obtenir des informations supplémentaires. Interviewé 2 : Exiger également des formations pour les évaluateurs. Il me semble nécessaire de structurer l habilitation, un levier qui serait également rassurant pour les établissements. Interviewé 1 : Oui, mais structurer sans rigidifier. Le problème de l ANESM c est qu elle mène actuellement un contrôle des organismes essentiellement administratif et pas forcément très efficace. L intranet de saisie de l activité des organismes habilités en est un exemple (lenteur, double saisie ) Il faudrait mettre en place un contrôle, mais un contrôle qualitatif. Je pense qu il y a quelque chose à faire sur la compétence des évaluateurs qui se rendent sur le terrain. C est cette déontologie là qu il faudrait cadrer. Interviewé 1 : Je fais le rapprochement avec la démarche de DPC par exemple qu on trouve dans les hôpitaux. Quand je vois le dossier DPC et ce qu il faut fournir comme informations Les CV, l expérience etc, tout un panel d informations très exhaustives pour être en capacité de réaliser ces formations. L enjeu me semble tout de même plus important pour les évaluations externes. Il faudrait effectivement demander aux organismes habilités les CV des intervenants, l expérience du cabinet dans ce type d évaluation, les prix pratiqués par rapport au nombre de journées total, sur site et hors site Interviewé 1 : L ANESM regarde la cohérence des propositions. Si vous proposez huit jours à euros, il y a un problème Si vous proposez huit jours à euros il y a également un problème. Ils font donc une moyenne, avec un prix moyen autour de 900/1000 euros. Si vous êtes dans cette fourchette, il n y a aucun problème.. Si vous êtes dramatiquement bas ou excessivement au-dessus vous attirez l attention et vous pouvez avoir un contrôle inopiné. Mais le mode de contrôle reste tout de même très limité. Interviewé 2 : Il faut absolument réguler ce marché. Il faut arrêter de dire que ce n est pas grave si les établissements n ont pas réalisé leur évaluation interne. Que seules les évaluations externes comptent! Il y a un décret et une circulaire qui disent que pour le renouvellement de l autorisation, il faut un rapport d évaluation interne et externe! L évaluation externe permet-elle aux établissements de s améliorer? Interviewé 2 : Oui, sans aucun doute! Interviewé 1 : Et il s agit même de notre principale préoccupation. 16

91 Interviewé 2 : Les établissements que nous avons évalués vont quasiment tous dans ce sens. Existe-t-il des points d amélioration mis en évidence de façon récurrente? Interviewé 2 : Oui, la gestion documentaire majoritairement.. Interviewé 1 : Et pour quelques-uns la gestion financière. Et sur la participation des usagers? Interviewé 2 : Comme précédemment cité, nous, nous les sollicitons, donc nous les rencontrons. La plupart du temps les CVS sont très bien organisés. Interviewé 1 : Peut-être la démarche d évaluation interne qui n est pas suffisamment participative parfois. Interviewé 2 : Oui, elle est juste limitée aux salariés. Interviewé 1 : Et quelques fois également c est le directeur qui a œuvré seul ou avec avec deux ou trois personnes Interviewé 2 : Cela reste relativement rare tout de même. Les professionnels participent mais rarement les usagers, les partenaires et les familles. Nous ne validons jamais quand la démarche n est pas participative. 17

92 Evaluation externe dans les établissements et services médicosociaux - Enquête auprès des établissements - Date : mars 2014 Auteurs : CCECQA CCECQA Evaluation externe dans les établissements et services médico-sociaux mars

93 Sommaire CONTEXTE 3 PRESENTATION DES REPONDANTS 3 ORGANISATION GENERALE 4 SELECTION DE L ORGANISME HABILITE 5 1- UTILISATION D UN CAHIER DES CHARGES 5 2- TEMPS CONSACRE A LA SELECTION 6 3- CRITERES DE SELECTION 7 4- DIFFICULTES RENCONTREES 8 PREPARATION DE L EVALUATION EXTERNE ORGANISATIONS DECLAREES MODALITES DE PREPARATION ETAT D ESPRIT DES PROFESSIONNELS DIFFICULTES RENCONTREES DANS LA PREPARATION 13 REALISATION DE L EVALUATION EXTERNE PRESENTATION DES ORGANISMES MODALITES DE REALISATION ETAT D ESPRIT DES PROFESSIONNELS DIFFICULTES RENCONTREES LORS DE LA REALISATION DE L EVALUATION EXTERNE 16 RAPPORT D EVALUATION EXTERNE REDACTION DU PRE-RAPPORT ORGANISATION DE LA RELECTURE DU PRE-RAPPORT DIFFICULTES RENCONTREES DANS LA PHASE DE REDACTION DU RAPPORT 18 APPRECIATION GENERALE SATISFACTION DES REPONDANTS LES DIFFICULTES RENCONTREES LES POINTS FORTS ET BENEFICES DE L EVALUATION EXTERNE LES POINTS DE VIGILANCE POUR LA MISE EN ŒUVRE D UNE EVALUATION EXTERNE LES LEVIERS POUR LA MISE EN ŒUVRE D UNE EVALUATION EXTERNE 23 CONCLUSION 24 REMERCIEMENTS 25 ANNEXES 26 ANNEXE 1. QUESTIONNAIRE ERREUR! SIGNET NON DEFINI. CCECQA Evaluation externe dans les établissements et services médico-sociaux mars

94 Contexte Dans le cadre de l accompagnement du CCECQA à la mise en œuvre de l évaluation externe auprès des établissements et services médico-sociaux, une enquête par auto-questionnaire a été conduite auprès de tous les établissements médico-sociaux de la région Aquitaine. Cette enquête avait pour objectif décrire les conditions de réalisation de l évaluation externe au travers les déclarations de professionnels ayant mené cette démarche au sein de leur structure. Fondée sur du partage d expérience, le but de cette enquête était ainsi de constituer une source d informations appuyant les propositions faites par le CCECQA afin de guider au mieux les équipes dans leur démarche. Le questionnaire permettait de recueillir des informations relatives à l organisation mise en place au sein des établissements de façon générale, puis aux phases de sélection de l organisme évaluateur, de préparation et de réalisation, des informations relatives au rapport d évaluation externe et une appréciation générale. Les répondants avaient la possibilité de noter des commentaires libres dont les difficultés rencontrées lors de leur évaluation externe. Le questionnaire a été envoyé par mail le 3 mars 2014 à 1419 contacts de la mailing liste de l ARS Aquitaine et des adhérents du CCECQA. 101 ont fait l objet d un retour de mail. Au 30 mars 2014, 103 questionnaires ont été retournés au CCECQA, soit un taux de retour de 7,8%, obtenu sans relance. Présentation des répondants Les 103 répondants représentaient 155 structures réparties par secteur comme suit. Secteur handicap - Adultes Secteur handicap - Enfance 28,4% 49,7% Secteur Personnes Agées 21,9% CCECQA Evaluation externe dans les établissements et services médico-sociaux mars

95 Tableau. Répartition des structures selon le secteur (n=155) DM : donnée manquante eff. (%) Nombre d usagers autorisés ETP Enfance Handicapée (EH) 34 (21,9) SESSAD 14 (9,0) 20 à 55 (1 DM) 11 à 76,3 (4 DM) IME 9 (5,8) 15 à ,1 à 81 (1 DM) ITEP 3 (1,9) 70 à 94 34,9 à 71 CAMSP 1 (0,6) 395 en file active 11,5 IEM 1 (0,6) 3 Centre pour enfants et adolescents polyhandicapés 1 (0,6) Centre d éducation spécialisée pour jeunes déficients auditifs 1 (0,6) ,5 Centre de soins et d éducation spécialisée pour jeunes déficients visuels 1 (0,6) ,5 Service d'investigation Educative 1 (0,6) ,2 SSEFS (Service de soutien à l Education Familiale et à la Scolarisation) 1 (0,6) Structure expérimentale d'hébergement 1 (0,6) Adultes Handicapés (AH) 77 (49,7) ESAT 25 (16,1) 55 à ,3 à 159,5 SAVS 4 (2,6) 30 à 106 4,6 à 9 (1 DM) FAM 7 (4,5) 27 à 75 29,4 à 64,4 CRP 1 (0,6) MAS 4 (2,6) 28 à 60 34,9 à 78 Entreprise Adaptée 2 (1,3) FH 14 (9,0) 12 à 44 9,5 à 17 (2 DM) FO 3 (1,9) 32 à 63 20,5 (2 DM) Foyer 1 (0,6) 74 53,9 Foyer de vie 7 (4,5) 63 à (1 DM) SAJ (Service d Accueil de Jour) 4 (2,6) 8 1,5 SAMSAH 1 (0,6) ,5 STP (Section à Temps Partiel) 3 (1,9) 8 à 16 8 (2 DM) Structure expérimentale d'hébergement 1 (0,6) 11 à à 28,5 Personnes Agées (PA) 44 (28,4) EHPAD 28 (18,1) 32 à à 285,5 SSIAD 11 (7,1) 30 à 380 (1 DM) 5,8 à 107 (1 DM) MAPHA (Maison accueil personnes handicapées âgées) 3 (1,9) MARPA (Maison d accueil Rurale pour Personne Agée) 1 (0,6) 19 4 RPA 1 (0,6) Organisation générale Sur 98 répondants, 72 (73,5%) ont déclaré qu il existait une cellule qualité et gestion des risques au sein de leur structure (5 données manquantes). Parmi les 103 répondants, 40 (38,8%) ont déclaré avoir terminé leur évaluation externe, 17 (16,5%) était en cours de réalisation jusqu à avoir choisi leur organisme évaluateur. Oui En cours 44,7% 38,8% Non 16,5% CCECQA Evaluation externe dans les établissements et services médico-sociaux mars

96 Tableau. Organisation générale selon l état d avancement des établissements Evaluation externe non réalisée Evaluation externe en cours (choix de l'évaluateur) (n=17) Evaluation externe réalisée (n=46) (n=40) Eff. (%) Eff. (%) Eff. (%) Planification en cours 29 (63,0) 12 (70,6) Cabinet/consultant indisponible 0 (0,0) 0 (0,0) Difficultés méthodologiques 1 (2,2) 0 (0,0) Difficultés financières 0 (0,0) 0 (0,0) Evaluation interne en cours 6 (13,0) 0 (0,0) Structure autorisée après (26,1) 1 (5,9) Autre (manque de temps) 1 (2,2) 0 (0,0) Diffusion du document de mise en concurrence 17 (37,0) 9 (52,9) 36 (90,0) Sélection de l organisme habilité 13 (28,3) 10 (58,8) 38 (95,0) Préparation de l évaluation externe 10 (21,7) 8 (47,1) 37 (92,5) Réalisation de l évaluation externe 0 (0,0) 0 (0,0) 37 (92,5) Réception du pré-rapport 0 (0,0) 0 (0,0) 37 (92,5) Validation du pré-rapport par l établissement 0 (0,0) 0 (0,0) 36 (90,0) Communication du rapport final d évaluation externe à l autorité ayant délivré l autorisation 0 (0,0) 0 (0,0) 24 (60,0) Direction 20 (43,5) 12 (70,6) 34 (85,0) Administratif 5 (10,9) 1 (5,9) 6 (15,0) Service qualité et gestion des risques 13 (28,3) 5 (29,4) 31 (77,5) Référent qualité 13 (28,3) 4 (23,5) 18 (45,0) Prestataire extérieur 2 (4,3) 0 (0,0) 3 (7,5) Autre 2 (4,3) 4 (23,5) 4 Parmi les établissements n ayant pas réalisé ou en cours de programmation, certains ont apporté des précisions quant à la programmation : 2 pour lesquels l évaluation externe débutera en mars 2014, 2 en mai 2014, 1 en juillet 2014, 1 en septembre 2014, 1 en novembre 2014, 1 en 2014 (sans précision) D autres acteurs en charge d organiser l évaluation externe ont été cités : - Direction générale (2) - Comité de pilotage qualité local (1) - Comité de pilotage régional (1) - Recrutement d une assistante qualité (1) - Chef de service (1) - Cadre de santé (1) - Le siège (2) - Service qualité de l établissement de rattachement (1) - Responsables des services médico-sociaux Sélection de l organisme habilité 1- Utilisation d un cahier des charges Parmi les 40 établissements ayant réalisé leur évaluation externe, 95% ont utilisé un cahier des charges. Evaluation externe non réalisée 41,3% Evaluation externe en cours 76,5% Evaluation externe réalisée 95,0% 0,0% 20,0% 40,0% 60,0% 80,0% 100,0% CCECQA Evaluation externe dans les établissements et services médico-sociaux mars

97 Tableau. Précision sur l utilisation d un cahier des charges Evaluation externe non réalisée (n=19) Evaluation externe en cours (choix de l'évaluateur) (n=13) Evaluation externe réalisée (n=38) Eff. (%) Eff. (%) Eff. (%) Cahier des charges existant 13 (68,4) 4 (30,8) 12 (31,6) Cahier des charges élaboré en interne 15 (78,9) 11 (84,6) 33 (86,8) Cahier des charges informatisé 3 (15,8) 7 (53,8) 7 (18,4) Diffusion aléatoirement 3 (15,8) 5 (38,5) 20 (52,6) Diffusion par voie d'annonce 4 (21,1) 4 (30,8) 8 (21,1) Les cahiers des charges existant cités étaient les suivants (nombre de citations) : - Accord cadre L ADAPT (2) - INTERNE CHCP (1) - Modèle de cahiers des charges de la FHF (6) - Lettre UNA (1) - Base UNAPEI (12) - Fondation Massé Trévidy (1) - Décret du 15 mai 2007 (1) - Document FEHAP (1) Ces établissements précisent qu ils se sont servis de ces documents comme base de travail. Les autres modes de diffusion précisés étaient les suivants (nombre de citations) : - Ciblés géographiquement Grand Sud Ouest + IDF (11) - Marché public (1) - Choix des organismes sur internet en fonction de la connaissance du secteur (1) 2- Temps consacré à la sélection Plus de la moitié des établissements ont passé 4 à 10 mois pour sélectionner leur évaluateur. 7 à 10 mois 4 à 6 mois 2 à 3 mois 1 mois entre 1 et 2 jours moins d'une journée 8,2% 9,8% 4,9% 23,0% 27,9% 26,2% 0,0% 20,0% 40,0% 60,0% 80,0% 100,0% Tableau. Temps consacré à la sélection Evaluation externe non réalisée (n=12) Evaluation externe en cours (n=13) Evaluation externe réalisée (n=36) Eff. (%) Eff. (%) Eff. (%) moins d'une journée 1 (8,3) 2 (5,6) entre 1 et 2 jours 1 (7,7) 5 (13,9) 1 mois 4 (30,8) 1 (2,8) 2 à 3 mois 2 (16,7) 6 (46,2) 8 (22,2) 4 à 6 mois 8 (66,7) 1 (7,7) 8 (22,2) 7 à 10 mois 1 (8,3) 1 (7,7) 12 (33,3) Deux établissements ont précisé que la sélection avait été réalisée par le siège. CCECQA Evaluation externe dans les établissements et services médico-sociaux mars

98 Certains ont détaillé leur façon de faire : Expérience 1 (ESAT, FH, CRP) rédaction cahier des charges publication présentation de l établissement aux postulants (présence obligatoire sur site pour pouvoir faire une proposition conditions mentionnée dans cahier des charges) pré-sélection selon critères énoncés dans cahier des charges entretiens avec candidats présélectionnés (prévu dans cahier des charges) pour sélection Expérience 2 (EHPAD) analyse des dossiers sélection des dossiers réalisation des entretiens avec chaque candidat sélectionné Expérience 3 (EHPAD) étude des offres élaboration tableau comparatif demande de précision jugement final 3- Critères de sélection Parmi les répondants, 75 ont cité au moins un critère déterminant. Les critères les plus souvent cités étaient relatifs à l expérience des évaluateurs (73,3%) et figuraient comme premier critère dans deux tiers des cas. Les compétences des évaluateurs faisaient référence à la formation des évaluateurs, cités par 65,3% des répondants. Les critères relatifs à la qualité de la méthodologie proposée faisaient référence à la cohérence des moyens dédiés par l évaluateur pour une bonne qualité de prestation (nombre de jours réaliste et pertinent). Certains répondants ont évoqué l état d esprit dans lequel ils souhaitaient que l évaluateur externe soit («Capacité du candidat à se situer dans une logique d écoute pour faire émerger des propositions d amélioration», «Principes et valeurs portées pat l'organisme», «La compréhension de notre projet et de notre demande évaluative»...). Le coût de la prestation est déterminant pour 68% des répondants, cité dans la plus de la moitié des cas en quatrième position. 0,0% 20,0% 40,0% 60,0% 80,0% 100,0% Compétences des évaluateurs Expériences des évaluateurs Qualité de la méthodologie proposée Coût Qualité du dossier Autre 9,3% 14,7% 65,3% 73,3% 61,3% 68,0% Tableau. Critères de sélection les plus déterminants (n=75 répondants) eff. (%) Ordre de citation position 1 position 2 position 3 position 4 Compétences des évaluateurs 49 (65,3) 8% 52% 40% 0% Expériences des évaluateurs 55 (73,3) 63% 29% 7% 1% Qualité de la méthodologie proposée 46 (61,3) 23% 27% 43% 7% Coût 51 (68,0) 16% 10% 20% 54% Qualité du dossier 7 (9,3) 43% 43% 14% 0% Autre 11 (14,7) 0% 18% 45% 36% CCECQA Evaluation externe dans les établissements et services médico-sociaux mars

99 Tableau. Critères de sélection les plus déterminants détail (n=75 répondants) eff. (%) Expériences des évaluateurs 55 (73,3) connaissance qualité/évaluation 15 (20,0) connaissance SMS 20 (26,7) expérience 10 (13,3) expérience SMS 23 (30,7) expérience qualité/évaluation 7 (9,3) Compétences des évaluateurs 49 (65,3) compétences qualité/évaluation 2 (2,7) compétences SMS 2 (2,7) compétences 42 (56,0) pluridisciplinarité des évaluateurs 3 (4,0) Qualité de la méthodologie proposée 46 (61,3) calendrier 2 (2,7) méthodologie 37 (49,3) nombre de jours 8 (10,7) état d esprit des évaluateurs 5 (6,7) étape contradictoire sur le pré-rapport 5 (6,7) Coût de la prestation 51 (68,0) Qualité du dossier 7 (9,3) clarté dossier 4 (5,3) cohérence réglementaire 2 (2,7) habilitation de l organisme 1 (1,3) Autre disponibilité des évaluateurs 8 (10,7) proximité géographique 1 (1,3) contact avec l évaluateur 1 (1,3) retour d expérience d autres établissements 1 (1,3) 4- Difficultés rencontrées 53 répondants ont évoqué des difficultés dans la phase de sélection de l organisme évaluateur. Idée Inexpérience de l établissement dans le domaine Faible expérience des organismes évaluateurs Nombre de réponses insuffisant Quantité des propositions à étudier Verbatim - Ma propre inexpérience dans le domaine - Pas de recul, 1 évaluation externe - Les offres sont très difficiles à analyser pour quelqu un qui n est pas évaluateur - Notre inexpérience en la matière. L Anesm venant tout juste de publier sa première liste d organismes évaluateurs / Faible expérience globale des organismes. - Un seul organisme a répondu - nombre important d offres à étudier (14 études) - Multitudes d'organismes, cibler les plus pertinents (12 citations) - Analyser tous les dossiers (2 citations) Fiabilité des organismes - Dossiers comportant des inspections générales, peu concrètes - Fiabilité des organismes (réponses non apportées dans les temps, etc.) - Nécessité de «faire le tri» dans l ensemble des organismes habilités - fiabilité de certains organismes (11 citations) Conflit d intérêt - Conflits d'intérêt (11 citations) Peu de variabilité dans les offres - Méthodologie quasi-identique chez les évaluateurs (2 citations) - Peu de difficultés lors de cette étape, hormis peut-être les réponses très identiques des évaluateurs. Il a donc été difficile de trouver des critères permettant de faire un choix, globalement les offres étaient similaires. (4 citations) Variabilité dans les offres - Variété des propositions faites - différence importante des prix et de la qualité des offres - Offres disparates - La difficulté était d'analyser les dossiers car ils étaient présentés de façon très différente. Difficulté à juger la qualité de - Etablir un rapport qualité/ prix en tenant compte du nombre de journée bureau/terrain/évaluateurs prestation - Faire une synthèse (2 citations) Problème des compétences des évaluateurs - Beaucoup d'organismes habilités n'ont aucun lien avec le secteur médico-social et de la santé Evaluateurs sont ingénieurs, RH, psychologues CCECQA Evaluation externe dans les établissements et services médico-sociaux mars

100 CCECQA Evaluation externe dans les établissements et services médico-sociaux mars

101 Préparation de l évaluation externe 1. Organisations déclarées L analyse des commentaires de 54 répondants la question «Comment avez-vous préparée la venue des évaluateurs?» a permis de faire émerger des étapes clés : - La constitution d un comité de pilotage - La communication auprès des parties prenantes (instances, professionnels et usagers) - L organisation d échanges avec les évaluateurs - La gestion documentaire - La planification du calendrier de réalisation A la marge, un répondant a insisté sur les messages à transmettre lors des moments de communication en rappelant le contexte réglementaire et les recommandations de l ANESM. Idée retenue Verbatim Constitution d un comité de pilotage - Mise en place d'un comité de pilotage avec réunions régulières - Actuellement, les évaluations internes ont eu lieu sur les 3 établissements. Un COPIL par mois a été programmé jusqu aux évaluations externes qui ont lieu la première quinzaine de juillet, afin de suivre nos engagements. Pas de réunion institutionnelle mais une communication remise aux familles et aux salariés. - Création d un COPIL - Information et préparation en comité de pilotage qualité de l'ehpad Communication au niveau des instances - Partage en équipe de direction décisionnelles - Partage en équipe de direction sur la base et une première relation avec le DG - Actuellement, nous sommes au début de la démarche de préparation de l évaluation externe. Pour l instant, nous en sommes à l étape de validation et d information au niveau des différentes instances institutionnelles : cellule qualité, comité de pilotage, instances représentatives du personnel, - Réunions institutionnelles - Réunion institutionnelle + information aux différentes instances prévues - Description de la démarche en comité de pilotage et en réunion de personnel - Information des administrateurs Communication auprès des professionnels - Pas encore fait, je compte en parler en réunion mensuelle réunissant toutes les équipes et dont le compte-rendu est diffusé à tous - Une communication auprès des professionnels - Réunion institutionnelle auprès des professionnels + flash infos remis avec le bulletin de salaire (le mois précédent la visite): rappel des résultats de l'évaluation interne, PAQ, présentation évaluation externe) (2 citations) - Réunions d information - Communication auprès des personnels - Communication auprès des professionnels et personnes accueillies sur le sens et le déroulement de la démarche - Description de la démarche en comité de pilotage et en réunion de personnel - Communication aux personnels, usagers, familles (6 citations) - Réunion avec le personnel - Information en interne : Professionnels Correspondants qualité du site Responsable qualité associatif Information auprès des usagers - information Familles / CVS - Communication auprès des professionnels et personnes accueillies sur le sens et le déroulement de la démarche - Communication aux personnels, usagers, familles (6 citations) Gestion documentaire - nous numérisons l'ensemble des documents de références pour transmission à l'organisme habilité (le nombre de ces documents n'est pas comptabilisé à ce jour) - envoi des rapports d évaluation interne (+ autres documents : Projets d établissement, organigrammes, ) - Base documentaire - En préparant un dossier avec différents documents relatifs à l EHPAD demandé par l organisme d évaluation. - Echanges par mail sur les attentes et documents - Préparation des documents (liste fournie par organisme) - Organisation documentaire - collecte documentaire (6 citations) - Collecte documentaire Organisation d échanges avec les évaluateurs - réunion de cadrage prévue avec les consultants - Réunion de cadrage - la venue des évaluateurs était déjà bien détaillée dans la proposition de réponse au cahier des charges. Il y a eu des échanges mails avec les évaluateurs externes pour affiner le planning de visites de leurs besoins matériels. CCECQA Evaluation externe dans les établissements et services médico-sociaux mars

102 - Différentes rencontres avec les évaluateurs : Direction générale Responsable qualité associatif Direction d établissement Administrateurs équipes - Il est prévu une réunion de présentation de la méthode au personnel en présence des évaluateurs - En cours, nous devons les recevoir (sous réserve d'acceptation des dates et de l'évaluateur par la Direction du CIAS) les 22 et 23 avril réunion de présentation du consultant aux équipes Planification d un calendrier de réalisation - Etablissement d'un planning de visite validé en amont de la visite - Affichage et planification - Réalisation des plannings des rencontres avec les professionnels, résidents, familles et partenaires - Planification (6 citations) Information sur le contexte - Présentation du contexte réglementaire (pourquoi une évaluation externe?), présentation du déroulement de l évaluation externe, retour sur les recommandations de l ANESM, information auprès des usagers/partenaires, familles/professionnels. (3 citations) Inscription dans une démarche évaluative - Conception d un projet évaluatif en concertation avec la direction et le cabinet d expertise. - validation du projet évaluatif (6 citations) Réalisation d un audit interne - Audit interne (10 citations) - 2 audits internes Trois répondants ont davantage détaillé leur façon de faire. Expérience 1 (CRP) Evaluation externe test réalisée par des étudiants du Master qualité gestion des risques Mobilisation du comité de suivi de la qualité de l établissement Envoi de tous les documents réclamés par le cabinet en amont de l évaluation Rencontre et échanges téléphoniques avec le chef de projet du cabinet Equipe des professionnels du centre tenue régulièrement informée Communication du projet d évaluation externe au Membres du Conseil à la vie sociale de l établissement + participation de certains membres à «l évaluation test» réalisée par les étudiants du Master qualité gestion des risques Création d une gestion électronique des documents Préparation logistique (salle, planning de l évaluation externe) Expérience 2 (SESSAD, IEM, MAS) J'ai d'une part, informé le comité de direction du centre des enjeux et étapes liés à cette mission, recherché une ressources qualité (CDD) afin de mettre à jour tous les documents institutionnels, et préparer tous les documents obligatoires et documents de preuve à transmettre aux évaluateurs, participation aux débriefings quotidiens pendant la mission, assurer la logistique pendant la mission des rencontres, lectures et propositions de modifications des pré-rapports en lien avec la direction, et d'autre part, j'ai communiqué en interne auprès des personnels (réunions d'information institutionnelle pour les professionnels en petit groupes, information au CHSCT...) et information des usagers (présentation en CVS, flashinformation interne, présentation directe auprès des usagers lors de la fête annuelle des familles 2013). Expérience 3 (SAVS, ESAT, SESSAD) La démarche a été associative, impulsée par le service qualité de la direction générale. Des réunions préparatoires ont eu lieu avec les référents qualité de l'association pour leur présenter la démarche, élaborer le cahier des charges, lire les offres et échanger autour des propositions. Ces réunions préparatoires ont servi également à préparer les questions à poser aux évaluateurs. Ces derniers ont été reçus par le groupe de travail. 2. Modalités de préparation Tableau. Etapes de prépara ration réalisé par les établissements Evaluation externe en cours (n=17) Evaluation externe réalisée (n=40) Eff. (%) Eff. (%) Organisation d'une réunion institutionnelle 10 (58,8) 40 (100,0) Demande de documents 12 (70,6) 40 (100,0) 0 à 10 documents 4 (33,3) 4 (10,0) 10 à 20 documents 5 (41,7) 9 (22,5) 20 à 30 documents 1 (8,3) 12 (30,0) 30 à 40 documents 1 (8,3) 2 (5,0) plus de 40 documents 1 (8,3) 13 (32,5) Echanges avec l'évaluateur avant sa venue 12 (70,6) 39 (97,5) Préparation des entretiens avec les professionnels 3 (17,6) 11 (27,5) CCECQA Evaluation externe dans les établissements et services médico-sociaux mars

103 D autres documents ont été demandés par les évaluateurs. Idée retenue Verbatim Documents présentation le fonctionnement de l établissement - Tous documents et informations pouvant permettre la compréhension du fonctionnement de l'établissement (à notre initiative) - organisation du travail : horaires, présence des salariés Nombre d ouvriers, nombre d ETP, localisation,.(3 citations) - Le contexte budgétaire de l établissement, ses modalités de fonctionnement avec l organisme gestionnaire auquel il est rattaché - Des documents de présentation de l'association et des établissements (4 citations) Planning des visites d évaluation externe - Ils envoient un planning prévisionnel de visite de leurs deux jours de présences avec les personnes qu'ils souhaiteraient rencontrer. Puis nous demandent de renseigner ce planning selon nos disponibilités en interne et d'organiser la présence des professionnels. - Co-construction du planning et des visites sur site / calendrier choix des professionnels, partenaires et usagers interviewés. - Comment procéder pour rencontrer partenaires et usagers - Organisation des plannings de réunions (en fonction des demandes de l évaluateur) par le service qualité et le comité de direction afin de dégager un maximum de prof et de personnes accueillies. Textes réglementaires - Pour l instant, les documents demandés par l organisme habilité sont ceux prévus dans le décret (au nombre de 9). Nous nous préparons néanmoins à la transmission d autres documents qui reflèteront plus précisément notre pratique. - La liste réglementaire et des documents spécifiques en lien avec le type d établissement - 26 thèmes qui représentent plus de 50 documents Exemples: CR de CVS à raison de 3 documents par an = 6 documents Document relatifs aux pratiques - Nos priorités évaluatives, nos attentes (10 citations) - Au-delà des 9 pièces techniques obligatoires, tout documents pouvant illustrer nos pratiques, notamment les procédures (budget, admissions, soins, coordination médicosociales, RH, Hygiène ), les tableaux de suivi (budget, RH, soins), le SDSI, tous les rapports RH (fiches emplois, support d'entretien annuel d'évaluation, grille d'entretien, recrutement, livret d'accueil salarié, livret d'accueil stagiaire...) ainsi que l'historique et le détail effectifs par structure. Document en lien avec une démarche qualité - Démarche HACCP de la cuisine centrale de l établissement - Construction du projet évaluatif, choix du référentiel pour l évaluation externe (référentiel 24) - Enquête de satisfaction préalable (3 citations) Autres - Tous les documents existants dématérialisés 3. Etat d esprit des professionnels L état d esprit des professionnels en quelques mots adhésion (12) craintes (22) pression modérée et positive (6) appréhension (5) curieux (4) négatif (4) bon état d esprit (3) questions (3) enthousiastes (2) soucieux (3) rassurés (2) peur de mal répondre (2) confiant (1) obligation réglementaire (1) bienveillance (1) partagés (1) bonne participation (1) participation (1) disponibles (1) inquiets (1) concertation (1) prudence (1) habitués (1) sécurité (1) participation (1) intéressés (1) investis (1) sécurité (1) sereins (1) valorisation (1) En complément de ces mots cités, les témoignages suivants illustrent l état d esprit des professionnels dans le cadre de l évaluation externe. CCECQA Evaluation externe dans les établissements et services médico-sociaux mars

104 Témoignage 1 Témoignage 2 Témoignage 3 Les professionnels avaient quelques craintes quant à l évaluation externe considérée alors comme un audit. La présentation de la démarche en réunion de personnel a permis de rassurer l ensemble des agents en employant les termes suivants : - Démarche d écoute bienveillante - L évaluation n est pas un jugement - Pour une amélioration des performances de l établissement Les démarches Qualité et gestion des risques de l établissement sont déployées de façon transversale sur le secteur sanitaire et sur le secteur médico-social. De ce fait, les professionnels médico-sociaux sont «habitués» à la phase préparatoire à l évaluation. Les craintes se portent sur la phase évaluative. Partagé : réserve et prudence pour certains, d autres faisant le choix de s engager et d expérimenter cette nouvelle modalité. Globalement, peu d impact sur la vie institutionnelle Témoignage 4 Témoignage 5 Témoignage 6 Adhésion à l'ensemble des professionnels: enthousiasme chez certains pour pouvoir mettre en avant tout ce qui est réalisé au sein de la structure et crainte également pour quelques professionnels (peur de ne pas savoir répondre, mal répondre, peut de mettre l'établissement en difficultés) A quelques exceptions près (professionnels saisissant une opportunité de plus d'être dans la plainte), plutôt globalement dans un esprit d'adhésion: une occasion de valoriser notre savoir-faire auprès des usagers. Compte-tenu de l'attitude bienveillante des évaluateurs, des échanges simples et cordiaux ont pu se dérouler avec des représentants de toutes disciplines. Les professionnels étaient investis et curieux de connaître le résultat de l'appréciation de leurs pratiques. Nous avons toutefois rappelé qu'il s'agit d'une évaluation globale de l'établissement pas d'évaluation individuelles de pratiques. 4. Difficultés rencontrées dans la préparation Idée retenue Verbatim Implication des professionnels - Les difficultés sont de parvenir à ce que les professionnels se sentent impliqués par ces évaluations. - La principale a été que les gens concernés ne se désistent pas au dernier moment - Le peu d implication des professionnels (projet essentiellement porté par la direction) Implication de la direction - Cela s'est ressenti sur l'évaluation interne, par manque d'implication des directions (peut-être du fait de la présence d'un responsable qualité en interne qui s'est chargé de tout et donc ils ont délégué au maximum). - Mais il est de ce fait, difficile de voir les plans d'actions avancer et de faire comprendre l'importance de cette étape. Crainte des professionnels - Peur du jugement / audit / de la remise en cause des méthodes de travail - La préparation a consisté à les rassurer sur les questions de l'évaluateur externe. - Rassurer certains professionnels sur l'évaluation externe: dire ce que l'on fait, comment on le fait et savoir expliquer pourquoi on le fait de cette manière (2 citations) - Les mêmes difficultés que celles que l'on rencontre quand on conduit un changement; professionnels saisissant cette opportunité pour être dans la plainte individuelle et non dans le projet collectif Difficultés organisationnelles - Planification un peu compliquée en raison des disponibilités de chacun - Pas de préparation aux entretiens (répétitions). Les professionnels avaient été avertis du RDV avec l'expert visiteur et du but de l'entretien. - Difficultés d'organisation pour le déroulement de la venue des évaluateurs Communication - Beaucoup de pédagogie pour expliquer et réexpliquer la démarche des enjeux (4 citations) - Seuls les plannings de rencontres avec les évaluateurs externes ont été préparés avec les professionnels. Juste les notions de «transparence et d honnêteté» ont été exprimées à l égard des agents pour la réalisation de cet exercice. Préparation - Nécessité de faire connaissance et se rencontrer avant la phase d'évaluation propre Manque de recul - Le manque de recul concernant l évaluation externe (2010) CCECQA Evaluation externe dans les établissements et services médico-sociaux mars

105 Réalisation de l évaluation externe 1. Présentation des organismes Au total, 24 organismes différents ont été cités par les 57 répondants ayant réalisé leur évaluation externe ou en cours de réalisation, 18 étaient des organismes privés, 4 étaient une association et 1 était public (1 donnée manquante). Tableau. Nombre d évaluations externes réalisées (n=17) eff. (%) moins de 10 8 (47,1) entre 10 et 20 6 (35,3) plus de 20 2 (11,8) (5,9) Tableau. Nombre d évaluateurs disponibles N eff. (%) eff. (%) eff. (%) eff. (%) eff. (%) Nombre d'évaluateurs prévus sur site 24 0 (0,0) 4 (16,7) 18 (75,0) 1 (4,2) 1 (4,2) hors site 18 1 (5,6) 5 (27,8) 7 (38,9) 4 (22,2) 1 (5,6) Nombre d'évaluateurs réels sur site 16 0 (0,0) 3 (18,8) 12 (75,0) 1 (6,3) 0 (0,0) hors site 10 1 (10,0) 3 (30,0) 4 (40,0) 2 (20,0) 0 (0,0) N organisme Nb citations Tarifs pratiqués Nb de jours sur site Compétences des évaluateurs Organisme évaluateur référent technique, professionnel de compétence médico-social 0,5 à 3 jours (cadre de préférence) Organisme en moyenne consultant formateur, psychologue, directeur EHPAD, directeur ESAT, 0,5 à 7 jours (2855 à ) infirmier, médecin, qualiticien Organisme directeur d'établissement (Master Gestion des organisations sanitaires et 3 jours médico-sociales), cadre de santé EHPAD Organisme ,5 jours ingénieur en organisation, médecin, cadre de santé Organisme ingénieur hospitalier en organisation, directeur d'un réseau de soins (compétences en secteur personnes âgées) Organisme intervenants connaissant le secteur, chef de projet (profil 3ème cycle en management/gestion), assistant évaluateur (profil 3ème cycle en gestion 2,5 à 4 jours des organisation du secteur sanitaire et médico-social), directeur d'établissement médico-social, médecin généraliste Organisme sociologue, médecin coordonnateur, DRH, cadre infirmier, thérapeute Organisme infirmier (Mastère spécialisé Management par la qualité, DU gérontologie, DESS Gestion des affaires, formation auditeur qualité) cadre de santé (Responsable en management par la qualité, Formation 3 à 4 jours auditeur qualité, Certificat de spécialisation gestion des risques médicaux) responsable administratif (Maitrise de RH, Master Stratégie et Ingénierie de Formation) Organisme jours ancien directeur (niveau 1 BEM option médico-social) Organisme 10 1 Cadre de santé (anciennement directrice d'un établissement médico-social, 3 jours certificat d'évaluateur de l'afnor) Cadre de santé (secteur psychiatrie adultes) Organisme Educateur spécialisé (CAFDES), cadre de santé (forte expérience dans le 5 jours secteur et DU qualité) Organisme Ingénieur qualité spécialisé en gérontologie, IDE, Directrice EHPAD, 3 jours animateur spécialisé gérontologie, psychologue clinicienne Organisme en moyenne Consultant, professionnel de terrain (évaluation dans le secteur de 2 à 9 jours (5081 à ) l'handicap adulte) Evaluateur certifié (professeur à l université, ancien directeur général d une Organisme à à 4 jours association médico social, formateur), évaluateur qualifié (ancien éducateur, puis directeur à la retraite d un établissement médico-social) Organisme à 7308 psychologue du travail, infirmier (CAFDES, Mastère Management de la 2 à 4 jours Qualité en Santé) Organisme ,5 jours Organisme jours Directeur EHPAD Organisme jours Ingénieur qualité Organisme jours auditeur Qualité ICA (Maîtrise d Ingénierie de la Qualité en Santé), CCECQA Evaluation externe dans les établissements et services médico-sociaux mars

106 N organisme Nb citations Tarifs pratiqués Nb de jours sur site Compétences des évaluateurs consultante QSE (ISMQ) Organisme évaluateur expert (certifié AFNOR), responsable qualité, conseiller 4 jours technique, sociologue, certificat d ingénierie de la formation (CNAM) Organisme jours Organisme à 8550 médecin (directeur de HAD, expert visiteur, capacité gériatrique), 2 jours qualiticienne auditrice (IDE, master et DU en gérontologie) Organisme jour directeur d'établissement, psychologue Organisme Consultants spécialistes du secteur médico-social : DESS de Psychologie 2 jours sociale, DU Évaluation et qualité des établissements sanitaires et médicosociaux 2. Modalités de réalisation Les 40 répondants ayant réalisé leur évaluation externe ont déclaré que les parties prenantes ont pu s exprimer librement lors des entretiens avec les évaluateurs externes. Tableau. Nombre de rencontres réalisées par les évaluateurs N Moyenne Médiane Minimum Maximum Nombre de rencontres avec les professionnels entretiens individuels 39 10, entretiens de groupe 33 5, Nombre de rencontres avec les usagers entretiens individuels 24 2, entretiens de groupe 30 1, Nombre de rencontres avec les familles entretiens individuels 26 1, entretiens de groupe 25 0, Nombre de rencontres avec les partenaires extérieurs* entretiens individuels 21 3, entretiens de groupe 21 0, * précision : médecin libéral (2 citations), bénévoles et représentants des usagers (2 citations) 3. Etat d esprit des professionnels L état d esprit des professionnels en quelques mots adhésion (8) craintes (15) positifs (5) désintéressés (3) pression modérée et positive (3) anxieux (2) curiosité (3) défensive (1) confiance (3) inquiets (1) disponibles (3) dynamiques (2) envie (2) fiers (2) appréciés (1) facilitant (1) impliqués (1) concertation (1) investis (1) libres (1) motivés (1) pédagogie (1) prendre du recul (1) sereins (1) zen (1) Trois témoignages expliquent l état d esprit des professionnels lors des entretiens. CCECQA Evaluation externe dans les établissements et services médico-sociaux mars

107 Témoignage 1 Témoignage 2 Témoignage 3 Une vingtaine d'entretiens a été réalisée dans le cadre de cette évaluation incluant les professionnels, les partenaires, les fonctions médicales et paramédicales et les fonctions support, l'équipe de direction. Les équipes ont été impliquées, rencontrées en groupes de professionnels par un binôme d'évaluateurs (ce binôme pouvant se séparer ponctuellement). Les personnes ressources (direction, cadres, avis d'experts) ont été rencontrées en entretiens individuels. Les bénéficiaires ont aussi été impliqués dans la démarche et rencontrés (représentants CVS et visite des différents groupes). Les partenaires ont été contactés par téléphone. Les professionnels médicaux et paramédicaux on été consultés par un expert médical. Ceux qui avaient choisi de s y engager ont apprécié l expérience, notamment le fait de pouvoir se distancier de leurs pratiques professionnelles et exprimer leur perception de leur travail et de la vie institutionnelle. Les autres (la majorité des professionnels) se sont sentis peu concernés. La visite s'est déroulé sur 2 jours; les évaluateurs ont su mettre les personnes en confiance avec beaucoup de tact et de pédagogie ce qui a permis l'adhésion de tous 4. Difficultés rencontrées lors de la réalisation de l évaluation externe Idée retenue Verbatim Respect du calendrier - Respect des horaires! - Organiser le temps des entretiens: respecter la durée prévue initialement, les entretiens avaient en effet tendance à durer plus longtemps. (2) - Respect des plannings Disponibilité de l évaluateur - Timing serré (3) - Difficile d'organiser tous les entretiens sur 2 jours (temps limités) (2) - Timing serré des entretiens et réunions, sensation de frustration // au temps des personnes interviewées (2) - Le peu de temps accordé aux professionnels Sur le SESSAD (agrément de 90 jeunes et 35 professionnels), les évaluateurs n'ont passé qu'une journée, sans même rencontrer le chef de service. - Le manque de temps pour approfondir les questions avec les professionnels. - Le peu de temps passé sur le site, à peine 2 jours. Et le sentiment d'un évaluateur pressé, ne prenant pas le temps de chercher à comprendre le fonctionnement de la structure. Difficulté de planification - Obtenir un planning précis a été laborieux Limite des modalités de réalisation - Le fait qu'il n'y ait que des entretiens collectifs avec les professionnels CCECQA Evaluation externe dans les établissements et services médico-sociaux mars

108 Rapport d évaluation externe 1. Rédaction du pré-rapport Tableau. Délai de réception du pré-rapport d évaluation externe eff. (%) fin de semaine de l évaluation externe 1 (2,6) 15 jours 8 (20,5) 2 semaines à 1 mois 19 (48,7) 1 à 2 mois 9 (23,1) 3 mois 1 (2,6) Pas encore reçu 1 (2,6) Tableau. Eléments du pré-rapport (n=40) eff. (%) Prise en compte du contexte et du point de vue de toutes les parties prenantes 39 (97,5) Cohérent avec les recommandations de l ANESM 39 (97,5) Intégration des résultats de l évaluation interne 35 (87,5) Composition du pré-rapport éléments de cadrage 38 (95,0) description de la procédure d évaluation externe 39 (97,5) résultats de l évaluation externe détaillés 39 (97,5) préconisations 39 (97,5) synthèse 36 (90,0) abrégé 29 (72,5) tout à fait satisfait satisfait peu satisfait pas du tout satisfait transparence 66,7% 30,8% 0,0% 2,6% fiabilité 47,4% 42,1% 7,9% 2,6% pertinence 51,3% 43,6% 2,6% 2,6% 0% 20% 40% 60% 80% 100% Graphe. Appréciation sur la qualité des informations du pré-rapport 2. Organisation de la relecture du pré-rapport Idées retenues Verbatim Echanges avec l évaluateur externe - Corrections envoyées par mail puis débat contradictoire (4) - commentaires écrits puis débat contradictoire (6) - Echange du document par mail et commentaire en marge, puis discussion téléphonique pour un consensus - Commentaires et discussion avec l'évaluateur externe - Echanges par mail avec les évaluateurs (en cours) (2) - Echanges téléphoniques avec le cabinet - Echanges contradictoires par mail et relecture critico-constructive - Puis réunion de validation avec les évaluateurs externes pour leur faire part des éventuelles remarques - échanges par mail avec la Sté prestataire. - Nous avons eu un échange contradictoire sur quelques points (3) - Echanges avec les évaluateurs - Puis une rencontre a eu lieu avec l'évaluateur: la rencontre contradictoire afin d'ajuster le document. (4) - Echanges écrits et présentation orales des évaluateurs (2) - Relecture et demande de précisions Relecture par les membres du COPIL - Le pré-rapport a été remis en relecture aux membres du COPIL (2) - Lecture du pré-rapport par les membres du comité de pilotage CCECQA Evaluation externe dans les établissements et services médico-sociaux mars

109 - Quelques modifications apportées et appuyées par des preuves - Validation du pré-rapport par le comité de pilotage - Réunions de lecture et commentaires (en interne par Comité de pilotage) Abordé en comité de pilotage qualité EHPAD - Lecture par les membres du comité de pilotage qualité et la direction générale. - Le comité de pilotage a été destinataire du pré-rapport et s'est réuni pour évoquer les différentes remarques des professionnels. (4) - Lecture individuelle des salariés appartenant au COPIL. Réunion du COPIL en présence d'un évaluateur - Validation par le comité de pilotage de site : Cadres de direction, Correspondants qualité, Responsable qualité Réunion d équipe - Réunion pluri-professionnelle avec vidéoprojecteur - Mise à dispo du pré-rapport pour permettre aux professionnels de faire remonter remarques Relecture par la direction et l encadrement Présentation de l évaluateur - présentation orales des évaluateurs (2) - Lecture par le Directeur et le directeur qualité - Lecture du rapport reçu au regard des notes prises lors de l évaluation par la Direction, les référents qualité et la chargée de mission qualité. - Lecture et annotations sur PDF par Directeur, Directrice adjointe, cadre de santé et responsables de services - Lors d une réunion le Directeur remet les pré-rapports aux cadres pour une relecture. + Lecture du rapport reçu au regard des notes prises lors de l évaluation par la Direction de l établissement, le Directeur des Services Techniques, les référents qualité et la chargée de mission qualité. (2) Expérience 1 Expérience 2 Expérience 3 Réunions de lecture et commentaires (en interne par Comité de pilotage) Relecture détaillées des pré-rapports avec les cadres et l'assistante qualité Etablissement des propositions de modifications et/ou précisions, puis transmission par mail au chef de projet et son assistant RV téléphoniques avec le chef de projet afin d'échanger sur chacun des 3 rapports Délai de relecture version définitive suite à cet échange et contact, le cas échéant, si élément non pris en compte Rapport validé transmis à la direction générale et ARS Mise à dispo du pré-rapport pour permettre aux professionnels de faire remonter remarques Puis réunion de validation avec les évaluateurs externes pour leur faire part des éventuelles remarques 3. Difficultés rencontrées dans la phase de rédaction du rapport Le comité de pilotage a été destinataire du pré-rapport et s'est réuni pour évoquer les différentes remarques des professionnels. Puis une rencontre a eu lieu avec l'évaluateur : la rencontre contradictoire afin d'ajuster le document Idées retenues Verbatim Désaccords avec l évaluateur externe - Sur certains points des divergences concernant l'interprétation de la réglementation existant Non transmission de l abrégé - L abrégé fait partie des annexes. Ces dernières ne nous ont pas été communiquées avec le pré-rapport. - une difficulté à obtenir un abrégé et une synthèse (il ne savait pas qu'il devait les produire) Corrections sur la forme - de nombreux problèmes de mise en page, orthographe, niés par l'évaluateur - Le temps passé à la correction et reformulation des phrases du rapport. - Nombreuses remarques, erreurs, contradictions Chronophage - Pas de difficulté technique mais un temps considérable consacré à cette étape en plus de la gestion du quotidien Copier/coller - Les copier/coller entre les 2 rapports (CESDA + SSEFS) - Des rapports (centre + SESSAD) très longs et des copier/coller très nombreux et grossiers entre les deux rapports. Longueur du rapport - La longueur du rapport - Des rapports (centre + SESSAD) très longs Forme - Le sentiment d'un rapport très négatif sous la forme d'un cahier de doléances des professionnels Corrections à la marge - Seuls quelques ajustements nécessaires et compléments d information sur certains points secondaires. CCECQA Evaluation externe dans les établissements et services médico-sociaux mars

110 Appréciation générale 1. Satisfaction des répondants Les résultats suivants ont été calculés chez les 40 répondants ayant réalisé leur évaluation externe. tout à fait satisfait satisfait peu satisfait pas du tout satisfait Leur disponibilité 61,5% 30,8% 5,1% 2,6% Leur écoute 74,4% 20,5% 2,6% 2,6% Leur professionnalisme 57,5% 35,0% 7,5% 0,0% 0% 20% 40% 60% 80% 100% Graphe. Appréciation des évaluateurs externes tout à fait satisfait satisfait peu satisfait pas du tout satisfait Du rapport qualité/prix 52,2% 30,4% 17,4% 0,0% Des délais de réalisation 63,2% 34,2% 2,6% 0,0% De la qualité du pré-rapport 48,7% 38,5% 10,3% 2,6% Du déroulement de l évaluation externe 69,2% 25,6% 5,1% 0,0% Du respect du cahier des charges 74,4% 25,6% 0,0% 0,0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Graphe. Appréciation de la prestation tout à fait satisfait satisfait peu satisfait pas du tout satisfait Globalement, êtes-vous satisfait de la prestation? 51,3% 35,9% 12,8% 0,0% 0% 20% 40% 60% 80% 100% Graphe. Appréciation globale CCECQA Evaluation externe dans les établissements et services médico-sociaux mars

111 2. Les difficultés rencontrées Idées retenues Verbatim Charge de travail - Pas trop de difficulté hormis tout le temps passé à la mise en œuvre - La charge de travail et donc le temps à y consacrer (réunions de préparation et d'information, entretiens et débriefings pendant la mission, relectures des pré-rapports, information/ restitution des résultats) - Travail très lourd qui sera mieux préparé en amont pour la prochaine évaluation en ayant déjà une base. Planification et organisation au - organisation du planning des 2 jours avec l évaluateur externe. (3) préalable - Pas de Difficulté mais une organisation à mettre en place lors de l'évaluation - Organisation en amont de la visite des évaluateurs à améliorer, d'autant plus que c'était la première évaluation externe - Un travail important a été réalisé concernant le recueil des éléments de preuve (avant, pendant et après la visite) (2) - le fait de faire l'évaluation du foyer en même temps que celle de l'esat a entrainé certaines confusions entre les structures. Ceci a été pris en compte et réajusté - la préparation de la visite en 1 mois, c'était trop court pour diffuser l'info et caler tous les rdv. Respect du planning - le respect des horaires (3) - Respect des échéances annoncées (dans les échanges et les restitutions) Phase de restitution - Diaporama de restitution inadapté. - La présentation du pré-rapport ne nous a pas satisfaits, alors que nous pensions à un problème simple et non rédhibitoire, cela a pris des proportions démesurées : échanges de lettres recommandées, déni de la réalité, refus de rédiger abrégé et synthèse... Nous avons stoppé toute collaboration avec cet organisme - Pas de difficulté en cours de la démarche, mais plutôt au moment de la restitution de l'évaluation notamment sur la qualité de la formalisation du rapport. L'absence de recul ou de critique par rapport aux informations transmises par les acteurs. Se sont contentés de reprendre l'évaluation interne sans réel apport pour l'établissement. - Des copier coller entre les rapports qui laissent planer un doute sur la personnalisation de la prestation par structure évaluée, et sur la pertinence de payer deux évaluations distinctes Phase contradictoire - Le seul point de difficulté fut le passage de l'évaluation vers l'écrit. Les versions contradictoires se sont succédé ne prenant parfois pas en compte nos modifications. Plusieurs semaines ont été nécessaires pour avoir une version finalisée Attitude des évaluateurs - l'attitude de l'évaluateur, hautain, cavalier très /trop à l'aise - Des évaluateurs absents, peu positifs, cherchant à pointer essentiellement les aspects négatifs. - Une attitude jugeant des évaluateurs - Des évaluateurs pressés, qui n ont pas pris le temps de connaître la structure ; des prises de position déplacées, des interpellations de professionnels trop familières. - Propos et discours peu adapté à la présence du public handicapé (qui a eu d'importantes difficultés de compréhension) lors de la restitution du rapport final, bien que le discours (plaqué?) sur la participation et le respect de cette préconisation soit portée par les évaluateurs - La principale a été sur la personne qualifiée dont la liste n'était pas établie par le préfet, par conséquent, nous n'avions pas informé les personnes accueillies dans le livret d'accueil. L'évaluateur externe a estimé que nous devions quand même les informés!!!! - Concernant le cabinet d évaluation : le manque de recul vis-à-vis d une démarche qui se mettait alors en place et donc le manque d expérience sur ces modalités d évaluation, notamment au regard du type de structures (ITEP& SESSAD) que nous leur proposions. Remise en question des pratiques et prise de conscience - Pas de difficulté majeure. Les professionnels du comité de pilotage relèvent tout de même un épuisement moral après la réalisation des évaluations externes. Les débriefings volumineux, appuyés essentiellement sur les préconisations et les pistes d amélioration à mettre en œuvre ont été plus ou moins déstabilisants pour les participants. En effet, ce type de démarche remet forcément en question les pratiques, voir la conscience professionnelle des agents. Coût de la prestation - Coût de l'évaluation important dans un budget de SSIAD pour une prestation in situ de 2 jours Choix du prestataire - Choix de l'organisme difficile certain n'ont pas répondu à l'appel d'offre, peu semble en cohérence avec notre exercice (pas du monde de la santé) Défaut d implication des professionnels - Malgré une restitution globale de la démarche et des résultats en direction de l ensemble des professionnels, ces derniers se sont peu saisis de cette évaluation et n en ont retenu que quelques aspects positifs Cela encouragé par la direction de l établissement qui y a vu principalement, une validation de son management, du projet et de l organisation de la structure. A mettre en lien avec la démarche d évaluation interne qui avait déjà été principalement «l affaire» de la direction et avait peu mobilisé les professionnels (en dehors des correspondants qualité). CCECQA Evaluation externe dans les établissements et services médico-sociaux mars

112 3. Les points forts et bénéfices de l évaluation externe Idées retenues Verbatim Mise en évidence d actions d amélioration - Le regard extérieur a valorisé notre prise en charge et mis en exergue les actions d'amélioration. - prise de conscience des points à améliorer (2) - Mise en évidence de points problématiques non connus et début de solutions - Validation de pistes d'amélioration sur de grosses problématiques - Mettre en évidence par un œil extérieur les pistes de travail. Conseils reçus par les évaluateurs pour mettre en œuvre ces préconisations (3) - Permet d avoir une photographie de l établissement par un professionnel externe et mettre un plan d amélioration en place si nécessaire. - Préconisations "utilisables" pour les travaux institutionnels (2) - Sur le plan de la direction de l'établissement, c'est un outil stratégique d'aide à la décision, qui met en valeur les points forts et points à améliorer. - La pertinence des axes d'amélioration relevés - La mise en évidence d'axes d'amélioration, le questionnement suscité mais la forme (très répréhensible) a primé sur le fond - La mise en évidence d'axes d'améliorations pertinents - Axes d'amélioration restant à mettre en œuvre Valorisation des pratiques - Le regard extérieur a valorisé notre prise en charge et mis en exergue les actions d'amélioration. - Les salariés se sont sentis valorisés par les points forts. Ils ont beaucoup apprécié les échanges - Valorisation des professionnels sur leur savoir-faire - Valorisation des professionnels - Valorisation des salariés et du travail - Valorisation des salariés et du travail effectué - Valorisation du travail des professionnels (2) - Valorisation du travail exceptionnel de ce service - Valorisation du travail (2) - Mise en valeur du travail exceptionnel de cet établissement - valorisation du travail des équipes et de l investissement dans la mise en œuvre du plan d amélioration continue de la qualité - C'est également un vecteur de professionnalisation, mais aussi de reconnaissance du travail réalisé. - La possibilité pour les professionnels (qui le souhaitent) de se distancier du quotidien tout en valorisant leurs pratiques. Renforcement de l engagement et de la dynamique de la structure sur l amélioration des pratiques - L'évaluation externe a été un vrai moment d'échange avec l'évaluateur de façon très positive. Les préconisations seront évidemment la base du projet de service à venir. Cette évaluation externe nous a confortés dans l'engagement pris par la structure autant sur le fond que sur la forme. - Mise en avant de la dynamique institutionnelle (2) - validation par les évaluateurs de la cohérence des orientations stratégiques de l établissement inscrites dans le projet d établissement - Après la mission: Une excellente opportunité pour mobiliser les équipes sur la mise à jour de nos projets d'établissement et de service et la poursuite de la mise en travail des recommandations de bonnes pratiques professionnelles de l'anesm, via le comité d'ethique et le Comité de pilotage Qualité. - Ca permet de dynamiser la remise en question des pratiques professionnelles. - La rencontre de restitution par l'évaluateur à l'ensemble de l'équipe est venue clore cette évaluation. Elle a permis à chacun de prendre la mesure de l'avancée des pratiques en lien avec les recommandations de l'anesm, mais aussi des améliorations à apporter. (3) - Pour les équipes, cela permet une mise en dynamique et une prise de conscience (si besoin est) des enjeux liés à la qualité. Regard extérieur - Cette évaluation nous a apporté un regard extérieur très constructif (pratiques professionnelles, organisation de la structure, ) (2) - Appui sur des points bloquants, regard extérieur - Regard extérieur sur les pratiques - Une vision externe de la mise en œuvre de nos missions - La confrontation à un regard extérieur. Implication de tous les acteurs - Implication de toutes et tous pour le "renom" de l'établissement - Mobilisation de toute l équipe ainsi que certains usagers autour de question de la qualité - Mobilisation des équipes de l'établissement. - Participation de la quasi-totalité des personnels, Participation des usagers, et des familles Implication des partenaires (3) Dédramatisation de l évaluation - Autre bénéfice: dissipation des craintes liées à l'évaluation - Une dédramatisation de ce type de démarche. Identification des besoins - validation par les évaluateurs du bien-fondé des besoins humains déjà exprimés auprès de l autorité de tarification Outil de management - rapport d évaluation externe constitue un véritable outil de management CCECQA Evaluation externe dans les établissements et services médico-sociaux mars

113 - Sur le plan managérial: l'évaluation est un levier pour conduire les changements et les améliorations à mettre en place. Expertise des évaluateurs externes - Evaluateurs expérimentés et inscrits dans une démarche d amélioration des pratiques professionnelles Etat des lieux - Nous attendions une analyse précise et sans complaisance de la situation et du fonctionnement des établissements afin de diagnostiquer les pistes d amélioration essentielles à mettre en œuvre. La précision de leur recherche, leurs connaissances approfondies sur la règlementation du secteur médico-social, la capacité à analyser rapidement les organisations et l écoute bienveillante réalisée auprès de l ensemble des professionnels, résidents et familles, ont permis d effectuer un état des lieux juste du travail de l établissement. Les préconisations et les recommandations notifiées dans le rapport d évaluation externe ont été prises en compte et intégrées dans le PACQ. Elles nous aideront à poursuivre le travail de qualité d accompagnement des personnes âgées déjà entrepris dans notre établissement. - Temps de réflexion et permettant une évaluation sur l'organisation et la qualité des prestations à un moment T Gestion documentaire - Au moment de la préparation : Un excellent booster pour mettre à jour tous les documents institutionnels Confirmation des constats de l évaluation interne - Ca vient appuyer les constats de l'évaluation interne (normalement) - L'ensemble des points avaient déjà été décelés lors de l'audit. L'évaluation externe est venue confirmer ces points forts révélant la solidité des expériences et la qualité du travail - Analyses et observations recoupant les analyses internes (2) Témoignage 1 Témoignage 2 Mobilisation de toute l équipe ainsi que certains usagers autour de question de la qualité Validation par les évaluateurs du bien-fondé des besoins humains déjà exprimés auprès de l autorité de tarification Validation par les évaluateurs de la cohérence des orientations stratégiques de l établissement inscrites dans le projet d établissement Valorisation du travail des équipes et de l investissement dans la mise en œuvre du plan d amélioration continue de la qualité Rapport d évaluation externe constitue un véritable outil de management Nous attendions une analyse précise et sans complaisance de la situation et du fonctionnement des établissements afin de diagnostiquer les pistes d amélioration essentielles à mettre en œuvre. La précision de leur recherche, leurs connaissances approfondies sur la règlementation du secteur médico-social, la capacité à analyser rapidement les organisations et l écoute bienveillante réalisée auprès de l ensemble des professionnels, résidents et familles, ont permis d effectuer un état des lieux juste du travail de l établissement. Les préconisations et les recommandations notifiées dans le rapport d évaluation externe ont été prises en compte et intégrées dans le PACQ. Elles nous aideront à poursuivre le travail de qualité d accompagnement des personnes âgées déjà entrepris dans notre établissement. Témoignage 3 Témoignage 4 Au moment de la préparation : Un excellent booster pour mettre à jour tous les documents institutionnels Sur le plan managérial: l'évaluation est un levier pour conduire les changements et les améliorations à mettre en place. Après la mission: Une excellente opportunité pour mobiliser les équipes sur la mise à jour de nos projets d'établissement et de service et la poursuite de la mise en travail des recommandations de bonnes pratiques professionnelles de l'anesm, via le comité d'ethique et le Comité de pilotage Qualité. Sur le plan de la direction de l'établissement, c'est un outil stratégique d'aide à la décision, qui met en valeur les points forts et points à améliorer. Pour les équipes, cela permet une mise en dynamique et une prise de conscience (si besoin est) des enjeux liés à la qualité. C'est également un vecteur de professionnalisation, mais aussi de reconnaissance du travail réalisé. 4. Les points de vigilance pour la mise en œuvre d une évaluation externe Idées retenues Verbatim Réaliser l évaluation interne avec l ensemble des acteurs - Bien réaliser l'évaluation interne avec l'ensemble du personnel pour que celui-ci n'ait pas trop d'appréhension lors de la visite des évaluateurs Bien définir son cahier des charges - Une bonne définition du cahier des charges en amont - Une meilleure définition du cahier des charges - Un meilleur accompagnement en amont, une définition plus précise du cahier des charges. Anticiper le recueil des éléments de preuve - Anticiper le recueil des éléments de preuve S assurer des compétences de terrain des évaluateurs externes - Avoir plusieurs profils d évaluateurs externes. - Présence d'au moins un professionnel connaissant le secteur dans les évaluateurs (2) CCECQA Evaluation externe dans les établissements et services médico-sociaux mars

114 Planifier le déroulement de l évaluation externe - Nous avons été souvent obligé de relancer, de contacter le cabinet avant l évaluation afin de s accorder sur l organisation. (horaires, modalités des rencontres ) (3) Etre attentif à la charge de travail - faire attention à la charge de travail des personnels dans la mise en œuvre de l'évaluation externe. Cela ne doit pas devenir un fardeau et être chronophage - Vigilance nécessaire sur la durée de l'intervention sur site de l'organisme et des modalités d'entretiens et de visite. Bien communiquer tout au long de la démarche - Communication auprès des équipes tout au long de la démarche - Différentier l'ee d'une visite sécurité en étant strict sur son contenu (respect du cahier des charges fixé par le décret du 15 mai 2007) - Communication avant/pendant/après auprès des professionnels et personnes accueillies - Bien préparer en amont les personnes accueillies ainsi que les professionnels des règles à connaitre pour que cette évaluation externe se déroule le mieux possible et soit profitable pour tous dans le cadre de nos missions. S assurer d une bonne organisation - Une démarche continue et une bonne organisation - Organisation logistique importante pour que déroulement soit le plus facile possible pour tous Etre disponible - Etre disponible Etre attentif au cadrage de la démarche - Identifier un coordonateur de visite qui reste vigilant à la bonne organisation (durée des entretiens notamment: ne pas dépasser le temps imparti) - Etre très attentif sur le cadrage - Cadrage très important (3) - Etre vigilants sur le cadrage (3) - Cadrage efficace - Importance du cadrage d'un planning prenant en compte les dispo et lieux d'exercice des professionnels à temps partiel - Etre vigilant sur le cadrage et le respect du planning Inscription dans une démarche d amélioration continue de la qualité - Préalable à mon avis: avoir bien avancé sa démarche qualité. Pérenniser l implication du COPIL - Conserver le COPIL, Planifier des réunions régulières de suivi des l évaluation externe, Planifier les recommandations à mettre en place S assurer de l opérationnalité du plan d actions Relire attentivement le pré-rapport - Relecture pointue des pré-rapports - Faire attention pour les préconisations d'amélioration aux ressources de la structure tant financières que dans les ressources humaines Les améliorations doivent être en adéquation avec les possibilités de la structure et pas trop "idéalisées" Témoignage 1 Préparation de l'évaluation et communication auprès des professionnels en amont Organisation pendant Retour des équipes après Faire vivre la démarche dans le temps 5. Les leviers pour la mise en œuvre d une évaluation externe Idées retenues Verbatim Choix de l organisme - Le choix de l'organisme qui doit connaitre le secteur des personnes âgées et les spécificités de la prise en charge à domicile - Avoir les moyens financiers de s offrir une évaluation externe conduite par une équipe pluri professionnelle et pluridisciplinaire. Un référentiel de certification ANESM. Communication - Communication. Remerciement auprès des professionnels qui se sont investis dans le projet (2) - Bonne politique de communication interne - Communication - Une communication efficace auprès des équipes professionnelles sur la démarche d évaluation externe - Communication très en amont. Transparence - Une information et une «pédagogie» adaptées à l ensemble des parties prenantes (en amont, pendant, en aval et relié à l ensemble de la démarche qualité. - Le rappel des enjeux de l évaluation (renouvellement de l autorisation) mais également qu elle participe concrètement à l amélioration du service rendu et des conditions de travail (à relier avec les actions d amélioration et a inscrire dans le fonctionnement institutionnel). Inscription dans une démarche d amélioration continue de la qualité - Intégrer les démarches d'évaluation interne et externe dans le processus d'amélioration continue de la qualité (roue de Deming) (2) - Mettre en place une véritable démarche d amélioration de la qualité en recrutant un qualiticien. - Mise en cohérence avec l ensemble du dispositif d amélioration). Soutien de la direction - Direction impliquée dans la démarche - Un engagement réel de la direction (Association + établissement/service). Implication des usagers - Sollicitation des résidents et de leurs familles CCECQA Evaluation externe dans les établissements et services médico-sociaux mars

115 Implication des professionnels - Une participation active de l ensemble des professionnels. Calendrier de réalisation - Choix de la date de la visite (distance des congés, pas trop d'étalement ) - Une rigueur dans le suivi du planning (temps d intervention court et très intense) Adéquation avec l évaluateur - partager des valeurs avec l'évaluateur permet de recueillir des préconisations adaptées Soucis de la valorisation - Valorisation Utilisation de l évaluation externe - Insertion des recommandations des évaluateurs dans le plan d amélioration continue de la qualité avec élaboration d un plan d action (objectifs, acteurs, pilote, résultats attendus, calendrier, évaluation de l action - Utilisation du rapport d évaluation externe pour appuyer les demandes de moyens nouveaux exprimés auprès de l organisme gestionnaire et de l autorité de tarification Implication du COPIL - Maintenir le comité de pilotage en lui donnant une mission de suivi du plan directeur (2) Adhésion de l équipe - Adhésion de l'équipe Opérationnalité du plan d actions - Demandes réalistes et réalisables. Travail en groupe par thème pour une meilleure efficacité et mis en œuvre adéquate - A partir des préconisations, définir un plan directeur. (2) - Prendre en compte tous les aspects des obligations pour l'établissement : financiers, gestion, ressources humaines, réglementation, code du travail et CCN ; et des possibilités de ce dernier à mettre en œuvre toutes les préconisations Préparation - La préparation à l évaluation externe est une étape primordiale. (communication auprès des équipes, partenaires, familles, usagers ). (3) - L organisation de la démarche présenté, discuté et validé avec l organisme évaluateur au moins 6 mois avant le début de l évaluation - La préparation en amont d un planning des entretiens - Préparation du personnel, des usagers, des familles: dédramatisation des enjeux d'évaluation Positionnement des évaluateurs, échanges, conseils au cours des entretiens. (2) - Bien préparer en amont les personnes accueillies ainsi que les professionnels Gestion documentaire - La mise en place d une gestion documentaire efficace facilitant le partage des documents souhaités Restitution - Une restitution auprès des professionnels, familles, élus en collaboration avec l organisme évaluateur Confiance en l évaluateur - laisser les évaluateurs externes mener leur évaluation librement Témoignage 1 Témoignage 2 Compte tenu des durées toujours très concentrées des missions, 2 étapes fondamentales, la préparation et la restitution. Il est important: D'être au clair sur les documents obligatoires demandés transmis en amont, D'avoir préparé et classé par thème tous les documents de preuve qui viendront étayer les entretiens que vous aurez avec les évaluateurs, afin de rester disponible pour les évaluateurs et ne pas passer son temps à rechercher les éléments de preuve... De prendre le temps avec l'encadrement d'informer des enjeux et du déroulé, de les impliquer dans l'élaboration du questionnaire évaluatif, les débriefings quotidiens et la relecture des pré-rapports De prendre le temps avec le personnel pour qu'ils soient informés des enjeux et du déroulés afin de ne pas être dans une posture de crainte mais ouvert à valoriser sa pratique, De prendre le temps de la restitution : vous n'évoquez pas dans votre questionnaire l'étape de la restitution des résultats mais elle est très importante pour instaurer la dynamique de "l'après-évaluation externe" vous permettant d'enclencher du projet, auprès des personnels mais aussi des usagers. Je l'ai fait en binôme avec le chef de projet de l'évaluation externe, ce qui permet de partager collectivement nos points forts, sur tous les volets de notre activité, mais aussi de partager les points que nous devrions améliorer, et de "rebondir" sur les recommandations faites en faisant le lien avec les projets/calendriers à venir. Au-delà de la direction d'établissement, l'implication du gestionnaire est un levier de réussite (vision globale, stratégie globale, procédures et outils de gestions partagés). Conclusion Un engagement réel de la direction (Association + établissement/service). Une participation active de l ensemble des professionnels. Une information et une «pédagogie» adaptées à l ensemble des parties prenantes (en amont, pendant, en aval et relié à l ensemble de la démarche qualité. Mise en cohérence avec l ensemble du dispositif d amélioration). Le rappel des enjeux de l évaluation (renouvellement de l autorisation) mais également qu elle participe concrètement à l amélioration du service rendu et des conditions de travail (à relier avec les actions d amélioration et a inscrire dans le fonctionnement institutionnel). Cette enquête de retour d expérience sur l évaluation externe auprès de 103 répondants représentant 155 établissements et services médico-sociaux a permis une meilleure connaissance des réalités du terrain quant aux leviers et freins à la mise en œuvre d une telle démarche. Les résultats ont ainsi permis de proposer des préconisations et d étayer des messages clair et précis. Ces préconisations et ces messages illustrent le guide pratique proposé par le CCECQA et diffusé lors des rencontres départementales. CCECQA Evaluation externe dans les établissements et services médico-sociaux mars

116 Remerciements Nous remercions tous les professionnels ayant répondu à cette enquête, notamment les professionnels ayant précisé leurs établissements. ADAPEI 64 Bearn & Soule AIDE à Domicile du Nord Libournais Association Martouré CAP de Bordeaux Centre de reconversion professionnelle de la Tour de GASSIES Centre de Rééducation Professionnelle de Clairvivre ESAT Bertran de Born de Clairvivre Foyer d hébergement de Clairvivre Centre Hérauritz Centre Hospitalier d Agen Centre Hospitalier de Dax Côte d Argent Centre Hospitalier de Périgueux Centre Hospitalier Sud Gironde CESDA Richard Chapon Centre Hospitalier de Ribérac Complexe Habitat du Marcadé de l ADAPEI 40 CSES Alfred Peyrelongue EHPAD «au jardin d antan» du CENTRE HOSPITALIER DE BERGERAC EHPAD Caillavet et Villandraut du CH de BAZAS EHPAD Capuras EHPAD de Lit-et-Mixe EHPAD du Centre Hospitalier de Lanmary EHPAD du Centre Hospitalier de Saint Sever EHPAD du Mas d Agenais (47430) EHPAD du Pays d Albret EHPAD Espace Latour Du Pin EHPAD Fondation Sabatie Libourne EHPAD John Talbot EHPAD L Estèle EHPAD La Chenaie EHPAD Lacanau EHPAD Lucienne MONTOT PONSOLLE (TARNOS) EHPAD MSPB EHPAD PAUL ARDOUIN ET TERRASSES DE BELLEROQUE EHPAD public "Fondation Escarraguel" EHPAD Résidence Mâa Rion Des Landes EHPAD Saint Léonard EHPAD_lac de Calot EHPADs Korian ELIZA-HEGI ESAT Audenge ESAT Bègles ESAT Brousse Saint Christophe ESAT du CONTE ADAPEI 40 ESAT FOYER GURE NAHIA (ARBONNE) ESAT du GUA ESAT Gaillan Richelieu L ADAPT Gironde ESAT Gammareix ESAT La Paillerie ESAT Le Barp ESAT Les Eyquems ESAT Lorient-Sadirac ESAT Pessac Alouette ESAT Pessac Magellan ESAT Saint-Denis FAM "Les Muscadelles" FAM PHV FHAR Paul André FO Gujan FO, FAM St Michel- de-rieufret FO, FH Martignas Foyer " La Brunetière" Foyer "Louise Augiéras" Foyer Accueil Médicalisé "Les Lilas" Foyer occupationnel de Gammareix Foyer St Amand de l ADAPEI 40 Hôpital Local de Casteljaloux IME Blaye IME Rosette Regain IMPro le Vieux-Moulin ITEP du BORN, IME Pierre Duplaa, association AVIADA ITEP ET SESSAD SAINT DENIS MAJOURAOU - RSPH MARPA DES VERGERS PRAYSSAS MAS "Le soleil des Jalles" MAS La jonquille de Biré - AGIMC PEP 40 SAJ Brousse Saint Christophe SAJ Gammareix SAMSAH L ADAPT Gironde Santé Service Bayonne et Région SAVS de l'adapei des Landes SAVS Départemental SAVS IRSA SESSAD Bassin D'arcachon SESSAD Blaye SESSAD Pro CUB SIE OREAG SSIAD du Canton de Lerce SSIAD du CCAS de Mérignac SSIAD du Sud SSIAD St Cyr SSIAD TARNOS STP Bègles STP Pessac Magellan STP Villambis UH Région Bordelaise UH Saint Denis CCECQA Evaluation externe dans les établissements et services médico-sociaux mars

117 Annexes Afin d accompagner les établissements et services médico-sociaux (ESMS) dans la mise en œuvre de la loi , le CCECQA organise, à la demande de l ARS Aquitaine, de nouvelles rencontres sur l évaluation avec, comme thématique centrale, le dispositif de l évaluation externe. Cet accompagnement aura à nouveau pour objectif de proposer des repères, méthodes et outils facilitant sa mise en œuvre. Ces rencontres départementales auront lieu : Le 4 avril 2014 dans l amphithéâtre du CFPPS de Mont de Marsan Le 8 avril 2014 dans l amphithéâtre de l IMS de l hôpital Xavier Arnozan à Pessac Un mail d invitation sera envoyé à l ensemble des ESMS de la région Aquitaine très prochainement. Vous avez été très nombreux à répondre à l enquête que nous avons lancé en fin d année 2013 sur la thématique de l évaluation interne et nous vous en remercions. Son analyse nous a permis de réaliser et communiquer un état des lieux de la mise en œuvre de cette évaluation, de proposer une synthèse de référentiels d évaluation et d identifier un certain nombre de freins et de leviers. Nous vous remercions de nous faire partager à nouveau votre expérience en complétant le questionnaire ci-joint. Votre collaboration constituera à nouveau une source importante d informations dans les propositions du CCECQA afin de guider au mieux les équipes dans leur démarche d évaluation externe. CCECQA Evaluation externe dans les établissements et services médico-sociaux mars

118 Nom de votre établissement ou de votre service (facultatif): Identité de l établissement ou du service 1. Secteur Enfance handicapée Service d éducation spéciale et de soins à domicile (SESSAD) Institut médico-éducatif (IME) Institut thérapeutique éducatif et pédagogique (ITEP) Centre médico-psycho-pédagogique (CMPP) Centre d action médico-sociale précoce (CAMSP) Autre, précisez : 2. Secteur Adultes handicapés Etablissement et service d aide par le travail (ESAT) Foyer, précisez : Service d'accompagnement à la vie sociale Foyer d'accueil médicalisé pour adultes handicapés Maison d'accueil spécialisée Autre, précisez : 3. Secteur Personnes âgées Etablissement d hébergement pour personnes âgées dépendantes (EHPAD) Service de Soins Infirmiers à Domicile (SSIAD) Logement foyer Résidence pour Personne âgée Autre, précisez : 4. Secteur Réinsertion sociale Centre de soins spécifiques pour toxicomanes (CSST) Centre d accueil et d accompagnement à la réduction de risques pour usagers de drogues (CAARUD) Centres de soins, d'accompagnement et de prévention en addictologie (CSAPA) Appartement de coordination thérapeutique (ACT) Autre, précisez : Nombre de résidents accueillis : Nombre de professionnels (en ETP) : Existe-t-il une cellule qualité et gestion des risques au sein de votre structure? Oui Non Organisation générale Avez-vous réalisé votre évaluation externe? Oui Non Si non, pourquoi? (réponse multiple) Planification en cours Cabinet/consultant indisponible Difficultés méthodologiques Difficultés financières Evaluation interne en cours Structure autorisée après 2002 Autre, précisez : CCECQA Evaluation externe dans les établissements et services médico-sociaux mars

119 Si oui, quelles étapes avez-vous réalisé? (réponse multiple) Diffusion du document de mise en concurrence Sélection de l organisme habilité Préparation de l évaluation externe Réalisation de l évaluation externe Réception du pré-rapport Validation du pré-rapport par l établissement Communication du rapport final d évaluation externe à l autorité ayant délivré l autorisation Qui était en charge d organiser l évaluation externe? (réponse multiple) Direction Administratif Service qualité et gestion des risques Référent qualité Prestataire extérieur Autre, précisez : Sélection d un organisme habilité Avez-vous utilisé un cahier des charges? Oui Non Si oui : s agissait-il d un cahier des charges : - existant? Oui Non Si oui, précisez lequel : - élaboré en interne? Oui Non - informatisé? Oui Non le cahier des charges a-t-il été diffusé : - aléatoirement à des organismes habilités? Oui Non - par voie d annonce? Oui Non - Autre, précisez : Combien de temps avez-vous consacré à la sélection de l organisme habilité? Quels ont été les critères de sélection les plus déterminants pour votre choix? Quelles ont été les difficultés rencontrées concernant cette étape de sélection? CCECQA Evaluation externe dans les établissements et services médico-sociaux mars

120 Préparation de l évaluation externe Comment avez-vous préparé la venue des évaluateurs? Avez-vous organisé une réunion institutionnelle? Oui Non L organisme vous a-t-il demandé des documents? Oui Non Si oui, précisez le volume : 0 à 10 documents 10 à 20 documents 20 à 30 documents 30 à 40 documents plus de 40 documents Quelles autres informations l organisme habilité vous a-t-il demandé pour préparer sa venue? Avez-vous eu des échanges avec l organisme habilité avant sa venue? Oui Non Dans quel état d esprit étaient les professionnels pendant la préparation de l évaluation externe? (adhésion, craintes, ) Avez-vous préparé les entretiens avec les professionnels? Oui Non Quelles ont été les difficultés rencontrées concernant cette étape? Réalisation de l évaluation externe Nom de l organisme habilité (facultatif): Statut de l organisme habilité (privé, association ) : Nombre d évaluations externes réalisées par l organisme : Nombre d évaluateurs prévus : sur site hors site Nombre d évaluateurs réels : sur site hors site - Compétence et pluridisciplinarité des évaluateurs externes (catégorie socioprofessionnelle, diplômes, formation ) : Coût total TTC : Temps passé sur site : en jours Nombre de rencontres avec les professionnels : - entretiens individuels : - entretiens de groupe : CCECQA Evaluation externe dans les établissements et services médico-sociaux mars

121 Nombre de rencontres avec les usagers : - entretiens individuels : - entretiens de groupe : Nombre de rencontres avec les familles : - entretiens individuels : - entretiens de groupe : Nombre de rencontres avec les partenaires extérieurs : - entretiens individuels : - entretiens de groupe : Les parties prenantes ont-elles pu s exprimer librement lors de ces entretiens? Oui Non Dans quel état d esprit étaient les professionnels pendant la réalisation de l évaluation externe? (adhésion, craintes, ) Quelles ont été les difficultés rencontrées concernant cette étape? Rapport d évaluation externe Dans quel délai avez-vous reçu le pré-rapport après la réalisation de l évaluation externe? Le pré-rapport prenait-il en compte le contexte et le point de vue de toutes les parties prenantes (institution, professionnels, usagers )? Le pré-rapport était-il en cohérence avec les recommandations de l ANESM? Le pré-rapport intégrait-il les résultats de l évaluation interne? Oui Non Ne sais pas Oui Non Ne sais pas Oui Non Ne sais pas Pas du tout satisfait Peu satisfait Satisfait Tout à fait satisfait Que pensez-vous de la qualité des informations en termes de : - pertinence - fiabilité - transparence Le pré-rapport contenait-il les éléments suivants : - éléments de cadrage - description de la procédure d évaluation externe - résultats de l évaluation externe détaillés - préconisations - synthèse - abrégé Oui Non Ne sais pas Oui Non Ne sais pas Oui Non Ne sais pas Oui Non Ne sais pas Oui Non Ne sais pas Oui Non Ne sais pas CCECQA Evaluation externe dans les établissements et services médico-sociaux mars

122 Comment avez-vous procédé pour valider le pré-rapport? Quelles ont été les difficultés rencontrées concernant cette étape? Appréciation générale Pas du tout satisfait Peu satisfait Satisfait Tout à fait satisfait Concernant les évaluateurs externes, qu avez-vous pensé de : - Leur professionnalisme? - Leur écoute? - Leur disponibilité? Concernant la prestation de l organisme habilité, qu avez-vous pensé : - Du respect du cahier des charges? - Du déroulement de l évaluation externe? - De la qualité du pré-rapport? - Des délais de réalisation? - Du rapport qualité/prix? Globalement, êtes-vous satisfait de la prestation? Pensez-vous faire appel à cet organisme habilité pour la prochaine évaluation externe? Oui Non Conseilleriez-vous cet organisme habilité? Oui Non Globalement, quelles ont été les difficultés rencontrées? CCECQA Evaluation externe dans les établissements et services médico-sociaux mars

123 Globalement, quels ont été les points forts et bénéfices de l évaluation externe? Quels points de vigilance identifiez-vous pour une bonne mise en œuvre de l évaluation externe? Quels leviers identifiez-vous pour une bonne mise en œuvre de l évaluation externe? Commentaires Merci de votre réponse. N hésitez pas à nous contacter si vous rencontrez des difficultés pour remplir ce document. CCECQA Evaluation externe dans les établissements et services médico-sociaux mars

124 Evaluation externe dans les établissements et services médicosociaux - Enquête auprès des évaluateurs externes - Date : mars 2014 Auteurs : CCECQA CCECQA Evaluation externe dans les établissements et services médico-sociaux mars

125 Sommaire SOMMAIRE 2 CONTEXTE 3 EXPERIENCE DES REPONDANTS 3 MODALITES DE REALISATION 3 AVIS DES ORGANISMES REPONDANTS (VERBATIM) 5 1- LES PRE-REQUIS AUPRES DES ETABLISSEMENTS POUR FACILITER LE DEROULEMENT DE L EVALUATION EXTERNE 5 2- LES DIFFICULTES SOUVENT RENCONTREES 6 3- LES LEVIERS ET POINTS DE VIGILANCE POUR UNE BONNE MISE EN ŒUVRE DE L EVALUATION EXTERNE 7 4- LES POINTS FORTS ET BENEFICES DE L EVALUATION EXTERNE 9 5- LES DIFFICULTES ET LIMITES DE L EVALUATION EXTERNE 10 REMERCIEMENTS 12 ANNEXE 13 CCECQA Evaluation externe dans les établissements et services médico-sociaux mars

126 Contexte Dans le cadre de l accompagnement du CCECQA à la mise en œuvre de l évaluation externe auprès des établissements et services médico-sociaux, une enquête par auto-questionnaire a été conduite auprès des organismes habilités recensés sur le site de l ANESM. Le but de cette enquête était de constituer une source d informations appuyant les propositions faites par le CCECQA afin de guider au mieux les équipes dans leur démarche. Le questionnaire permettait de recueillir des informations relatives à l expérience des évaluateurs, les modalités de réalisation de l évaluation externe, les modalités de collaboration avec les établissements. Les répondants avaient la possibilité de noter des commentaires libres dont les difficultés rencontrées lors de leurs prestations. Le questionnaire a été envoyé par courrier le 3 mars 2014 à 104 contacts de la liste issue du site internet de l ANESM. Au 26 mars 2014, 19 questionnaires ont été retournés au CCECQA, soit un taux de retour de 11,8%, obtenu sans relance. Expérience des répondants Le nombre d évaluations externes réalisées variait entre 0 et 200 selon l organisme. Trois répondants ont déclaré ne pas avoir de formation spécifique aux méthodes évaluatives. Les compétences déclarées étaient les suivantes : - Connaissance du secteur médico-social (nb 4) - Formation universitaire : master d évaluation, master en gestion, DU en gérontologie, DU qualité, DU évaluation et qualité en médico-social - Professionnel soignant : IDE (nb 4), gériatre, médecin (nb 3), éducateur, pharmacien - Professionnel sciences sociales : psychosociologue, sociologue, psychologue (nb 7), ergothérapeute (nb 2), ingénieur social - Professionnel d encadrement : directeur (nb 6), qualiticien (nb 2), cadre de santé (nb 8), chef de service (nb 2) - Certification par un organisme reconnu : AFNOR - Connaissance en évaluation, qualité, gestion (nb 2) L organisme n ayant réalisé aucune évaluation a demandé l annulation de son agrément et n a pas répondu aux questions suivantes. Pour la suite des résultats, le dénominateur d analyse est de 18 questionnaires. Modalités de réalisation Le nombre d évaluateurs intervenant sur site variait entre 1 (pour un organisme) et 5 (pour 2 organismes) : Nombre d évaluateurs intervenant sur site Nombre de citations Un seul 1 Deux évaluateurs 7 Deux à trois évaluateurs 5 4 à 5 évaluateurs 1 5 évaluateurs 1 3 pour EHPAD, 2 pour SSIAD, 1 pour SAD 1 10 à 20 documents sont demandés dans la majorité du temps. Nombre de documents demandés Nombre de citations 0 à 10 documents 4 10 à 20 documents 9 20 à 30 documents 1 30 à 40 documents 3 CCECQA Evaluation externe dans les établissements et services médico-sociaux mars

127 Des entretiens avec les professionnels, les usagers et les familles sont systématiquement réalisés par les organismes répondants à l enquête. Selon eux, les réponses ont été rarement préparées à l avance et reflètent bien les pratiques habituelles. Réalisation d entretiens avec Nombre de citations Les professionnels 18 Les usagers 18 Les familles 18 Les professionnels extérieurs 16 Nombre de citations Conditions de réalisation des entretiens Oui Souvent Rarement Non En présence d un responsable de l établissement Préparation des réponses à l avance Réponses reflétant les pratiques habituelles Délai de restitution du pré-rapport Nombre de citations 2 heures à ½ journée 4 10 jours à 3 semaines 3 3 à 4 semaines 3 4 semaines ou 1 mois 6 4 à 5 semaines 1 5 à 6 semaines 1 Un organisme a précisé qu il organisait une restitution orale sur site à la fin de l évaluation. Sur 18 organismes répondants, 17 donnent la possibilité de faire valider le pré-rapport à l établissement. Délai de retours sur le pré-rapport Nombre de citations 1 à 2 semaines 6 2 à 3 semaines 8 1 mois à 4 semaines 2 Eléments du pré-rapport Nombre de citations Eléments de cadrage 17 Description de la procédure d évaluation externe 17 Développements informatifs 17 Résultats de l analyse détaillée 17 Préconisations 16 Synthèse 16 Abrégé 11 Appui méthodologique Nombre de citations Propositions d amélioration du PAQ 17 Aide à la priorisation des actions d améliorations 17 Enfin, 7 organismes distribuent un questionnaire de satisfaction en fin de prestation. CCECQA Evaluation externe dans les établissements et services médico-sociaux mars

128 Avis des organismes répondants (Verbatim) 1- Les pré-requis auprès des établissements pour faciliter le déroulement de l évaluation externe Structuration de la démarche d évaluation externe Communication sur l évaluation externe auprès des parties prenantes Conditions de déroulement de l évaluation externe - Constitution COPIL - Nous donnons aux établissements une procédure complétée de préparation élaborée conformément aux principes et usages de la profession d'auditeur certifié. - Penser à la constitution d'un comité de pilotage. - Prévoir un référent de l'établissement pour les liens avec l'organisme évaluateur (documents préalables, organisation..). - Avoir un référent disponible - Prévoir un interlocuteur ressource au sein de l'établissement pour faciliter les liens, l'organisation et le suivi de la démarche avec l'organisme évaluateur (documents préalables, organisation, suivi/ajustements..). - Bien informer le personnel qui peut vivre l'évaluation comme un contrôle. - Information des parties prenantes - Information des équipes sur finalité et modalités de l'ee - Communication sur enjeux et méthodes de l'évaluation externe à l'égard de toutes les parties prenantes. - Informations des salariés de la démarche. Informer les salariés, les usagers (directs et familles ou représentants légaux) de la mise en place de l'évaluation externe. - Informer les salariés, usagers (directs et familles ou représentants légaux) de la mise en place de l'évaluation externe ainsi que les partenaires clés qui seront sollicités. - Prévoir les modalités d'information et de restitution sur les conclusions de l'évaluation externe. - Prévoir les modalités d'information et de restitution sur les conclusions de l'évaluation externe. - Une salle de travail et d'entretien. - Disponibilité pour recevoir les EE - Posture de dialogue constructif avec les évaluateurs - Constituer des groupes d'agents homogènes pour les auditions - Préparer au moins deux salles préservant la confidentialité des entretiens et une salle pour la consultation des documents. - Respect de la procédure communiquée : préparation et transmission / mise à disposition des documents, prise de connaissance du référentiels proposé, organisation des temps de travail commun et des entretiens. - Transmettre à l'évaluateur les 9 pièces techniques - Créer les conditions internes liées au travail centré sur la lecture du prérapport à visée contradictoire. Gestion documentaire - Gestion documentaire - Mise à jour documentaire - Le 2 ème point c'est la mise à disposition des documents - Documents réglementaires fournis dont projet d'établissement - Avoir la liste des documents à tenir à disposition un mois avant pour les préparer - Préparer les documents que vont demander les évaluateurs (x2). Réalisation de l évaluation interne - EI achevée obligatoirement - EI et plan d'amélioration formalisé - Avoir réalisé leur EI - Evaluation interne (x2) - Avoir mis en œuvre les actions prioritaires du plan qualité, à l'issue de CCECQA Evaluation externe dans les établissements et services médico-sociaux mars

129 Inscription dans une démarche d amélioration l'évaluation interne - Travailler davantage l'évaluation interne, les points forts et faibles et le calendrier institutionnel - Avoir la volonté que l'évaluation externe soit un véritable outil de travail et pas une simple formalité - Invitation des parties prenantes à participer au processus d'ee - Avoir impliqué les différents acteurs de la structure. - Réflexion sur le projet - Structurer en amont une démarche de diagnostic / problématisation sur chaque phase référée au parcours de l'usager. Donner du sens - S'appuyer sur l'expérience des professionnels. - Permettre de rencontrer les usagers. Instaurer une relation de confiance - Nous travaillons sur un rapport de confiance gagnant / gagnant. C'est le premier élément de réussite de la mission d'évaluation. - confiance dans le prestataire dans une relation partenariale de coconstruction du processus. Qualité du cahier des charges - Envoyer aux organismes de formation des cahiers des charges précis. Connaissance réglementaire - Connaissance du décret du 15 mai Avoir un projet d'établissement 2- Les difficultés souvent rencontrées Difficulté dans la prise de parole - Difficultés d'expression orale et écrite de certains professionnels. Culture du soins trop dominante - La culture des soins était trop dominante, la prise en compte des souhaits du résident inexistante. Crainte des professionnels - D'autre part, nous avons été accueillis comme une équipe de contrôleurs de type certification. - Appréhension erronée de l'évaluation externe assimilée à une inspection, - Crainte par manque d'informations sur les objectifs de l'évaluation (frein) - Méfiance du personnel et des cadres au début - Résistance à des sujets tabous. - La faible lisibilité des établissements et des personnels quant à l'exploitation qui pourra être faite par le / les financeurs des travaux évaluatifs. - Appréhension des salariés. - La très grande majorité des difficultés qui sont rapidement évacuées dès lors que s'installe un rapport de confiance référée à une "intentionnalité aidante" de la démarche. Problème de gestion documentaire - Documents réglementaires absents ou incomplets - Dossier documentaire incomplet - Liste des documents demandés incomplète. - Lenteur à récupérer les documents. Méconnaissance de la - EI indigente au regard des critères propres à l'évaluation des politiques réglementation publiques et ou aux RBPP de l'anesm ; culture de l'action sociale et MS insuffisante (cf. loi 2002) ou RBPP ; carence générale dans l'appropriation des RBPP de l'anesm, DGAS ou HAS. l'absence de diffusions de celles-ci dans certains cas (manque de temps en général, aucun planning ne prévoit de temps dédié); - Évolution constatée : en 2014 de plus en plus d'établissements ignorent leurs obligations et n'ont pas pris connaissance des textes et recommandations. - Méconnaissance du décret du 15 mai Méconnaissance des étapes et méthodologie de l'évaluation externe. Absence de culture d évaluation - EI indigente au regard des critères propres à l'évaluation des politiques publiques et ou aux RBPP de l'anesm ; l'absence de questionnement évaluatif des commanditaires. - La confusion évaluation / audit. CCECQA Evaluation externe dans les établissements et services médico-sociaux mars

130 Disponibilité des professionnels - mobilisation des professionnels de terrain - manque de temps du fait des contraintes budgétaires (pas d'enveloppe dédiée comme dans les établissements de santé) Problème de structuration de la - Manque de référent. démarche - Absence d'appels d'offres détaillés Problème de préparation logistique - Aller à la pêche de l information. Salles non préparées. - Procédure non respectée dont organisation des temps de travail, documentation à mettre sur table - L'organisation logistique de la mission : temps pour rencontrer les professionnels, les usagers, étudier les documents sur un temps restreint de présence des évaluateurs sur site. - La préparation logistique de la mission notamment autour de la planification des visites sur site et de l'organisation des diverses rencontres (entretiens divers sur site ). Difficulté à trouver un temps suffisant pour la consultation documentaire sur site (dossiers des usagers, documents internes, affichages...). Temps de la visite des locaux peut prendre beaucoup de temps notamment lors de l'existence d'antennes ou de divers sites éloignés (arbitrage et choix pour visiter un échantillon ou les lieux les plus importants). - Délai dans lequel l'évaluation externe doit être réalisée trop court. Temps d'intervention des évaluateurs très court. Restitution des résultats - Phase autour du pré-rapport peut être longue en lien avec la dynamique interne ou les difficultés de l'établissement à mobiliser une instance / les personnels concernés. 3- Les leviers et points de vigilance pour une bonne mise en œuvre de l évaluation externe Une bonne communication - Qualité des transmissions entre services et personnes - Rappeler le contexte et la mission de l'évaluation externe - Un projet évaluatif clair et argumenté - Collaboration, présentation de la démarche en amont, explicitation de la démarche - Bonne information vis-à-vis des usagers et des partenaires - Faire une présentation d'officialisation claire et précise et balayer toutes les questions. Lever les doutes et les ambigüités. - Clarification des intentions poursuivies par l'évaluation. - Large explicitation des enjeux stratégiques. - Une communication importante sur le contenu et le déroulement de l'évaluation externe. - Une information et une communication adaptées en amont et tout au long de la démarche auprès des différents acteurs concernés / consultés (professionnels, usagers, parents / représentants légaux, partenaires clés ) Une implication de toutes les parties prenantes - Transparence dans l'expression des points de vue. - Participation effective de tous les acteurs. - Questionnement évaluatif de tous les groupes (usagers, familles, équipes, partenaires ) - Rencontre des équipes de nuit, rencontre des familles et résidents, rencontre avec le CHSCT, lutte et prévention de la maltraitance - Prise en compte des "identités métiers". - Consultation de tous les personnels quels que soient leurs fonctions. Une démarche structurée et souple - Bons relais internes pour accompagner la démarche. - Restituer régulièrement auprès du comité de pilotage - Application des exigences règlementaires notamment au regard du calendrier. CCECQA Evaluation externe dans les établissements et services médico-sociaux mars

131 - Prise en compte des temps de travail contraints quel que soit le type d'établissement ou de service évalué. - Une démarche évaluation interne structurée qui se poursuit de manière organisée avec l évaluation externe (COPIL, référent évaluation ou qualité ) Une préparation de la démarche - Une bonne préparation en amont par les évaluateurs externes pour expliquer les processus des différentes phases, pour organiser la visite en tenant compte des contraintes de l'établissement. - Afin de partager ce diagnostic partagé qu'est l'évaluation externe, le commanditaire doit communiquer à l'équipe en amont sur la finalité de l'évaluation, doit avoir identifié les acteurs et les partenaires, doit avoir défini les modalités de l'évaluation et identifié un comité de pilotage et/ou référent dans l'établissement. Un climat de confiance - Un accompagnement respectueux des parties prenantes : didactique, rassurant, sans jugement des personnes - Restauration d'un climat de confiance et mise en œuvre de l'ee selon les règles déontologiques. - Instaurer un climat de confiance, rappeler à chaque entretien la confidentialité - Création d'espaces de libre parole Une inscription dans une démarche d amélioration qualité - Une mise en perspective des résultats en amont : valorisation des actions - connaissances nouvelles, axes de progrès. - Volonté de réflexion - Recul suffisant par rapport à l'évaluation interne - Inscription de l'évaluation externe dans une démarche d'amélioration continue - L'intégration des préconisations de l'évaluation externe dans le PAQ de l'établissement. - Un travail constructif autour du pré rapport comme levier du changement et du travail partagé sur les préconisations / recommandations au service d une intégration au sein du plan d amélioration continue de l établissement / service Un soutien de l encadrement - Stabilité relative de l'encadrement (pas de poste de direction ou encadrement vacant) - Une direction qui mesure l'intérêt de la démarche - Une direction / encadrement qui mesure l intérêt de la démarche et perçoit cela comme un levier positif de changement concerté Des compétences méthodologiques des évaluateurs - Mener les entretiens à 2 consultants - Analyse précise de l'étude documentaire - Les entretiens semi-directifs sont les plus riches en termes de témoignages et d'apports de connaissances de pratiques réelles - Les évaluateurs présentent la méthode en réunion d'ouverture. - Expertise à l'audit des intervenants - Capacité de synthèse et de rédaction. - Modèle de rapport pré-établi. - Durées de missions trop courtes pour réaliser une évaluation externe complète et de qualité. - Des durées de missions trop courtes (notamment sur site) pour réaliser une évaluation externe complète et de qualité - La rédaction chronophage des rapports d évaluation qui doivent articuler synthèse et exhaustivité mais aussi la production de la synthèse et abrégé de l Anesm (aux périmètres parfois différents) CCECQA Evaluation externe dans les établissements et services médico-sociaux mars

132 4- Les points forts et bénéfices de l évaluation externe Analyse des pratiques selon une méthode objective - Permettre un regard décalé par rapport aux pratiques : c'est une véritable analyse des pratiques. - D'autre part, nous avons pu mettre en avant une analyse des pratiques sur certains établissements riche d'enseignement - Analyse des pratiques selon des méthodologies approuvées - Toutes les procédures et pratiques professionnelles sont vues au travers du contexte local et national, il y a un rappel du "pourquoi qui qd comment etc.." - Moment pour s'arrêter sur ses pratiques et la mise en œuvre des outils de la loi Evolution des pratiques au sein des établissements. - Une approche tendant vers l objectivité grâce à la pluridisciplinaire au sein de l équipe d évaluateurs externes (consultants métiers, expertise d un professionnel de terrain ) Valorisation des pratiques - Valoriser la pratique professionnelle (s'appuyer sur l'expérience). - Une valorisation des actions en cours - Une reconnaissance des actions remarquables - Participe à la motivation des équipes par la valorisation de l'existant et la mobilisation autour d'axes de progrès identifiés et partagés Identification d axes d amélioration - Pointer les mauvaises habitudes (par exemple, pas assez d'écoute entre professionnels, faiblesses du projet personnalisé ou PI) - Analyse détaillée, formulation des préconisations, mise à jour plan d'amélioration - Intégration dans les propositions d'amélioration de l'ensemble des pratiques observées des ESMS - Pointer les dysfonctionnements que l'on ne voit plus avec la routine. - Une confirmation (ou non) des priorisations des objectifs fixés. - L'évaluation externe s'inscrit dans une logique d'aide à la décision. Elle permet de comprendre les processus et les impacts produits au regard des objectifs. - Elle permet de vérifier la pertinence et la cohérence des actions déjà menées par l'établissement et notamment de vérifier les suites données à l'évaluation interne. elle permet d'engager l'équipe vers les pistes d'amélioration définies. - Travail sur la définition et hiérarchisation des préconisations / recommandations Intérêt d un regard extérieur - Un regard extérieur sur les pratiques ; - Regard extérieur sur les pratiques et la prise en compte des RBPP par professionnels - Bénéficier d'un regard extérieur. - Le regard extérieur et objectif, tant sur les points positifs que négatifs - Outil de management appuyé par l'expertise d'un tiers - Apport d'un regard extérieur - L intérêt d une lecture croisée avec l aide d un regard extérieur Prise en compte du point de vue des usagers Démarche formative et participative - Un point de vue des usagers et des autres parties prenantes, toujours apprécié par les équipes - Participation des familles et usagers - Intégration partenaires / usagers. - Les évaluations sont assez souvent perçues comme une "formation". - Démarche participative et concertée d'évaluation. - Il s'agit d'un diagnostic partagé réalisé dans une démarche bienveillante et coopérative avec l'ems. - Pluridisciplinarité de l'équipe d'évaluateurs externes - Consultation de l'ensemble des acteurs de l'établissement : professionnels, usagers (directs et familles ou représentants légaux), partenaires. CCECQA Evaluation externe dans les établissements et services médico-sociaux mars

133 - Consultation de l ensemble des acteurs de l établissement : professionnels, usagers (directs et familles ou représentants légaux), partenaires Prise de recul - La démarche permet aux acteurs de problématiser et de prendre de la distance par rapport aux contraintes ordinaires de l'exploitation de leur outil pour s'investir sur une logique d'adaptation protégée et maitrisée. - Prise de recul sur le fonctionnement institutionnel et les pratiques. Favorable au développement de la culture d amélioration qualité - Prise de conscience des salariés par rapport à la nécessité d'évaluer leurs pratiques - Un avis externe qui permet une remise en question et peut faire entrer dans une véritable démarche qualité - Possibilité d'améliorer la qualité du service rendu. - Amélioration des pratiques professionnelles. - Plan d'amélioration qui vient nourrir le projet d'établissement. - Dynamique au service du changement et de l amélioration continue Apport de connaissances - Un apport de connaissances nouvelles - Elle facilite la connaissance de l'établissement. - Meilleure connaissance de l'établissement Favorable au développement de l établissement - Remettre en perspective le fonctionnement de l établissement. - Outil d'aide à l'évolution de l'établissement. - Nouvelle dynamique pour l'établissement. - Il est un peu prématuré d'évoquer des bénéfices mais certaines équipes nous ont dit que nos interventions ont favorisé l'aide à la décision et que leur conclusion serait reprise dans les projets d'établissement et protocoles internes en partie ou en totalité 5- Les difficultés et limites de l évaluation externe Aspects chronophages et financiers défavorables à la qualité de prestation Système de financement rendant juge et partie l établissement Absence de retours sur l impact de la démarche d évaluation externe - Parfois considérée comme une formalité couteuse et ennuyeuse. - Les limites actuelles viennent du fait que les établissements restent encore tous peu au fait de ce que représente l'évaluation externe. Il faut du temps de présence et ce temps se réduit de plus en plus pour réduire les coûts. Le temps avant l'évaluation externe : il y a le temps nécessaire à l'évaluation interne, à la lecture des RBPP à l'élaboration participative du PE ou du projet de service. Tout cela est chronophage pour les équipes ou au risque de l'entropie. Le temps pendant l'évaluation. Une bonne évaluation exhaustive, respectueuse du décret CASF annexe 3-10 ne peut se concevoir dans un temps très court. Je considère qu'il faut entre 3 et 5 semaines de travail continue soit entre 18 et 30 jours / homme. Hors la rémunération de cette prestation dont les cotisations sont de 40 à 50 % ne le permet pas, notamment pour les petits établissements. - Le temps et les tarifs. - Une exigence importante (dans un exercice très chronophage) concernant l élaboration du contenu qualitatif du rapport d évaluation externe (incluant les documents : synthèse et abrégé de l ANESM) qui requiert un temps de rédaction conséquent pour les évaluateurs (temps non valorisé dans les propositions commerciales). - Paiement par un établissement que l'on doit évaluer. Difficultés quand il faut signaler un problème venant du management ou du conseil d'administration (juge et partie) - Les limites sont le manque d'éléments d'évaluation dans le temps. (2014, premières EE, donc pas de recul). L'EE n'est qu'une étape dans le processus d'amélioration interne de la qualité de la qualité et ne peut se substituer à la volonté et la mise en œuvre de la démarche dans la continuité qui est assurée (ou non) par l'établissement. Problème de communication - Information parfois insuffisante pour permettre aux personnes de s'impliquer dans cette démarche CCECQA Evaluation externe dans les établissements et services médico-sociaux mars

134 Absence de référentiel unique - Manque de référentiel homogène et simple d'utilisation ; complexité du cadre de référence ; manque de temps. Aspect réglementaire facteur de - La perception d'une obligation au lieu d'une démarche d'amélioration crainte pour les professionnels continue. - Faire de l'évaluation un outil d'analyse utile à tous et non une série de protocoles obligations réglementaires. - Faite par des qualiticiens mais ne connaissent pas le terrain. L'établissement peut entrer dans une ronde infernale des protocoles. - Le risque est que l'évaluation soit vécue comme un contrôle ou une réponse à une obligation réglementaire sans prise en compte du travail réalisé dans le cadre de l'évaluation interne. il est souvent constaté beaucoup de résistances et d'inquiétudes de la part des équipes, peur que l'établissement soit sanctionné. - Les limites entre évaluer et contrôler : jusqu'où devons-nous aller? Aspect réglementaire complexifiant la démarche Contrainte du calendrier réglementaire Remise en question des compétences des partenaires Doute sur la faculté au changement des établissements - Beaucoup de thématiques à évaluer, pas assez centrées sur la qualité des prestations elles-mêmes. Une exigence importante concernant le contenu du rapport d'évaluation externe (incluant les documents : synthèse et abrégé de l'anesm) qui requiert un temps de rédaction conséquent pour les évaluateurs. - Beaucoup de thématiques à évaluer, pas assez centrées sur la qualité des prestations en elles-mêmes, difficulté majeure à apprécier ce que l on nomme actuellement «l efficience» dans un ESSMS - Les exigences des ESMS qui souhaitent massivement réaliser l'évaluation externe au cours du dernier trimestre 2014, voire en novembre. Des cahiers des charges inadaptés de certains établissements du secteur public. - Les administrations ne savent pas traiter les rapports du fait de leurs diversités. - Certains organismes évaluateurs sont incompétents - L'évaluation externe peut aussi entraîner des perturbations dans l'organisation, il est donc nécessaire de la préparer en amont. Enfin, il est parfois constaté des inquiétudes quant aux moyens qui vont être nécessaires dans le cadre des pistes d'amélioration définies en termes de transformation - Le télescopage de la démarche d'évaluation avec un contexte de forte pression budgétaire, d'accroissement du niveau de complexité du travail référé à des pathologies admises de fait dans des établissements ne proposant pas toujours les ressources du rapport. des cultures institutionnelles parfois repliées sur elles mêmes et qui sclérosent leurs acteurs. - La démarche d'évaluation externe étant un diagnostic partagé, l'implication du commanditaire et par voie de conséquence de l'équipe sont indispensables. Dans le cas contraire, l'évaluation aura peu d'effets sur l'évaluation du service rendu aux usagers. Apport des évaluateurs externes - L'évaluation nécessite des repères à des normes ou des critères! L'aspect subjectif des évaluateurs reste indispensable pour juger du "bon sens" de certains choix. - La difficulté actuelle de valoriser et prendre en compte l importante littérature autour des bonnes pratiques professionnelles du champ social et médico-social (Anesm, HAS, autres ) CCECQA Evaluation externe dans les établissements et services médico-sociaux mars

135 Remerciements Nous remercions tous les organismes ayant répondu à cette enquête, notamment ceux qui n ont pas souhaité conserver l anonymat. MODUS URTABURU M. BRIOUL M. ABRA Stratégie EVALSCOP PJB Consultants M. SALETTE P. MORNIER PERIER consultants ASP Bordeaux Mme MONTANGON M. Ethique Management Qualité IRTS Aquitaine Institut pour le développement et la qualité sociale J2C Consultants Réalités et Projets consultants CCECQA Evaluation externe dans les établissements et services médico-sociaux mars

136 Annexe Afin d accompagner les établissements et services médico-sociaux (ESMS) dans la mise en œuvre de la loi , le CCECQA organise, à la demande de l ARS Aquitaine, des rencontres régionales sur le dispositif de de l évaluation externe. Cet accompagnement a pour objectif de proposer des repères, méthodes et outils facilitant sa mise en œuvre. Une première enquête régionale sur la thématique de l évaluation interne a été proposée aux ESMS en fin d année L analyse des nombreuses réponses nous a permis de réaliser et communiquer un état des lieux de la mise en œuvre de cette évaluation, d identifier un certain nombre de freins et de leviers et de proposer une synthèse des référentiels d évaluation utilisés. Afin de poursuivre cette dynamique autour de l évaluation, une deuxième enquête sur la thématique de l évaluation externe est actuellement proposée aux établissements. En tant qu organisme habilité par l ANESM, nous vous remercions de nous faire également partager votre expérience et vos observations en complétant le questionnaire ci-joint. Votre collaboration constituera une source importante d informations dans les propositions du CCECQA qui permettront de guider au mieux les équipes dans leur démarche d évaluation externe. CCECQA Evaluation externe dans les établissements et services médico-sociaux mars

137 Questionnaire retour d expérience sur l évaluation externe à l attention des organismes habilités par l ANESM Informations générales Nom (facultatif) Combien d évaluations externes avez-vous réalisé? Quelles sont les compétences des évaluateurs (pluridisciplinarité)? Avez-vous suivi une formation aux méthodes évaluatives? Indiquez pour un établissement évalué : Nombre d évaluateurs présents sur site Nombre d évaluateurs hors site Préparation de l évaluation Quel volume de documents demandez-vous aux établissements? 0 à 10 documents 10 à 20 documents 20 à 30 documents 30 à 40 documents plus de 40 documents Distribuez-vous un questionnaire de satisfaction après votre évaluation? Oui Non Réalisation de l évaluation Lors de l évaluation sur site, vous entretenez-vous avec : Des professionnels? Des usagers? Des familles? Des partenaires extérieurs? Oui Non Oui Non Oui Non Oui Non Ces entretiens sont-ils réalisés en présence d un responsable de l établissement? Oui Souvent Rarement Non Selon vous, les réponses ont-elles été préparées à l avance? Non Oui Souvent Rarement Ces réponses vous paraissent-elles être le reflet des pratiques habituelles? Oui Souvent Rarement Non Quel est le temps moyen de restitution du pré-rapport à l issue de l évaluation sur site? CCECQA Evaluation externe dans les établissements et services médico-sociaux mars