Rencontres départementales sur l évaluation externe dans le secteur social et médico-social
Programme de la rencontre Principes et repères pour une mise en œuvre efficace Maika Berrouet Chef de projets CCECQA Les outils de l évaluation externe Retours d expérience François-Emmanuel FAURE Consultant (secteur enfance et adultes handicapés) Secteur enfance et adultes handicapés Delphine Saint-Hubert Chef de service - ADAPEI 33 Secteur personnes âgées Laure ESPINASSE Responsable qualité - CH Saint-Sever 2
3
Repères pour une mise en œuvre efficace de l évaluation externe
Présentation Guide pratique et outils concrets pour accompagner les établissements dans La mise en œuvre de leur évaluation externe L amélioration continue de cette démarche 5
Réalisation du guide Entre janvier et avril 2014, par des méthodologistes, des qualiticiens et des professionnels du secteur personnes âgées, secteur enfance handicapée et adultes handicapés Il s appuie sur : La bibliographie faisant référence dans le domaine de l évaluation externe et dans le domaine du management par la qualité L expérience de professionnels de terrain Base d une campagne de sensibilisation coordonnée par le CCECQA. Organisation de deux ateliers d une demi-journée : Mont-de-Marsan le 4 avril Bordeaux le 8 avril 6
Articulation du guide Trois pivots Un plan en trois parties 1) Rappel du contexte réglementaire de l évaluation externe, 2) Réaffirmation des objectifs et enjeux, 3) Déclinaison opérationnelle des cinq étapes à réaliser pour mener une évaluation externe Des messages clés et concis Des outils > Fiches méthodes > Documents opérationnels directement utilisables et adaptables par les professionnels des structures Ce guide ainsi que les outils proposés n ont pas vocation à être opposables! 7
Des outils Articulation du guide (suite) Exemple de cahier des charges Grille de choix et de sélection d un organisme habilité Eléments de preuve Formulaire d observations Grille de lecture d un pré-rapport Grille d évaluation et de satisfaction de la démarche et de la prestation Des fiches méthodes Rédiger son cahier des charges Choisir son organisme habilité Contractualiser avec l organisme habilité Communiquer des observations sur le pré-rapport de l évaluation externe 8
Une réglementation sur une dizaine d années Loi n 2002-2 du 2 janvier 2002 rénovant l action sociale et médicosociale Loi n 2009-879 du 21 juillet 2009 portant réforme de l hôpital et relative aux patients, à la santé et aux territoires Décret n 2007-975 du 15 mai 2007 fixant le contenu du cahier des charges pour l évaluation des activités et de la qualité des prestations des établissements médico-sociaux Décret n 2012-147 du 30 janvier 2012 relatif aux conditions de prise en compte de la certification dans le cadre de l évaluation externe des établissements et services sociaux et médico-sociaux Circulaire DGCS/SD5C/2011/398 du 21 octobre 2011 relative à l évaluation des activités et de la qualité des prestations délivrées dans les établissements et services sociaux et médico-sociaux 9
Pour réaffirmer quelques principes Obligation d évaluation pour les établissements et services sociaux et médico-sociaux Porte de manière privilégiée sur la pertinence, l impact et la cohérence des actions déployées par les établissements et services, au regard d une part, des missions imparties et d autre part des besoins et attentes des populations accueillies Les champs des évaluations externe et interne sont les mêmes afin d assurer la complémentarité des analyses portées sur un même établissement ou service et de fait, pouvoir apprécier les évolutions et les effets des mesures prises pour l amélioration continue du service rendu 10
L article 312-8 du CASF «Les établissements et services procèdent à desévaluations de leurs activités et de la qualité des prestations qu ils délivrent, au regard notamment de procédures, de références et de recommandations de bonnes pratiques professionnelles validées ou, en cas de carence, élaborées par l ANESM» 11
Des objectifs à atteindre Dans le cadre de ses missions, les prestations proposées par l établissement ou le service sont-elles adaptées aux besoins et attentes spécifiques des personnes accompagnées? L évaluation externe devra porter une appréciation globale sur: la cohérence et l adéquation du projet institutionnel par rapport aux besoins des usagers le niveau de réalisation des engagements la capacité d adaptation de l établissement ou du service au regard des évolutions constatées la pertinence des activités déployées au regard des effets pour les usagers les conditions de réalisation : moyens matériels et humains, gestion des ressources humaines, intégration des ressources du territoire, articulations interne et externe, cadre de vie les suites réservées à l évaluation interne 12
Des objectifs à atteindre L évaluation externe évalue un système mais en aucun cas le personnel ou les usagers! 13
Les enjeux de l évaluation externe L enjeu officiel : le renouvellement d autorisation Les modalités de renouvellement de l autorisation sont définies dans l article L.313-1 du CASF : «Le renouvellement, total ou partiel de l autorisation, est exclusivement subordonné aux résultats de l évaluation externe mentionnée au deuxième alinéa de l article L.312-8» 14
Les enjeux de l évaluation externe (1) L enjeu principal : une opportunité de valorisation Indicateur du fonctionnement des organismes gestionnaires, de leur capacité à conduire leurs établissements et services ; Photographie de l existant ; Implication des ESMS dans une démarche envisagée à la fois sous l angle d une évaluation des pratiques et d une évaluation des résultats. L établissement doit apporter la preuve qu il maîtrise l ensemble des dispositifs garants du respect des droits des usagers 15
En synthèse Quels objectifs, missions, valeurs de l ESMS? Quels résultats attendus? Quelles caractéristiques de la population accompagnée? Quelles dispositions mises en place? Quelles pratiques effectivement mises en œuvre? Quels effets observés pour les usagers? Quels constats? Quels écarts entre ce qui est attendu et ce qui est observé? Quelles raisons? Quelles priorités? Quels objectifs? Quels résultats attendus? Quels moyens? Quels délais? 16
En synthèse (1) Elle s appuie sur : Une organisation en mode projet : pilotage, planification, définition d objectifs ; Une démarche collective, participative et co-construite ; Des outils de collecte, d analyse et de suivi des informations ; Des compétences spécifiques et un processus maîtrisé 17
En synthèse (2) Evaluer, c est comprendre! Utile aux décideurs, dirigeants, professionnels, usagers, elle permet de porter une appréciation globale sur un établissement ou un service et de mettre en valeur actions, savoir-faire, visions de l action sociale et service rendu L évaluation n est pas une fin en soi! Démarche d amélioration continue à poursuivre PAQ à suivre 18
Les étapes de la mise en œuvre Pour rendre efficace et efficiente la démarche d évaluation, il est nécessaire de: Définir son projet Respecter les règles établies Appliquer le rythme et la tonalité fixés Suivre les cinq étapes identifiées 19
Les étapes de la mise en œuvre Pour chaque étape, un focus sera réalisé sur des actions et des outils spécifiques à mettre en place Ces outils constituent une base support et de référence pour chaque structure et ne sont en aucun cas opposables. Ils doivent être réactualisés et adaptés au contexte et à l organisation de chacun 20
1. Réunir les conditions nécessaires Engagement dans le processus = moment stratégique S assurer pour l ESMS qu il est prêt à réaliser un examen tel que défini réglementairement par le décret du 15 mai 2007 Mise en place d un système d enregistrements d éléments de preuves Participation collective volontaire et pluridisciplinaire Processus-clés Satisfaction aux exigences réglementaires et aux RBPP Satisfaction aux conditions de mise en œuvre de l évaluation externe Choix du bon moment pour engager la procédure 21
2. Elaborer les documents de mise en concurrence «La sélection de l organisme habilité est réalisée dans le cadre habituel des procédures de mise en concurrence, et pour les établissements publics dans le respect des règles du Code des marchés publics». Elaboration du cahier des charges Processus-clés Outil Présentation de l ESMS Formulation des questions ou des hypothèses à soumettre Précision sur les éléments de réponse attendus >Exemple de cahier des charges 22
Quoi? La présentation de l établissement ou du service ; L articulation avec le projet d établissement ou de service, l évaluation interne et les démarches formalisées visant à améliorer le service rendu (informations de portée générale) ; Les premiers éléments permettant de formuler des hypothèses et les premières questions susceptibles d être posées ; Les modalités de concertation ; Les modalités de suivi de l évaluation externe ; Le contexte et les contraintes liées à l organisation ou aux particularités des activités ; Les conditions d accès à l information et aux documents disponibles (questions de méthodes dont notamment la dimension participative ) ; Les modalités concrètes d élaboration et de rendu du rapport ; Le temps nécessaire et le calendrier ; Les modalités de facturation. 23
Comment? Prendre en compte la spécificité de sa structure (nombre d établissements à évaluer..) ; Consulter la liste des organismes habilités(site ANESM) ; Publier éventuellement l annonce sur un site officiel ; Sélectionner au préalable 5 à 6 organismes habilités par l ANESM ; Adresser par courrier ou par mail le dossier en fixant une date limite de réponse ; Demander aux organismes un dossier de réponse contenant : Première note synthétique, Présentation d une première trame d un déroulé d évaluation, Eléments d information sur l organisme, Références récentes d interventions, Cv des personnes chargées de l évaluation ; les conditions habituelles de tarification. 24
Exemple de cahier des charges 25
3. Choisir l organisme habilité Réalisé à partir d une analyse des offres reçues Caractère objectif de l analyse Nécessité de repérer en amont les dimensions et critères de sélection Plusieurs dimensions à prendre en compte Contrat fixant les obligations des deux parties élaboré au terme de la procédure Processus-clés Outils Pré-sélection des organismes habilités sur dossier Organisation des entretiens Choix de l organisme habilité Rédaction du contrat de prestation >Grille de priorisation et de sélection 26
Comment? En questionnant quatre dimensions à cotation variable : Qualification et compétences des évaluateurs Une expérience professionnelle dans le champ social ou médicosocial Une formation aux méthodes évaluatives Une expérience de l évaluation dans le secteur social ou médicosocial Une pluridisciplinarité des évaluateurs Qualité technique de l offre Clarté et précision du plan d intervention Cohérence du plan d intervention au regard des hypothèses évaluatives de la structure Capacité de l évaluateur à se situer dans une logique d écoute Garantie d un examen contradictoire des points 27
Comment (suite)? Modalités de réalisation Nombre de journées sur place Nombre de journées au total Nombre d évaluateurs sur le terrain Modalités financières Garanties Coût 28
Outil : grille de priorisation et de sélection 29
Focus sur le contrat avec l organisme habilité 5 parties généralement prévues dans le contrat: Description du projet évaluatif Composition de l équipe d évaluateurs (vigilance : modification de la composition de l équipe des évaluateurs) Description précise du contenu du rapport d évaluation externe (vigilance : contenu en adéquation avec le décret du 15 mai 2007) Modalités de facturation (vigilance : pénalités de retard si rapport non remis dans les délais ; exonération de paiement si contenu du rapport non réglementaire) Annexes au contrat (déclarations sur l honneur) 30
4. Veiller au bon déroulement de l évaluation externe Mise en place d un comité de suivi de l évaluation Accessibilité facilitée pour les évaluateurs à toute l information nécessaire Attitude des évaluateurs : l évaluation n est pas un contrôle Etape qui sera développée lors des retours d expérience Processus-clés Outils Organisation et animation d un comité de suivi Organisation et préparation du recueil de données Contrôle de la posture des évaluateurs; communication >Documents de preuve >Exemple de questionnement évaluatif 31
Outil : Eléments de preuve Exemple de questionnement évaluatif 32
5. Communiquer des observations sur le prérapport d évaluation externe Rapport: élément de sortie du processus évaluatif ESMS «gardien» de la qualité du rapport qui sera transmis sur deux critères d appréciation Possibilité pour l ESMS de faire part de ses réserves à l autorité de tarification Processus-clés Outils >Grille de lecture du pré-rapport Réception et lecture du pré-rapport Navette jusqu à entente avec l organisme Envoi du rapport final à l autorité de tarification Modification du PAQ et mise en œuvre d actions d amélioration > Questionnaire d évaluation et de satisfaction de la démarche et de la prestation 33
Quoi? Durant cette phase, le chef de projet organise avec le COPIL une relecture critique du pré-rapport afin de s'assurer : De l'objectivité des constats ; Du respect des attendus énoncés dans le cahier des charges ; Du respect du Décret n 2012-147 du 30 janvier 2012 ; De la clarté des observations formulées. 34
Focus sur les critères Le COPIL procède à la relecture du pré rapport en s assurant du respect d un certain nombre de critères : La lisibilité du rapport L exactitude des éléments administratifs relatifs à l établissement La qualité de l analyse Le niveau de documentation de l analyse Le rapprochement avec les constats effectués sur les mêmes thèmes lors de l évaluation interne La qualité et la faisabilité des préconisations Les propositions d axes de travail susceptibles d apporter des améliorations dans la prise en compte des besoins des usagers 35
Comment? Étape Qui? Quoi? 1 2 3 Chef de projet Chaque lecteur Chef de projet 4 COPIL 5 COPIL 6 COPIL 7 Chef de projet Diffuser le pré rapport à l'ensemble des membres du comité de pilotage ainsi qu'à l'ensemble des personnes ayant participé l'évaluation externe, afin d'en assurer une lecture pluridisciplinaire. Définir pour chacun un temps de lecture individuelle avec pour premiers objectifs de vérifier l'objectivité des constats, les erreurs d'interprétation. Formuler les observations sur la fiche prévue (cf. outil CCECQA) en identifiant les éléments de preuves nécessaires à l argumentation. Colliger l ensemble des fiches d observations et réunir le COPIL. Passer en revue l ensemble des observations et valider celles qui seront retenues. Vérifier que le contenu du pré rapport respecte le décret n 2012-147 du 30 janvier 2012 (cf. outil "Grille de lecture"). Valider les commentaires touchant aussi bien le fond que la forme du prérapport. Réunir les éléments de preuves nécessaires (copies ou scans). Envoyer à l organisme évaluateur la grille de lecture complété, les fiches d observation définitives accompagnées des éléments de preuves idoines. 8 COPIL Valider la prise en compte des observations par l organisme évaluateur. 36
Outil : Grille de lecture Formulaire des observations 37
Focus sur l évaluation et la satisfaction de la démarche et de la prestation 2 questionnaires de retour d expérience sur la thématique de l évaluation externe envoyés en mars 2014 : Aux ESMS de la région Aquitaine : 1419 contacts, 103 retours sans relance,soit8% Dont : 50 % s. adultes handicapés, 22 % s. enfance handicapée, 28 % s. personnes âgées 40 % ont terminé leur évaluation externe 17 % en cours de réalisation Aux organismes habilités de la région Aquitaine : 104 contacts, 19 retours,soit12% 38
Versus établissements (40 ESMS) 95 % ont utilisé cahier des charges (dont 12 base de l UNAPEI) + de 50 % des ESMS : de 4 à 10 mois pour sélectionner leur organisme Critères de sélection les plus cités : Expérience des évaluateurs Coût Compétences Qualité méthodologique Difficultés rencontrées lors de la préparation: Implication des professionnels Implication de la direction Craintes des professionnels Difficultés organisationnelles Communication Manque de recul 39
Versus établissements (40 ESMS) 100 % répondants : expression libre des parties prenantes Etat d esprit des professionnels Adhésion (12) Crainte (22) Pression + (6) Appréhension (5) Curiosité (4) Négatif (4) Difficultés rencontrées phase de réalisation Respect du calendrier Disponibilité de l évaluateur Difficultés de planification Limites des modalités de réalisation Délai de réception du pré-rapport : pour 50 %, de 2 sem à 1 mois 40
Versus établissements (40 ESMS) Difficultés rencontrées phase de validation pré-rapport Désaccords avec évaluateurs externes Non transmission de l abrégé Corrections sur la forme Chronophage Longueur du rapport Forme très négative + de 90 % très satisfaits / satisfaits de : Disponibilité Écoute Professionnalisme 41
Versus établissements (40 ESMS) + de 82 % très satisfaits / satisfaits de : Rapport qualité / prix Délais de réalisation Qualité du pré-rapport Déroulement de l évaluation externe Respect du cahier des charges Globalement : 51 % très satisfaits 36 % satisfaits 42
Versus organismes (18) Nombre d évaluateurs sur site de 1 à 5 10 à 20 documents demandés la majorité du temps Réalisation systématique d entretiens avec : Professionnels Usagers Familles Qualité méthodologique Ces entretiens sont : Rarement réalisés en présence d un responsable Avec des réponses non préparées Et qui reflètent les pratiques habituelles Pour 1/3 des répondants, délai de restitution du pré-rapport d un mois 43
Versus organismes (18) 17 répondants : Proposent une amélioration du PAQ Aident à la priorisation des actions d amélioration Ces entretiens sont : Rarement réalisés en présence d un responsable Avec des réponses non préparées Et qui reflètent les pratiques habituelles 7 organismes seulement distribuent un questionnaire de satisfaction en fin de prestation. 44
Versus organismes (18) Les difficultés rencontrées : Expression orale et écrite de certains professionnels Culture du soin trop dominante Crainte des professionnels Problèmes de gestion documentaire Méconnaissance de la réglementation Absence de culture d évaluation Disponibilité des professionnels Structuration de la démarche Préparation logistique Restitution des résultats 45
Regards croisés sur les points forts Analyse des pratiques selon une méthode objective Valorisation des pratiques Identification d axes d amélioration Regard extérieur Prise en compte du point de vue de toutes les parties prenantes, notamment des usagers Démarche formative et participative Prise de recul Favorise le développement de la culture d amélioration de la qualité Apport de connaissances Dédramatisation de l évaluation État des lieux Confirmation résultats de l EI 46
Regards croisés sur les limites Aspects chronophages et financiers Absence de retour sur l impact de la démarche d évaluation externe Absence de référentiel unique Complexité de la demande Inquiétude des professionnels Calendrier réglementaire Incompétence de certains organismes Doutes sur les bénéfices en termes de changement et d apports 47
Des leviers à actionner!!! Pour les établissements: Compétences de terrain des évaluateurs Anticipation du recueil des éléments de preuve Bonne définition du cahier des charges Planification Evaluation de la charge de travail Communication Disponibilité Cadrage de la démarche Inscription dans une démarche d amélioration continue de la qualité Vigilance lors de la relecture du pré-rapport 48
Des leviers à actionner!!! Pourlesorganismes: Bonne communication Implication de l ensemble des parties prenantes Démarche structurée Préparation de la démarche (documents..) Climat de confiance Inscription dans une démarche d amélioration continue de la qualité Soutien de l encadrement Compétences méthodologiques des évaluateurs 49
Pour finaliser cette étape Questionnaire d évaluation et de satisfaction de la démarche et de la prestation 50
MERCI POUR VOTRE ATTENTION 51