Evaluer les établissements et services sociaux ou médico-sociaux : quatre repères pour agir 1

Transcription

1 Evaluer les établissements et services sociaux ou médico-sociaux : quatre repères pour agir 1 La notion d évaluation est polysémique : mettre en valeur ; apprécier ; mesurer (au double sens de mesurer une distance ou de prendre la mesure d une situation) Mais surtout elle recouvre une pluralité de pratiques qui ont en commun de porter un regard sur une situation dans un but d aide à la décision. Ainsi, faire un rapport d activité c est évaluer les principaux faits de l année, les analyser. Pour établir ou réactualiser un projet institutionnel, l on fait un bilan, un état des lieux, l on évalue la situation. Il en va de même avant d engager une démarche qualité, lorsque l on établit un diagnostic initial. Le suivi régulier d un processus est également une forme d évaluation. La certification, l audit représentent des formes évaluatives. De même, s interroger en équipe sur une situation posant problème ou sur une action n apportant pas les effets escomptés renvoie à une forme d évaluation. Toutes ces pratiques évaluatives n ont pas les mêmes portées, les mêmes finalités. Les méthodes aussi ne sont pas totalement identiques. Mais, dans chaque cas l on trouve un questionnement qui renvoie à un besoin d objectiver ce qui se passe (connaître), d analyser (comprendre) pour améliorer une situation (agir). En d autres termes, l évaluation n est pas étrangère aux pratiques développées par les établissements, les services et les professionnels. Reste que, si l on accepte cette pluralité et de sens et de pratiques, il convient de décrypter à quoi les dispositions de la loi du 2 janvier 2002 nous invitent, et plus précisément quel type d évaluation correspond à cette commande publique. En effet, la loi rend obligatoire une procédure formalisée d évaluation dont il convient de bien saisir le contenu et la portée afin d en faciliter la mise en œuvre. Pour bien comprendre la commande évaluative, l on peut fixer quatre repères. Premier repère : «Evaluer les activités et la qualité des prestations délivrées» 2 La première question à se poser est de préciser l objet à évaluer, à savoir les activités et les prestations. Ni la loi ni les débats parlementaires ne nous éclairent vraiment sur ces termes. Néanmoins, le décret du 15 mai 2007, bien que portant sur les évaluations externes, nous donne un élément : «les prestations et les activités sont un ensemble d actions et interventions organisées autour d un ou plusieurs objectifs» 3 Le lien entre activités et prestations d une part, objectifs d autre part est très pertinent. En effet, les établissements et services sociaux ou médico-sociaux développent leurs actions dans le but de répondre à des missions elles même fondées sur une appréciation de besoins et attentes d usagers. 1 Ce document reprend, sous une forme écrite, plusieurs interventions réalisées lors de quatre journées organisées par l Anesm en 2009 et 2010 : Clermont-Ferrand, Orléans, Paris, Gosier (Guadeloupe). Les propos se veulent une contribution au développement d une culture de l évaluation et aux réflexions de l Anesm. Ils n engagent que leur auteur. 2 Article L du Code de l action sociale et des familles (Casf). 3 Décret n du 15 mai 2007, article 2, (chapitre IV, section 1, article 1.2, alinéa 1 du cahier des charges relatif à l évaluation externe). Pierre Savignat ~ Journées Anesm ~

2 Le cadre est d abord fixé par l article L du Casf qui dispose que les établissements et services assurent des missions d intérêt général et d utilité sociale. C est ce qui fonde leur légitimité. Les dispositions législatives, forcément très générales, vont être complétées par des textes réglementaires, par les schémas d organisation, des conventions qui vont préciser les missions imparties. Mais ces missions ont aussi des finalités. L article L du Casf le précise : «l'action sociale et médico-sociale tend à promouvoir, dans un cadre interministériel, l'autonomie et la protection des personnes, la cohésion sociale, l'exercice de la citoyenneté, à prévenir les exclusions et à en corriger les effets». Autrement dit, les activités et prestations mises en œuvre et délivrées au niveau de chaque établissement ou service, n ont de sens et de légitimité qu au regard de missions définies par les pouvoirs publics et à travers des effets attendus sur les personnes accueillies et accompagnées. Elles visent bien à répondre à des besoins et des attentes d usagers. Dès lors l ont peut en déduire que l article L du Casf nous conduit à évaluer ce que l on fait (activités et prestations) et les effets sur les usagers en rapport avec les missions définies. Autrement dit, l évaluation repose sur une approche systémique d une boucle objectifs actions effets. Néanmoins, si le principe de l évaluation des actions, des processus fait en général consensus, celle des effets interroge. Peut-on les évaluer? La question est réelle mais elle n est pas totalement nouvelle ni étrangère aux pratiques professionnelles. Mais avant cela, il faut remarquer que c est le mot «effet» qui est employé et non celui de «résultat». En effet ce dernier fait immédiatement écho à quelque chose de mesurable et de quantifiable. Certaines dimensions de ce que produit l action sociale peuvent être ainsi mesurées. Mais elles sont loin d épuiser l appréciation de ce que les activités et prestations peuvent produire pour les usagers, sur leurs situations, sur leurs trajectoires de vie. Reste que cela n est pas nouveau! Lorsqu une équipe met en place des projets, individualisés ou non, elle en attend quelque chose, des effets et elle regarde à quoi l action a conduit, qu est ce qu elle a produit du point des usagers ou de l usager 4. C est une forme d évaluation des effets. La nouveauté vient du fait que ce travail s inscrit dans une procédure à la fois formalisée et finalisée qui englobe l ensemble des activités et prestations des établissements et services. 5 Plus précisément, l article L nous invite à répondre à trois grandes questions : 1. Comment l établissement ou le service s inscrit dans les missions imparties? Quelle est sa contribution à la politique publique concernée? Comment s inscrit-il dans un territoire et dans des modes de coopération et de partenariat? ; 2. Quelles sont les activités et les prestations mises en place pour répondre à ces missions? Quels choix ont été faits? Quels objectifs opérationnels fixés? Comment sont-ils développés? Quelles en sont les qualités... ; 3. Quels sont les effets sur les usagers et les impacts produits? 4 C est ce que certains appelle la «plus-value» de l action sociale et médico-sociale. 5 La formalisation consiste essentiellement dans l obligation de transmettre périodiquement des rapports relatifs aux évaluations internes conduites et de faire procéder à au moins une évaluation externe par un organisme habilité conformément à un cahier des charge déterminée par le décret du 15 mai 2007 d ici la prochaine échéance de renouvellement de l autorisation. Pierre Savignat ~ Journées Anesm ~

3 Pour cela, la loi fixe essentiellement une obligation de résultat, qui se traduit par le rendu obligatoire, selon des périodicités et de modalités fixées par décret, de rapports formalisés. Par contre, la loi (au sens large) est très peu contraignante sur la question des façons de faire. C est aux établissements et services, aux professionnels de construire les critères et les modalités de mise en œuvre de l évaluation 6. La loi, comme le décret du 15 mai 2007 ne trace que les grands domaines concernés par l évaluation sans les décliner dans le détail (mission, droit des usagers, gestion de risques, implication dans une logique de territoire, effets sur les usagers, organisation et fonctionnement ). Néanmoins, le législateur a définit un passage obligé, à savoir les recommandations de bonnes pratiques professionnelles. Deuxième repère : la place des recommandations de bonnes pratiques professionnelles L article L dispose en effet que les évaluations se réalisent «au regard notamment de procédures, de références et de recommandations de bonnes pratiques professionnelles 7». Pour éclairer cette dimension, l on peut faire six remarques : 1. L insistance de la loi sur ce critère est une forme de reconnaissance de la centralité des pratiques professionnelles en matière d action sociale et médicosociale. C est là que se joue la relation à l usager auquel la loi accorde une place centrale. C est le «cœur de métier»! 2. L adverbe «notamment» a un double sens. D une part il signifie que les recommandations de bonnes pratiques validées ou élaborées par l Agence sont un passage incontournable. Mais, d autre part, il indique que les structures évaluées peuvent utiliser aussi d autres critères d évaluation, d autres sources y compris en matière de recommandation L usage de recommandations n est pas non plus une nouveauté au regard de ce qui se pratique dans les établissements et services. Les professionnels font en permanence des liens entre des éléments théoriques, conceptuels et leurs pratiques. L on n a pas attendu la loi pour se référer à des données extérieures pour préparer et éclairer l action quotidienne. De tous temps les structures, les professionnels se sont appropriés des techniques, des façons de faire, des expériences, puis les ont adaptées à leur réalité et à leur vision des choses. Là encore, la nouveauté vient de l inscription d une pratique courante dans une procédure formalisée, non de la pratique elle-même. 4. Pour mieux les apprécier, il faut regarder comment elles sont produites. Le législateur a volontairement écarté le fait que ces recommandations soient élaborées par l administration centrale et diffusées sous forme d instructions, de circulaires voire de décrets. En confiant à un Conseil (Cnesms) puis à l Agence (Anesm) cette tâche, la loi a sanctionné une volonté de production par les professionnels eux-mêmes. Tout au long des procédures d élaboration, de la fixation des thèmes à la validation du document final, les acteurs sont largement 6 En ce qui concerne l évaluation externe, une lecture précise du décret du 15 mai 2007 montre que même dans cette modalité, les pouvoirs publics ont voulu laisser une grande liberté et une responsabilité forte aux établissements et services, excluant une forme d évaluation qui serait extérieure (et pas simplement externe), s apparentant plutôt à de l audit. 7 En réalité l on ne parle quasiment plus que de la notion de recommandation et l on ne cherche pas à distinguer ce qui relèverait de procédures, de références ou de recommandations proprement dites. Recommandation est devenu un terme générique qui englobe les trois notions distinguées par la loi. 8 Les sources ne manquent pas : Conseil supérieur en travail social, Direction générale de la cohésion sociale, Direction générale de l offre de soins, Haute autorité de santé, associations professionnelles, travaux issus de colloques, de sessions de formation, de revues, ouverture sur des expériences conduites par d autres structures. Pierre Savignat ~ Journées Anesm ~

4 impliqués, par des représentants issus des fédérations et regroupements professionnels, par des usagers, ainsi que par des professionnels de terrain associés aux différents groupes de travail. La notion de consensus est l un des mots clefs qui éclairent la nature et la finalité de ces documents 9. Sur chaque thème choisi, le travail conduit à faire émerger ce que le secteur estime être les bonnes pratiques professionnelles 10. Conformément à l esprit et à la lettre de la loi, les recommandations résultent d un processus de validation de pratiques et d expériences qui sont collectionnée dans un cadre collégial et partenarial, validées puis mises en perspective. Dès lors, ces recommandations ne peuvent ni trancher des débats qui ne le sont pas dans l espace institutionnel, professionnel ou public (sociétal), ni porter des voies expérimentales, non totalement validées. Ce ne sont pas non plus des thèses académiques dont le but est de faire progresser les connaissances théoriques. Enfin, l Agence est à la fois un espace et un outil de facilitation de mise à jour de recommandations mettant en lumière l état des réflexions et des pratiques. La loi lui confie la mission de valider et de n élaborer qu en cas de carence. Mais l Agence n est pas là pour imposer un point de vue ou encore moins une doctrine aux professionnels. Par contre elle garantit la fiabilité, la pertinence et la qualité de ce qui est produit. 5. Les deux remarques précédentes permettent d illustrer la portée mais aussi les limites de ces recommandations. Tout d abord, ce ne sont pas des documents normatifs au sens où ils contiendraient des dispositions qui s imposent. Comme le dirait Monsieur de La Palisse, les recommandations «recommandent», conseillent, indiquent. Il s agit de repères forgés sur des pratiques qui font consensus à un moment donné. D où leurs limites. Devant faire consensus, elles ne sont pas exhaustives. D autres pratiques peuvent être développées par les établissements et les services. Cela permet aussi d éclairer la portée de l adjectif «bonne». En effet, traditionnellement la loi (au sens large du terme) indique plutôt les interdits, fixe les limites. La notion de bonne a avant tout une portée pratique et pédagogique pour favoriser une sorte de «mise en tension» des structures et des équipes dans une logique de réflexions, d échanges et d amélioration du service rendu. 6. Dès lors, l on perçoit mieux leur utilité et leur usage. Il ne s agit pas, encore une fois, de normes que l on va décliner et vis-à-vis desquelles l on va se situer en termes de conformité. Il s agit de repères qui vont servir à éclairer les pratiques, à les confronter avec ces éléments de consensus et qui vont conduire les structures et les équipes à situer. L on peut ne pas appliquer telle ou telle recommandation, l on peut développer d autres pratiques que celles qui, sur un thème donné, sont inscrites dans ces documents. L essentiel est de pouvoir en donner les fondements, de pouvoir éclairer ce que l on fait, de mettre en valeur le travail réalisé. Les recommandations apparaissent ainsi comme un outil favorisant la réflexion, le positionnement, un outil qui contribue ainsi à l amélioration du service rendu. Enfin, documents qui doivent recueillir un consensus assez large, les recommandations ne sont pas toujours d un accès facile. De fait elles s adressent avant tout à des équipes de direction, à des cadres qui ont la charge d en tirer ce qui paraît utile pour l établissement, pour les équipes, pour améliorer les pratiques. Comme suite à une formation, un colloque, à des lectures d ouvrages ou d articles, il faut faire un travail de relecture, de reformulation et d adaptation. Cela n est pas une pratique nouvelle dans le champ social et médico-social, habitué des allers-retours entre théorie et pratique. En outre, ces recommandations fournissent en quelques dizaines de pages des synthèses sur un 9 Ce qui explique le temps nécessaire à leur élaboration. Quelqu un avait raillé cela en écrivant que ce travail aurait pu être fait en quelques semaines par deux consultants juniors. Sûrement! C est comme un projet d établissement. Il peut être fait en quelques jours par un ou deux experts, l on en trouve même de tout fait. Mais quelle piètre façon de manager une équipe! En effet chacun sait que les modalités d élaboration du projet sont une condition de son appropriation et donc de son efficacité. Alors écrire un projet d établissement ou de service peut prendre plusieurs mois lorsque l on implique l ensemble des parties prenantes. A-t-on été inefficace pour autant?! Il en va de même pour une production collégiale de recommandations de bonnes pratiques. 10 Chaque recommandation donne la liste de celles et ceux qui, à un titre où à un autre, ont contribué à son élaboration. Pierre Savignat ~ Journées Anesm ~

5 thème donné que l on ne retrouve nulle part ailleurs. Il serait plus que dommage de se priver de les utiliser. Troisième repère : la question de la qualité Si la notion d évaluation est polysémique, que dire de celle de «qualité»! Il convient de distinguer d abord la qualité comme objectif de l action (faire un travail de qualité) de son évaluation (apprécier la qualité du travail réalisé). C est d ailleurs ce que fait la loi qui distingue l emploi du terme de qualité selon la finalité. Dans l article L relatif aux droits des usagers il est dit que ces derniers doivent bénéficier «d une prise en charge et un accompagnement individualisé de qualité favorisant son développement, son autonomie et son insertion, adaptés à son âge et à ses besoins, respectant son consentement éclairé qui doit systématiquement être recherché lorsque la personne est apte à exprimer sa volonté et à participer à la décision». La qualité apparaît donc bien comme une catégorie d action qui d ailleurs concerne tant les finalités de ce qui est fait que les moyens mis en œuvre pour cela, ces deux dimensions devant répondre à des critères de qualité. Mais il ne peut y avoir d actions de qualité sans une évaluation. En effet, il faut bien chercher à établir si une action répond bien à des critères que l on définit comme traduisant un niveau de qualité. D où l utilisation de la notion dans l article L (évaluer les activités et la qualité des prestations), qui vise, en l espèce, non plus l action mais la connaissance. 11 A) La qualité comme catégorie d action : Pour clarifier cette notion dans ce cadre, l on peut faire trois remarques : 1. Il n y a pas de définition de la «qualité» et surtout pas avec un Q majuscule. La qualité est une notion relative. Elle est située dans le temps et dans l espace (les critères de qualité communément admis aujourd hui ne sont pas ceux d hier, ils peuvent varier selon les territoires, les cultures ) ; elle est subjective (ce qui est un critère de qualité pour une personne ne le sera pas forcément pou une autre ) ; 2. La qualité d une action, d une activité, d un accompagnement se joue dans la pratique quotidienne. Elle est tributaire d éléments de contexte et de la subjectivité des acteurs impliqués. Tout professionnel sait bien que les façons d opérer ne sont pas, pour l essentiel, standardisables, que ce qui fonctionne bien dans une situation donnée, avec un usager ne sera pas forcément reproductible voire pourra s avérer contre productif avec un autre. Autrement dit, la qualité se construit et se déconstruit en permanence. Elle se joue au quotidien ; 3. D où, il faut bien percevoir les deux dimensions de la commande publique dans ce domaine. Il s agit tout d abord de conduire les établissements et les services à répondre à un socle minimum répondant à des critères fixés. C est le cas, par exemple des documents rendus obligatoires par la loi du 2 janvier 2002 ou de normes comme celles appliquées en matière de restauration ou de sécurité. C est le socle, ou tout au moins le point de départ de la plupart des démarches qualité. Mais chacun comprend que cela ne suffit pas du fait même de la relativité de la notion de qualité et de sa «versatilité», si l on peut dire, au travers des pratiques quotidiennes de relation avec les usagers. D où la deuxième dimension qui consiste à favoriser une mise en tension des structures et des équipes vers une 11 D ailleurs l article L aurait très bien pu formuler cela sous la forme : évaluer la qualité des activités et des prestations. Pierre Savignat ~ Journées Anesm ~

6 interrogation régulière, continue sur les pratiques, un questionnement dans une perspective d amélioration du service rendu. B) La qualité comme catégorie de connaissance : Lorsque l on envisage d évaluer la qualité d une action, d une activité, de prestations, l on va aborder deux dimensions complémentaires. En effet, cela correspond à deux acceptions du terme de «qualité». Parler de la qualité de quelque chose n a pas le même sens que de parler de quelque chose de qualité. Dans le premier cas l on cherche à objectiver quelque chose, le qualifier (comme dans l expression «décliner ses nom et qualités»), dans le second l on porte une appréciation (comme dans l expression «une chose ou une personne de qualité»). Ceci va nous permettre de mieux comprendre que l évaluation est un processus qui met en relation permanente des éléments objectifs (des constats) et des éléments subjectifs (l appréciation que l on porte sur eux), toujours dans une perspective d amélioration les actions. Cette mécanique aussi n est pas nouvelle dans les pratiques professionnelles. Lorsqu une structure et/ou une équipe perçoit une action ou un événement comme non désirable, comme contraire à ce que l on veut faire, que se passe t-il? L on commence par regarder ce qui s est passé, l on objective les choses, puis on les analyse pour fonder une appréciation (ce qui a marché et ce qui n a pas marché, pourquoi cela n a pas marché ) afin d agir pour améliorer la situation. L on comprend dès lors que l évaluation consiste d abord en un double questionnement visant à l objectivation d une part, à l appréciation d autre part. Cette dualité est importante car l évaluation ne s appuie pas, au départ, sur des normes préétablies et ne conduit pas à un exercice de vérification. Pour autant cela ne signifie pas que nous sommes devant un pur exercice intellectuel. D où l importance de bien lier objectivation et appréciation sous peine de voir l évaluation se déconnecter des réalités si le questionnement ne s appuie pas sur des éléments, des faits constatables, et objectivables. De ce point de vue, par exemple, les indicateurs sont des outils nécessaires et utiles à l objectivation. Ils permettent de construire un système d informations qui va nourrir un travail d analyse et d appréciation assis sur des faits et non des impressions ou des approximations. Mais mêmes les meilleurs indicateurs possibles ne dispensent pas de ce travail d analyse et d appréciation 12. Quatrième repère : mettre en œuvre l évaluation L on a vu, que les pratiques évaluatives étaient loin d être étrangères aux pratiques institutionnelles et professionnelles. Bien au contraire. Dès lors, l on peut dire que beaucoup d établissements et de services on des acquis, des expériences. Tout cela concours à des apprentissages et à accumuler des données des connaissances qui vont être mobilisables pour répondre à la commande de l article L Certes l on pourrait se demander pourquoi alors rajouter une procédure supplémentaire. En effet, l évaluation prends du temps, elle nécessite de l énergie, elle a un coût elle peut aussi être «douloureuse» à travers des remises en cause d organisations, de modes de fonctionnement, de management ou de pratiques professionnelles. 12 C est pour cela d ailleurs que l Agence parle d indicateurs de suivi de la qualité et non d indicateurs de qualité. La nuance a son importance. Pierre Savignat ~ Journées Anesm ~

7 La réponse est dans la finalité et notamment dans le lien entre l évaluation externe et le renouvellement de l autorisation. Ce lien s articule autour de deux grands critères : d une part la façon dont l établissement ou le service répond aux missions imparties et quelle est sa contribution aux réponses aux besoins et attentes des usagers (l appréciation des effets), ce qui conduit à s interroger sur l utilité sociale de la structure ; d autre part, la qualité des actions, des moyens mis en œuvres (organisation, fonctionnement, management, pratiques professionnelles ). L on perçoit donc qu à travers cette finalité fixée par le législateur, la procédure évaluative formalisées qui ressort de l article L se distingue d autres pratiques que l on peut qualifier d évaluative (rapport d activité ; diagnostic qualité ; préparation d un projet institutionnel ; suivi d un plan d amélioration ; audit ) La principale différence porte sans doute sur le fait que l évaluation préconisée s appuie sur les missions et les effets sur les usagers pour apprécier la qualité des actions et des pratiques. C est pour cela, que le projet institutionnel et/ou le projet d établissement ou de service sont des points d appui fondamentaux. En effet, le projet est l outil qui fait le lien entre les missions confiées, les valeurs, l histoire, les représentations portées par la structure (et/ou l institution) et les objectifs opérationnels mis en œuvre, les modes d organisations, de fonctionnement ainsi que les pratiques professionnelles qui en découlent. D un point de vue pratique, l évaluation s appuiera sur un diagnostic initial et sur un questionnement. 13 Néanmoins, comme il n est pas possible d interroger la totalité de ce que réalise un établissement ou un service, l on choisira des portes d entrées, des processus suffisamment signifiants du travail réalisé (ce que la recommandation de juillet 2009 nomme comme processus structurant), processus qui impactent directement la situation des usagers. Souvent le choix des angles de vue, des processus à évaluer conduit à s intéresser aux dysfonctionnements. Cela est logique. Pour autant, l évaluation peut aussi nous amener à s interroger sur «les trains qui arrivent à l heure», c'est-à-dire sur des processus qui a priori fonctionnent bien. En effet, il convient d être vigilant face au risque de routine et de savoir questionner un processus qui semble ne pas poser de problème mais qui en fait tourne à vide, ou pour lequel l on a perdu les questions de sens, ou qui ne produit plus les effets escomptés sur les usagers. C est tout l intérêt de l approche articulée objectifs actions (et donc processus) effets. A partir de là, une fois le choix des processus à évaluer et du questionnement qui s y rapporte réalisé, l on peut déterminer l es informations nécessaires pour répondre à ce questionnement et les modalités de recueil. Reste que pour réaliser le travail d analyse et d appréciation l on a besoin de critères, de références auxquelles l on va confronter l information recueillie. En effet, à quoi se référer pour établir, si du point de vue d un établissement ou service, d une équipe, l on a fait du «bon travail», un travail que l on peut qualifier comme étant de qualité? Mais ce n est qu à partir du diagnostic initial et de la formalisation du questionnement évaluatif que l on établit le référentiel. Le fait que ce dernier, qui est indispensable au développement du processus évaluatif, n intervienne pas en premier manifeste aussi une différence notable avec d autres pratiques évaluatives. En outre ce référentiel doit être adapté à la réalité de la structure évaluée ce qui écarte tout 13 Voir la recommandation de l Anesm, «La conduite de l évaluation interne dans les établissements et services visés à l article L du code de l Action sociale et des familles» (juillet 2009) et le décret du 15 mai Pierre Savignat ~ Journées Anesm ~

8 document extérieur ou clef en main. Le décret du 15 mai 2007, pour bien marquer cela, ne parle pas de référentiel mais de cadre spécifique de référence. 14 Pour répondre à la demande d évaluer les activités et la qualité des prestations délivrées, l on va donc approcher le triptyque : objectifs (qui renvoient aux missions et au projet de la structure) ; activités et prestations, c'est-à-dire l ensemble des actions (organisation, fonctionnement, pratiques professionnelles) pour les réaliser et leurs effets sur les usagers. Pour cela, il y a une pluralité de méthodes possibles et d outils utilisables. L on doit rechercher ce qui est le plus adapté pour chaque évaluation. L on est plus sur du «sur mesure» que sur du «prêt-à-porter»! Néanmoins, l on peut énoncer quatre principes d action transversaux dont la prise en compte contribue à la pertinence, l efficacité et à la qualité des évaluations. Ainsi, l on peut dire que pour bien répondre à la commande publique, la mise en œuvre de l évaluation se doit d être qualitative, systémique, participative et pluraliste. Qualitative tout d abord, au double sens de qualifier (produire de la connaissance) et d apprécier (produire de l analyse). Systémique ensuite, dans une approche des établissements ou services comme des systèmes complexes d actions et d acteurs au sein desquels se développent de nombreuses interactions et tensions. Participative aussi car la production de connaissances et d analyses de systèmes d acteurs ne peut se faire sans leur implication forte à toutes les étapes du processus évaluatif. Cette implication concerne aussi bien évidement les usagers et leur entourage. Pluraliste enfin car l évaluation va permettre aux différents points de vue de s exprimer, elle va favoriser la mise en débat. En outre, il faut souligner que le recueil de la parole des usagers est un élément essentiel notamment pour répondre aux questions liées aux effets des actions conduites. 15 Pour conclure Les parlementaires ont souhaité, en préconisant une évaluation, interne et externe, avoir des éléments d appréciation sur ce que font les établissements et les services en regard des missions et des effets sur les usagers. Autrement dit, il s agit d apporter des éléments sur le contenu du travail réalisé et pas seulement sur le contenant (statistiques d activité, budget ). Or c est une occasion à saisir pour sortir des limites d un dialogue à stricte visée budgétaire. Les rapports d évaluation, qui devront être périodiquement rendus aux autorités publiques en sont l outil essentiel. Le plus grand soin doit être apporté à leur rédaction, et il conviendra d insister pour que des échanges puissent se faire autour de ces documents. Il s agit d une opportunité forte pour l ensemble des professionnels. Il y a un challenge à relever car l évaluation sera d abord utile à ceux qui la font, aux établissements et aux différentes parties prenantes. En effet, c est tout d abord un processus qui va permettre de mettre en valeur le travail réalisé, de mettre à jour la qualité du service rendu aux usagers d une part à la collectivité d autre part. C est ensuite un outil de management et de cohésion d équipe, en permettant de dire les choses, de produire un diagnostic partagé, de relire ensemble les valeurs, les objectifs et les modes opératoires. C est ainsi que l évaluation sera aussi un instrument de dialogue avec les pouvoirs publics, d un dialogue renouvelé donnant des éléments de nature à promouvoir le travail réalisé, à faire valoir les besoins et les attentes des usagers. 14 Ceci ne veut pas dire que l on ne peut pas s appuyer sur des documents existants mais que, dans ce cas, ils nécessitent obligatoirement un travail d appropriation et d adaptation. 15 Voir notamment sur ces deux dernières dimensions les développements contenus dans la recommandation de juillet 2009 et dans le décret du 15 mai Pierre Savignat ~ Journées Anesm ~

9 Ainsi, l évaluation sera aussi utile aux autorités publiques, bien au-delà de la seule procédure de renouvellement de l autorisation. En effet, les rapports d évaluation vont apporter un matériau indispensable à l analyse fine et concrète des besoins et à la détermination des politiques publiques. Quelles que soient leurs qualités, les fonctionnaires chargés de cela, qu ils relèvent de l Etat ou des départements, ne sont pas au contact direct des usagers. Dès lors pour nourrir les schémas d organisation, déterminer des priorités, proposer, comme la loi leur en donne le droit, des transformations, des créations voire des suppressions d établissements et services, pour établir demain les appels à projet, les autorités publiques ont aussi intérêt d une part à ce que les rapports d évaluation soient de qualité et à déterminer des modalités d examen et de traitement. Ce dernier aspect est essentiel. Il nécessite que se développe en leur sein une réelle culture de l évaluation appuyée sur les principes et les méthodes qui la guident en matière de politique publique. En outre, de la qualité de traitement des rapports et du dialogue qui s installera à partir d eux dépendront aussi le développement du processus évaluatif, son utilité et sa qualité. Dans un contexte mouvant, où les repères tendent parfois à se brouiller, où les besoins et les attentes des usagers évoluent, où la commande publique, malgré un foisonnement législatif et réglementaire, n est pas toujours limpide, l évaluation, qui certes ne peut devenir un remède miracle, apparaît néanmoins comme un outil ouvert, mis, par la loi, à la disposition des établissements, des services, des professionnels. L évaluation est porteuse d enjeux forts. Pour autant elle ne sera que ce que les acteurs en feront. Pierre Savignat Ancien élève de l EHESP, directeur d établissement, Maître de conférence associé à l université Grenoble-2, management des politiques sociales et sanitaires, Membre du conseil scientifique de l Anesm, Membre du conseil de développement de la Société Française de l Evaluation. Pierre Savignat ~ Journées Anesm ~