L évaluation L évaluation externe Questions Questions / / réponses

Transcription

1 L évaluatin L évaluatin externe externe uestins uestins / / répnses répnses Les symbles utilisés dans le texte : Les questins snt classées par thème et snt numértées dans le thème. Face à ce symble, vtre attentin est tut particulièrement attirée sur pint. Face à ce symble, une recmmandatin est frmulée En cliquant sur les caractères de culeur bleue, vus utiliser le lien uand le cde u le décret snt cités, les caractères snt, clrés et le texte est signalé par une duble flèche. 1

2 LE LE PLAN PLAN I - Les textes relatifs à l évaluatin 1.1 : Les textes II GENERALITES 2.1 : ui peut réaliser l évaluatin externe d un ESSMS? 2.2 : u est-ce que l Anesm? 2.3 : uelle est la lgique de l habilitatin? 2.4 : ue cntient l agrément des rganismes agréés pur l évaluatin externe? 2.5 : uel est le champ de l évaluatin interne et de l évaluatin externe? 2.6 : u est ce que le cahier des charges de l évaluatin externe? 2.7 : ui transmet le rapprt d évaluatin externe à u aux autrités cmpétentes? 2.8 : ue préparer avant de lancer l évaluatin? 2.9 : uel est le cût d une évaluatin externe? 2.10 : Cmment inscrire le cût de l évaluatin externe au budget de l ESSMS? : Dans l hypthèse d une entité avec plusieurs activités et plusieurs sites faut- il une u plusieurs évaluatins? 2.12 : uelle différence entre le dcument de mise en cncurrence et le cntrat d engagement? 2.13 : uelles snt les étapes de l évaluatin externe? 2

3 III- Le calendrier 3.1 : uelle est l bligatin? 3.2 : uel est le calendrier retenu pur la réalisatin des évaluatins externes? 3.3 : uand un ESSMS a bénéficié d un u de plusieurs arrêtés d extensin, quelle date dit n prendre en cmpte pur définir la date de l évaluatin externe? 3.4 : uelle date d arrêté faut t-il retenir pur définir les dates d évaluatin quand la date de l arrêté de créatin et la date de l arrêté d uverture se truvent à cheval entre deux pérides dérgatires? IV Le dcument de mise en cncurrence 4.1 : La mise en cncurrence pur recurir à un rganisme habilité pur la réalisatin de l évaluatin externe est-elle bligatire? 4.2 : Cmment chisir l évaluateur? 4.3 : u est-ce que le dcument de mise en cncurrence? 4.4 : uels snt les éléments cmpsant le dcument de mise en cncurrence? 4.5 : Cmment peut-n rganiser le dcument de mise en cncurrence? 4.6 : Cmment présenter l ESSMS dans le dcument de mise en cncurrence? 4.7 : Peut-n faire état des cntraintes liées à l rganisatin u aux particularités de l ESSMS dans le dcument de mise en cncurrence? 4.8: uelles snt les mdalités de cncertatin à prévir au dcument de mise en cncurrence? 4.9: uelles snt les mdalités de suivi de l évaluatin externe? 4.12 : Dit-t-n prévir un calendrier de travail lrs de l élabratin du dcument de mise en cncurrence? 4.13 : À quels éléments faut-il être attentif lrs de la facturatin demandée par l rganisme habilité? 4.14 : ue prévir pur les mdalités d élabratin et de rendu du rapprt? 4.15 : L évaluatin peut elle être réalisée par un seul évaluateur? 4.16 : uelles snt les qualificatins et les cmpétences à demander aux évaluateurs? 4.17 : Cmment s apprécie la répnse des candidats au dcument de mise en cncurrence? 4.18 : uelle est la cnfidentialité à laquelle est tenu l rganisme habilité? 4.19 : uand y a-t-il cnflit d intérêt pur l rganisme habilité? 3

4 4.20 : Cmment s assurer du respect des règles déntlgiques par l évaluateur? 4.21 : À qui appartient la prpriété intellectuelle du rapprt d évaluatin externe? 4.22 : Un rganisme habilité et sélectinné peut-il avir recurs à la sus-traitance? 4.23 : L rganisme habilité peut-il mdifier l équipe d évaluateurs initialement prévue? 4.24 : u est ce que le prjet évaluatif? 4.25 : u est ce que le cadre de référence? 4.26 : u est ce que le questinnement évaluatif? V Le cntrat 5.1 : Passer un cntrat avec l évaluateur est il bligatire? 5.2 : uelle est la nature du cntrat? 5.3 : uel est le cntenu du cntrat? 5.4 : ue faire en cas de suspensin u de retrait de l habilitatin de l rganisme au curs de l évaluatin? VI L évaluateur Cette partie regrupe les questins relatives à l évaluateur déjà dévelppées dans les autres thématiques. Les questins nt cnservé leur numértatin d rigine. 4.1 : Cmment chisir l évaluateur? 4.10 : uels snt les dcuments auxquels l évaluateur a accès? 4.11 : uelles snt les cnditins d accès de l évaluateur aux dcuments? 4.15 : L évaluatin peut elle être réalisée par un seul évaluateur? 4.16 : uelles snt les qualificatins et les cmpétences à demander aux évaluateurs? 4.17 : uelle est la cnfidentialité à laquelle est tenu l rganisme habilité? 4.18 : uand y a-t-il cnflit d intérêt? 4.19 : Cmment s assurer du respect des règles déntlgiques par l évaluateur? 4.21 : Un rganisme habilité et sélectinné peut-il avir recurs à la sus-traitance? 4.22 : L rganisme habilité peut-il mdifier l équipe d évaluateurs initialement prévue? 4

5 4.26 : Cmment s apprécie la répnse des candidats au dcument de mise en cncurrence? VII- Les annexes 7.1 : Règles de cnduite applicables aux rganismes et à leurs équipes intervenant à l ccasin de missins d évaluatin externe - Extrait du dssier d habilitatin - 5

6 I I - - LES LES TEXTES TEXTES Les textes relatifs à l évaluatin La Li n du 2 janvier 2002 rénvant l'actin sciale et médic-sciale. La Li n du 21 juillet 2009 prtant réfrme de l'hôpital et relative aux patients, à la santé et aux territires. Le Décret n du 15 mai 2007 fixant le cntenu du cahier des charges Pur l évaluatin des activités et de la qualité des prestatins des établissements et services sciaux et médic-sciaux. Le Décret n du 3 nvembre 2010 relatif aux calendriers des évaluatins et aux mdalités de restitutin des résultats des évaluatins des établissements sciaux et médicsciaux - Cnsulter. Le Décret n du 23 janvier 2012 relatif aux cnditins d exercice de l activité d évaluatin externe des établissements et services sciaux et médic-sciaux par des prestataires établis dans un Etat membre de l Unin eurpéenne u partie à l accrd sur l Espace écnmique eurpéen. Le Décret n du 30 janvier 2012 relatif aux cnditins de prise en cmpte de la certificatin dans le cadre de l évaluatin externe des établissements et services sciaux et médic-sciaux - Cnsulter. Le CAFS, ntamment : L annexe 3-10 fixant le cahier des charges de l évaluatin externe, L article L du CASF : "Etablissements et services sciaux et médic-sciaux", L article L du CASF : "Evaluatin et systèmes d infrmatin", L article L du CASF : renuvellement de l autrisatin et résultats de l évaluatin externe. Le cde des marchés publics. Circulaire n DGCS/SD5C/2011/398 du 21 ctbre 2011relative à l évaluatin des activités et de la qualité des prestatins délivrées dans les établissements et services sciaux et médicsciaux (ESSMS). Dans la rédactin des répnses, il est régulièrement fait référence à l annexe 3-10 du CAFS. Cette annexe fait intégralement partie du décret

7 II II - - GENERALITES GENERALITES ui peut réaliser l évaluatin externe d un ESSMS? Seuls les rganismes habilités par l Anesm peuvent prcéder à l évaluatin externe ESSMS. d un Les rganismes habilités par l Anesm divent également psséder des qualificatins et des cmpétences déterminées par l annexe 3-10 du CASF. La liste des rganismes habilités par l Anesm est publiée au Bulletin fficiel du ministre chargé de l actin sciale (article D du CASF). L Anesm publie sur sn site une liste régulièrement mise à jur. Cnsulter le site de l Anesm la liste des rganismes habilités et des prestataires inscrits. Attentin au cnflit d intérêt - Cnsulter ce pint. Lrs de l étude des candidatures et avant la signature du cntrat, assurer vus que l rganisme est tujurs habilité. Pur cela cnsulter la liste mise en ligne sur le site de l u est-ce que l Agence natinale de l évaluatin et de la qualité des établissements et services sciaux et médicsciaux -Anesm? L Anesm a été créée par la li de financement de la sécurité sciale pur C est un grupement d intérêt public dnt le directeur est nmmé par Décret du Président de la République. L Anesm a été installée en 2007 et succède au Cnseil natinal de l évaluatin sciale et médic-sciale. Les principales missins de l Agence prévues dans la cnventin cnstitutive du GIP du 17 juillet 2007 : Habiliter les rganismes extérieurs qui prcèdent à l évaluatin externe des activités et de la qualité des prestatins des établissements visés par l article L et en dresser la liste ; 7

8 Déterminer les principes fndamentaux garantissant la qualité des prcédures suivies en matière d évaluatin interne et externe en assurant leur articulatin leur cmplémentarité ; Cncevir et expliter un système d infrmatin renseignant d une part la mise en euvre et le suivi des évaluatins dans les établissements et services et d autre part la publicité des habilitatins des rganismes d évaluatin ; Valider, élabrer u actualiser des prcédures, références et recmmandatins de bnnes pratiques prfessinnelles ; Cntribuer à l évaluatin des établissements et services à caractère expérimental ; Prpser aux puvirs publics les évlutins législatives u réglementaires de nature à favriser le dévelppement de la qualité dans le secteur scial et médic-scial». Cnsulter le site de l Anesm uelle est la lgique de l habilitatin? Vici la répnse de l Anesm «L habilitatin est la mise en œuvre d un dispsitif qui a été prévu par le législateur depuis 2002 et qui répnd sur la bnne fi présumée des rganismes. L habilitatin est ainsi un util de régulatin et de structuratin d un marché qui se met en place dans le cadre de la transpsitin de la directive eurpéenne relative aux services dans le marché intérieur. L Agence mbilisera ses capacités de suspensin et de retrait de l habilitatin pur cela. La première sessin d habilitatin et l btentin de celle-ci est ainsi un pint de départ et nn un pint d arrivée». L Anesm attire l attentin des ESSMS, extrait du site : ATTENTION! Il appartient aux ESSMS de chisir des rganismes habilités prpsant des qualificatins et cmpétences déterminées par l annexe 3-10 du CASF. Ceux-ci figurent sur la liste des rganismes habilités publiée par l Anesm et mise à jur régulièrement. Vir également la questin 2, Cnsulter ce pint. Une des missins de l Anesm est de cntrôler les rganismes habilités mais cette missin s exerce a psteriri. 8

9 Aussi, les cmmanditaires et la u les autrités ayant délivré l autrisatin peuvent infrmer l agence de tut manquement en matière de méthdlgie d évaluatin, de prductin des résultats et en cas de différents entre l ESSMS et l évaluateur ue cntient l agrément des rganismes agréés pur l évaluatin externe? L habilitatin délivrée par l Anesm : permet à l rganisme de réaliser l évaluatin externe de l ensemble des établissements et services visés à l article du cde de l Actin sciale et des familles, sus réserve du respect des engagements cntenus dans le dssier de demande d habilitatin, est valable sur l ensemble du territire natinal, est dnnée pur une durée indéterminée sauf suspensin u retrait par l Anesm. Attentin, l habilitatin délivrée par l Anesm ne signifie pas que l rganisme habilité est cmpétent - Cnsulter ce pint. En effet, pur être habilité et inscrit sur la liste des rganismes il n y a qu un dssier administratif déclaratif à remplir, et aucune cmpétence particulière n est exigée. Il est seulement demandé aux futurs rganismes habilités de respecter les impératifs du décret du 15 mai 2007 et de sn annexe. Aussi, il appartient à chaque ESSMS de s assurer de la cmpétence des intervenants. Le dcument de mise en cncurrence est un des utils permettant de s en assurer uel est le champ de l évaluatin interne et de l évaluatin externe? Les champs de l évaluatin externe et de l évaluatin interne snt les mêmes (Annexe 3-10 du CASF, chapitre I, sectin 2, article 2.2) afin d assurer la cmplémentarité des analyses prtées sur un même établissement et de fait, de puvir apprécier les évlutins et les effets des mesures prises pur l améliratin cntinue du service rendu. 9

10 u est ce que le Cahier des charges de l évaluatin externe? Le cahier des charges de l évaluatin externe est définit par le décret du 15 mai 2007 fixant le cahier des charges pur l évaluatin des activités et de la qualité des prestatins en établissements et services sciaux et médic-sciaux. Il fixe les bligatins qui s impsent à l ESSMS et à l rganisme habilité qui va réaliser l évaluatin externe ui transmet le rapprt d évaluatin externe à u aux autrités cmpétentes? L article D du CAFS, prévit que c est le cmmanditaire qui transmet le rapprt d évaluatin externe. Si l autrisatin a été délivrée cnjintement, il faut adresser le rapprt d évaluatin à chaque autrité. Pur rappel, c est le même principe pur l évaluatin interne. Crdnnées de transmissin dans la Smme : Cnseil général : Directin appui et budget Evaluatin externe 1 bulevard du Prt Amiens Cedex ARS, l'adresse sera précisée ultérieurement PJJ : Directin territriale PJJ L'Arche Vallée des Vignes 49 place d Italie CS Amiens Cedex 3 10

11 ue préparer avant de rechercher un évaluateur? La prcédure d évaluatin est engagée à l initiative de la persnne physique u de la persnne mrale de drit public u de drit privé gestinnaire de l ESSMS (Annexe 3-10 du CAFS,chapitre III, sectin 1, article 1.1). Il est cnseillé de préparer sn entrée dans l évaluatin. 1) Déterminer la date du renuvellement de sn autrisatin -cnsulter ce pint- et de là, élabrer le calendrier de travail et de rendu des rapprts d évaluatin - Cnsulter le pint - Cnsulter " les étapes de l'évaluatin". 2) S assurer de l existence d un certain nmbre de dcuments et les préparer : s assurer de la dispnibilité et de la bnne rganisatin des principaux enregistrements à cnserver et à mettre à dispsitin de l évaluateur, réunir les dcuments à furnir à l évaluateur et/ u en prévir les mdalités d accès, Cnsulter la liste nn exhaustive prévue par l Annexe 3-10 du CAFS, chapitre III, sectin3,article 3.1. annymiser si besin des dssiers individuels. 3) Faire un pint sur le suivi du plan d actin et la dynamique d améliratin cntinue de la qualité préparer ses équipes, les usagers et les partenaires à l évaluatin externe, préparer la cmmunicatin interne. 4) Lister les critères que l n attend d un évaluateur? - Cnsulter ce pint. 5) Préparer le dcument de mise en cncurrence uel est le cût d une évaluatin externe? L Anesm, dans sn rapprt d activité 2010, fait état, à titre indicatif, d un cût myen en EHPAD de Le prix d une évaluatin externe varie ntamment en fnctin : de l établissement : sa taille et sn rganisatin (un u plusieurs sites), le nmbre de persnnes accueillies u accmpagnées, le nmbre de prfessinnels et de partenaires, 11

12 de l équipe d évaluateurs : le nmbre et la qualificatin des membres de l équipe d évaluateurs externes, le nmbre de jurnées d interventin sur place prpsées et le nmbre de jurnées cnsacrées à l analyse et à la rédactin du rapprt Cmment imputer le cût de l évaluatin externe au budget de l ESSMS? L instructin budgétaire et cmptable M22 du 31 mars 2009 prévit que les frais d évaluatin externes mis en euvre par l EPSMS en applicatin de l article L du CASF s enregistrent au cmpte 2013 «frais d évaluatin». Ces frais fnt l bjet d un amrtissement sur une péride qui ne peut excéder cinq ans. Cette instructin budgétaire et cmptable s inspire du plan cmptable général (PCG) et a été rédigée cnfrmément à celui-ci. Or, l article du PCG précise que les dépenses engagées à l ccasin d pératins qui cnditinnent l existence u le dévelppement d une entité mais dnt le mntant ne peut être rapprté à des prductins de biens u de services déterminés peuvent être inscrits sit à l actif cmme frais d établissement (cmpte 201) sit au cmpte de résultat (classe 6). L ptin est dnc fferte aux ESSMS de cmptabiliser leurs frais d évaluatin externe : au cmpte 2013, u au cmpte 617 «études et recherches». Attentin : les frais d évaluatin inscrits au cmpte 617 snt enregistrés pur leur mntant ttal au cmpte de résultat de l exercice au curs duquel l évaluatin est réalisée. Ils ne peuvent pas être prvisinnés car ils ne répndent pas à l bjet d une prvisin. Il est recmmandé de cmptabiliser les frais d évaluatin externe au cmpte 2013, de limiter l impact du prix de l évaluatin sur la tarificatin en utilisant l affectatin de résultat lrsque c est pssible. 12

13 Dans l hypthèse d une entité avec plusieurs activités et plusieurs sites faut- il une u plusieurs évaluatins? S il s agit d un rganisme gestinnaire gérant plusieurs établissements Tut ESSMS autrisé est cncerné par la réalisatin des évaluatins prévues à l article L312-8 du CASF. Aussi, chaque établissement autrisé et dispsant d un numér FINESS dit réaliser ses prpres évaluatins. S il s agit d un ESSMS avec un seul numér de FINESS et dispsant de plusieurs sites, il appartient au cmmanditaire de préciser cette particularité dans le dcument de mis en cncurrence uelle différence entre le dcument de mise en cncurrence et le cntrat d engagement? Le dcument de mise en cncurrence et le cntrat d engagement, même s ils recuvrent des champs identiques, snt deux dcuments distincts. Le dcument de mise en cncurrence pse les attentes du cmmanditaire. Sur la base des répnses apprtées par le candidat retenu, le cntrat précise les engagements réciprques du cmmanditaire et de l rganisme. Pur les établissements publics qui nt recurs à la cmmande publique, l acte d engagement signé par les candidats aura valeur de cntrat. Aussi,il est cnseillé de veiller à ce que l acte d engagement reprenne bien les éléments prévus par l annexe 3-10 du CAFS. 13

14 uelles snt les étapes de l évaluatin externe ( à titre indicatif)? Actin Délais (1) Intervenant(s) Préparatin Diagnstic initial Mise en place de l instance d évaluatin (2) Infrmatin/cmmunicatin M Gestinnaire /Directin Equipe de directin P R E P A R A T I O N Elabratin du dcument de mise en cncurrence Cnstructin du dssier de dcumentatin Envi/Publicité Analyse des candidatures Chix du prestataire M+1 M+2 M+3 (3) Gestinnaire /Directin Equipe de directin Gestinnaire /Directin Cntrat engagement Infrmatin aux parties prenantes Elabratin et validatin du prjet d évaluatin et du questinnement évaluatif Gestinnaire /Directin Gestinnaire /Directin Gestinnaire /Directin Evaluateur Instance d évaluatin D E R O U L E M E N T E V A L U A T I O N Recueil et analyse des dcuments Observatin et analyse des pratiques Grupes de travail enquête entretiens Analyse des infrmatins btenues u recueillies et frmalisatin Vérificatin de la chérence Rendu du pré rapprt Rapprt définitif 1 mis 1 mis 1 mis M+7 M+8 Evaluateur/ représentants des usagers/ persnnels/ partenaires Nmbre et cmpsitin seln le u les thèmes traités, On peut dnc, en fnctin de l ESSMS réduire u augmenter cette partie de l évaluatin qui est le cœur du prcessus évaluatin Evaluateur Gestinnaire /Directin Evaluateur Gestinnaire /Directin Instance d évaluatin Parties prenantes Gestinnaire /Directin 14

15 (1) Les délais prpsés pur chaque étape du schéma ci dessus le snt à titre indicatif et snt à adapter à chaque ESSMS. (2) Instance d évaluatin : la u les instances que l ESSMS a chisi de mettre en place pur le suivi et la validatin des différentes étapes de l évaluatin externe. La u les instances d évaluatin snt différentes d un ESSMS à l autre. Il est recmmandé de décrire ces instances, leur cmpsitin et leur délégatin au dcument de mise en cncurrence. (3) M+3 : pur les ESSMS sumis à la prcédure des marchés publics, il faut allnger le délai d au mins 2 mis. N ubliez pas de faire valider par vs instances de décisins les étapes juridiques de l évaluatin externe cmme la décisin de lancement de la démarche, la validatin de la démarche de mise en cncurrence u du marche public, la sélectin du candidat. 15

16 III III - - LE LE CALENDRIER CALENDRIER uelle est l bligatin? La li du 2 janvier 2002 institue le principe de l évaluatin. Les ESSMS divent réaliser cmpétentes) : et transmettre à l autrité cmpétente (u aux autrités tris évaluatins internes : une tus les 5 ans à cmpter de la date de l arrêté d autrisatin d uverture, deux évaluatins externes : la première 7 ans après la date de l arrêté d autrisatin d uverture, la secnde 2 ans avant la date de renuvellement de l autrisatin. Le renuvellement de l autrisatin dit intervenir avant la fin de la 15eme année à cmpter de la date de l arrêté d autrisatin d uverture. Le législateur a aménagé ce calendrier initial, seuls les établissements autrisés après la li du 22 juillet 2009 aurnt à réaliser l ensemble des évaluatins pur leur premier renuvellement uel est le calendrier retenu pur la réalisatin des évaluatins externes? L évaluatin externe a été intrduite par la li n du 2 janvier 2002 rénvant l actin sciale et médic-sciale. Le calendrier initialement prévu a été mdifié par : l article 124 de la li n du 21 juillet 2009 prtant réfrme de l hôpital et relative aux patients, à la santé et aux territires (dite «HPST»), cdifié à l article du cde de l Actin sciale et des familles, le décret d applicatin n du 3 nvembre 2010 relatif au calendrier des évaluatins et aux mdalités de restitutin des résultats des évaluatins des ESSMS Aussi, tris cas de figure se présentent aujurd hui aux ESSMS (à l exceptin des ESSMS relevant exclusivement de la PJJ) : les ESSMS autrisés et uverts avant le 3/01/2002, dispsitins dérgatires, 16

17 les ESSMS autrisés et uverts entre le 03/01/2002 et le 21/07/2009, dispsitins dérgatires, les ESSMS autrisés et uverts à cmpter du 21/07/2009, dispsitins de drit cmmun. 1) Les ESSMS autrisés et uverts avant le 3/01/2002 Les ESSMS divent réaliser et transmettre à l autrité cmpétente (u aux autrités cmpétentes) : une évaluatin interne avant 3 janvier 2014, une évaluatin externe avant le 3 janvier 2015, le renuvellement de l autrisatin dit intervenir avant le 3 janvier ) Les ESSMS autrisés et uverts entre le 03/01/2002 et le 21/07/2009 Les ESSMS divent réaliser et transmettre à l autrité cmpétente (u aux autrités cmpétentes) : une évaluatin interne avant 12 ans, une évaluatin externe avant 13 ans, le renuvellement de l autrisatin dit intervenir avant la fin de la 15eme année. 3) Les ESSMS autrisés et uverts à cmpter du 21/07/2009, drit cmmun article L et D du CAFS Les ESSMS divent réaliser et transmettre à l autrité cmpétente (u aux autrités cmpétentes) : tris évaluatins internes : une tus les 5 ans à cmpter de la date de l arrêté d autrisatin d uverture, deux évaluatins externes : la première 7 ans après la date de l arrêté d autrisatin d uverture, le renuvellement de l autrisatin dit intervenir avant la fin de la 15eme année à cmpter de la date de l arrêté d autrisatin d uverture uand un ESSMS a bénéficié d un u de plusieurs arrêtés d extensin, quelle date dit n prendre en cmpte pur définir la date de l évaluatin externe? La date à prendre en cmpte est celle l autrisatin initiale, celle qui a créé l établissement, s il y a eu des arrêtés d extensin, il ne faut pas en tenir cmpte. 17

18 uelle date d arrêté faut t-il retenir pur définir les dates d évaluatin quand la date de l arrêté de créatin et la date de l arrêté d uverture se truvent à cheval entre deux pérides dérgatires? La date à prendre en cmpte est celle de l arrêté d uverture. Deux situatins snt alrs envisageables : 1) Sit l ESSMS dispse d un arrêté de créatin antérieur au 2 janvier 2002 et d un arrêté d uverture délivré entre le 3 janvier 2002 et le 21 juillet 2009, il dit alrs réaliser : une évaluatin interne à 12 ans, une évaluatin externe à 13 ans, le renuvellement interviendra avant la fin de la 15eme année. 2) Sit l ESSMS dispse d un arrêté de créatin intervenant entre le au 3 janvier 2002 et le 21 juillet 2009 et d un arrêté d uverture pstérieur au 21 juillet 2009, il est alrs dans le drit cmmun et dit réaliser : tris évaluatins internes, deux évaluatins externes, le renuvellement interviendra avant la fin de la 15eme année. 18

19 IV IV - - Le Le dcument dcument de de mise mise en en cncurrence cncurrence La mise en cncurrence pur recurir à un rganisme habilité pur la réalisatin de l évaluatin externe est-elle bligatire? La mise en cncurrence afin de sélectinner un «Evaluateur» est une bligatin réglementaire prévue par l article 1.2, sectin 1, chapitre 3 de l annexe 3-10 du CASF. «la sélectin de l rganisme habilité est réalisée dans le cadre habituel des prcédures de mise en cncurrence et pur les établissements publics dans le respect du cde des marchés publics.» Les établissements publics réalisent la mise en cncurrence dans le respect du cde des marchés publics. (Annexe 3-10 du CAFS, chapitre III, sectin1, article 1.2). Il est recmmandé, de mettre en cncurrence aux mins 3 candidats Cmment chisir l évaluateur? L ESSMS dit sélectinner l évaluateur parmi les rganismes habilités par l Anesm. Après mise ne cncurrence, l ESSMS dit retenir le candidat qui répnd au mieux aux critères de cmpétence énncés dans le cahier des charges fixé par décret n du 15 mai La mise en cncurrence, destinée à sélectinner un «Evaluateur», est une bligatin réglementaire prévue par l Annexe 3-10 du CAFS, chapitre III, sectin1, article 1.2. Les établissements publics réalisent la mise en cncurrence dans le respect du cde des marchés publics. (Annexe 3-10 du CAFS, chapitre III, sectin1, article 1.2). 19

20 u est-ce que le dcument de mise en cncurrence? Le dcument de mise en cncurrence définit le cadre général de l évaluatin, il est le fndement de la relatin cntractuelle entre le cmmanditaire et l évaluateur (Annexe 3.10, chapitre III, sectin2, art. 2.1). Il permet de dnner aux rganismes habilités une infrmatin cmplète sur l ESSMS à évaluer, relative à : sn cntexte, aux enjeux de l'évaluatin, en précisant ntamment ce que l ESSMS : attend de l évaluatin externe, cmment il entend prcéder, en dnnant les pints d appui (prtes d entrée) à utiliser pur prter une appréciatin glbale et répndre aux bjectifs fixés par les textes, aux éléments de répnse attendus relatifs, ntamment, à la cmpétence des intervenant et à la méthdlgie dévelppée uels snt les éléments cmpsant le dcument de mise en cncurrence? Les éléments cmpsant le dcument de mise en cncurrence snt définis de façn nn exhaustive par l annexe 3-10 du CAFS et ntamment l article 2.1 de la sectin 2 du chapitre 3. «Le dcument de mise en cncurrence définit le cadre général de l évaluatin ; il est le fndement de la relatin cntractuelle entre le cmmanditaire et l évaluateur. Il cntient ntamment les éléments suivants : 1) La présentatin de l établissement u du service ; 2) L articulatin avec le prjet de l établissement u service, l évaluatin interne et les démarches frmalisées visant à amélirer le service rendu ; 3) Les premiers éléments permettant de frmuler des hypthèses et les premières questins susceptibles d être psées ; 4) Les mdalités de cncertatin à prévir lrs des phases initiales de l évaluatin ; 5) Les mdalités de suivi de l évaluatin externe ; 6) Le cntexte et les éventuelles cntraintes liées à l rganisatin u aux particularités des activités ; 20

21 7) Les cnditins d accès à l infrmatin et aux dcuments dispnibles ; 8) Les mdalités cncrètes d élabratin et de rendu du rapprt ; 9) Le temps nécessaire et le calendrier ; 10) Les mdalités de facturatin». On peut également y faire figurer, ntamment, les exigences relatives aux candidats Cmment peut-n rganiser le dcument de mise en cncurrence? A partir des éléments du cahier des charges et ntamment de la sectin 2 du chapitre 3 de l annexe 3-10 du CASF, n peut prpser la structuratin du dcument de mise en cncurrence en tris parties : 1) Présenter l établissement, afin de permettre au candidat d identifier et de psitinner l établissement dans la démarche évaluative identifier l ESSMS, Cnsulter ce pint. décrire le Cadre général de l évaluatin externe en présentant : les éléments de cntexte - Cnsulter ce pint, les hypthèses et les premières questins susceptibles d être psées - Cnsulter ce pint. 2) Expser les principes méthdlgiques et les éléments de répnse attendus cela permet au cmmanditaire d exprimer ses attentes méthdlgiques et de cmparer les différentes ffres préciser les mdalités suhaitées de piltage de l évaluatin externe et d implicatin des parties prenantes, les mdalités de cncertatin à prévir lrs des phases initiales de l évaluatin - Cnsulter ce pint, les mdalités de suivi de l évaluatin externe - Cnsulter ce pint. définir les cnditins de mise en œuvre de l évaluatin externe ntamment : le cntexte et les éventuelles cntraintes liées à l rganisatin u aux particularités des activités - Cnsulter ce pint, les cnditins d accès à l infrmatin et aux dcuments dispnibles - Cnsulter ce pint, le temps nécessaire et le calendrier - Cnsulter ce pint, 21

22 les mdalités de facturatin - Cnsulter ce pint. les mdalités de finalisatin de l évaluatin externe les mdalités cncrètes d élabratin et de rendu du rapprt - Cnsulter ce pint. 3) Préciser les qualités attendues de l évaluateur et ses bligatins afin de permettre au cmmanditaire de s assurer des cmpétences et de la déntlgie des candidats. Cnsulter la questin relative aux qualificatins de l'évaluateur Cmment présenter l ESSMS dans le dcument de mise en cncurrence? Les éléments de présentatin de l ESSMS qui vnt figurer au dcument de mise en cncurrence divent permettre au candidat : d identifier la nature de l ESSMS, de dispser d éléments de cntexte permettant de situer l ESSMS dans le «cadre général de l évaluatin externe». 1. La présentatin de l établissement est un élément du dcument de mise en cncurrence prévu par l Annexe 3-10 du CAFS, chapitre III, sectin2, article 2. Pur présenter sn établissement et permettre au candidat d en identifier la nature, le cmmanditaire purra faire figurer ntamment les infrmatins suivantes : nm de l établissement, sn adresse, ses crdnnées téléphniques et électrniques, le nm du directeur et si besin le nm de la u des persnne(s) à cntacter pur plus d infrmatin cncernant le prjet, le numér FINESS de la structure, la date de créatin et celle d uverture, le type d établissement, la capacité d accueil, les dates clés de l histire de la structure et/ u de l rganisme gestinnaire, le cadre législatif et réglementaire qui encadre les missins, Afin de ne pas alurdir la présentatin, il est pssible de jindre des dcuments dans une annexe. 22

23 2. Le cadre général de l évaluatin externe va prter sur les éléments de cntexte et sur les prtes d entrée retenues pur rganiser le questinnement évaluatif. La Cahier des charges prévit ces éléments au dcument de mise en cncurrence (Annexe 3-10 du CAFS, chapitre III, sectin 3, article 2.1, paragraphe 2 et L articulatin avec le prjet de l établissement u service, l évaluatin interne et les démarches frmalisées visant à amélirer le service rendu ; Le cmmanditaire purra y faire figurer ntamment les infrmatins suivantes : le psitinnement de l ESSMS dans le cadre des plans et des schémas les bjectifs du prjet d établissement, le descriptif des missins, le descriptif de l rganisatin fnctinnelle (fnctin, ETP, cntributin) le tableau des effectifs, les résultats de la démarche d améliratin cntinue depuis la dernière évaluatin interne, tut élément jugé utile par l ESSMS ; uant aux rapprts d inspectins, de cntrôle et d audits, ils purrnt utilement être furnis mais UNIUEMENT au candidat sélectinné Les premiers éléments permettant de frmuler des hypthèses et les premières questins susceptibles d être psées ; Le cmmanditaire, à partir d un pré diagnstic qui peut s appuyer sur un cnstat rapide des réussites, des échecs u des dysfnctinnements, définit les prtes d entrée de l évaluatin, les thématiques et/u les prcessus qui vnt être particulièrement explrés par l évaluatin externe. Ces éléments vnt permettre de guider l évaluateur dans la définitin des bjectifs de l évaluatin Peut-n faire état des cntraintes liées à l rganisatin u aux particularités de mn ESSMS dans le dcument de mise en cncurrence? Le Cahier des charges cnsidère ces éléments cmme devant faire partie du dcument de mise en cncurrence (Annexe 3-10 du CAFS, chapitre III, sectin 2, paragraphe, 2.1). 23

24 Le candidat dit en tenir cmpte dans sa démarche d évaluatin afin que cette dernière sit réalisée au plus près des spécificités et des besins de l ESSMS. Les cntraintes peuvent résulter, d une activité, d une prise en charge spécifique dévelppé au prjet d établissement du fnctinnement de l établissement : cmme la prgrammatin d un déménagement, la réalisatin de travaux, la fermeture de service pendant les vacances, le suhait de ne pas réaliser l évaluatin pendant les cngés des persnnels des spécificités des persnnes accueillies : les résidents snt muets u encre ne maîtrisent pas le français uelles snt les mdalités de suivi de l évaluatin externe Le Cahier des charges précise que le respnsable de l ESSMS veille au bn dérulement de l évaluatin et au respect des termes du cntrat (Annexe 3-10 du CAFS, chapitre II, sectin 3, article 3.3).). Aussi, préciser les mdalités de suivi suhaitées, au dcument de mise en cncurrence va permettre, au cmmanditaire, de remplir cette bligatin (Annexe 3-10 du CAFS, chapitre III, sectin 2, article 2.1, paragraphe 5): Les mdalités de retur d infrmatin à la directin, La mise en place d une instance de l évaluatin qui sera l interface entre le cmmanditaire, l évaluateur et les parties prenantes. Dans l hypthèse de la mise en place d une telle instance, le Cahier des charges prévit que le dcument de mise en cncurrence mentinne (Annexe 3-10 du CASF, chapitre II, sectin 3, article 3.3) : l existence de l instance, sa cmpsitin, le mandat cnfié, le mde d rganisatin, le psitinnement entre l évaluateur externe et la directin. Ces infrmatins sernt reprises lrs de l élabratin du cntrat. 24

25 uelles snt les mdalités de cncertatin à prévir au dcument de mise en cncurrence? Le cahier des charges dnne au cmmanditaire la pssibilité de préciser lrs des différentes étapes de l évaluatin ses attentes relatives : aux mdalités d infrmatin, à la mbilisatin et à l implicatin des persnnels, des usagers, du Cnseil à la vie sciale, du CA, des partenaires. L infrmatin dit intervenir : en amnt des travaux d évaluatin : (Annexe 3-10 du CAFS, chapitre II, sectin 3, article 2.1, paragraphe 4) «une infrmatin sur la finalité et le dérulement de l évaluatin est assurée préalablement à l engagement de celle-ci auprès des persnnels et usagers». lrs des différentes étapes de l évaluatin : la mise en rute, le recueil des infrmatins, la finalisatin «L évaluatin repse sur la mbilisatin des partenaires cncernés aux différentes étapes de la prcédure» (Annexe3-10 du CAFS, - chapitre 1, sectin 1, article 1.3, paragraphe 2). Les utils u supprts de la cmmunicatin suhaités par le cmmanditaire snt à préciser dans le dcument de mise en cncurrence. Pur chaque util, il cnviendra de préciser : les destinataires, le cntenu, le mde et le rythme de diffusin. La cmmande n a pas à être exhaustive, mais les pints clé suhaités par le cmmanditaire divent figurer. Exemple d utils de cmmunicatin : une réunin plénière en début et en fin d évaluatin, une lettre de suivi, avec précisin du supprt (lettre publipstée, messagerie infrmatique ), les mdalités de validatin, et de diffusin des cmptes rendu des grupes de travail La mbilisatin des parties Le cahier des charges dispse «L évaluatin repse sur la mbilisatin des partenaires cncernés aux différentes étapes de la prcédure» (Annexe3-10 du CAFS, chapitre1, sectin 1, article 1.3, paragraphe 2). 25

26 Aussi, le cmmanditaire a la pssibilité d exprimer ses attentes sur les mdalités d implicatin des parties au travers du dcument de mise en cncurrence. Le cmmanditaire précise s il suhaite : du recueil d infrmatin : questinnaires, entretiens, analyse dcumentaire et/u des persnnes cncernées : entretiens avec les usagers et/ u le persnnel, entretiens ciblés, cnstructin d échantillns ; et/u des indicateurs : cnstructin et/u utilisatin d utils quantitatifs uels snt les dcuments auxquels l évaluateur a accès? Ci-dessus la liste, nn limitative, des dcuments devant être bligatirement remis au candidat sélectinné ; Annexe 3-10 du CAFS, chapitre III, sectin 3, article 3.1 : «Le cmmanditaire s engage à furnir à l évaluateur au mins les dcuments généraux prévus par la réglementatin et les pièces techniques ci-après énncées : 1) Tut dcument public permettant d identifier la persnne physique u la persnne mrale de drit public u de drit privé gestinnaire de l établissement u du service scial u médic-scial ; 2) Une cpie de l autrisatin u de la déclaratin avec un descriptif des activités, des publics accueillis, un rganigramme et un dcument relatif aux persnnels : effectifs en pste, répartitin par catégrie ; 3) Le prjet d établissement et autres dcuments de référence utilisés : charte, supprts de démarche qualité ; 4) Le livret d accueil de l établissement remis à chaque persnne accueillie ; 5) Le règlement de fnctinnement ; 6) Les cmptes rendus du cnseil de la vie sciale ; 7) Les dcuments relatifs à l hygiène et à la sécurité ; 8) Les résultats de l évaluatin interne et tut dcument utile à la cmpréhensin de sa réalisatin ; 9) Une nte retraçant les chix pérés pur dnner suite aux précnisatins de l évaluatin interne.» Cette liste n est pas limitative, Cnsulter également la questin suivante sur les cnditins d accès au dcument. 26

27 uelles snt les cnditins d accès de l évaluateur aux dcuments? Le principe est le libre accès de l évaluateur à l infrmatin dispnible y cmpris les dnnées infrmatisées. C est un principe clé permettant d assurer la transparence et la fiabilité de l évaluatin. Si l annexe 3-10 du CAFS, chapitre III, sectin 3, article 3.1 précise la liste des dcuments devant être bligatirement remis à l évaluateur, elle n est en aucun cas limitative. Aussi le cmmanditaire s engage à furnir à l évaluateur tut dcument u pièce nécessaire à l accmplissement de sa missin. La liste définitive de ces pièces est arrêtée lrs de l élabratin du prjet évaluatif. En cntre partie du principe de libre accès aux dcuments, le cmmanditaire peut prévir l engagement de l évaluateur : à ne pas diffuser les dcuments à l extérieur ni à en en divulguer le cntenu (bligatin au secret prfessinnel et à l bligatin de réserve), à ne pas diffuser les dcuments institutinnels cmmuniqués pur la frmulatin de leur ffre. L engagement de l évaluateur mais aussi de chaque membre de l équipe d évaluatin sera annexé au cntrat. De plus, le cmmanditaire peut encadrer les mdalités d accès aux dcuments, par exemple : mise à dispsitin des dcuments dans une pièce déterminée, préciser la pssibilité de réaliser des cpies u nn, prévir la pssibilité d emprter u nn les dcuments Bien que le principe sit la liberté d accès aux dcuments pur l évaluateur, ATTENTION à pser le principe d accès aux dssiers qui requièrent l bligatin de secret, ntamment le secret prfessinnel pur le dssier médical et le dssier scial Dit-t-n prévir un calendrier de travail lrs de l élabratin du dcument de mise en cncurrence? Le Cahier des charges demande au cmmanditaire de prévir, au dcument de mise en cncurrence, le temps nécessaire à l évaluatin et le calendrier (Annexe 3-10 du CAFS,chapitre III, sectin2, article 2.1, paragraphe 9). Afin de décliner un calendrier réalisable, la tempralité du prjet dit être détaillée, le cmmanditaire dit appréhender le temps nécessaire à chaque étape : 27

28 le temps de mbilisatin des équipes lrs des instances de piltage, des grupes de travail, des entretiens avec les persnnes cncernées, le nmbre de jurs, la répartitin du temps, le temps des échanges et celui de leur «maturatin» car le cahier des charges insiste sur le caractère participatif du prcessus d évaluatin qui dit ntamment permettre de laisser s exprimer divers pints de vue, le temps de la diffusin de l infrmatin, le temps nécessaire à la validatin des infrmatins recueillies par l évaluateur, et à l analyse du pré rapprt. Cette analyse permettra de fixer la durée prévisinnelle glbale de l évaluatin et d avir des pints de repère lrs de l analyse des prpsitins que fernt les candidats. Le calendrier prévit a minima la date de début de l évaluatin qui cmmence après la signature du cntrat et la date de fin qui crrespnd à la date de remise du rapprt final. Entre ces 2 limites, le cmmanditaire va échelnner les étapes (tutes u certaines) qui lui apparaissent indispensables pur l évaluatin et pur sn prpre fnctinnement. Même si le dcument de mise en cncurrence n a pas à être trp détaillé afin de laisser les candidats cnstruire leurs prpres prpsitins, il apparaît, imprtant, de prendre en cmpte l rganisatin et de la charge de travail du cmmanditaire, en étant précis quant au temps à cnsacrer : à la validatin des dnnées recueillies par l évaluateur et, à l analyse, la cncertatin vire la négciatin du pré rapprt entre le cmmanditaire, les différentes parties prenantes et l évaluateur. Les étapes du dérulé de l évaluatin externe - Cnsulter également la questin négciatin signature du cntrat engagement, infrmatin aux parties prenantes, élabratin et validatin du prjet d évaluatin, analyse des dcuments, bservatins sur place, recensement d infrmatins sur place : interviews, questinnaires, grupes de travail enquête entretiens (1 à plusieurs, le nmbre de grupes, leur thématique et la durée des travaux snt à prévir et varient d un ESSMS à l autre), synthèse et validatin, analyse, rendu du pré rapprt, validatin du pré rapprt, rapprt définitif. 28

29 A quels éléments faut-il être attentif lrs de la facturatin demandée par l rganisme habilité? Afin de puvir analyser les ffres, le cmmanditaire a tut intérêt à cadrer les éléments de présentatin des cûts. Le Cahier des charges dispse que : le dcument de mise en cncurrence prévit les mdalités de facturatin (Annexe 3-10 du CAFS, chapitre III, sectin 2, paragraphe 10), la crédibilité de la prpsitin de l évaluateur s appuie ntamment sur la clarté et la précisin du devis, ntamment le nmbre de jurs pur chaque étape de la prcédure, la répartitin des jurnées entre chaque évaluateur et le prix par jurnée, le rapprt qualité/prix (Annexe 3-10 du CAFS, chapitre III, sectin 2, article 2.5,paragraphe 5). On peut en déduire que : la facturatin dit se faire à la jurnée d interventin et nn pas pur un mntant glbal, la facturatin dit se décliner en jur d interventin répartis entre chaque phase de l évaluatin. Par ailleurs, le travail de l évaluateur ne se dérulant pas que sur site, le cmmanditaire peut demander une tarificatin différenciée pur les jurnées sur site et hrs site. De même le cmmanditaire dit veiller à ce que le tarif sit un tut cmpris, c est à dire que Les frais engagés par le prestataire, cmme les frais de déplacement, d hébergement, de repas et annexes, de reprgraphie, etc. nécessaires à l exécutin de la prestatin sient cmpris dans le prix indiqué dans le devis ue prévir pur les mdalités d élabratin et de rendu du rapprt Le cahier des charges prévit que ces éléments figurent au dcument de mise en cncurrence (Annexe 3-10 du CAFS, chapitre III, sectin 2, paragraphe 8). Parmi les mdalités d élabratin et de rendu, deux aspects snt ntamment à prendre en cmpte : les mdalités de mise en débat du pré rapprt avec l ensemble des parties prenantes, les mdalités de diffusin et les mdalités de validatin, les mdalités relatives au rapprt final et à sn rendu. Le cmmanditaire purra aussi préciser la nature du supprt (papier et/u infrmatique), le nmbre d exemplaires 29

30 Les mdalités d élabratin et de rendu du rapprt se dérulent en 4 étapes : 5) L évaluateur rédige le pré rapprt, 6) Le respnsable de l établissement dit s assurer que le pré rapprt est fidèle aux prps tenus pendant l évaluatin ; il peut frmuler des bservatins, 7) Le pré rapprt est mis à la dispsitin de tus les acteurs de l évaluatin, ils peuvent frmuler des remarques, 8) Suite à ces échanges, l évaluateur rédige la versin définitive qu il remettra au cmmanditaire. Le cmmanditaire aura en charge de transmettre le rapprt définitif à u aux autrités ayant délivrées l autrisatin L évaluatin peut elle être réalisée par un seul évaluateur? Le cmpsitin de l équipe d évaluatin dépend de la taille de l ESSMS et des activités déplyées. Tutefis, mieux vaut éviter de recurir à un évaluateur «slitaire» parce que : quand l ESSMS est médicalisé, la présence d un médecin u d un persnnel médical apparaît nécessaire, Il est difficile de cnnaître l ensemble des secteurs (enfance, handicap, persnnes âgées, sins, administratif, gestin des risques, réglementatin, hôtellerie ), Un seul évaluateur présente un risque imprtant d abandn et de rupture de cntrat uelles snt les qualificatins et les cmpétences à demander aux évaluateurs? Il appartient au candidat de démntrer ses qualificatins et sa cmpétence. Il dit en apprter la démnstratin pur lui même mais également pur chaque membre de l équipe d évaluatin. Aussi, le dcument de mise en cncurrence dit être suffisamment explicite afin de dispser d éléments fiables et analysables. Même si l article 2.4 du chapitre III, sectin 2 de l annexe 3-10 du CAFS apprte quelques éléments, il cnvient de les détailler d avantage : 30

31 Article 2.4 du chapitre III, sectin 2 de l annexe 3-10 du CAFS : «S agissant des qualificatins et cmpétences des évaluateurs, au nmbre des critères demandés figurent : 1) Une expérience prfessinnelle dans le champ scial u médic-scial ; 2) Une frmatin aux méthdes évaluatives s appuyant sur celles existant en matière d évaluatin des plitiques publiques et cmprtant une méthdlgie d analyse pluridimensinnelle, glbale, utilisant différents supprts ; 3) Des cnnaissances actualisées et spécifiques dans le dmaine de l actin sciale, prtant sur les recmmandatins de bnnes pratiques prfessinnelles validées, sur les rientatins générales des plitiques de l actin sciale et sur les dispsitifs». S agissant de l expérience prfessinnelle dans le champ scial u médic-scial, au travers du dcument de mise en cncurrence, le cmmanditaire va rechercher des garanties ntamment en : Précisant la nature suhaitée de cette expérience, exigeant une durée minimale d exercice ; par exemple, la Haute autrité de santé exige 3 ans d expérience pur ces experts, demandant les références de l rganisme et les références persnnelles de chaque évaluateur membre de l équipe, demandant les CV détaillés de chaque évaluateur, demandant la liste des évaluatins externes déjà menées par le candidat et par chaque membre de l équipe d évaluatin sur les 3 derniers exercices, par exemple, S agissant de la frmatin aux méthdes évaluatives, cmme il n existe pas à ce jur de frmatin diplômante, Il apparaît imprtant que sit demandé pur chaque «évaluateur» le certificat des frmatins suivies avec le détail du prgramme de frmatin et sa durée. Les rganismes suivant snt recnnus pur les frmatins délivrées : Espace Sentein, Afnr cmpétence, Arbase Grenble S agissant des cnnaissances actualisées et spécifiques dans le dmaine de l actin sciale, elles prtent sur les recmmandatins de bnnes pratiques prfessinnelles validées, sur les rientatins générales des plitiques de l actin sciale et sur les dispsitifs. Cmme pur la frmatin aux méthdes évaluatives il est suhaitable de demander l intitulé, le cntenu, la durée et le certificat des frmatins suivies. Il cnvient également de s assurer que l évaluateur a cnnaissance des référentiels de certificatin dnt l ESSMS fait l bjet et il en va de même pur les recmmandatins de bnnes pratiques. Si l évaluatin est réalisée par une équipe d évaluateurs, chacune des 3 cnditins de qualificatin dévelppées ci-dessus snt à prendre de façn cumulative pur chacun des évaluateurs, aussi, l un ne peut détenir uniquement l expérience sur le secteur, alrs que l autre dispserait de frmatin aux méthdes évaluatives et un dernier des cnnaissances spécifiques. 31

32 Cmment apprécier la répnse des candidats au dcument de mise en cncurrence? L article 2.5 de la sectin 2 du chapitre III de l annexe 3-10 du CAFS dispse : «La crédibilité de la prpsitin de l évaluateur s apprécie ntamment sur les pints suivants : Les références individuelles ainsi que l engagement de l évaluateur à sumettre à l agrément préalable du cmmanditaire tute mdificatin ultérieure de l équipe d évaluateurs ; La cmpréhensin par l évaluateur du prjet de l établissement u service, du cntexte et sa capacité à définir des questins ; La prpsitin de plan d interventin : étapes, méthde d évaluatin envisagée, mdalités de recueil des infrmatins ; La capacité de l évaluateur à se situer dans une lgique d écute des prfessinnels et des usagers pur faire émerger des prpsitins d évlutin ; La clarté et la précisin du devis, ntamment le nmbre de jurs pur chaque étape de la prcédure et le prix par jurnée, le rapprt qualité/prix.» L étude des candidatures va permettre de chisir le candidat qui apparaît le plus crédible et le plus prche des attentes l ESSMS, attentes exprimées à l aide du dcument de mise en cncurrence. Avant tute étude de dssier de candidature vérifier : que le candidat est habilité par l Anesm et que cette habilitatin est tujurs valide, qu il n y a de cnflit d intérêt ni avec l rganisme ni avec chacun des membres de l équipe d évaluatin prpsée. Ces préalables réalisés, la sélectin peut s rganiser en deux temps : l étude sur dssier, l auditin des candidats. Avant tute analyse, il est frtement recmmandé d élabrer une grille de lecture cmplétée d éventuelles pndératins afin de dispser de critères de chix clairement établis et transparents. L étude sur dssier, va permettre une première analyse et de réaliser une présélectin de candidats en cas de répnse en nmbre imprtant. Il est généralement cnseillé de retenir de 3 à 5 candidats, mais cela n a pas de caractère impératif. L auditin des candidats, les entretiens divent être préparés : 32

33 le dcument de mise en cncurrence relu et une lecture cllective avec tuts les persnnes de l ESSMS qui assisternt aux auditins est recmmandée, les questins listées, la grille de critère validée. Les éléments à analyser Dans l analyse, tris pints apparaissent imprtants : la cmpétence de l rganisme et des membres qui cmpsernt l équipe d évaluatin ; la cmpétence est analysée ntamment au regard de: l expérience prfessinnelle dans le champ du scial et du médic-scial, la frmatin aux méthdes évaluatives, l expérience de l évaluatin dans le secteur scial et médic-scial et tut particulièrement de celui de l ESSMS ; Une prise de cntact avec les cllègues cités cmme référence apprte suvent des éléments d infrmatin nn négligeables. Veillez à ce que sit bien précisé le nmbre ttal d intervenants pur l évaluatin, que le détail de la qualificatin de chacun ainsi que leur répartitin dans les différentes étapes de l évaluatin. la qualité technique de l ffre : présence d un plan d interventin clair, précis et détaillant chaque étapes de l évaluatin jusqu à la remise du rapprt final, un plan d interventin chérent avec : le questinnement évaluatif psé dans le dcument de mise en cncurrence, la réglementatin, ntamment le décret de 2007 ; dans le cas cntraire, l autrité cmpétente pur délivrer le renuvellement purra refuser le rapprt d évaluatin externe, un prfil qui garantisse : la capacité d écute et l assciatin de chaque partie prenante (persnnel, usagers, ), l examen cntradictire des pints examinés. les mdalités financières, la présentatin d un devis détaillant : les étapes de la prcédure, le temps passé sur le terrain, 33

34 le temps d étude, un cût à la jurnée et à la demi-jurnée si nécessaire A quelle cnfidentialité est tenu l rganisme habilité? La cnfidentialité des infrmatins est rganisée par l annexe 3-10 du CAFS, chapitre 3, sectin 2, article 2.3 L rganisme et les «évaluateurs» snt tenus : au secret c est-à-dire qu ils s interdisent de divulguer, tute infrmatin, tut dcument, tute dnnée u tut renseignement, dnt ils purraient avir cnnaissance dans l exécutin de la missin. et à l bligatin de réserve c est à dire à l impssibilité d émettre publiquement n imprte quelle pinin sur la structure évaluée et/u sur les parties prenantes impliquées. Le cmmanditaire peut s assurer des cnditins dans lesquelles l rganisme habilité garantit le respect de la cnfidentialité ntamment en prévyant au dcument de mise en cncurrence la transmissin : des déclaratins de respect de la cnfidentialité de chaque évaluateur et de l rganisme, des mdalités de cntrôle mises en place par l rganisme. Ces éléments sernt annexés au cntrat. En cas de nn respect de la cnfidentialité il est impératif de saisir l Anesm. Annexe 3-10 du CAFS, chapitre III sectin 2 article 2.3 «Les intervenants rémunérés de ces rganismes, ci-après dénmmés «évaluateurs» snt tenus à une bligatin de réserve et de secret à l égard de tute infrmatin dnt ils nt cnnaissance dans le cadre de leur activité. Les mdalités de recueil des déclaratins d intérêt et les mdalités de cntrôle interne que s impse l rganisme habilité divent être accessibles au respnsable de l établissement u du service et au cmmanditaire» uand y a-t-il cnflit d intérêt pur l rganisme habilité? Il y a cnflit d intérêt quand le candidat u un des membres de l équipe d évaluateur a eu un intérêt financier direct u indirect avec le cmmanditaire au curs de l année qui précède l évaluatin. 34

35 L existence d un cnflit d intérêt avéré peut entraîner le retrait de la liste des rganismes habilités par l Anesm. Le dcument de mise en cncurrence peut prévir l bligatin pur le candidat de furnir une déclaratin d absence de cnflit d intérêt pur lui même et pur chaque membre de l équipe d évaluateurs. Ces déclaratins sernt annexées au cntrat. Afin de se prémunir en cas de survenance d un cnflit d intérêt lrs du dérulement de l évaluatin, il est utile de prévir une clause de rupture du cntrat, du fait de l rganisme, et le rembursement des frais engagés. «Art. D Ni l rganisme habilité ni l un des prfessinnels intervenant pur le cmpte d un rganisme habilité ne peut, à l exceptin des pératins de facturatin qui snt la cntrepartie de cette pératin, avir, au mment de l évaluatin, u avir eu, au curs de l année précédente, d intérêt financier direct u indirect dans l rganisme gestinnaire de l établissement u du service cncerné. L existence d un cnflit d intérêt avéré peut entraîner le retrait de la liste des rganismes habilités par l Agence natinale de l évaluatin et de la qualité des établissements et services sciaux et médic-sciaux.» Attentin, un même rganisme ne peut réaliser l évaluatin interne qui précède l évaluatin externe et cette dernière Cmment s assurer du respect des règles déntlgiques par l évaluateur? L annexe du décret du 13 mai 2012, chapitre 3 sectin 2 article 2.dispse : «L évaluateur fait une déclaratin sur l hnneur annexée au cntrat par laquelle il atteste remplir les cnditins telles qu énncées dans le présent décret (décret du 15 mai 2012) et celles figurant dans le dssier d habilitatin de l rganisme». Le cmmanditaire peut demander que chaque «évaluateur» fasse une déclaratin identique qui sera annexée au cntrat. Par ailleurs, l article D dispse que le nn respect des règles déntlgiques peut entraîner le retrait de la liste des rganismes habilités par l Anesm. Cnsulter les règles de déntlgie auxquelles s engage l rganisme lrs de sa demande d habilitatin par l Anesm. 35

36 A qui appartient la prpriété intellectuelle du rapprt d évaluatin externe? Le rapprt d évaluatin externe est la prpriété du cmmanditaire à cmpter du paiement intégral de la prestatin. Le cmmanditaire peut, seulement, y ajuter des remarques mais en aucune façn mdifier les termes du rapprt final. L rganisme ayant réalisé l évaluatin et les «évaluateurs» ne peuvent faire état des résultats du rapprt d évaluatin et ne peuvent les utiliser de quelque manière sauf à btenir préalablement l autrisatin écrite du cmmanditaire. Tutefis, l agrément délivré par l Anesm, prévit que les rganismes habilités s engagent sur demande de l agence à furnir tut rapprt d évaluatin externe qu ils nt cnduit. Dans ce cas, L Anesm s engage à maintenir les règles de cnfidentialité cncernant les études et analyses prduites. Afin d être prévenu de la transmissin de sn rapprt à l Anesm, le cmmanditaire peut prévir cet événement au dcument de mise en cncurrence et au cntrat et Un rganisme habilité et sélectinné peut-il avir recurs à la sus-traitance? Il n est pas interdit aux rganismes habilités d avir recurs à la sus-traitance. Aussi, si le cmmanditaire ne suhaite pas que le candidat puisse recurir à la sustraitance, il dit le prévir expressément au dcument de mise en cncurrence ainsi qu au cntrat. En cas de sus traitance, il faut être particulièrement attentif aux cmpétences des intervenants ; elles divent être identiques à celles demandées à l rganisme et ils divent s engager à respecter les règles de déntlgie L rganisme habilité peut-il mdifier l équipe d évaluateurs initialement prévue? L annexe du décret chapitre 3 sectin 2 article 2.5 paragraphe 1 dispse : «la crédibilité de la prpsitin de l évaluateur s apprécie ntamment sur l engagement de l évaluateur à sumettre à l agrément préalable du cmmanditaire tute mdificatin ultérieure de l équipe d évaluateurs initialement prévue» 36

37 Tutefis, le cmmanditaire peut suhaiter une garantie de cntinuité et de permanence dans l exécutin de la prestatin. II peut prévir, au dcument de mise en cncurrence et au cntrat que l équipe d évaluateurs ne sera en aucune façn mdifiée après le cmmencement de l évaluatin. Cette équipe effectuera les cnstats, les analyses et les précnisatin, s il en allait différemment, le cmmanditaire purrait alrs cnsidérer qu il y a rupture du cntrat à l initiative de l rganisme u est ce que le prjet évaluatif? Le décret prévit que la première étape de la prcédure d évaluatin externe, (dnc après le chix de l rganisme habilité), dit abutir à la frmalisatin du prjet évaluatif. (Annexe 3-10 du CAFS, chapitre IV, sectin1, article1.1). Le prjet évaluatif est cnstruit à partir ntamment des éléments cmmuniqués par le cmmanditaire dans le dcument de mise en cncurrence et des dcuments cmplémentaires remis à l rganisme retenu lrs d une première rencntre. Le prjet évaluatif est cmpsé du cadre de référence spécifique à l ESSMS et du questinnement évaluatif. Prjet évaluatif Cadre de référence uestinnement évaluatif Vlet cmmun Vlet prpre 1. Le cadre de référence spécifique de l évaluatin est cnstruit pur l établissement, par l évaluateur et cmprte les deux vlets suivants : 1.1. Un vlet cmmun cmprtant : le rappel des rientatins définies par les autrités cmpétentes sur le champ bservé c est à dire le psitinnement de l ESSMS par rapprt à la réglementatin, aux plans, aux schémas ; les références snt identiques pur les ESSMS euvrant dans le même champ, 37

38 les recmmandatins de bnnes pratiques prfessinnelles validées par l Anesm Un vlet prpre à l ESSMS, décrivant la stratégie, les bjectifs de l établissement u du service et les missins cnfiées sur un territire gégraphique dnné, dans le cadre des prcédures d autrisatin. Cette partie va décliner les missins de l ESSMS par référence au prjet d établissement. Le cadre de référence va cnstituer une synthèse des dcuments remis et l analyse furnit par l évaluateur va cnfrnter le cadre de référence spécifique à la situatin bservée (Annexe 3-10 du CAFS, chapitre IV, sectin 2, article 1.1, alinéa 1) Le cadre de référence spécifique de l évaluatin ainsi défini dit être validé par le cmmanditaire de l évaluatin. La validatin peut avir lieu ntamment après échange avec la u les instance(s) interne(s) d évaluatin mise(nt) en place par le cmmanditaire. 2. L élabratin du questinnement évaluatif. Cette phase abutit à la frmulatin de questins évaluatives hiérarchisées et adaptées à la lgique de chaque ESSMS. L évaluateur dit aider l ESSMS à la frmalisatin de chacun des pints précédemment évqués. Ce questinnement intègre les bjectifs de l évaluatin énncés au chapitre II de l annexe 10-3 du CAFS et il est validé par le cmmanditaire de l évaluatin ; Le prjet évaluatif peut se cnstruire avec les instances d évaluatin cnstituée en interne puisqu il dit s adapter à la spécificité de la structure u est ce que le cadre de référence? Le prjet évaluatif est cmpsé du cadre de référence spécifique à l ESSMS et du questinnement évaluatif. Cnsulter ce pint u est ce que le questinnement évaluatif? Le prjet évaluatif est cmpsé du cadre de référence spécifique à l ESSMS et du questinnement évaluatif. Cnsulter ce pint. 38

39 V V - - Le Le cntrat cntrat Passer un cntrat avec l évaluateur est il bligatire? Le cahier des charges ne cnsacre pas de sectin spécifique au cntrat mais le prévit sans ambiguïté en précisant : le rapprt final dit faire figurer en annexe le cntrat, la cmpsitin de l équipe des intervenants et le calendrier de réalisatin (Annexe 3-10 du CAFS, chapitre 5, sectin 3, article 3.2), l évaluateur fait une déclaratin sur l hnneur annexée au cntrat par laquelle il atteste remplir les cnditins telles qu énncées dans le présent décret et celles figurant au dssier d habilitatin (Annexe 3-10 du CAFS, chapitre 3, sectin 2, article 2.2), le respnsable de l établissement u du service veille au bn dérulement de l évaluatin et au respect des termes du cntrat (Annexe 3-10 du CAFS, chapitre 3, sectin 3, article 3.3) uelle est la nature du cntrat? C est un cntrat de prestatin qui intervient une fis le prestataire chisi et avant la mise en en œuvre du prjet évaluatif. Il finalise le cadre général de l évaluatin, marque la mise en œuvre cncrète du prcessus évaluatif. Le cntrat va s appuyer : sur le dcument de mise en cncurrence qui est le fndement de la relatin cntractuelle entre le cmmanditaire et l évaluateur (Annexe 3-10 du CAFS, chapitre 3, sectin2, article 2.1), ainsi que sur la négciatin qui sera intervenue entre le cmmanditaire et l évaluateur car le cntrat est un acte qui dit recueillir l accrd des deux parties. Aussi, le cntrat est : un dcument écrit, 39

40 un dcument négcié par le cmmanditaire et par le prestataire, un dcument signé entre le cmmanditaire et entre le prestataire, un cntrat dit bligatirement être annexé au rapprt final d évaluatin (Annexe 3-10 du CASF, chapitre 3, sectin2, article 3.3) uel est le cntenu du cntrat? Le cntrat va s appuyer sur le dcument de mise en cncurrence et sur les négciatins entre le cmmanditaire et l évaluateur. Il fixe l rganisatin du dérulement de l évaluatin et les engagements réciprques des parties pur la mener à bien. Le plan suivant peut être prpsé à titre indicatif : Préambule l bjet du cntrat identifier les parties signataires, éventuellement désigner les persnnes physiques qui vnt exercer cncrètement les prérgatives du cmmanditaire. Obligatins des ccntractants la cmpsitin de l équipe le nm de l évaluateur, la cmpsitin de l équipe dnt les CV et déclaratins figurent en annexe au cntrat (Annexe 3-10 du CASF, chapitre III, sectin 2, article 2.2) mdificatins de l équipe au curs de l évaluatin - Cnsulter ce pint. la mise en place des clauses de rembursement : en cas de refus du rapprt d évaluatin externe par l autrité cmpétente pur absence de cnfrmité au cahier des charges et qui en demande un autre, en cas de suspensin u de retrait de l habilitatin de l rganisme par l Anesm - Cnsulter ce pint. Les engagements précis pur faciliter l rganisatin du travail l accès à l infrmatin les dcuments de cadrage réglementaires - Cnsulter ce pint, 40

41 les dcuments à cnsulter sur place et leur mdalité de mise à dispsitin - Cnsulter ce pint, l engagement à laisser à l équipe d évaluateurs tute latitude pur circuler librement dans la structure. les dispsitins éthiques et déntlgiques l astreinte au secret et au devir de réserve ; tutefis l équipe d évaluatin est tenue de dénncer tut fait répréhensible à l Anesm - Cnsulter ce pint, cnfidentialité des dnnées recueillies, ntamment lrs du recueil de pint de vue de persnnes, la prpriété du rapprt final : le rapprt final est la prpriété du cmmanditaire, le prestataire ne peut le diffuser u faire état de sn cntenu sans l accrd explicite du cmmanditaire - Cnsulter ce pint. Les méthdes de travail les mdalités de piltage - Cnsulter ce pint, les mdalités d assciatin des parties prenantes, les mdalités d infrmatin et de cmmunicatin, les mdalités de finalisatin, l élabratin et la mise en débat du pré rapprt -, l élabratin et les cnditins de remise du rapprt final au cmmanditaire,. Les cnditins d exécutin du cntrat le calendrier - Cnsulter le calendrier - Cnsulter la questin relative à l'élabratin du calendrier les cnditins et les mdalités de facturatin - Cnsulter ce pint. les litiges et vies de recurs. Les annexes le dcument de mise en cncurrence, le CV de chaque membre de l équipe d évaluatin, la déclaratin d absence de cnflit d intérêt de l rganisme et de chaque membre de l équipe d évaluatin, la déclaratin sur l hnneur de l évaluateur prévue à l annexe 3-10 du CASF, chapitre III, sectin 2, article 2.2 et celle de chaque membre de l équipe d évaluatin 41

42 «L évaluateur fait une déclaratin sur l hnneur annexée au cntrat par laquelle il atteste remplir les cnditins telles qu énncées dans le présent décret et celles figurant au dssier d habilitatin» les déclaratins de respect de cnfidentialité de l rganisme et de chaque membre de l équipe d évaluatin ue faire en cas de suspensin u de retrait de l habilitatin de l rganisme au curs de l évaluatin? En cas de suspensin u de retrait de l habilitatin par l Anesm l rganisme ne peut ni entreprendre ni pursuivre une évaluatin externe. Si cet événement intervient après la sélectin de l rganisme et avant le cmmencement de l évaluatin, il faut chisir un autre intervenant. Afin de réduire les effets de la suspensin u du retrait au curs de l évaluatin externe, il est recmmandé d infrmer les candidats, dans le dcument de mise en cncurrence, que dans ce cas, les frais engagés par le cmmanditaire fernt l bjet d un rembursement. Ces éléments snt à reprendre lrs de l élabratin du cntrat. 42

43 L EVALUATEUR L EVALUATEUR Cette partie regrupe les questins relatives à l évaluateur déjà dévelppées dans les autres thématiques. Les questins nt cnservé leur numértatin d rigine Cmment chisir l évaluateur? L ESSMS dit sélectinner l évaluateur parmi les rganismes habilités par l Anesm. Après mise ne cncurrence, l ESSMS dit retenir le candidat qui répnd au mieux aux critères de cmpétence énncés dans le cahier des charges fixé par décret n du 15 mai La mise en cncurrence destinée à sélectinner un «Evaluateur» est une bligatin réglementaire prévue par l Annexe 3-10 du CAFS, chapitre III, sectin1, article 1.2. Les établissements publics réalisent la mise en cncurrence dans le respect du cde des marchés publics. (Annexe 3-10 du CAFS, chapitre III, sectin1, article 1.2) uels snt les dcuments auxquels l évaluateur a accès? Ci-dessus la Liste des dcuments devant être bligatirement remis au candidat sélectinné ; Annexe 3-10 du CAFS, chapitre 3, sectin 3, article 3.1 : «Le cmmanditaire s engage à furnir à l évaluateur au mins les dcuments généraux prévus par la réglementatin et les pièces techniques ci-après énncées : 1) Tut dcument public permettant d identifier la persnne physique u la persnne mrale de drit public u de drit privé gestinnaire de l établissement u du service scial u médic-scial ; 2) Une cpie de l autrisatin u de la déclaratin avec un descriptif des activités, des publics accueillis, un rganigramme et un dcument relatif aux persnnels : effectifs en pste, répartitin par catégrie ; 43

44 3) Le prjet d établissement et autres dcuments de référence utilisés : charte, supprts de démarche qualité ; 4) Le livret d accueil de l établissement remis à chaque persnne accueillie ; 5) Le règlement de fnctinnement ; 6) Les cmptes rendus du cnseil de la vie sciale ; 7) Les dcuments relatifs à l hygiène et à la sécurité ; 8) Les résultats de l évaluatin interne et tut dcument utile à la cmpréhensin de sa réalisatin ; 9) Une nte retraçant les chix pérés pur dnner suite aux précnisatins de l évaluatin interne.» Attentin, cette liste n est pas limitative, cnsulter également la questin suivante uelles snt les cnditins d accès de l évaluateur aux dcuments? Le principe est le libre accès de l évaluateur à l infrmatin dispnible y cmpris les dnnées infrmatisées. C est un principe clé permettant d assurer la transparence et la fiabilité de l évaluatin. Si l article 3.1 sectin 3 chapitre 3 de l Annexe 3-10 du décret précise la liste des dcuments devant être bligatirement remis à l évaluateur, elle n est en aucun cas limitative. Aussi le cmmanditaire s engage à furnir à l évaluateur tut dcument u pièce nécessaire à l accmplissement de sa missin. La liste définitive de ces pièces est arrêtée lrs de l élabratin du prjet évaluatif. En cntre partie du principe de libre accès aux dcuments, le cmmanditaire peut prévir l engagement de l évaluateur : à ne pas diffuser les dcuments à l extérieur ni à en en divulguer le cntenu (bligatin au secret prfessinnel et à l bligatin de réserve), à ne pas diffuser les dcuments institutinnels cmmuniqués pur la frmulatin de leur ffre. L engagement de l évaluateur mais aussi de chaque membre de l équipe d évaluatin sera annexé au cntrat. De plus, le cmmanditaire peut encadrer les mdalités d accès aux dcuments, par exemple : mise à dispsitin des dcuments dans une pièce déterminée, préciser la 44

45 pssibilité de réaliser des cpies u nn, prévir la pssibilité d emprter u nn les dcuments Bien que le principe sit la liberté d accès aux dcuments pur l évaluateur, ATTENTION à pser le principe d accès aux dssiers qui requièrent l bligatin de secret, ntamment le secret prfessinnel pur le dssier médical et le dssier scial L évaluatin peut elle être réalisée par un seul évaluateur? Le cmpsitin de l équipe d évaluatin dépend de la taille de l ESSMS est des activités déplyées. Tutefis, mieux vaut éviter de recurir à un évaluateur «slitaire» parce que : quand l ESSMS est médicalisé, la présence d un médecin u d un persnnel médical apparaît nécessaire, Ii est difficile de cnnaître l ensemble des secteurs (enfance, handicap, persnnes âgées, sins, administratif, gestin des risques, réglementatin, hôtellerie ), Un seul évaluateur présente un risque imprtant d abandn et de rupture de cntrat uelles snt les qualificatins et les cmpétences à demander aux évaluateurs? Il appartient au candidat de démntrer ses qualificatins et sa cmpétence. Il dit en apprter la démnstratin pur lui même mais également pur chaque membre de l équipe d évaluatin. Aussi, le dcument de mise en cncurrence dit être suffisamment explicite afin de dispser d éléments fiables et analysables dans l ffre dépsée. Même si l article 2.4 du chapitre III, sectin 2 de l annexe 3-10 du CAFS apprte quelques éléments, il cnvient de les détailler d avantage : Article 2.4 du chapitre III, sectin 2 de l annexe 3-10 du CAFS : «S agissant des qualificatins et cmpétences des évaluateurs, au nmbre des critères demandés figurent : 1) Une expérience prfessinnelle dans le champ scial u médic-scial ; 45

46 2) Une frmatin aux méthdes évaluatives s appuyant sur celles existant en matière d évaluatin des plitiques publiques et cmprtant une méthdlgie d analyse pluridimensinnelle, glbale, utilisant différents supprts ; 3) Des cnnaissances actualisées et spécifiques dans le dmaine de l actin sciale, prtant sur les recmmandatins de bnnes pratiques prfessinnelles validées, sur les rientatins générales des plitiques de l actin sciale et sur les dispsitifs». S agissant de l expérience prfessinnelle dans le champ scial u médic-scial, au travers du dcument de mise en cncurrence, le cmmanditaire va rechercher des garanties ntamment en : Précisant la nature suhaitée de cette expérience, exigeant une durée minimale d exercice ; par exemple, la Haute autrité de santé exige 3 ans d expérience pur ces experts, demandant les références de l rganisme et les références persnnelles de chaque évaluateur membre de l équipe, demandant les CV détaillés de chaque évaluateur, demandant la liste des évaluatins externes déjà menées par le candidat et par chaque membre de l équipe d évaluatin sur les 3 derniers exercices, par exemple, S agissant de la frmatin aux méthdes évaluatives, cmme il n existe pas à ce jur de frmatin diplômante, Il apparaît imprtant que sit demandé pur chaque «évaluateur» le certificat des frmatins suivies avec le détail du prgramme de frmatin et sa durée. Les rganismes suivant snt recnnus pur les frmatins délivrées : Espace Sentein, Afnr cmpétence, Arbase Grenble S agissant des cnnaissances actualisées et spécifiques dans le dmaine de l actin sciale, elles prtent sur les recmmandatins de bnnes pratiques prfessinnelles validées, sur les rientatins générales des plitiques de l actin sciale et sur les dispsitifs. Cmme pur la frmatin aux méthdes évaluatives il est suhaitable de demander l intitulé, le cntenu, la durée et le certificat des frmatins suivies. Il cnvient également de s assurer que l évaluateur a cnnaissance des référentiels de certificatin dnt l ESSMS fait l bjet et il en va de même pur les recmmandatins de bnnes pratiques. Si l évaluatin est réalisée par une équipe d évaluateurs, chacune des 3 cnditins de qualificatin dévelppées ci-dessus snt à prendre de façn cumulative pur chacun des évaluateurs, aussi, l un ne peut détenir uniquement l expérience sur le secteur, alrs que l autre dispserait de frmatin aux méthdes évaluatives et un dernier des cnnaissances spécifiques. 46

47 Cmment apprécier la répnse des candidats au dcument de mise en cncurrence? L article 2.5 de la sectin du chapitre de l annexe 3-10 du CAFS dispse : «La crédibilité de la prpsitin de l évaluateur s apprécie ntamment sur les pints suivants : Les références individuelles ainsi que l engagement de l évaluateur à sumettre à l agrément préalable du cmmanditaire tute mdificatin ultérieure de l équipe d évaluateurs ; La cmpréhensin par l évaluateur du prjet de l établissement u service, du cntexte et sa capacité à définir des questins ; La prpsitin de plan d interventin : étapes, méthde d évaluatin envisagée, mdalités de recueil des infrmatins ; La capacité de l évaluateur à se situer dans une lgique d écute des prfessinnels et des usagers pur faire émerger des prpsitins d évlutin ; La clarté et la précisin du devis, ntamment le nmbre de jurs pur chaque étape de la prcédure et le prix par jurnée, le rapprt qualité/prix.» L étude des candidatures va permettre de chisir le candidat qui apparaît le plus crédible et le plus prche des attentes l ESSMS, attentes exprimées à l aide du dcument de mise en cncurrence. Avant tute étude de dssier de candidature vérifier : que le candidat est habilité par l Anesm et que cette habilitatin est tujurs valide, qu il n y a de cnflit d intérêt ni avec l rganisme ni avec chacun des membres de l équipe d évaluatin prpsée. Ces préalables réalisés, la sélectin peut s rganiser en deux temps : l étude sur dssier, l auditin des candidats. Avant tute analyse, il est frtement recmmandé d élabrer une grille de lecture cmplétée d éventuelles pndératins afin de dispser de critères de chix clairement établis et transparents. L étude sur dssier, va permettre une première analyse et de réaliser une présélectin de candidats en cas de répnse en nmbre imprtant. Il est généralement cnseillé de retenir de 3 à 5 candidats, mais cela n a pas de caractère impératif. L auditin des candidats, les entretiens divent être préparés : 47

48 le dcument de mise en cncurrence relu ; il est recmmandé une lecture cllective avec tuts les persnnes de l ESSMS qui assisternt aux auditins, les questins listées, la grille de critère validée. Les éléments à analyser Dans l analyse, tris pints apparaissent imprtants : la cmpétence de l rganisme et des membres qui cmpsernt l équipe d évaluatin ; la cmpétence est analysée ntamment au regard : de l expérience prfessinnelle dans le champ du scial et du médic-scial, la frmatin aux méthdes évaluatives, l expérience de l évaluatin dans le secteur scial et médic-scial et de celui de l ESSMS ; une prise de cntact avec les cllègues cités cmme référence apprtent suvent des éléments d infrmatin assez imprtants. la qualité technique de l ffre présence d un plan d interventin clair, précis et détaillant chaque étapes de l évaluatin jusqu à la remise du rapprt final, un plan d actin chérent avec : le questinnement évaluatif psé dans le dcument de mise en cncurrence, la réglementatin, ntamment le décret de 2007 ; dans le cas cntraire, l autrité cmpétente pur délivrer le renuvellement purra refuser le rapprt d évaluatin externe. un prfil qui garantisse : la capacité d écute et l assciatin de chaque partie prenante (persnnel, usagers, ), l examen cntradictire des pints examinés. les mdalités financières, la présentatin d un devis détaillant : les étapes de la prcédure, le temps passé sur le terrain, le temps d étude, un cût à la jurnée et à la demi-jurnée si nécessaire. 48

49 A quelle cnfidentialité est tenu l rganisme habilité? La cnfidentialité des infrmatins est rganisée par l annexe 3-10 du CAFS, chapitre III, sectin 2, article 2.3 L rganisme et les «évaluateurs» snt tenus : au respect du secret c est-à-dire qu ils s interdisent de divulguer, tute infrmatin, tut dcument, tute dnnée u tut renseignement, dnt ils purraient avir cnnaissance dans l exécutin de leur missin. et à l bligatin de réserve c est à dire à l impssibilité d émettre publiquement n imprte quelle pinin sur la structure évaluée ù et/u sur les parties prenantes impliquées. Le cmmanditaire peut s assurer des cnditins dans lesquelles l rganisme habilité garantit le respect de la cnfidentialité ntamment en prévyant au dcument de mise en cncurrence la transmissin : des déclaratins de respect de la cnfidentialité de chaque évaluateur et de l rganisme, des mdalités de cntrôle mises en place par l rganisme. Ces éléments sernt annexés au cntrat. En cas de nn respect de la cnfidentialité il est impératif de saisir l Anesm. Annexe du decret du 15 mai 2007, chapitre III, sectin 2, article 2.3 : «Les intervenants rémunérés de ces rganismes, ci-après dénmmés «évaluateurs» snt tenus à une bligatin de réserve et de secret à l égard de tute infrmatin dnt ils nt cnnaissance dans le cadre de leur activité. Les mdalités de recueil des déclaratins d intérêt et les mdalités de cntrôle interne que s impse l rganisme habilité divent être accessibles au respnsable de l établissement u du service et au cmmanditaire» uand y a-t-il cnflit d intérêt? Il y a cnflit d intérêt quand le candidat u un des membres de l équipe d évaluateur a eu un intérêt financier direct u indirect avec le cmmanditaire au curs de l année qui précède l évaluatin. L existence d un cnflit d intérêt avéré peut entraîner le retrait de la liste des rganismes habilités par l Anesm. 49

50 Le dcument de mise en cncurrence peut prévir l bligatin pur le candidat de furnir une déclaratin d absence de cnflit d intérêt pur lui même et pur chaque membre de l équipe d évaluateurs. Ces déclaratins sernt annexées au cntrat. Afin de se prémunir en cas de survenance d un cnflit d intérêt lrs du dérulement de l évaluatin, il est utile de prévir une clause de rupture du cntrat, du fait de l rganisme, et le rembursement des frais engagés. «Art. D Ni l rganisme habilité ni l un des prfessinnels intervenant pur le cmpte d un rganisme habilité ne peut, à l exceptin des pératins de facturatin qui snt la cntrepartie de cette pératin, avir, au mment de l évaluatin, u avir eu, au curs de l année précédente, d intérêt financier direct u indirect dans l rganisme gestinnaire de l établissement u du service cncerné. L existence d un cnflit d intérêt avéré peut entraîner le retrait de la liste des rganismes habilités par l Agence natinale de l évaluatin et de la qualité des établissements et services sciaux et médic-sciaux.» Attentin, un même rganisme ne peut réaliser l évaluatin interne qui précède l évaluatin externe et cette dernière Cmment s assurer du respect des règles déntlgiques par l évaluateur? L annexe du décret du 13 mai 2012, chapitre 3 sectin 2 article 2.dispse : «L évaluateur fait une déclaratin sur l hnneur annexée au cntrat par laquelle il atteste remplir les cnditins telles qu énncées dans le présent décret (décret du 15 mai 2012) et celles figurant dans le dssier d habilitatin de l rganisme». Le cmmanditaire peut demander que chaque «évaluateur» fasse une déclaratin identique qui sera annexée au cntrat. Par ailleurs, l article D dispse que le nn respect des règles déntlgiques peut entraîner le retrait de la liste des rganismes habilités par l Anesm. Cnsulter les règles de déntlgie auxquelles s engage l rganisme lrs de sa demande d habilitatin par l Anesm. 50

51 Un rganisme habilité et sélectinné peut-il avir recurs à la sus-traitance? Il n est pas interdit aux rganismes habilités d avir recurs à la sus-traitance. Aussi, si le cmmanditaire ne suhaite pas que le candidat puisse recurir à la sustraitance, il dit le prévir au dcument de mise en cncurrence ainsi qu au cntrat. En cas de sus traitance, il faut être particulièrement attentif aux cmpétences des intervenants ; elles divent être identiques à celles demandées à l rganisme L rganisme habilité peut-il mdifier l équipe d évaluateurs initialement prévue? L annexe 3-10 du décret chapitre 3 sectin 2 article 2.5 paragraphe 1 dispse : «l a crédibilité de la prpsitin de l évaluateur s apprécie ntamment sur l engagement de l évaluateur à sumettre à l agrément préalable du cmmanditaire tute mdificatin ultérieure de l équipe d évaluateurs initialement prévue, sauf autrisatin expresse et écrite par le u les cmmanditaires»; Tutefis, le cmmanditaire peut suhaiter une garantie de cntinuité et de permanence dans l exécutin de la prestatin. II peut prévir, au dcument de mise en cncurrence et au cntrat que l équipe d évaluateurs ne sera en aucune façn mdifiée après le cmmencement de l évaluatin. Cette équipe effectuera les cnstats, les analyses et les précnisatin, s il en allait différemment, le cmmanditaire purrait alrs cnsidérer qu il y a rupture du cntrat à l initiative de l rganisme. 51

52 VII VII - - LES LES ANNEXES ANNEXES Règles de cnduite applicables aux rganismes et à leurs équipes intervenant à l ccasin de missins d évaluatin externe - Extrait du dssier d habilitatin - Pur réaliser l évaluatin externe des établissements et services sciaux et médic-sciaux visés par l article L du cde de l actin sciale et des familles (CASF), l rganisme u la persnne relevant des dispsitins du dernier alinéa de l article L du CASF s engage au respect des bligatins suivantes durant sn inscriptin : Champ d applicatin et caractère bligatire Ces bligatins ne se substituent pas aux dispsitins législatives et réglementaires applicables. Elles précisent les dispsitins du CASF et de sn annexe 3-10 qui s impsent à tut prestataire inscrit. Règles de cnduite applicables aux prestataires inscrits et à leurs équipes intervenant à l ccasin de missins d évaluatin externe 1. Intégrité 1.1. Accmplir une missin avec hnnêteté, diligence et respnsabilité Respecter la li et faire les révélatins requises par les lis et la réglementatin françaises Ne pas prendre part à des activités u prises illégales d intérêts Respecter et cntribuer aux bjectifs éthiques et légitimes de leur activité Pendant la durée de sn inscriptin, avertir, dans un délai d un mis, l Anesm et le cmmanditaire, de tut changement intervenu dans les éléments cmmuniqués et transmis à l appui de la déclaratin préalable Ne pas avir de cnflit d intérêt avec un rganisme gestinnaire, une fédératin u tut grupement d rganismes gestinnaires, en lien avec un établissement u service qu il évalue. 2. Objectivité 52

53 2.1. Ne pas prendre part à des activités u établir des relatins qui purraient cmprmettre u risquer de cmprmettre le caractère impartial d une évaluatin externe S interdire, avant l expiratin d un délai d une année après la fin de la missin, tute relatin prfessinnelle directe u indirecte avec l établissement u le service qui a été évalué en tut u partie, u avec l rganisme gestinnaire Ne rien accepter qui purrait cmprmettre u risquer de cmprmettre un jugement prfessinnel Révéler dans le rapprt d évaluatin externe tus les faits matériels dnt les prestataires inscrits aurnt cnnaissance et qui, s ils n étaient pas révélés, auraient pur cnséquence de fausser leur rapprt A cmpter du premier jur de la missin d évaluatin et pendant une année après la remise du rapprt d évaluatin externe, ne pas prendre, recevir u cnserver, directement u indirectement, un intérêt auprès de l établissement, du service u de l rganisme gestinnaire dnt il est chargé pur tut u partie de l évaluatin externe, d'une persnne qui le cntrôle, u qui est cntrôlé par lui au sens de l article L du cde de cmmerce Lrsqu'un prestataire inscrit est affilié à un réseau natinal u internatinal, Dnt les membres nt un intérêt écnmique cmmun et qui n'a pas pur activité exclusive l évaluatin externe, il ne peut pstuler auprès d un établissement, d un service u d'un rganisme gestinnaire qui, en vertu d'un cntrat cnclu avec ce réseau u avec un membre de ce réseau, bénéficie d'une prestatin de services, nn directement liée à la missin d évaluatin externe telle que prévue à l article L du cde de l actin sciale et des familles À cmpter de sn inscriptin, ne pas prendre, recevir u cnserver, directement u indirectement, un intérêt de quelque nature avec une persnne dépsitaire de l'autrité publique amenée à intervenir dans la décisin d autrisatin de l établissement u du service dnt il assure tut u partie de l évaluatin. 3. Cnfidentialité 3.1. Se tenir à une bligatin de réserve et de secret à l égard de tute infrmatin cnnue dans le cadre de l évaluatin exercée Prtéger les infrmatins recueillies dans le cadre des évaluatins pratiquées Ne pas utiliser ces infrmatins pur en retirer un bénéfice, u d une manière qui cntreviendrait aux dispsitins légales et réglementaires. 4. Cmpétence 4.1. Ne s engager que dans des travaux pur lesquels les cnnaissances, le savir faire et l expérience nécessaires snt acquis Tujurs s effrcer d amélirer la cmpétence, l efficacité et la qualité des travaux Appliquer les principes fndamentaux déterminés par l Anesm cnfrmément à ses missins fixées par l arrêté du 13 avril 2007 appruvant sa cnventin cnstitutive, garantissant ntamment la qualité des prcédures suivies en matière d évaluatin interne et externe, ainsi que leur articulatin et leur cmplémentarité. 53

54 4.4. Cntribuer à faire prgresser les principes fndamentaux visés à l alinéa précédent en transmettant à l Anesm, un détail des prcédures suivies Alimenter le système d infrmatin cnçu par l Anesm renseignant la mise en euvre et le suivi des évaluatins dans les établissements et services et la publicité des inscriptins des prestataires. Respect des dispsitins du CASF et du cahier des charges prévu à l annexe 3-10 du CASF L rganisme habilité s engage sur l hnneur à respecter et à faire respecter ces bligatins par tute persnne qu il emplierait directement u indirectement dans le cadre d une missin d évaluatin interne. Tut rganisme habilité s engage à transmettre tut dcument à première demande de l Anesm justifiant des engagements pris pur assurer le respect des présentes règles. Tut rganisme habilité s engage par ailleurs à répndre dans un délai maximum d un mis, à première demande de l Anesm frmulée en applicatin des présentes règles. Le nn-respect de l une des présentes bligatins peut être à l rigine d une suspensin u d un retrait de l inscriptin. 54