Comment progresser dans la mise en œuvre de l évaluation des actions en PPS : L approche de l ARS Ile-de-France

Transcription

1 Session Agence Régionale de Santé Comment progresser dans la mise en œuvre de l évaluation des actions en PPS : L approche de l ARS Ile-de-France Maxime POUVELLE Responsable du département suivi et évaluation Pôle de prévention et promotion de la santé Direction de la santé publique ARS IdF

2 Le contexte en début d ARS Un nombre important d acteurs et d actions (650 opérateurs et 1200 actions en 2009) Des modalités différentes de cadre des demandes et des financements : Reconduction d actions avec financement «pérenne» annuel Appel à projet annuel Des calendriers complexes à gérer : Bilan d activité (établis pour la fin d année n+ 1) et évaluation en fin d action (à partir de la mise à disposition du financement soit le 4 e trim. de l'année n+ 1 ) Des territoires, des populations, des thématiques et des types d actions très variés (nomenclature DGS)

3 Les constats sur les déficits de l évaluation Une autoévaluation se limitant souvent (au moins dans celle transmise) à un simple bilan d activité (sans méthode décrite ni visibilité sur les outils) Peu de cadre d actions validées (Recherche évaluative) : malgré l appui INPES/Données probantes), peu de méthodes et d outils disponibles Nécessité d un échange structuré entre l évaluateur et l évalué avec un vrai retour vers l opérateur (qualité, efficacité, ) Intérêt d un SI d appui à la gestion des évaluations pour améliorer la programmation

4 Définition de l évaluation CONTANDRIOPOULOS, A-P, F; CHAMPAGNE et al (1993), (L évaluation dans le domaine de la santé : concepts et méthodes, Bulletin 33 (1) 12-17) «Evaluer consiste fondamentalement à porter un jugement de valeur sur une intervention en mettant en œuvre un dispositif permettant de fournir des informations scientifiquement validées (si possible ou au moins rationnelles) et socialement légitimes sur une intervention ou sur n importe laquelle de ses composantes de façon à ce que les différents acteurs concernés qui peuvent avoir des champs de jugement différents, soient en mesure de prendre position sur l intervention et de construire un jugement qui puisse se traduire en actions. Les informations produites par une évaluation peuvent résulter de la comparaison entre des observations et des normes (évaluation normative) ou s élaborer à partir d une démarche scientifique (recherche évaluative)».

5 Stratégie de mise en œuvre de l évaluation (1) Définition de la Stratégie : art de cordonner les forces d une institution pour conduire une démarche dans un objectif donné (il ne s agit pas d une méthode ou d un protocole) Champ développé dans cette présentation : uniquement celui des actions (ni les schémas, ni les programmes, ) Des actions de mise en œuvre de cette stratégie engagées rapidement et d autres programmées dans le temps :

6 Stratégie de mise en œuvre de l évaluation (2) 1) Proposer dès 2011 un cadre plus précis à l évaluation des actions de PPS financées par l ARS : une demande d évaluation «a minima» dans le guide promoteur 2011 ( Entre une simple mesure de l activité et une évaluation scientifique : Un espace pour progresser +++

7 Stratégie de mise en œuvre de l évaluation (2) Pour juger des résultats : La notion de résultats et d indicateurs de résultats : Définition précise des objectifs +++ des actions PPS (SMART) Proposition d indicateurs de résultats, i.e. données mesurables permettant de juger : de l atteinte des objectifs De l impact de l action sur la santé (plutôt sur un territoire et sur plusieurs années)

8 Stratégie de mise en œuvre de l évaluation (3) Des indicateurs par type d action Type d action Indicateur d Activité Indicateur de Résultats Formation Nombre de personnes formées X % des bénéficiaires qui ont mis en œuvre les compétences acquises à l issue de la formation (mesurée 3 à 6 mois après) Prise en charge individuelle File active Taux : le nombre de personnes orientées vers un professionnel sur le nombre de personnes prises en charge Accueil, orientation, Ecoute Nombre de dossiers ouverts Taux de personnes prises en charge par un autre professionnel

9 Stratégie de mise en œuvre de l évaluation (4) 2) A partir de 2012 : mise en œuvre progressive de cadres pour les actions et les évaluations : un label de qualité, fondé sur 2 groupes de critères : la qualité de construction du projet, le choix des méthodes d intervention Un label «innovation» : «expérimentation avec des équipes de recherche, résultats documentés permettant d évaluer la pertinence, l efficacité, si possible l efficience, et la reproductibilité du projet Les évaluations en PPS : construites avec un opérateur donné une évaluation spécifique des actions qu il mène à partir de repères méthodologiques.

10 Stratégie de mise en œuvre de l évaluation (5) Des moyens pour évaluer : Création d un département suivi, évaluation et audit En développant des retours d évaluation vers les opérateurs (rencontres des Dialogues de Gestion en région et en territoire) pour améliorer la qualité des actions Développement d un SI pour améliorer la programmation des actions en PPS Dont un questionnaire annuel de collecte des résultats des évaluations : obligatoire, qui reprend l évaluation définie au préalable

11 Stratégie de mise en œuvre de l évaluation (6) Des moyens pour appuyer la conception d action et d évaluation : Les pilotes qui suivent les opérateurs en délégation territoriale sont associés à cette démarche et permettent de démultiplier les moyens de l évaluation Renforcer le Pôle Régional de Compétence (PRC) (L'ARS assure pour 2011 le pilotage avec l INPES) : Accompagnement des projets des opérateurs par les acteurs du PRC Une cellule d appui aux opérateurs par des conseillers internes à l ARS

12 Conclusion La volonté de l ARS de progresser sur le champ de l évaluation est forte Les positions de l évaluateur (trice) et de l évalué(e) nécessiteront toujours une «négociation» Il nous paraît impératif pour progresser : D expliquer pour partager l approche de l évaluation Le niveau d évaluation nécessaire en fonction de l action De clarifier la demande d action et d évaluation (isolée ou dans le cadre d une stratégie portée par la structure, niveau de financement, compétences pour effectuer l évaluation, existence ou non d un référentiel d actions) De mettre à disposition des méthodes et des outils