DDICS/CAF des Yvelines Guide méthodologique pour l évaluation du REAAP des Yvelines Le REAAP des Yvelines a souhaité être accompagné dans l élaboration d une démarche d évaluation. Un groupe de travail, composé d acteurs du REAAPY et des deux chargées de mission (Fédération des Centres sociaux et UDAF) a contribué à l élaboration d un guide méthodologique de l évaluation des actions du REAAP. Les fiches qui composent ce guide sont réparties de la façon suivante : I Quelques rappels à propos de l évaluation Fiche n 1 : Définition de l évaluation Fiche n 2 : Différents types d évaluation Fiche n 3 : Contexte institutionnel et social de l évaluation II Les étapes de l évaluation Fiche n 4 : Evaluation (phase 1) : le cadrage Fiche n 5 : Référents d évaluation Fiche n 6 : Evaluation (phase 2) : le recueil des données III L évaluation du REAAPY Fiche n 7 : Fonctions du REAAPY et notion de «pratiques souhaitables» Fiche n 8 : Evaluation des «groupes de paroles des parents» (exemple 1) Fiche n 9 : Evaluation des «réunions de secteurs» (exemple 2) Fiche n 10 : Récapitulatif de la démarche d évaluation
Fiche n 1 : Définition de l évaluation Ce qu elle est / Ce qu elle n est pas Ce qu est l évaluation - L évaluation est la formulation d un jugement de valeur - qui vise à améliorer une action, passée ou en cours. Autrement dit, il s agit d une démarche cognitive, subjective, dont on cherche à objectiver les productions via un appareillage méthodologique (référents ; indicateurs ; critères). Ce que n est pas l évaluation L évaluation doit être distinguée d autres supports contribuant à la conduite de l action qui ne remplissent pas la même fonction. Un bilan Il s agit d un état des lieux exhaustif, factuel et souvent principalement quantitatif (mais qui peut comporter également des éléments qualitatifs) réalisé en général annuellement. Le bilan est encore fréquemment présenté comme une forme d évaluation interne. Or, si le bilan peut fournir des éléments alimentant l évaluation, il ne peut être confondu avec cette dernière. Un audit Lors de l intervention d un tiers extérieur dans une structure, que ce soit pour réaliser une évaluation externe ou accompagner une évaluation interne, la démarche d évaluation est fréquemment confondue avec celle de l audit. Or l audit est une technique normative on vérifier qu une structure respecte des normes pré établies tandis que l évaluation est une démarche compréhensive on s appuie sur l analyse du sens donné à l action par les acteurs. Une démarche qualité Menée par un «expert» externe, la démarche de certification vise l obtention d un «label» certifiant la conformité des procédures au regard d un cahier des charges préalablement établi, dont est garant l organisme certificateur. Comme pour l audit, il s agit d une démarche normative, puisqu il s agit d une vérification de la conformité de procédures. Un contrôle qualité Le contrôle qualité consiste à vérifier le «bon» fonctionnement au regard des normes édictées par la puissance publique. Il est réalisé par les autorités institutionnelles compétentes et son non respect conduit à des sanctions (sous la forme notamment de refus ou de non renouvellement d autorisation, d agrément, de financement). 2
Fiche n 2 : Différents types d évaluation Les différents usages du terme évaluation Dans le champ de l ingénierie de l intervention sociale L évaluation des actions, celle dont il est question dans le présent guide méthodologique. Dans le champ de l action sociale L évaluation des situations (ou synthèse) des bénéficiaires de l intervention sociale. Dans le champ de la gestion des ressources humaines L entretien annuel d évaluation (le point sur le parcours d un salarié dans l entreprise). Les différents types d évaluation Evaluation externe / interne L évaluation interne (également appelée «auto évaluation») est parfois considérée comme une sous évaluation. Pourtant : - une évaluation interne appuyée sur un cadre référentiel rigoureux peut se révéler tout aussi, voire plus productive qu une évaluation externe en termes «d amélioration de l action», par le degré élevé d implication des acteurs qu elle suppose - une évaluation interne accompagnée par un tiers permet une «prise de distance» et un supplément d objectivation. Evaluation finale / continue - L évaluation continue, endo formative, «en marchant», doit être distinguée de l évaluation finale, sommative. - L évaluation continue n est valable que si le projet dure sur plusieurs années. Si le projet est court, les évaluations continue et finale peuvent se confondre. 3
Fiche n 3 : Contexte institutionnel et social de l évaluation La Loi organique sur les lois de finances (LOLF) 1er août 2001 - Elle découpe le budget de l État en 34 «Missions», 133 «Programmes», près de 600 «Actions» dotés d indicateurs, essentiellement quantitatifs - Elle introduit et diffuse, depuis 2006 (premier budget voté selon la procédure LOLF), une culture d évaluation des politiques publiques. La loi du 2 janvier 2002, rénovant l action sociale et médico-sociale - Elle accorde une place centrale au «droit des usagers» - Elle rend obligatoire l évaluation - Elle introduit la notion de «bonnes pratiques» - Elle crée le Conseil national de l évaluation auquel succède, en 2007, l Agence nationale de l évaluation et de la qualité des établissements et services sociaux et médico sociaux (ANESM). La loi Hôpital, patient, santé, territoire (HPST) 21 juillet 2009 - Elle formalise le rapprochement du sanitaire et du médico social - Elle crée les Agences régionales de santé (ARS) - Elle crée l Agence nationale d appui à la performance des établissements de santé et médicosociaux (ANAP). Une tension entre plusieurs approches de l évaluation L instauration d une culture de l évaluation des politiques publiques doit être considérée comme un fait positif, globalement favorable à : - une amélioration de la qualité du service rendu - une implication accrue des acteurs des politiques sociales dans la compréhension des enjeux et du sens de leur intervention. Les dernières étapes de la mise en œuvre des pratiques évaluatives introduisent cependant une tension entre plusieurs approches de l évaluation, entre : - démarches compréhensive et normative - évaluation et démarche qualité. 4
Fiche n 4 : Evaluation (phase 1) : le cadrage Pour atteindre pleinement ses objectifs, l évaluation doit être conduite de manière rigoureuse, passer par un certain nombre d étapes décrites ci après. L introduction de «bonnes pratiques» dans la démarche d évaluation est une option, que nous présentons comme telle ci dessous. Tenir compte des évaluations informelles Toute personne engagée dans une action réalise régulièrement une évaluation informelle de cette dernière, en portant un jugement de valeur sur ses modalités de réalisation ou ses résultats. Qu elle la garde pour lui, ou qu elle la partage avec d autres personnes engagées avec elle dans l action, cette appréciation constituera un socle de compréhension, d analyse, qui servira de matériau de base à l évaluation formelle. Définir les objets Contrairement au bilan, l évaluation ne peut porter que sur des objets circonscrits et précisément définis. Les critères en fonction desquels les objets sont choisis sont les suivants : - on peut considérer que les priorités définies par le projet (associatif, social, d établissement, de service ) doivent être l objet d une attention particulière - les savoirs empiriques issus de l action, nourris notamment des évaluations informelles, fournissent également des pistes pour choisir les objets les plus pertinents - la faisabilité présumée de la démarche d évaluation doit également être estimée ; quel que soit l intérêt d un objet, il est inutile de se lancer dans l exercice si l on sait pertinemment que le temps manquera ou bien que les matériaux nécessaires ne seront pas accessibles. Une évaluation peut s attacher à évaluer un ou plusieurs objets au cours d une même démarche. Définir des bonnes pratiques Les auteurs de l action peuvent définir préalablement de bonnes pratiques à propos des objets choisis, dont la fonction est de : - constituer un objectif qualitatif à atteindre par l action - constituer un repère qualitatif contribuant à la réalisation de l évaluation. Si cette option est choisie, on devra veiller à articuler convenablement ces bonnes pratiques aux référents de l évaluation (voir ci après), de manière à éviter de transformer la démarche d évaluation en une démarche qualité. 5
Choisir les référents Fiche n 5 : Référents d évaluation On porte un jugement de valeur (exercice subjectif) en référence à un critère de valeur (support objectif). C est ce qui permet à l évaluation formelle, tout en conservant toute sa richesse cognitive, de devenir un exercice suffisamment objectivé pour être partagé entre plusieurs acteurs et de déboucher sur d éventuelles décisions de changement. Le choix des référents est donc une étape décisive de l évaluation. On présente ci après un exemple de référents couramment utilisés : - cette liste n est pas exhaustive, les auteurs d une évaluation restant libre de créer au préalable d autres référents - l évaluation permettra de croiser plusieurs référents, dans la limite de la faisabilité de l exercice. Opinion Conformité Impact Ajustement Cohérence Efficience Efficacité - Effets Effets induits Pertinence Référents Le jugement est positif si des acteurs impliqués directement ou indirectement dans le dispositif portent eux-mêmes un jugement positif. Le jugement est positif si le déroulement de l action respecte un certain nombre de prescriptions (une norme) qui ont été formulées indépendamment de l évaluation. Le jugement est positif si l action a effectivement touché la population visée, conformément au projet ou à ce qui est jugé souhaitable. Le jugement est positif si les moyens et outils proposés sont adaptés aux acteurs en présence Le jugement est positif si les différentes actions ou composantes d actions intervenant sur le même terrain ne sont pas contradictoires, ou mieux sont synergiques. Le jugement est positif si l'action utilise de manière optimum les ressources dont elle dispose. Le jugement est positif si l action a atteint les objectifs qu elle s était fixé Le jugement est positif si l action a entraîné des effets inattendus positifs sur le public et dans son environnement, ou au moins, si elle n a pas entraîné d effets négatifs. Le jugement est positif si l action répond aux besoins du public Exemples de questions Les usagers sont-ils satisfaits du dispositif ou de l'action? sur quels aspects? L'action est-elle jugée positivement ou non par les autres acteurs du territoire concerné? Le déroulement de l action est-il conforme à la commande/au projet /à la pratique affichée? Les personnes touchées par l'action font-elles partie des destinataires prioritaires de l'action? Le nombre de personnes ayant participé à l'activité correspond-il à ce qui était prévu? La formation du professionnel concerné est-elle adaptée? Quelle compréhension de la pratique visée par les membres de l équipe? Les différents intervenants tiennent-ils un discours cohérent entre eux? L action est-elle bien articulée avec les autres formes d intervention sur les secteurs? Toutes les personnes impliquées dans l'action ont-elles été utilisées au maximum de leur disponibilité et de leurs compétences? Y a-t-il eu des coûts inutiles qui auraient pu être évités? Les objectifs fixés pour chaque type d acteur en début d action sont-ils atteints? Quels ont été les effets de l'action sur les publics ou les partenaires? Quid de l aspect «participation/implication des usagers»? Quels effets non prévus l action a-t-elle eu sur les publics visés? L action a-t-elle eu un effet non prévu sur la structure portant l action ou sur son environnement? L action a-t-elle permis de répondre aux besoins des publics? 6
Fiche n 6 : Evaluation (phase 2) : le recueil des données Réaliser des investigations Des investigations sont nécessaires pour répondre aux questions évaluatives formulées. Le choix des investigations doit être fait en fonction des critères suivants : - pertinence selon les questions évaluatives - faisabilité matérielle en fonction des moyens investis dans l évaluation. Les investigations sont réalisées selon les techniques classiques de la recherche en sciences humaines : - les études documentaires - les entretiens - les questionnaires - les observations Analyser le matériau recueilli L analyse se déroule en deux temps : - Analyse de contenu du matériau produit à la suite des investigations réalisées - Réponse aux questions évaluatives pour produire une appréciation qualitative sur les actions Formuler des préconisations Une fois formulée, l évaluation doit déboucher sur des préconisations contribuant à l amélioration des actions, puisque telle est la fonction finale de la démarche. 7
Fiche n 7 : Fonctions du REAAPY et notion de «pratiques souhaitables» Les fonctions du REAAPY Quelles que soient les actions que le réseau choisira d évaluer, il est utile de rappeler les grandes fonctions du REAAP. Toutes les actions soutenues par le réseau, et chacune de ses modalités d intervention doivent pouvoir être rapportées à au moins une de ces fonctions. Les fonctions ci dessous énoncées ont été précisées avec les acteurs du réseau, à la suite de la réalisation du diagnostic. Animer le réseau (les relations entre les porteurs de projet) - Encourager les échanges entre les porteurs de projet - Encourager les postures «déculpabilisantes» auprès des parents - Encourager des modalités d intervention adaptées à la participation des parents Soutenir des actions en matière de parentalité (les relations REAPPY / porteurs de projet) - Repérer les besoins - Valoriser les compétences parentales - Garantir la diversité des modes d actions Être un lieu ressource (pour les porteurs de projet) - Informer sur l évolution des politiques publiques - Encourager la mutualisation des outils Communiquer, sensibiliser sur le thème de la parentalité (vers l extérieur du réseau) - Faire discuter les différentes modalités de parentalité Les pratiques souhaitables Le REAAPY a choisi d appuyer les futures évaluations de ses actions sur l énonciation de «pratiques souhaitables», terme préféré à celui de «bonnes pratiques», jugé trop moralisant. Les «pratiques souhaitables», sont des manières de faire qui doivent pouvoir être collectivement validées comme étant ce qui vaut, ce qui est souhaitable dans des conditions normales d exercice. On évitera ainsi de prendre en compte des pratiques «extraordinaires», au sens où elles seraient remarquables, tant par leurs résultats que par les moyens qu elles mobilisent. L élaboration des pratiques souhaitables : - doit s appliquer à la totalité des actions du réseau - appartient plutôt à la démarche qualité qu à la démarche d évaluation - peut néanmoins être utilisé comme repère secondaire dans le cours du déroulement d une évaluation. 8
Fiche n 8 : Evaluation des «groupes de paroles des parents (exemple 1) L objet d évaluation : les groupes de parole des parents Soit sur un territoire en particulier Soit de manière transversale à plusieurs territoires Identification de pratiques souhaitables On veille à mettre en place un cadre favorable (degré de formalisation/dimension conviviale ) On rappelle, en début de séance, les principes de l échange (bienveillance, ponctualité, écoute, confidentialité ) Par un tour de table initial, on favorise des prises de parole qui laissent du temps à l expression et qui donnent des informations, notamment sur les raisons de la venue des personnes La question évaluative Les modalités d organisation et de déroulement des groupes de parole (degré de formalisation et techniques d animation) sont elles favorables à l expression des parents (référent Ajustement)? Les indicateurs La description du cadre - Le choix du lieu - L organisation de formes de convivialité (repas ) La description du degré de formalisation - Les formes de communication ; l existence d une inscription préalable - Le choix de la période dans la journée Les investigations à réaliser Observations de réunions à partir d une grille d observation commune - Choix de groupes de paroles animés selon différentes techniques (dans un même territoire ou dans des territoires différents) Entretien collectif après une séance Questionnaires diffusés après les séances 9
Fiche n 9 : Evaluation des «réunions de secteurs» (exemple 2) Le choix de l objet d évaluation Évaluation d une réunion de secteur ordinaire, quel que soit le territoire dans lequel elle se déroule Rappel de la finalité des réunions de secteur Mise en lien des acteurs Recherche d autonomie des porteurs de projet dans le fonctionnement Identifications de pratiques souhaitables Le réseau systématise les supports de mise en lien (compte rendu, lettre électronique ) afin de rendre visible ce qui se fait dans les réunions de secteur Les réunions permettent de valoriser les compétences des parents en évoquant systématiquement leurs capacités Les réunions sont une occasion de diffusion des expériences Les questions évaluatives Constate t on une place croissante des parents dans l animation des réunions de secteur (référent Efficacité)? Les modalités de déroulement de la réunion de secteur favorisent elles l implication accrue des parents (référent Ajustement)? Les indicateurs La répartition de la prise de paroles, entre parents et professionnels La répartition des rôles dans l animation de la réunion L implication des parents dans la préparation de la réunion La mise en place de formation à l animation de groupes Les investigations Observation de réunions de secteur Entretiens avec les parents et les professionnels 10
Fiche n 10 : Récapitulatif de la démarche d évaluation Les étapes de l évaluation Mobilisation du réseau Je choisis un nombre limité d actions à évaluer Le réseau peut être largement impliqué. C est à la suite de cette première étape que peut être constitué un groupe évaluation ➋ Lorsqu il existe, je consulte le référentiel des pratiques souhaitables pour contribuer au choix des questions évaluatives Le groupe évaluation est libre de s inspirer ou pas du référentiel pour choisir la ou les questions évaluatives ➌ En fonction de ce que je veux comprendre de cette action, je décide en référence à quoi je veux juger de sa valeur - formulation de la question évaluative - choix des référents Le groupe évaluation choisit la ou les questions évaluatives en fonction de questions de fond (priorités du réseau ; enjeux du moment ) et de faisabilité (temps à consacrer, disponibilité des données.) ➍ Je recueille les informations me permettant de répondre à la question évaluative Les investigations sont réalisées par le groupe évaluation. Elles permettent cependant d impliquer d autres acteurs (réponse à des questionnaires, à des entretiens ) ➎ J analyse les informations recueillies et je formule un jugement de valeur argumenté sur l action Le groupe évaluation peut, pour une première expérience, se faire aider d un apport extérieur pour traiter le matériau recueilli Je formule des préconisations pour améliorer l action Le groupe évaluation se dissout en transmettant au réseau ses analyses évaluatives, à partir desquelles ce dernier doit décider d éventuelles modifications 11