PRÉPARER L ÉVALUATION (ÉTABLIR UN RÉFÉRENTIEL D ÉVALUATION)

Transcription

1 PRÉPARER L ÉVALUATION (ÉTABLIR UN RÉFÉRENTIEL D ÉVALUATION) Objectifs Délimiter le sujet, le champ à couvrir, les objectifs de l évaluation. Formuler le questionnement évaluatif cadrant l évaluation. Définir les critères d évaluation. Structurer la méthode d évaluation. Identifier et mobiliser les ressources nécessaires pour la conduite de l évaluation. Activités repères pour l OPCA Délimiter le champ que l évaluation doit couvrir et identifier les objectifs qu elle doit permettre d atteindre : - Que veut-on savoir? que veut-on mesurer? - Sur quels points l évaluation doit-elle permettre de porter un jugement? - En quoi l évaluation sera-t-elle utile à l action? En quoi l évaluation peut-elle réorienter et/ou favoriser la poursuite du projet? - Qu est-ce qui entre dans le champ de l évaluation? ou pas? - Quels sont les acteurs qui doivent être impliqués dans l évaluation pour permettre sa conduite et assurer une appropriation des enseignements à son issue?

2 EN AUVERGNE, déclenchement d une évaluation intermédiaire pour ajuster la conduite du projet partenarial sur les saisonniers L atteinte des objectifs du projet auvergnat relatif à la sécurisation des parcours professionnels des saisonniers, mis en œuvre sur la période , supposait une dynamique partenarial efficace, dans un contexte où souvent les acteurs se connaissaient déjà mais n avaient jamais réellement développé de partenariat. C est notamment sur le constat de la difficulté à développer certaines synergies que la perspective d une évaluation du projet est apparue a fait son chemin. Celle-ci devait permettre, dans le cadre d une méthode structurée et validée par tous, de faire émerger (sereinement) les dysfonctionnements du projet et les difficultés ressenties par les différents partenaires. Dans cette optique, l évaluation à mi-parcours du projet, a été mobilisée comme une démarche au service du pilotage du projet et du renforcement de son efficacité. Dans la mesure où l évaluation n avait pas été identifiée comme un poste de dépense du projet lors de son écriture, cette nouvelle orientation a nécessité de réaliser un avenant à la convention finançant l ingénierie du projet au titre du FPSPP. Afin de préparer l évaluation, AGEFOS PME a produit un référentiel et un questionnement évaluatif permettant de préciser les attentes de ce travail et de structurer la collecte d information. Le choix s est porté sur une évaluation externe pour des raisons de moyens internes (manque de disponibilité et de compétences) mais surtout afin de garantir la neutralité du travail. Les objectifs de l évaluation intermédiaire ont été les suivants : Identifier et d analyser les réalisations produites. Disposer de recul chemin faisant sur la conduite du projet, sur ses modalités de fonctionnement. Apprécier l état d avancement de l expérimentation par rapport aux objectifs fixés. Analyser les difficultés rencontrées à tout niveau et de contribuer à leur résolution. Réinterroger les principes, objectifs et modalités d organisation du projet si besoin. Mettre en place l instance de pilotage de l évaluation qui validera les principales étapes de la préparation (élaboration du référentiel d évaluation) puis de la conduite de l évaluation. Reformuler la logique d intervention de la démarche territoriale de gestion des emplois et des compétences (on peut parler de «théorie d action») et les formaliser dans un document synthétique ou un schéma (on peut parler de «logigramme») récapitulant : - Les objectifs visés au travers de la démarche territorialede gestion de l emploi et des compétences (objectifs stratégiques). - Les objectifs visés au travers des différentes actions à laquelle donne lieu la démarche territoriale (objectifs intermédiaires). - La typologie des actions envisagées et des moyens mobilisés pour les mettre en œuvre. - Les différentes catégories de cibles des actions (les entreprises, les individus, le territoire ). Définir le questionnement évaluatif : - Formaliser, sélectionner les questions qui structureront l évaluation (on parle de «questionnement évaluatif»). - Identifier pour chaque question évaluative les critères qui permettront de fonder un jugement évaluatif, c est-à-dire une réponse claire, étayée et reconnue comme valide à la question posée. Pour chaque critère d évaluation, identifier les données susceptibles de tenir lieu d indicateur chiffré ou de descripteur qualitatif de la situation à analyser.

3 Exemple : Question évaluative : l objectif d améliorer l accès à la formation des salariés des entreprises de moins de 10 salariés du territoire a-t-il été atteint? L atteinte de cet objectif peut être appréciée en croisant deux critères de jugement qui font chacun appel à un indicateur différent. Critère 1 : l augmentation du nombre de salariés des entreprises de moins de 10 salariés ayant bénéficié d une formation. Indicateur : évolution du nombre de salariés des entreprises de moins de 10 salariés ayant bénéficié d une formation sur la période analysée. Critère 2 : l augmentation de la proportion des salariés des entreprises de moins de 10 salariés parmi la population totale des stagiaires. Indicateur : évolution de la part des salariés des entreprises de moins de 10 salariés parmi l ensemble de la population des stagiaires de formation sur la période analysée. Définir une première liste des informations qui sembleraient mobilisables pour la conduite de l évaluation : - En distinguant données quantitatives et données qualitatives. - En envisageant les différentes méthodologies et sources mobilisables : enquête par questionnaire, enquête par entretien semi-directif, réunions et focus groups, analyse documentaire, analyse statistique, analyse financière Déterminer les moyens à mobiliser pour la conduite de l évaluation, en distinguant évaluation externe (intervention d un prestataire) et autoévaluation, assurée par les acteurs parties prenantes du projet.

4 SUR LE BASSIN D ALÈS, une démarche d autoévaluation partenariale initiée par AGEFOS PME Entre 2009 et 2011, AGEFOS PME, l AREF BTP, OPCAIM, et OPCALIA sont intervenus en tant que partenaires, de la plateforme RH-GPEC du bassin d Alès, dont la CCI du bassin assurait le portage opérationnel (cette plateforme facilitait la mobilisation de consultants intervenant en appui aux entreprises sur les questions RH et de GPEC). En 2011, la mise en œuvre d un EDEC territorial a été engagée dans le prolongement de cette démarche. Désireux de poursuivre leur investissement territorial, mais aussi d adapter leurs modalités d intervention à cette nouvelle configuration, les OPCA ont souhaité : tirer les enseignements de l expérience de la plateforme RH pour en retirer toutes les leçons ; actualiser le repérage des besoins et des attentes des entreprises pour continuer à y adapter leurs interventions. Dans ce cadre, AGEFOS PME Languedoc Roussillon a proposé aux autres OPCA, dans le cadre d une démarche commune, de rechercher des éléments d évaluation complémentaires au bilan essentiellement quantitatif que la CCI avait réalisé. AGEFOS PME a animé un processus partenarial pendant une période de 5 mois) portant sur : la définition en commun d un questionnement évaluatif (portant notamment sur la satisfaction des entreprises ayant bénéficié d une intervention des OPCA dans le cadre de la PF RH, les retombées de ces interventions dans les entreprises, la plus-value de la démarche de la plateforme pour les entreprises, les OPCA ), la définition d une méthodologie d évaluation par des investigations dans un échantillon d une quinzaine d entreprises (environ 1/3 des bénéficiaires du dispositif), la conduite des investigations par chacun des OPCA, chacun assurant une partie des investigations, de consolidation et d analyse transversale des données, pour formaliser un bilan conjoint et en tirer des enseignements transférables. Les quatre OPCA ont conduit cette démarche en l absence de financement dédié. Déterminer le calendrier et les modalités de restitution des résultats de l évaluation (contenu, forme et cibles). Formaliser un cahier des charges pour la conduite de l évaluation, à partir duquel l OPCA pourra : - Soit encadrer sa propre intervention s il conduit une démarche d autoévaluation. - Soit encadrer l intervention d un prestataire externe spécifiquement missionné pour conduire l évaluation. Temporalité Dans le cadre de démarches territoriales de gestion de l emploi et des compétences, l évaluation peut être déployée à quatre moments : - L évaluation en continu conçue comme un outil de pilotage du projet. - L évaluation intermédiaire, pour procéder à un bilan d étape et une éventuelle réorientation du projet, quand il est déployé dans un cadre pluriannuel. - L évaluation finale, en général au moment où le projet se termine, pour alimenter le bilan du projet et les décisions quant aux suites susceptibles d y être données, notamment en termes de pérennisation ou de réorientation de certaines actions. - L évaluation ex post, qui intervient quelques temps après que la fin du dossier, permet de disposer de plus de recul pour mesurer les transformations imputables au projet (effets et impacts), mais elle présente l inconvénient d être décalée par rapport au temps de la décision. Construire le référentiel de l évaluation le plus en amont possible : s y atteler trop tardivement rend souvent

5 plus difficile la reconstitution des objectifs et logiques d intervention du projet, et l organisation du processus de collecte des informations nécessaires à l évaluation. Points de vigilance Ne pas confondre évaluation et bilan. La première ne porte pas simplement sur la description des réalisations et des résultats du projet, mais également sur le processus qui a permis de les produire et aux conditions dans lesquelles ils ont été produits. L évaluation vise à produire un jugement évaluatif et à retirer des enseignements de la conduite du projet et de la gestion des partenariats. Il favorise la compréhension des difficultés rencontrées mais aussi le repérage des bonnes pratiques à reproduire ou à mettre en œuvre. Ne pas confondre les différents niveaux de l évaluation : - Evaluation du projet ou de la démarche territoriale de gestion de l emploi et des compétences, intégrant ses différentes composantes opérationnelles : partenariat, démarche projet, diagnostic et étude, plan d action - Evaluation d une action ou d un dispositif spécifique mis en œuvre dans le cadre du projet. - Evaluation d une action de formation. Clarifier et le cas échéant combiner les différents registres de l évaluation - Pertinence : les actions du projet sont-elles adaptées aux objectifs visés? les moyens mobilisés sont-ils adaptés aux actions? - Cohérence interne : le lien entre les différentes actions du et orientations projet est-il satisfaisant? - Cohérence externe : le lien entre le projet et les autres cadres d intervention du territoire est-il satisfaisant? - Résultats : quels sont les effets imputables au projet (qu ils aient été recherchés ou pas)? - Impact : quel a été l impact du projet? - Efficacité : les effets et impacts visés au travers du projet ont-ils été atteints? - Efficience : le rapport entre les résultats atteints et les coûts est-il satisfaisant? Réduire au maximum le nombre de questions évaluatives, et définir des priorités dans l évaluation (le foisonnement de questions évaluatives. constitue un écueil souvent rencontré). Délimiter le champ de l évaluation, dans le temps (période couverte) dans le programme considéré (en laissant de côté certaines actions par exemple). Etre raisonnable en adaptant les ambitions et la méthodologie de l évaluation aux moyens mobilisables. L autoévaluation peut être une formule utile dans une configuration où l évaluation vise des objectifs de sensibilisation et d apprentissage du système d acteurs sur une série bien circonscrite de questions. Bien mesurer les enjeux d une démarche d autoévaluation (par opposition à une évaluation externalisée) : - le jugement évaluatif n est pas construit avec l intervention d un tiers, ce qui peut en atténuer l objectivité et la légitimité vis-à-vis des différents acteurs. - l autoévaluation nécessite une approche méthodologique aussi rigoureuse que l évaluation externe. - l autoévaluation nécessite une importante disponibilité pour conduire les travaux de recueil d information, d analyse et d animation des travaux dans un cadre collectif. - Elle nécessite enfin, et avant tout, une appropriation de la démarche par les instances décisionnaires de l OPCA et de ses partenaires.