Ateliers de l évaluation des CPRDFP Atelier D «Processus et méthodes du montage d un projet d évaluation» Midi-Pyrénées Direction de la Formation Professionnelle et de l Apprentissage Service Etudes Evaluation Fanny MANGIN Marseille - 25 novembre 2013
Le dispositif de suivi-évaluation du CPRDF 2011-2015 mis en œuvre en Midi-Pyrénées
La mise en œuvre du CPRDF L accompagnement par un cabinet extérieur Le dispositif de suivi Le dispositif d évaluation
Les conventions d application > Déclinaison très opérationnelle de la stratégie > Formalisation des engagements des signataires en termes d objectifs poursuivis, d actions à engager et de calendrier > Des référents : > Un pilote par convention > Des correspondants pour chaque convention > Direccte > Pôle Emploi > Rectorat > Carif Oref > Draaf > ER2C
Les conventions d application 8 conventions d application : >Convention d application relative au diagnostic >Convention d application relative à la formation professionnelle des actifs occupés et à la sécurisation des parcours >Convention d application relative à la formation professionnelle des demandeurs d emploi >Convention d application relative l Ecole ale de la 2 ème Chance de Toulouse >Convention d application relative au Schéma prévisionnel des formations professionnelles initiales et aux modalités de travail partenarial >Convention d application relative au Service Public al de Formation >Contrat d Objectifs et de Moyens relatif à l Apprentissage
Convention Signataires effectifs Comité technique Pilotes Diagnostic ER2C Demandeurs d emploi Etat Rectorat Pôle emploi Etat ER2C Etat Pôle emploi Agefiph Etat Pôle emploi Formation pro. des actifs et SPP Agefiph Service public régional de formation Etat Pôle emploi Agefiph Formations Etat professionnelles Rectorat initiales DRJSC Agefiph Organisations syndicales : UPA - CFTC Autres organismes : CCIR - CRA - CRMA - UNAPL - FCPE - ARML Organisations syndicales : UPA - CFTC Autres organismes : UNAPL - CCIR Organisations syndicales : UPA - CFTC Autres organismes : CCIR - ARML - FFP - UNAPL Organisations syndicales : UPA - CFTC Autres organismes : CRMA - CCIR - FFP - UNAPL ARML Organisations syndicales : UPA - CFTC Autres organismes : CRMA - CCIR - FFP - UNAPL DRAAF Organisations syndicales : UPA - CFTC Autres organismes : CCIR - CRA - CRMA - FCPE - UNAPL Etat Pôle Emploi Partenaire sociaux ER2C Etat Etat Pôle Emploi Agefiph Etat Pôle Emploi OPCA Etat Pôle Emploi ARML Etat Rectorat DRAAF CarifOref Pôle emploi Direccte ER2C Direccte Pôle emploi Direccte Direccte Direccte DRAAF Rectorat Direccte
La mise en œuvre du CPRDF L accompagnement par un cabinet extérieur Le dispositif de suivi Le dispositif d évaluation
Les enjeux de la commande > Respecter les obligations d évaluation qui figurent dans la loi de 2009, > Renforcer l exigence d évaluation et de transparence par l identification d indicateurs pertinents, et renseignés régulièrement, > Préparer l élaboration du bilan à mi-parcours et du bilan final de la mise en œuvre du CPRDF.
Le contenu Construction du système de suivi et d évaluation de la mise en œuvre des conventions > Mise en place et animation du système de suivi (évaluation in itinere) > Définition d un référentiel d évaluation en vue de l évaluation à mi-parcours et de l évaluation ex-post > Elaboration du bilan à mi parcours (2013) et du bilan final de la mise en œuvre du CPRDF
Le rôle du prestataire En étroite collaboration avec la : >Construire les outils de référence et assurer le suivi de la mise en œuvre du CPRDF >Accompagner les comités techniques de chaque convention dans leurs fonctions de suivi et d animation >Animer les réunions annuelles de l ensemble des signataires du CPRDF et du CCREFP >Tenir compte des observations et travaux conduits par le CNFPTLV
Les livrables > Première année : > Note méthodologique (cadrage de la mission) > Référentiel de pilotage et de suivi accompagné des indicateurs regroupés dans un tableau de bord > Référentiel d évaluation d impact > Annuellement : > les tableaux d indicateurs renseignés > Un document rédigé d une 10 aine de pages sur les conditions et l état d avancement du CPRDF > Tous les compte-rendu des réunions > Mi-parcours et dernière année : > Bilans détaillés de la mise en œuvre du CPRDF
L appel d offres Publication de l offre : > 18 juillet 4 sept. 2012 Analyse des offres, négociation : > sept. 2012 Notification du marché : > octobre 2012 Durée du marché : > 5 ans Prestataire : > MC2 Consultant
La mise en œuvre du CPRDF L accompagnement par un cabinet extérieur Le dispositif de suivi Le dispositif d évaluation
L objectif du suivi Une visée opérationnelle : > Examiner l avancement des actions et le calendrier prévu dans les conventions Les étapes du suivi : > de chaque convention examen de l avancement : > 3 fois par an par le comité de suivi (global) > 1 à 2 fois par an par le comité technique de chaque convention > de l ensemble des conventions : > au minimum 1 fois par an en CCREFP
Le CCREFP Rôle du CCREFP en terme de suivi-évaluation : >Valider le bilan de la mise en œuvre du CPRDF, établi sur la base du tableau de bord de suivi-évaluation ; >Repérer des thématiques d évaluation pertinentes (susceptibles de produire des résultats utiles et d avoir des retombées pratiques pour renforcer la performance du CPRDF) ; >Partager les résultats des évaluations commanditées
Le tableau de bord de suivi > Une représentation de l avancement de la mise en œuvre de chaque convention > Une mise à jour en prévision de chaque Comités de suivi < 1/3 > 2/3 >1/3 et < 2/3 Terminé Convention d'application Engagement des signataires Réalisations 2013 1.1 Définir le système d'observation 1.2 Poursuivre l'acquisition de connaissance engagée dans le cadre du diagnostic 2011 Convention relative au diagnostic régional 1.3 Organiser la collecte des données 1.4 Enrichir le diagnostic régional emploi formation Système d'observation créé (Extranet) Construction des indicateurs finalisée (3 versions : dynamique, imprimable, Excel) 2 premiers livrables (BTP et Transport /logistique) en cours Pas de plan d action formalisé, des actions identifiées, certaines planifiées Création et mise à jour de la convention (Direccte notamment) Pas de note de synthèse transversale(décision du groupe de travail du 17.05.13). Réalisation à la demande de la Direccte d'une note de synthèse sectorielle Actualisation à mi-parcours du diagnostic fin 2013. Avancement nov 2013 terminé
La mise en œuvre du CPRDF L accompagnement par un cabinet extérieur Le dispositif de suivi Le dispositif d évaluation
L objectif de l évaluation > Une visée stratégique : apprécier la performance du CPRDF au regard de ses objectifs stratégiques. > Le dispositif d évaluation vise : > à donner une vision globale de la performance du CPRDF (à mi-parcours et à la fin du contrat) > à préparer les évaluations thématiques
Le tableau de bord d évaluation Il donne une vision quantitative de la performance de CPRDF 3 types indicateurs: >indicateurs de réalisation > relatifs à chacune des conventions > mesure de l atteinte des objectifs par les partenaires >indicateurs d impacts > relatifs aux objectifs plus stratégiques énoncés dans le CPRDF ; > mesure des effets de cette politique >indicateurs financiers > demandés par le CNFPTLV > relatifs aux moyens mobilisés Appréciation de l efficacité du dispositif Appréciation de l efficience et de la cohérence du dispositif
Le tableau de bord d évaluation Exemple d indicateurs de réalisation Convention relative à la formation professionnelle des demandeurs d emploi Objectifs 1 Faciliter l accès à la formation aux demandeurs d emploi 2 Permettre aux demandeurs d emploi d élever leur niveau de qualification Indicateurs d'activité Nombre de demandeurs d emploi entrés en formation (dispositifs de Pôle emploi + ) - total - dans le PRFP - dans le programme de formation de Pôle emploi Répartition des demandeurs d emploi entrés en formation par niveau de la formation suivie (pour les formations collectives) Part des demandeurs d'emploi sans qualification dans le PRFP 2013-2015
Les étapes de l évaluation > Bilan à mi-parcours > Centré sur l avancée de la mise en œuvre du CPRDF > Établi sur la base des réalisations au 31 décembre 2013 > Restitué en février 2014 en CCREFP > Évaluations thématiques > Evaluation à mi-parcours des formations parcours du Programme al de Formation Professionnelle (1 er semestre 2014) > Evaluation du dispositif Pass Insertion (fin 2014 / début 2015) > Bilan final du CPRDF Un tableau de bord renseigné ne constitue pas une évaluation. D autres outils «qualitatifs» sont nécessaires pour apprécier les «liens de causalité» entre l action et les résultats observés.
Les questions évaluatives Evaluation a mi-parcours des formations parcours du Programme al de Formation Professionnelle >Les dispositifs Parcours ont-ils atteint les objectifs? Sinon, pourquoi? >Les dispositifs répondent-ils aux attentes des prescripteurs? Sinon, quelles modifications sont à envisager? >Les stagiaires ciblés par la trouvent-ils les dispositifs adaptés à leurs problématiques personnelles? Sinon, quelles modifications apporter et/ou quels nouveaux dispositifs complémentaires seraient pertinents? >Les organismes de formation des Parcours estiment-ils avoir les moyens nécessaires à l atteinte des objectifs fixés? Sinon quels aménagements seraient nécessaires? >Quelle plus-value les nouveaux dispositifs offrent-ils par rapport aux précédents?
Le dispositif de suivi-évaluation du CPRDF 2011-2015 mis en œuvre en Midi-Pyrénées