CENTRE D ÉTUDES ET DE RECHERCHES SUR LES QUALIFICATIONS Établissement public sous tutelle du ministère de l Éducation nationale, de la Jeunesse et de la Vie associative, du ministère du Travail de l Emploi et de la Santé. Les méthodes d évaluation expérimentale éi peuvent-elles elles être acclimatées à la sociologie? Congrès AFS - juin 2011 1
Plan 1. De l annonce d un «Bien collectif», l autonomie des jeunes, à la définition de mesures évaluables : l évaluabilité 2. La vie de l évaluation 2
1. L évaluabilité un appel à expérimentation du Haut Commissariat à la Jeunesse / Fonds d expérimentation pour les Jeunes objectif, «l autonomie des jeunes», et une méthode, le couplage expérimentateur / évaluateur cible : d une classe d âge à une «Génération active», appel à projets vague 1 : 1. Réduire les sorties prématurées du système de formation initiale 2. Améliorer la transition entre formation et emploi 3. Pé Prévenir les ruptures 4. Soutenir les initiatives et les projets de jeunes. 3
1. L évaluabilité Axe 1 «Réduire les sorties prématurées du système de formation initiale», 99 projets : 4 régions, 9 rectorats, 21 universités, 65 autres illustration par trois programmes parmi sept évalués par le CAR Céreq de Caen qui associent souvent une région et un rectorat, Missions Locales, DIRECCTE, DRAAF, chambres consulaires, un Centre Hospitalier. Hétérogénéité territoriale : Aquitaine, Auvergne, Basse- Normandie, Centre, Seine Saint-Denis i 4
L incitation à mobiliser les outils d évaluation expérimentale, par double tirage aléatoire de la population de référence et ensuite de l échantillon testé : avantages propres : réduit les biais, contrefactuel homogénéité entre évaluations éventuelle dissémination-reproduction à l usage lisibilité pour les évaluateurs finaux besoin de quantification budgétaire 5
Une longue dégradation/graduation: La population de référence : effectif et clôture La population éligible : 5 effets difficilement contrôlables Les flottements entre groupe test et groupe témoin 6
La population de référence : effectif et clôture seuil de confiance : 1000 ou 30? la population de référence dépend des prérogatives de l expérimentateur éventuellement ajustées par le commanditaire resserrements selon des critères applicables à tous, tels que l âge, le sexe, une position d emploi ou de non emploi, un niveau de revenu resserrements selon des critères applicables à certains : risque de santé, de scolarité, d emploi, de niveau de vie 7
La population éligible : 5 effets difficilement contrôlables Exclus : les 16-18 ans ayant perdu contact : effet d évaporation les 16-18 ans n exprimant pas de demande de formation : effet d éviction les demandeurs en fin d année scolaire, non satisfaits, et demanded ni maintenue ni renouvelée enseptembre suivant : effet de file d attente 8
La population éligible : 5 effets difficilement contrôlables Réinclusion i : assimilation de l aide laide à un bien collectif (sans exclusive) et (re)mobilisation : effet de rétroaction transparence du dispositif pour l assignation au groupe test et au groupe témoin : effet de contamination 9
Corrections aggravantes des variables observées et non observées : chercher plus loin un échantillon témoin, dans une académie voisine : logique gq d administration des flux par une instance bureaucratique par exemple rectorale, versus logique d ajustement par l offre/demande par exemple d une Région sensible aux conditions de marché. données géographiques manquantes : mobilité données rétrospectives manquantes : effet de conjoncture sur apprentissage 1 0
Les flottements entre groupe test et groupe témoin situation ti idéale :tirage aléatoire en une seule fois, et au tout début de l opération, juste après qu une information ait été diffusée de manière uniforme, et de manière définitive Or, l échelle du dispositif a changé fréquemment: - étendue à l ensemble de l académie - groupes test et témoin redéfinis par la zone géographique de scolarisation, puis zone d emploi demploi - changements de cibles 1 1
Conclusion : basculement passant d une évaluation strictement quantitative à une évaluation quantitative et qualitative ti à base de questionnaires et entretiens. l évaluateur n était nétaitpas en mesure, dès le lancement de l appel d offre, d imposer ses contraintes, s installant luimême en accompagnateur chemin-faisant. objectifs et sujets s inscrivent dans la durée «l accountability» des actions : «reddition de comptes» avec une une dose «d intelligibilité ibilité»et de «racontabilité» la dégradation progressive des effectifs n est nest ni accidentelle, ni le fait d erreurs de choix : le non-recours aux aides et aux droits (Gomel, Serverin, 2011) 1 2
13