Date de remise du rapport : 03 / 2014

Transcription

1 Date de remise du rapport : 03 / 2014 «Évaluation d un programme visant à améliorer l'insertion professionnelle des étudiants boursiers inscrits en Master 2» RAPPORT D EVALUATION ÉCOLE D ECONOMIE DE PARIS, CREST, J PAL Ministère des Sports, de la Jeunesse, de l Education populaire et de la Vie associative Fonds d Expérimentation pour la Jeunesse 95 avenue de France Paris cedex 13 Rapport d évaluation

2 Thématique : Cette évaluation a été financée par le Fonds d Expérimentation pour la Jeunesse dans le cadre de l appel à projets n 1 lancé en avril 2009 par le Ministère chargé de la jeunesse. Le fonds d expérimentation est destiné à favoriser la réussite scolaire des élèves et améliorer l insertion sociale et professionnelle des jeunes de moins de vingt cinq ans. Il a pour ambition de tester de nouvelles politiques de jeunesse grâce à la méthodologie de l expérimentation sociale. A cette fin, il impulse et soutient des initiatives innovantes, sur différents territoires et selon des modalités variables et rigoureusement évaluées. Les conclusions des évaluations externes guideront les réflexions nationales et locales sur de possibles généralisations ou extensions de dispositifs à d autres territoires. Les résultats de cette étude n engagent que leurs auteurs, et ne sauraient en aucun cas engager le Ministère. Ministère des Sports, de la Jeunesse, de l Education populaire et de la Vie associative Direction de la Jeunesse, de l'education populaire et de la Vie associative Mission d'animation du Fonds d'expérimentation pour la Jeunesse 95, avenue de France Paris Cedex 13 Téléphone : APX N XX Pour plus d informations sur le déroulement du projet, vous pouvez consulter sur le site la note de restitution finale soumise au FEJ par le porteur de projet. Rapport d évaluation

3 RAPPORT J-PAL Mars 2014 Évaluation d'un programme de parrainage visant à améliorer l'insertion professionnelle des étudiants boursiers inscrits en Master 2 Luc Behaghel Julien Grenet Elise Pesonel Roland Rathelot

4

5 REMERCIEMENTS L évaluation présentée dans ce rapport a été financée par le premier appel à projet du Fonds d expérimentation pour la jeunesse (FEJ). L équipe de recherche tient à remercier les nombreux partenaires de cette évaluation. Nous remercions tout d abord les partenaires de l expérimentation au sein des Bureaux d Aide à l Insertion Professionnelle (BAIP) des universités partenaires : en particulier, Claire Margolis, Jean De Moura, Kim-Loan Nguyen et Emmanuelle Travet (Université de Cergy-Pontoise), Martin Trillot (Université de Lille II), Michel Naud (Université Paris I Panthéon-Sorbonne) et Olivier Lartigaut (Université Paris Ouest - Nanterre). Nous remercions également l association Frateli pour son engagement sans faille dans le processus d évaluation : en particulier, Michaël Bernard, Anne-Marie Debeir, Héloïse Monnet, Laurence Piccinin, Céline Thébaud et Boris Walbaum. Nous remercions enfin la Mission d animation du FEJ (MAFEJ), et en particulier Mathieu Valdenaire, pour son soutien et son suivi attentif. Le projet a bénéficié, dans sa première année, de l excellent travail d assistant de recherche d Anna Custers. 1

6 Évaluation du programme Frateli Université 2

7 SYNTHÈSE DES RÉSULTATS Le programme Frateli Université est une expérimentation qui vise à améliorer l insertion professionnelles des étudiants boursiers de Master 2, en s appuyant sur trois types d actions : le parrainage par un ancien étudiant de l université ou un autre jeune professionnel inséré depuis quelques années dans un milieu professionnel pertinent, des séances de coaching collectives et la mise en place d une communauté d étudiants par des actions ponctuelles (sorties culturelles, rencontres dans des cafés, etc.) et la création d une plateforme en ligne (Viadeo). Malgré leur niveau élevé de qualification, les participants à l expérimentation connaissent de réelles difficultés d insertion sur le marché du travail à la sortie du Master : lorsqu on considère conjointement les deux cohortes de l expérimentation, on observe que le taux d emploi des étudiants du groupe témoin est de 45 % un an après leur entrée dans le programme et de 63 % au bout de deux ans. Le coût moyen du programme Frateli Université est de l ordre de 750 euros par étudiant. Dans l hypothèse d une généralisation de ce dispositif, les coûts fixes pourrait être amortis sur des effectifs plus importants, ce qui permettrait de ramener le coût moyen par étudiant à environ 280 euros. La demande pour le programme s est avérée plus faible que prévu : 637 étudiants volontaires (soit environ 16 % des étudiants éligibles) au lieu de 1000 visés. L offre de parrains a également été difficile à mobiliser, si bien qu un 3

8 Évaluation du programme Frateli Université étudiant sur trois entré dans le programme n a finalement pas eu de parrain. L intensité réduite de l intervention limite les effets attendus du programme et la taille des échantillons amoindrit la capacité statistique à les détecter. Dans ce contexte, le programme Frateli Université n a pas eu d impact statistiquement significatif sur le comportement de recherche d emploi des bénéficiaires : temps passé à rechercher un emploi, canaux utilisés, temps passé en stage, nombre de candidatures. Il n a pas eu non plus d impact statistiquement significatif sur l insertion professionnelle : taux d emploi, type de contrat de travail, revenus d activité. 4

9 SOMMAIRE Remerciements 1 Synthèse des résultats 3 Introduction 7 1 Une expérience contrôlée : méthodologie Recrutement des étudiants et tirage au sort Recrutement des parrains Enquêtes et données Les enquêtes de suivi Données de suivi de l association Frateli L enquête qualitative auprès des parrains de le deuxième cohorte La population étudiée 23 3 Le programme Frateli Université Le parrainage individuel Le coaching collectif La communauté Frateli Le coût du programme Frateli Université Le devenir du programme Frateli Université à l issue de la phase expérimentale L impact du programme Frateli Université Impact sur la recherche d emploi Impact sur l insertion professionnelle Conclusion 59 5

10 Évaluation du programme Frateli Université Annexes 63 Annexe A : Sources des données Annexe B : Analyse de la non réponse aux enquêtes Annexe C : Tableaux de comparaison des groupes formés par le tirage au sort après réponses aux enquêtes Annexe D : Questionnaires d enquête Annexe E : Grille d entretien de l enquête auprès des parrains Références 123 Liste des tableaux 127 Liste des figures 129 6

11 INTRODUCTION - PROBLÉMATIQUE GÉNÉRALE Ce rapport présente les résultats de l évaluation d un programme développé par l association Frateli avec les Bureaux d aide à l insertion professionnelle (BAIP) d universités partenaires, visant à améliorer l insertion professionnelles des diplômés de Master 2, en s appuyant notamment sur la mise en relation du jeune diplômé avec un «parrain» en activité professionnelle. Un tel programme constitue une réponse possible au reproche fréquemment adressé à l université en France de ne pas assurer une transition efficace entre les études supérieures et la vie active. Selon l INSEE, 10,3 % des jeunes diplômés du supérieur 1 en France sortis depuis un à quatre ans de formation initiale étaient au chômage en 2012 (INSEE, 2013). Ces difficultés d insertion professionnelle dépendent de l origine socioculturelle : à diplôme égal, les enfants d ouvriers accèdent à des salaires en moyenne plus faibles que les enfants de cadres, bien qu ils ne soient pas davantage confrontés au chômage que ces derniers. En revanche, à diplôme équivalent et avec une profession du père comparable, les jeunes issus de l immigration ont un risque bien plus élevé de rester sans emploi que les jeunes d origine européenne (Lopez et Thomas, 2006). De telles difficultés et disparités peuvent s expliquer par l accès faible et inégal aux codes, méthodes et réseaux de recherche d emploi. Le rôle central des contacts personnels sur le marché du travail a été abondamment souligné par les socio- 1. Titulaires de licence, master, doctorat, diplômés d écoles de commerce et d ingénieurs. 7

12 Évaluation du programme Frateli Université logues et les économistes du travail (Ioannides et Loury, 2004). De nombreuses études soulignent le rôle des méthodes informelles mobilisant des réseaux personnels pour l accès au premier emploi. Selon Holzer (1988), 66 % des jeunes de 16 à 23 ans qui ont trouvé un emploi aux États-Unis ont mobilisé des canaux informels alors que seulement 11 % sont passés par l agence publique de l emploi. Plus généralement, Granovetter (1995) montre que 40 % à 50 % des emplois aux États-Unis ont été obtenus par l intermédiaire d amis ou de connaissances. L étude sur l emploi et la transmission de l information parmi les migrants mexicains aux États-Unis de Munshi (2003) montre qu un travailleur dont le réseau est réduit et récent a moins de chances de trouver un emploi. En France, Margolis et Simonnet (2004) montrent que plus de 50 % des jeunes qui ont suivi des études supérieures trouvent leur premier emploi stable grâce à leur réseau personnel. Le recours au réseau est susceptible de faciliter la transmission de l information entre les candidats et les employeurs potentiels, contribuant à un appariement de meilleure qualité (Lin, 1999; Montgomery, 1991). Selon Mortensen et Vishwanath (1995), les salaires sont plus élevés sur les offres d emploi émanant des réseaux personnels que sur celles provenant des canaux formels. Granovetter (1973) fait une distinction entre les différents types de contacts qui constituent le réseau personnel. Les liens forts font référence à la famille et aux amis, tandis que les liens faibles font référence aux connaissances professionnelles. Il montre que les contacts avec lesquels sont entretenus des liens faibles sont plus ouverts, davantage disposés à l échange et à l interaction : ces contacts seraient donc à privilégier dans le cadre d une recherche d emploi. Yakubovich (2005) montre qu il est plus probable de trouver un emploi grâce à un lien faible, ce type de contacts permettant l accès à une nouvelle information et pouvant avoir une influence directe sur l employeur. Cappellari et Tatsiramos (2011) trouvent qu avoir un ami de plus en emploi dans son réseau augmente de 3,7 points de pourcentage la probabilité moyenne de trouver un emploi au cours de l année (qui est de 20 %). D après les auteurs, les réseaux d amis favorisent la 8

13 Introduction recherche d emploi parce qu ils permettent d accéder à une meilleure information sur les opportunités d embauche. Ces résultats soulignent l importance d être entouré de gens insérés sur le marché du travail lors de sa recherche d emploi. Partant de ce constat, le programme Frateli Université vise à établir établir un lien entre de jeunes diplômés issus de milieu défavorisé (boursiers sur critères sociaux) et des actifs en emploi dans le secteur ou le type de métier envisagé par le jeune. À l exception de l évaluation en cours d un programme d accompagnement d étudiants décrocheurs de l enseignement supérieur qui comporte un volet de parrainage (Cahuc et al., 2014), il n existe pas en France de travaux de recherche sur l impact de programmes de parrainage de jeunes diplômés entrant sur le marché du travail. Plusieurs études ont en revanche analysé l impact de programmes de parrainage d étudiants à l université sur les résultats universitaires et le décrochage (Crisp et Cruz, 2009). Campbell et Campbell (1997) évaluent l impact d un programme de parrainage d étudiants issus des minorités aux États-Unis. L étude révèle que les étudiants parrainés améliorent leurs résultats universitaires, valident davantage de cours et ont une probabilité plus faible d abandonner leurs études. Ces résultats sont complétés par l étude de Sandner (2013) qui met en évidence la diminution du taux d échec aux examens du premier semestre lorsque des étudiants sont parrainés par des membres de l administration de l université, ainsi que par les travaux de Hu et Ma (2010) qui trouvent, parmi des étudiants de l État de Washington qui bénéficient aussi d une aide financière, une corrélation positive entre parrainage et poursuite des études à l université. Enfin, deux études récentes se rapprochent de ce rapport en évaluant l impact de programmes de parrainage destinés à des étudiants issus de milieu défavorisé et en utilisant la méthode de l assignation aléatoire (ou expérimentation sociale contrôlée) que nous mettons en œuvre. Scrivener et Weiss (2009) évaluent un programme de deux semestres combinant parrainage en groupe et aide financière pour 9

14 Évaluation du programme Frateli Université des étudiants défavorisés qui entrent en première année dans deux Community Colleges américains. Les étudiants parrainés améliorent leurs résultats universitaires à partir du deuxième semestre du programme. Bettinger et Baker (2011) analysent le programme de coaching individuel Inside Track. Pendant deux semestres, le coach appelle régulièrement l étudiant pour le conseiller dans sa réussite universitaire. Il l aide à développer ses objectifs et ses compétences, le guide dans ses tâches quotidiennes, sa gestion du temps ou ses méthodes de travail. Les étudiants qui ont bénéficié d un coach ont une probabilité plus importante de ne pas arrêter l université pendant la période d accompagnement et de poursuivre leurs études un an après la fin du programme. Ces différentes études d impact montrent un effet positif du parrainage sur les résultats universitaires et le taux d abandon. Le programme Frateli Université étudié ici se rapproche de tels programmes, mais cible des étudiants en fin de parcours universitaire pour les accompagner à entrer sur le marché du travail. Avant de lancer ce programme, l association Frateli disposait d une expérience de l accompagnement d étudiants dans la mesure où elle assure depuis 2004 la mise en place et le suivi de parrainages entre de jeunes étudiants issus de milieux modestes (boursiers sur critères sociaux) ayant obtenu une mention Bien ou Très Bien au baccalauréat et de jeunes professionnels expérimentés (Frateli, 2013). Ce programme est mis en œuvre immédiatement après le baccalauréat, sur une durée de cinq ans. Le nouveau programme évalué dans ce rapport est destiné aux étudiants boursiers de Master 2. Frateli intervient dans des universités partenaires afin de fournir un ensemble de services (parrainage individuel, ateliers collectifs et mise en réseau d étudiants) pour aider les étudiants de milieux défavorisés à mieux s insérer professionnellement et à trouver un emploi correspondant à leur qualification. L objectif de cette évaluation est de quantifier l impact du programme Frateli sur l insertion professionnelle des jeunes bénéficiaires, en utilisant la méthode de l as- 10

15 Une expérience contrôlée : méthodologie signation aléatoire. Pendant deux ans, des étudiants de quatre universités ont été répartis de façon aléatoire soit dans le groupe traité, qui participe au programme de Frateli, soit dans le groupe témoin, qui n y participe pas. Les étudiants du groupe traité sont concernés par les trois axes du programme Frateli Université : le parrainage individuel, les séances de coaching collectif et l interaction avec les autres étudiants parrainés dans le cadre de communautés animées sur Internet. L organisation du rapport est la suivante. La section 1 précise la méthodologie utilisée dans cette étude : nous expliquons le principe et les modalités du tirage au sort, ainsi que les enquêtes qui ont permis de retracer le parcours professionnel des jeunes pendant deux ans. La section 2 décrit plus en détails l origine sociale, le parcours universitaires et les aspirations professionnelles des jeunes candidats au programme. Dans la section 3, nous présentons les différentes composantes du programme Frateli Université : le parrainage, les ateliers, la mise en réseau et les sorties culturelles. La section 3.4 propose une estimation du coût du dispositif. La section 4 présente les effets estimés du programme Frateli Université sur les méthodes de recherche et l insertion professionnelle des diplômés de Master 2. 11

16 Évaluation du programme Frateli Université 12

17 CHAPITRE 1 UNE EXPÉRIENCE CONTRÔLÉE : MÉTHODOLOGIE L objectif de cette étude est de mesurer l impact du programme proposé par Frateli sur l insertion professionnelle des étudiants bénéficiaires lors des deux années qui suivent l entrée dans le dispositif. Nous comparons la situation professionnelle des jeunes bénéficiaires (ou groupe traité) à celles de jeunes semblables qui constituent le groupe de référence (ou groupe témoin). Ces deux groupes sont constitués de façon aléatoire, par tirage au sort anonyme, au début de l évaluation. Les jeunes du groupe témoin sont par construction semblables aux jeunes bénéficiant du programme dans la mesure où ils sont issus des mêmes universités, ont eu la même volonté de participer au programme, mais n ont pas été retenus par le tirage au sort. La différence observée entre les deux groupes pourra alors être interprétée comme l effet causal du programme Frateli. Dans cette section, nous décrivons la méthode de recrutement des étudiants et des parrains participant au programme, le protocole de tirage au sort mis en place sur les différentes cohortes et les ajustements entrepris pour surmonter les difficultés d appariement entre parrain et filleul. 13

18 Évaluation du programme Frateli Université 1.1 Recrutement des étudiants et tirage au sort Cette expérimentation a été mise en place pendant deux années universitaires de 2010 à Le protocole d évaluation initial prévoyait de recruter 1000 étudiants volontaires pour le programme, et de sélectionner aléatoirement parmi eux 500 étudiants bénéficiaires, les 500 étudiants restants constituant le groupe témoin. Des ajustements se sont néanmoins avérés nécessaires, en raison des difficultés à recruter parrains et étudiants. En , l expérimentation débute en partenariat avec trois universités de la région parisienne : l université Paris I Panthéon-Sorbonne, l université Paris X Nanterre et l université de Cergy-Pontoise. En , le programme est ouvert à l ensemble des étudiants boursiers inscrits sur les liste du CROUS de Paris et aux étudiants de l université Lille 2. Les groupes traité et témoin sont constitués dans chaque université en trois étapes : Campagne d information. Au début de chaque année universitaire, les étudiants éligibles au programme (boursiers sur critères sociaux inscrits en Master 2) sont sensibilisés au programme grâce à une campagne d information menée par Frateli : des réunions d information sont organisées et des prospectus et des affiches sont diffusés dans les universités. Les responsables d unité de formation de recherche envoient aussi des mails aux étudiants ciblés pour les informer de l existence du programme. Inscription des étudiants volontaires. Les étudiants éligibles au programme sont invités à s inscrire pour participer au programme sur un site Internet dédié où sont exposées les grandes lignes du dispositif et où il est indiqué que la sélection des bénéficiaires a lieu par tirage au sort. Pour valider leur inscription, les étudiants doivent répondre à un questionnaire en ligne (qui sert de point de départ pour les analyses d impact enquête initiale et permet d obtenir des coordonnées dé- 14

19 Une expérience contrôlée : méthodologie taillées et des contacts pour le suivi ultérieur de l étudiant), déclarer qu ils ont pris connaissance du caractère aléatoire de la procédure de sélection et accepter d être sollicités dans le cadre d enquêtes sur leurs projets professionnels et leur insertion sur le marché du travail à la sortie de l année de Master 2. L éligibilité des étudiants qui se sont portés candidats est alors validée par les services administratifs des universités partenaires, qui vérifient si l étudiant est bien boursier et inscrit en Master 2. Tirage au sort des bénéficiaires. Les candidats éligibles constituent la population expérimentale suivie tout au long de l évaluation. En comme en , le nombre de candidats éligibles au programme excède le nombre de parrains recrutés par l association Frateli. Un tirage au sort est effectué pour déterminer à qui le programme Frateli Université est finalement offert. Les modalités de ce tirage au sort diffèrent selon la cohorte considérée. En , les étudiants éligibles sont groupés par université d origine en distinguant des autres les étudiants d origine africaine (définis comme les étudiants dont l un au moins des parents a la nationalité d un pays d Afrique du Nord ou d Afrique subsaharienne 1 ), pour tenir compte du fait que ces jeunes sont susceptibles de faire l objet de discriminations sur le marché du travail. Ces groupes (ou strates) sont constitués au fur et à mesure des inscriptions sur le site Internet. À trois ou quatre reprises (selon les universités d origine), deux étudiants sur trois, puis un étudiant sur deux sont tirés au sein de chaque strate pour bénéficier du programme 2. L avantage d un tirage au sort ainsi stratifié est de contrôler la proportion d étudiants bénéficiaires au sein de chaque strate, et de permettre ainsi de garantir la représentativité des groupes traité et témoin dans ces différentes dimensions (université d origine, nationalité 1. Dans les résultats présentés dans la suite, les individus dont l un au moins des parents est de nationalité haïtienne ont été regroupés avec les individus dont l un au moins des parents est africain de naissance (Afrique du Nord ou Afrique subsaharienne). Les effectifs de ces populations étant faibles, ce choix de regroupement est sans importance qualitative sur les résultats. 2. Le passage à un étudiant sur deux a été décidé lorsque l association Frateli a révisé à la baisse son estimation du nombre de parrains disponibles. 15

20 Évaluation du programme Frateli Université des parents à la naissance). Par ailleurs, on cherchait en intégrant les étudiants au fur et à mesure de leur inscription sur Internet à éviter le risque que l étudiant ne s impatiente et ne se détourne du programme. Une difficulté inattendue a été que le nombre de parrains s est révélé insuffisant par rapport au nombre d étudiants tirés au sort pour bénéficier du parrainage, et que les profils des parrains recrutés ne correspondaient pas toujours à celui des filleuls sélectionnés. En conséquence, une partie des filleuls n a pas pu être parrainée au sein de cette cohorte, et n a bénéficié que des autres composantes du programme (coaching collectif et communauté en ligne, voir ci-dessous). Pour la deuxième cohorte, un nouveau protocole expérimental est mis en place afin d adapter la constitution des groupes traité et témoin au nombre de parrains disponibles et à leurs profils. On attend que soit connu l ensemble des étudiants éligibles et des parrains disponibles. Les étudiants sont au nombre de 443 et les parrains 175. Pour éviter les défections par la suite, il est demandé aux étudiants de confirmer par mail leur demande de parrainage. Les 374 étudiants qui ont confirmé sont appariés aux parrains disponibles, à raison de deux étudiants par parrain (trois dans quelques cas). Frateli considère ne pas disposer de parrain au profil adéquat pour 17 étudiants, qui sont exclus du programme. 21 parrains sont appariés avec un seul étudiant et sortent de l évaluation. Un tirage au sort est alors effectué au sein de chaque paire (ou triplet) d étudiants pour déterminer lequel est retenu pour le programme. L ensemble des étudiants obtenus constitue le groupe traité. L échantillon final est constitué de 637 étudiants. 301 étudiants appartiennent à la première cohorte (bénéficiant du programme en ) et 336 à la seconde (bénéficiant du programme en ). Le groupe traité compte 341 étudiants et le groupe témoin 296 étudiants. Tous les étudiants du groupe de traitement sont en principe concernés par les trois axes du programme Frateli Université : le parrainage individuel, les séances de coaching collectif et l interaction avec les autres étudiants parrainés dans le cadre 16

21 Une expérience contrôlée : méthodologie TABLEAU 1.1 Effectifs de l expérimentation Groupe Traité Groupe Témoin Total Cohorte Cohorte Total CHAMP : Ensemble des étudiants de l expérimentation. SOURCE : Enquête initiale. TABLEAU 1.2 Effectifs de l expérimentation par université Groupe Traité Groupe Témoin Total Paris X - Nanterre Paris I - Panthéon Sorbonne Cergy-Pontoise Lille Autres universités CHAMP : Ensemble des étudiants de l expérimentation. SOURCE : Enquête initiale. de communautés animées sur Internet. L évaluation ne permet pas d isoler l impact spécifique de chacune de ces composantes (il aurait pour cela fallu constituer plusieurs groupes traités, bénéficiant de différentes combinaisons de composantes du programme, ce qui aurait pu être intéressant mais aurait été contraire à l approche intégrée visée par Frateli). Par ailleurs, nous ne cherchons pas à ajuster les effets estimés pour tenir compte du fait que les étudiants n ont que partiellement suivi (ou pu bénéficier) des différentes composantes du programme : l effet mesuré est un effet global du programme obtenu en condition réelle. Il est probable que la mise en place à plus grande échelle d un tel dispositif ne ferait qu accentuer le caractère incomplet de la participation au programme des étudiants concernés. 17

22 Évaluation du programme Frateli Université 1.2 Recrutement des parrains Les parrains du programme Frateli Université sont recrutés par deux canaux. L association Frateli a constitué un vivier de parrains qui interviennent dans le cadre du premier programme qu elle a monté à partir de 2004 pour accompagner des étudiants au début de leurs études supérieures. Une partie de ces parrains, sollicités, acceptent de participer au programme à destination des étudiants de Master 2 étudiés ici : 29 % des parrains de la seconde cohorte sont issus de ce réseau. Par ailleurs, les Bureaux d aide à l insertion professionnelle (BAIP) des universités partenaires sollicitent par mail ou courrier les anciens étudiants de leur université : 18 % des parrains de la seconde cohorte sont issus du réseau d anciens étudiants de l université de Lille 2, 13 % du réseau d anciens de l université de Paris 1 et 13 % du réseau d anciens de l université de Nanterre. Les 20 % restant sont des parrains qui ont reconduit leur participation au programme de l année à l année Enquêtes et données Le suivi des étudiants du groupe traité et du groupe témoin est réalisé en combinant les informations issues des systèmes d information des universités et d enquêtes effectuées auprès des étudiants lorsqu ils ont terminé leurs études. Les données collectées permettent de recueillir les informations suivantes : les caractéristiques socio-démographiques des étudiants : l âge, le sexe, la catégorie socio-professionnelle des parents, la nationalité de naissance et le pays de naissance des parents, le lieu de résidence, etc. ; des informations sur la scolarité antérieure au sein de l université : les études suivies, les résultats aux examens ; 3. La répartition des parrains par canal de recrutement n est pas disponible pour la cohorte

23 Une expérience contrôlée : méthodologie les résultats scolaires obtenus au cours de l année de Master 2 : l assiduité en cours, les résultats obtenus au contrôle continu et aux épreuves finales ; l insertion professionnelle réalisée à l issue de l année de Master 2 au cours des deux années qui suivent le parrainage : la durée séparant la sortie de formation initiale du premier stage ou emploi, le type de contrat de travail éventuellement détenu, la durée du travail (temps partiel ou temps plein), le secteur d activité, le niveau de rémunération, les projets professionnels, etc Les enquêtes de suivi Les informations sur les projets professionnels et l insertion professionnelle ultérieure proviennent d enquêtes conçues spécifiquement pour l évaluation. Les jeunes des deux groupes expérimentaux sont interrogés à trois reprises : au moment de leur inscription (enquête initiale), un an après (première enquête de suivi) et deux ans après (deuxième enquête de suivi). Pour les deux enquêtes de suivi, les étudiants sont d abord invités à remplir l enquête en ligne ; ceux qui n ont pas rempli le questionnaire sont ensuite contactés par téléphone par un institut d enquêtes. L enquête initiale porte principalement sur : la situation des parents, le parcours scolaire et universitaire, la situation et les aspirations professionnelles. Les deux enquêtes de suivi couvrent : le parcours universitaire, la situation professionnelle pendant l année universitaire écoulée, la recherche d emploi et l évolution du projet professionnel, la situation professionnelle actuelle et les aspirations professionnelles. La deuxième enquête de suivi permet également de recueillir, dans le groupe traité, 19

24 Évaluation du programme Frateli Université des informations sur les interactions du jeune avec le programme Frateli. TABLEAU 1.3 Taux de réponse aux enquêtes Taux de réponse Traités Témoins Test de différence Enquête de suivi Cohorte Cohorte Enquête de suivi *** Cohorte Cohorte ** LECTURE : Le taux de réponse à la première enquête de suivi est de 84 % parmi l ensemble des étudiants de l expérimentation, 85 % parmi les étudiants du groupe traités et 82 % parmi les étudiants du groupe témoin. La p-valeur du test de différence étant supérieure à 0,1, la différence du taux de réponse des deux groupes n est pas significative au seuil de 10 %. CHAMP : Ensemble des étudiants de l expérimentation. SOURCE : Enquêtes de suivi 1 et 2. Le tableau 1.3 présente les taux de réponses aux deux enquêtes de suivi et teste si ces taux sont les mêmes pour les deux groupes expérimentaux. 84 % des jeunes suivis ont répondu à la première enquête et 75 % à l enquête finale, deux ans après leur inscription au programme. Il s agit de taux qu on peut considérer comme élevés pour une population particulièrement mobile (pendant la période de l insertion professionnelle). Ils ont été obtenus par la combinaison de l enquête en ligne (à laquelle les taux de réponse sont de l ordre de 40 à 50 %) avec une enquête téléphonique comportant des appels répétés tant que le jeune n était pas joint. Les figures 4.1 et 4.2 de l annexe 4.2 montrent l effet de ces appels répétés sur le taux de réponse, dans les groupes test et témoin. Ainsi, si on s était limité à cinq tentatives d appel pour la première enquête de suivi, le taux de réponse auraient été entre 60 et 70 %, et sensiblement plus faible parmi les jeunes témoins. C est la répétition des appels qui permet d atteindre des taux de réponse supérieurs à 80 %, semblables dans les deux groupes. Lors de la deuxième enquête, il reste impossible d obtenir les réponses d environ un quart de la population expérimentale. Les taux de réponse ne sont pas significativement différents dans le groupe traité 20

25 Une expérience contrôlée : méthodologie et dans le groupe témoin pour la première enquête. En revanche, les jeunes traités sont plus nombreux à répondre à la deuxième enquête que les jeunes témoins. Cette différence peut faire craindre que les échantillons test et témoin obtenus au terme de la deuxième enquête de suivi enquête ne soient plus comparables, en dépit du tirage au sort initial. Pour moitié, la non réponse à l enquête vient de jeunes dont les coordonnées téléphoniques ne sont plus valables. Un quart de la non réponse vient de jeunes qui refusent explicitement de répondre au questionnaire malgré leur engagement initial. Le dernier quart vient de jeunes qui n ont pu être joints (téléphone sur messagerie ou sonnerie dans le vide). Ce dernier type de non réponse est plus fréquent dans le groupe témoin, ce qui indiquer un refus masqué plus fréquent parmi les jeunes qui n ont pas bénéficié du programme. Si ce refus masqué provient de jeunes spécifiques, leur absence dans l échantillon témoin final et leur présence dans l échantillon traité peut biaiser la comparaison. Dans les analyses d impact ci-dessous, on s appuiera sur une méthode de correction des différences de non réponse proposée par Behaghel et al. (2012) et qui permet, sous certaines hypothèses, de reconstituer des échantillons comparables Données de suivi de l association Frateli L association Frateli effectue aussi un suivi interne de son programme : elle collecte des données sur l assiduité aux ateliers et la présence aux autres activités organisées dans le cadre du programme (soirée de lancement, jeudis Frateli, sorties Frateli classique). Elle a aussi mis en place un suivi du parrainage pour les filleuls et les parrains. Les filleuls sont appelés à deux moments clés : au démarrage du parrainage en janvier, pour s assurer que le filleul a bien pris contact avec son parrain et à la clôture du parrainage en juin pour faire un bilan du parrainage. Lors de ces appels, l association s assure que tout se déroule bien dans le binôme et collecte des données sur l intensité de la relation de parrainage. Les parrains sont aussi appelés 21

26 Évaluation du programme Frateli Université en fin d année pour faire un bilan et connaître leur ressenti sur le parrainage L enquête qualitative auprès des parrains de le deuxième cohorte Afin de compléter les données quantitatives sur la mise en œuvre du programme, une enquête qualitative auprès d un échantillon de parrains de la seconde cohorte ( ) a été réalisé par l équipe de recherche en octobre Parmi les 160 parrains concernés, un peu plus de 10 % ont été échantillonnés par tirage au sort stratifié visant à représenter les différentes universités et domaines professionnels. L échantillon obtenu comprend des binômes où les filleuls et le parrain sont dans la même ville et d autre où ils sont éloignés, ainsi que des cas pour lesquelles la relation de parrainage a été évaluée comme très bonne, bonne, moyenne ou inexistante par le filleul. Il s agit d entretiens semi-directifs par téléphone d une durée d environ dix minutes suivant la grille figurant en annexe parrains ont répondu à l enquête sur 21 parrains sollicités. 22

27 CHAPITRE 2 LA POPULATION ÉTUDIÉE Le programme Frateli Université s adresse aux étudiants boursiers sur critères sociaux inscrits en Master 2. Les deux premières colonnes du tableau 2.1 présentent les caractéristiques des étudiants boursiers de Master 2 par rapport à la population totale d étudiants de Master 2 en France pour l année universitaire La troisième colonne présente les caractéristiques des étudiants boursiers de Master 2 des universités partenaires du programme Frateli Université et la quatrième colonne celles des étudiants de notre échantillon. La dernière colonne «Test de différence» présente le résultat d un test d égalité des moyennes entre la population totale des étudiants boursiers de Master 2 des universités partenaires et la population expérimentale. Les étudiants boursiers de Master 2 représentent 23 % des étudiants de Master 2 en France. On observe qu ils sont issus de milieux plus défavorisés que la moyenne : la probabilité que le chef de famille d un étudiant boursier appartienne à une catégorie socio-professionnelle défavorisée est de 15 points supérieure à la moyenne de tous les étudiants. On peut émettre l hypothèse que ces étudiants bénéficient moins de l aide de leur parents et de leur entourage dans leur recherche d emploi, que ce soit pour acquérir les codes à adopter face un employeur ou pour leur fournir des contacts professionnels. Les étudiants de notre échantillon ont en moyenne 24 ans ; 23

28 Évaluation du programme Frateli Université TABLEAU 2.1 Master 2 en Comparaison avec la population totale d étudiants de Caratéristiques individuelles Etudiants Etudiants de M2 boursiers de M2 en En Universités Population Test de France France partenaires expérimentale différence Femme *** Age *** De nationalité étrangère *** Série au BAC BAC ES BAC L BAC S ** BAC Techno et Autre N a pas le BAC *** PCS du chef de famille PCS favorisées ** PCS assez favorisées PCS moyennes *** PCS défavorisées *** Boursier Echelon de bourse *** * Scolarité actuelle Université Paris X - Nanterre *** Paris I - Panthéon Sorbonne Cergy-Pontoise *** Lille *** Domaine de formation Droit - Sciences Politiques *** Economie - Gestion *** Lettres - Langues - Arts *** Siences Humaines Sciences *** LECTURE : 57 % des étudiants de Master 2 en France sont des femmes. La dernière colonne indique la p-valeur du test d égalité des moyennes entre la population expérimentale (qui a candidaté au programme) et l ensemble des étudiants éligibles (étudiants de Master 2 boursiers). CHAMP : Ensemble des étudiants de Master 2 en France en et ensemble des étudiants de l expérimentation. SOURCE : APOGEE et enquête initiale. 24

29 La population étudiée il s agit pour 70 % d étudiantes. 82 % sont titulaires d un baccalauréat général. 11 % des étudiants n ont pas le bac, mais un équivalent étranger. 14 % sont étrangers, soit presque trois fois plus que parmi l ensemble des étudiants boursiers de France. Presque 80 % des étudiants sont inscrits en Master 2 à l université de Paris 1 ou de Paris 10. Pour plus de la moitié d entre eux, ils étudient le droit, les sciences politiques, l économie ou la gestion. Il y a peu d étudiants en sciences puisque seules les universités de Lille 2 et Cergy proposent des Masters 2 dans ce domaine. En , 1971 étudiants boursiers étaient inscrits en Master 2 dans les universités partenaires. On peut donc évaluer la population éligible sur les deux années où s est déroulé le programme à environ 4000 étudiants. Les 637 étudiants qui ont intégré l expérimentation représentent donc 16 % de la population ciblée. Le tableau 2.2 compare les caractéristiques des groupes traité et témoin avant le programme. Il s agit de vérifier que le tirage au sort a bien créé deux groupes d étudiants statistiquement similaires. Dans la première colonne figure la valeur moyenne de chacune des variables parmi l ensemble des étudiants témoins. La colonne présentant la différence «Traité Témoin» est subdivisée en trois souscolonnes : la différence «Traité Témoin» sur l ensemble des jeunes de l expérimentation, la différence sur les jeunes qui ont intégré l expérimentation à l année universitaire (intitulée «Cohorte 1») et la différence sur ceux ayant intégré l expérimentation en (intitulée «Cohorte 2»). Il est utile de distinguer les deux cohortes dans la mesure où le protocole d assignation aléatoire a changé d une année sur l autre. Pour tenir compte du fait que les tirages au sort des groupes expérimentaux ont été stratifiés ou effectués par groupe de tirage, les différences «Traité - Témoin» sont estimées en contrôlant par des variables indicatrices de strate (cohorte 1) ou de groupe de tirage (cohorte 2). Dans leur ensemble, les tableaux 2.2 et 2.3 montrent qu il existe, malgré le tirage au sort, un certain nombre de différences entre groupes traité et témoin. En particulier, les étudiants de nationalité étrangère sont plus nombreux dans le groupe 25

30 Évaluation du programme Frateli Université TABLEAU 2.2 Comparaison des groupes formés par le tirage au sort : caractéristiques personnelles Caratéristiques individuelles Moyenne Différence Traités - Témoins Témoin Ensemble Cohorte 1 Cohorte 2 Femme Age au début du programme De nationalité étrangère *** 0.07* 0.10*** Origines sociales Parent(s) originaire(s) d Afrique * Père actif * ** Mère active ** Diplôme père supérieur au BAC Diplôme mère supérieur au BAC Père de CSP supérieure Mère de CSP supérieure Echelons de bourse * 0.02 Echelons de bourse * Scolarité précédente A redoublé au moins une fois Série au BAC BAC ES ** -0.19*** 0.00 BAC L ** 0.12** 0.01 BAC S ** BAC Techno et Autre N a pas le BAC * Mention au BAC Très Bien Bien Assez Bien Pas de mention Scolarité actuelle Université Paris X - Nanterre Paris I - Panthéon Sorbonne Cergy-Pontoise Lille * Autres universités Domaine de formation Droit - Sciences Politiques Economie - Gestion ** -0.13** Lettres - Langues - Arts Sciences Humaines Sciences * Pense poursuivre ses études après Master LECTURE : 72 % des jeunes du groupe témoin sont des femmes (ligne 1, colonne 1). La proportion de femmes dans le groupe traité est inférieure de 0.02 points de pourcentage à la part des femmes dans le groupe témoin. L écart «traité témoin» dans la proportion de femmes est de 0.03 points de pourcentage dans la cohorte 1 et de points de pourcentage dans la cohorte 2. CHAMP : Ensemble des étudiants de l expérimentation. SOURCE : Enquête initiale. traité que dans le groupe témoin, pour la première et la deuxième cohorte. Il existe également des différences statistiquement significatives dans la statut d activité des 26

31 Le programme Frateli Université parents de la deuxième cohorte, et dans la part des différentes séries du bac (ces différences varient d une cohorte à l autre). Enfin, le domaine de l économie et de la gestion est moins représenté dans le groupe traité pour la première cohorte. De telles différences sont possibles dans le cadre d un tirage au sort sur des échantillons de taille limitée. Il conviendra, dans l analyse de l impact du programme, de contrôler ces différences initiales pour vérifier qu elles ne sont pas à l origine des différences de résultats post-programme entre groupes traité et témoin. 27

32 Évaluation du programme Frateli Université TABLEAU 2.3 Comparaison des groupes formés par le tirage au sort : recherche d emploi Moyenne Différence Traités - Témoins Témoin Ensemble Cohorte 1 Cohorte 2 Emploi pendant les études Travaille pendant son Master A fait un stage au cours des 2 dernières années Domaine d activité souhaité Arts - Culture Droit - Sciences politiques Economie - Gestion - Finance * 0.00 Informatique - Communication Lettres - Langues Autres * 0.03 Recherche d emploi Mois pour trouver un emploi (optimiste) Mois pour trouver un emploi (pessimiste) Salaire de réserve Discriminations potentielles sur le marché du travail Expérience professionnelle limitée Formation universitaire Niveau de langue étrangère Niveau de français Sexe Milieu familial Milieu social Nom ou Prénom Couleur de peau * 0.01 Look Moyens de recherche prévus Famille ou amis Association d élèves Université ** Entreprise de stage Candidatures spontanées * Répondre à des annonces Agence d intérim Pôle Emploi ** APEC Facteurs qui pourraient favoriser la recherche d emploi Réseaux personnels ou familiaux *** 0.02 Motivation personnelle Méthode de recherche d emploi ** Chance Qualité des études Expériences professionnelles Faciliter à communiquer lors des entretiens Facteur le plus important Réseaux personnels ou familiaux Motivation personnelle Expériences professionnelles Qualité des études Chance Facilité à communiquer lors des entretiens Méthode de recherche d emploi LECTURE : 39 % des jeunes du groupe témoin ont travaillé au cours de leur année de M2. La part des jeunes du groupe traité ayant travaillé pendant leur année M2 est égale à celle du groupe témoin (différence de 0.00). CHAMP : Ensemble des étudiants de l expérimentation. SOURCE : Enquête initiale. 28

33 CHAPITRE 3 LE PROGRAMME FRATELI UNIVERSITÉ Le programme mis en place par Frateli dans le cadre de cette évaluation s articule autour de trois axes. 77 % des étudiants affectés au groupe traité ont effectivement participé à au moins un de ces axes. Dans cette section, nous détaillerons le contenu et le taux de participation à chacun des axes du programme : le parrainage, les ateliers et le réseau. 3.1 Le parrainage individuel Chaque étudiant tiré au sort dans le groupe traité peut être parrainé individuellement par un jeune professionnel qui exerce, en général, dans dans le domaine d activité visé par l étudiant. Le tableau 3.1 montre que seulement 38,5 % des jeunes du groupe traité de la cohorte 1 ont été parrainés. L association n a pas pu en effet identifier de parrain au profil jugé adéquat pour l ensemble des étudiants tirés au sort pour bénéficier d un parrainage. Sur les 174 étudiants tirés dans le groupe traité de la cohorte 1, 67 seulement ont été parrainés par 61 parrains. Dans la cohorte 2, l appariement avant le tirage au sort a permis d assurer un taux de parrainage de 100 %. Les 167 étudiants tirés dans le groupe traité de la cohorte 2 sont parrainés par 160 parrains, certains parrains ayant accepté de suivre 29

34 Évaluation du programme Frateli Université TABLEAU 3.1 Participation aux trois axes du programme Frateli Université Cohorte 1 Cohorte 2 Nombre d étudiants dans le groupe traitement Axe 1 : Le parrainage A été apparié à un parrain Nb de contacts sur l année Parmi ceux qui ont eu au moins 1 contact Nb de rencontres sur l année Parmi ceux qui ont eu moins 1 rencontre Axe 2 : Le coaching collectif Participation à l atelier Participation à l atelier Participation à l atelier 3* A participé à au moins à 1 atelier Axe 3 : La communauté en ligne Inscription à Viadeo Les autres activités Présence à la soirée de lancement A participé à au moins 1 Jeudi Frateli Frateli Classique** * : pour la cohorte 2, le nombre d atelier a été réduit à deux faute de participants au troisième atelier la première année. ** : Données de l enquête de suivi 1 LECTURE : 39 % des étudiants du groupe traité de la cohorte 1 ont eu un parrain (ligne 1, colonne 1). CHAMP : Étudiants du groupe traité. SOURCE : Données Frateli. deux filleuls. Le tableau 3.2 présente le profil des parrains participants. Les parrains de la cohorte 2 ont entre 25 et 62 ans. Un peu plus de la moitié sont des femmes. Presque tous ont étudié à l université à un moment de leur scolarité et sont de niveau bac+5 ou plus. La majorité des parrains travaillent dans les domaines «Commerce- Finance-Gestion» et «Sciences politiques-droit», qui sont aussi les domaines les plus représentés parmi les étudiants. L enquête qualitative révèle que les parrains interrogés ont pris connaissance du programme en parlant avec des amis, ou à la suite d un message diffusé par leur ancienne université ou par leur entreprise. Ils ont souhaité devenir parrains dans le cadre du programme Frateli Université notamment car ils s identifient à ces jeunes sortants de Master 2 : ils auraient souhaité eux aussi avoir de l aide et un soutien 30

35 Le programme Frateli Université TABLEAU 3.2 Description des parrains Cohorte 1 N Cohorte 2 N Caractéristiques individuelles Age moyen Femme Bac +5 minimum A été à l université Domaine professionnel Ingénieurs / Sciences dures Sciences du vivant Commerce / Finance / Gestion Sciences politiques / Droit Sciences humaines et Sociales Autres Caratéristiques de parrainage Parrains ayant 2 filleuls Parrain sur cohorte Effectif total LECTURE : L âge moyen des parrains de la première cohorte est 34 ans (ligne 1, colonne 1). les données relatives au parrainage sont disponibles pour 29 parrains sur les 61 parrains de la cohorte 1. CHAMP : Parrains des cohortes 1 et 2. SOURCE : Données Frateli. dans leur recherche d emploi à l époque où ils terminaient leurs études. «J ai réfléchi à ma propre expérience, j aurais aimé avoir plus de conseils pour m orienter.» Une marraine, avocate en droit public, 28 ans. Les parrains étant majoritairement issus de l université, ils ont aussi conscience du manque d information sur les débouchés professionnels et de liens avec le marché du travail pour un étudiant en université. Ils ont donc souhaité devenir parrain pour pallier le manque de réseau professionnel de l université dont ils ont pu eux-mêmes souffrir. «À l université, les étudiants souffrent du réseau inexistant.» Un parrain, urbaniste, 27 ans. «J aurais bien aimé bénéficier de contact professionnel dans mon entourage.» Un parrain, gestionnaire de cité scolaire, 29 ans. 31