Caractéristiques des systèmes éducatifs et compétences des jeunes de 15 ans : l éclairage des comparaisons entre pays. Résumé

Transcription

1 Caractéristiques des systèmes éducatifs et compétences des jeunes de 15 ans : l éclairage des comparaisons entre pays Marie Duru-Bellat, Nathalie Mons, Bruno Suchaut IREDU, janvier 2004 Résumé 1

2 Une démarche classique de l éducation comparée consiste à partir des différences de résultats constatées entre pays (eu égard à divers «produits» de la scolarisation tels que les acquis ou les attitudes des élèves) pour les mettre en relation avec les caractéristiques structurelles des systèmes éducatifs ; ceci permet de tester l influence éventuelle de telle ou telle caractéristique, impossible à déceler tant qu on reste à l intérieur du cadre (national le plus souvent), dès lors qu elle ne varie pas. Des travaux récents attestent l intérêt de cette démarche, soit en se fondant sur des enquêtes de l IEA Association for the Evaluation of Educational Achievement- (cf. par exemple Lassibille et Navarro Gomez, 2000), soit sur d autres sources internationales, de l UNESCO notamment (cf., pour l Amérique Latine, Willms et Somers, 2001). Ces comparaisons doivent évidemment tenir compte du contexte social et économique dans lequel se déroulent les scolarités, dont on imagine aisément qu il marque les «produits» testés chez les élèves, mais sans qu il soit souvent possible d évaluer précisément cette influence. La question est pourtant importante, à la fois d un point de vue scientifique et politique, de faire la part entre ce qui est joué du fait du contexte extérieur au système scolaire et ce qui est proprement du ressort de ce dernier et de certaines de ses caractéristiques institutionnelles (structures, organisation pédagogique ). Poser ainsi la question suppose que l on admette la validité de la comparaison terme à terme de traits isolés de leur contexte, à l instar des approches dites «cross-national», même s il faut sans doute, de manière dialectique et au fil de l analyse, adopter un point de vue davantage «crosscultural» donnant un statut privilégié à l entité nationale, au sein de laquelle les divers éléments comparés s organisent et prennent sens. Dans ce texte, nous partirons des données de la dernière enquête PISA Program for international student assessment- à savoir des tests appréhendant la compréhension de l écrit pour les mettre en perspective avec certaines caractéristiques des pays, globales et spécifiques à leur système éducatif, l objectif étant de comprendre ce qui influe le niveau des performances des élèves mais aussi, ce qui est moins courant dans la littérature, ce qui fait que, selon les pays, l ampleur des inégalités entre élèves et des inégalités sociales varie sensiblement. 1. Pertinence et limites des données PISA Les résultats présentés ici résultent d une analyse menée en prenant comme unité d analyse le pays. Les données de base sont les résultats obtenus par les jeunes scolarisés à 15 ans dans les différents pays de l échantillon à diverses épreuves censées appréhender des compétences mobilisées dans la vie courante (notamment en matière de compréhension de l écrit), telles que les appréhendent les enquêtes PISA et PISA+ (OECD, 2001 et 2003). Au-delà d une exploitation spécifique de ces données PISA, des informations supplémentaires ont été 2

3 rassemblées à partir de banques de données internationales, tant sur le contexte économique des pays que sur leurs systèmes éducatifs. Comme toujours, les comparaisons vont buter sur un certain nombre de difficultés. Un premier problème concerne le caractère comparable des éléments à l aune desquels on confronte les «produits» des systèmes éducatifs. En l occurrence, les données PISA s avèrent précieuses en ce qu elles fournissent des mesures des compétences manifestées par les jeunes de 15 ans sur la base d exercices communs, et ce dans un nombre important de pays. Une spécificité de ces données est qu elles portent sur l ensemble des jeunes scolarisés à cet âge, quelle que soit la filière, ce qui n est pas toujours le cas dans les travaux comparatifs antérieurs. Par exemple, dans l enquête TIMSS (1994), il s agissait d observer les connaissances en mathématiques et sciences des élèves scolarisés au niveau de la 3 ème année du «lower secondary level» et non les élèves d un âge donné ; ceci avantageait les pays pratiquant le redoublement par rapport aux pays qui ne le pratiquent pas, alors qu à l inverse, dans PISA, les pays où le redoublement existe ont une frange d élèves de 15 ans qui fréquentent des niveaux scolaires inférieurs à ceux où sont la quasi totalité des élèves des pays sans redoublement. Cette particularité de l enquête PISA entraîne une autre limite : les données, portant sur les élèves (encore) scolarisés à 15 ans, vont concerner un pourcentage d une génération variable selon les pays, proche de 100% dans les pays de l OCDE les plus riches, mais bien plus faible dans des pays comme la Thaïlande, le Brésil et le Mexique, avec des problèmes afférents sur lesquels nous reviendrons. Autre inconvénient, les données de l enquête PISA ne seront pas parfaitement comparables avec les enquêtes internationales antérieures, comme TIMSS, puisqu il s agit ici de compétences relativement larges non directement liées aux programmes. Plus centralement, s ajoutent les difficultés habituelles dans toute mesure des acquis des élèves : toute la littérature docimologique montre qu on ne sait pas mesurer sans marge d erreur les acquis des élèves. On sait par exemple que selon la présentation ou le contenu des exercices, certains élèves peuvent être avantagés ; ainsi, le différentiel de réussite entre garçons et filles peut en être systématiquement affecté. Plus généralement, il est banal de constater que toute performance manifeste est contingente au support et au mode de questionnement qui a servi à l évaluer, dans une certaine mesure, toute la question étant d évaluer ce «dans une certaine mesure». Car à l évidence, une compétence n est pas directement observable, ce qui contraint à une définition opérationnelle comme celle qui est classiquement attribuée au psychologue Binet au début du XXème siècle : «l intelligence, c est ce que mesure mon test» Par conséquent, la question de savoir ce que serait une compétence mesurée sans biais (sans influence systématique de l appareil de mesure) est des plus ouvertes Même si l on peut admettre, dans les comparaisons internationales, que quel que soit le pays, l école forme à des situations professionnelles ou plus largement sociales assez comparables qui 3

4 mobilisent des compétences communes, cette approche ne saurait se prétendre sans aucun «biais». On a, dans certains pays comme la France, invoqué des «biais culturels», dus à une moindre familiarité avec un certain type d exercice ou de «format» de question, en suggérant que cette évaluation était largement imprégnée de la culture anglo-saxonne. A cela on peut objecter que techniquement, toutes les précautions ont été prises : les matériaux d évaluation ont été préparés à la fois en anglais et en français, et traduits par la suite dans les langues des pays participants, à partir de ces deux sources, dans la plupart des cas, le format des items a été diversifié autant que possible On note par ailleurs qu à la fois les pays dont les élèves sont le plus performants appartiennent à des aires culturelles très différentes (Corée, Finlande, Canada) et que les élèves des pays culturellement proches peuvent manifester des performances relativement inégales (les USA et le Canada par exemple). La question de la réalité de biais culturels reste néanmoins ouverte, même si la recherche peine à les identifier. Les chercheurs responsables du dispositif ont en effet ré-estimé les performances des élèves à la seule aune d items considérés par les pays eux-mêmes comme particulièrement bien adaptés à leurs élèves, et cela ne modifie que fort peu la position des différents pays (par exemple, la France passe de la 14 ème à la 12 ème position). Ceci constitue à l évidence un argument fort à l encontre de la thèse selon laquelle les résultats de l enquête PISA seraient disqualifiés par l existence de biais culturels. Dans le présent travail, la question essentielle est de savoir si les scores obtenus restent néanmoins raisonnablement comparables d un pays à l autre. On peut estimer que la réponse est positive, au niveau de «focale» où se situe en général la perspective de l éducation comparée. Il sera même, dans la perspective qui est la nôtre, particulièrement justifié de travailler sur les scores moyens (en compréhension de l écrit, en mathématiques 1 ), qui minimisent les erreurs attachées à chaque sub-tests * items *, même s il est clair que derrière tout score moyen il y a un ensemble de résultats à des exercices élémentaires susceptibles de varier de manière pas forcément cohérente. La comparaison conduite ici se fait à un niveau relativement agrégé, et vise avant tout, non pas à établir un palmarès, mais à établir des relations entre tel score (et telle dispersion de ces scores en fonction de variables comme l origine sociale) et telles caractéristiques des systèmes. Si dans une perspective de classement entre les pays, classement censé être fondé sur les compétences «réelles» des élèves, les problèmes de traduction peuvent introduire des biais, la question des biais devient moins prégnante dès lors que l on entend partir des différences (de moyennes et d ampleur des inégalités) entre pays avant tout pour les expliquer par des facteurs sociaux, tout particulièrement par l organisation des systèmes éducatifs. L exercice consistant à mettre en relation ces mesures et les caractéristiques structurelles des systèmes (avec en filigrane l objectif d éclairer un certain nombre de questions de politiques éducatives) reste au demeurant plein d écueils. Les différences entre pays, qu il s agisse de 4

5 différences de scores moyens ou de différences dans les distributions, exigent tout un travail d interprétation, car elles ne livrent pas, de manière immédiate et fidèle, un reflet des différences d efficacité des systèmes (ou de tel ou tel de leurs paramètres); chez les jeunes de 15 ans, elle résultent, de manière jointe et cumulée, des curricula mis en œuvre, mais aussi des structures éducatives ou des relations maîtres élèves qui ont prévalu tout au long de la scolarité, et également de toutes les expériences d apprentissage vécues de la naissance jusqu à cet âge. En d autres termes, elles ne reflètent pas seulement, ce que les élèves ont acquis grâce à l école mais aussi ce qu ils ont appris par leur famille, leurs pairs, les medias, la vie quotidienne Les grandes enquêtes ponctuelles de l IEA telles que PISA ne permettent donc pas d évaluer ce qui serait véritablement l efficacité des systèmes éducatifs. La recherche de corrélations entre compétences manifestées à 15 ans et modes d organisation des systèmes pourra être guidée par certains résultats de la recherche : on peut ainsi s attendre à plus d inégalités sociales là où les structures sont différenciées de manière précoce (du fait des inégalités qui marquent en général les choix de filières), ou quand les contenus de formation sont proches de la culture classique (qui avantagent les élèves dont les familles maîtrisent ce type de culture) Mais dans la réalité, ces diverses caractéristiques des systèmes sont vraisemblablement liées et forment système. Un écueil classique des comparaisons internationales est d accorder trop d importance à un élément isolé de son contexte : il est en général fragile de travailler à partir de corrélations rapprochant terme à terme telle performance et telle caractéristique du système éducatif, alors que sont vraisemblablement à l œuvre des ensembles de traits constituant des cohérences sociétales spécifiques à chaque pays ; et, dans l idéal, c est sur ces structures globales que devrait porter la comparaison. Néanmoins, l objectif des comparaisons reste bien de dégager des «lois» ayant une portée «supra-nationale» ; en l occurrence, ici, des relations entre tel mode d organisation du système et tel «produit» chez les élèves. Concrètement, à partir de l observation de corrélations, les imputations causales ne pourront être qu extrêmement prudentes, bien qu elles soient aussi répandues que teintées d idéologie dans les travaux comparatifs ; c est le cas quand l OECD (2002) rapproche en suggérant, malgré des précautions rhétoriques, une relation de cause à effet, les bonnes performances de certains pays et le fait que les établissements y jouissent d une certaine autonomie, alors que seule une corrélation est observée et que nombre d autres caractéristiques des pays performants et/ou dont les établissements sont autonomes ne sont pas prises en compte. Il faut donc insister sur la nécessité de ne pas conclure trop vite à une relation causale entre tel facteur et tel phénomène, la démarche la plus sûre étant sans doute, en construisant des typologies, de rechercher quels sont les ensembles de facteurs qui jouent de concert. Abordons rapidement pour finir un certain nombre d autres difficultés, elles aussi très 5

6 classiques dans les travaux comparatifs. Ainsi, une difficulté de méthode courante concerne la qualité des données qu il va être possible de mobiliser, quant aux caractéristiques des systèmes. Se pose en particulier la question, triviale mais élémentaire, de la disponibilité des informations dans les sources existantes : pour des raisons parfois peu claires, certaines données sont manquantes dans les fichiers de l UNESCO ou de l OECD ; les compléter en enrichissant les bases existantes est alors nécessaire, mais cela conduit à «mixer» ainsi des données d origine différente et peut-être imparfaitement comparables. Plus délicate est la question de l écart qui peut exister entre une caractéristique formelle et le fonctionnement réel d un système ; ainsi, au vu des données administratives existantes, un système peut être formellement indifférencié au niveau de l école moyenne et fonctionner de fait avec des classes de niveau. Dans tout travail comparatif, on n échappe pas à un arbitrage entre le «souhaitable» et le «faisable», à la question de la disponibilité et de la qualité des données : faut-il abandonner toute idée de comparaison sous ce prétexte ou au contraire, tenter de collecter avec prudence des données en les vérifiant (même si ces données sont imparfaites). Sachant de plus que l imperfection est plus ou moins marquée selon le type d indicateurs, avec du même coup le risque que les modèles économétriques donnent plus de poids aux variables bien mesurées par rapport aux variables moins bien mesurées. Enfin, mais ce n est pas l aspect le moins important, en éducation comparée comme dans d autres domaines des sciences sociales, les résultats seront contingents à l échantillon retenu, à son degré de variété notamment. Une caractéristique universellement répandue dans l échantillon de pays étudiés ne pourra de ce fait voir son influence estimée ; de même, si on mêle dans une même analyse des facteurs qui varient peu et d autres qui varient fortement, d un pays à l autre, alors, le poids des seconds s exprimera davantage que celui des premiers. En d autres termes, non seulement on n évalue que ce qui varie, mais on l évaluera d autant mieux, si l on peut dire, que cela varie. Ainsi, si l on inclut dans l échantillon de pays étudiés, des pays très riches et des pays très pauvres, la richesse du pays pourra s avérer influente sur les scores des élèves, alors qu elle ne le serait pas sur un échantillon de pays plus homogènes à cet égard. De même, on ne sera pas surpris de voir que les facteurs de contexte associés significativement aux performances des élèves pourront être différents dans les pays pauvres et dans les pays riches (pour des exemples, cf. Mingat et Suchaut, 2000), puisque nombre de facteurs jouent seulement en deçà d un seuil minimum (tel niveau de formation des maîtres, tel nombre de livres par élève). A cet égard, l ajout dans les données dites «PISA Plus» (OCDE, 2003) d une dizaine de pays de niveau de richesse et d horizon culturel très différents (Albanie, Indonésie, Israël ) est très heuristique. Pour autant, l échantillon de pays ainsi élargi (soit 40 pays) ne reflète pas la variété des pays qui existe à l échelle de la planète : en particulier, il n inclut aucun pays d Afrique ou du Moyen-Orient, ni de nombreux 6

7 pays asiatiques (Inde, Chine hors Hong-Kong, Pakistan, Malaisie, Bhoutan ) ; il est néanmoins représentatif des pays industrialisés et émergents. Mais il faut souligner que les résultats des analyses réalisées sur les pays de l enquête PISA ne pourront être généralisées aux pays les plus pauvres de la planète. 2. Un premier aperçu des différences de niveau moyen et d inégalités entre pays Décrire les différences de performances moyennes, de dispersion et d inégalités sociales, parfois importantes, qui distinguent les pays constitue la première étape pour aller vers une compréhension des facteurs structurels associés aux différences constatées. Mais si cet exercice a une portée réelle, elle reste néanmoins limitée : environ un dixième de la variance totale des performances des élèves dans PISA s explique par l appartenance à un pays (variance inter-pays). C est donc cette part, et cette part seulement, qui peut être rapprochée des différences de moyennes entre pays (elles-mêmes explicables notamment par les caractéristiques des contextes nationaux et des facteurs d organisation scolaire), les neuf dixièmes restant se jouant au sein d un pays donné (variance intra-pays). Cela signifie que les facteurs structurels variables d un pays à l autre ont relativement peu d importance sur ce que les élèves maîtrisent comme compétences à 15 ans par rapport à ce qui se joue de par les inégalités entre écoles ou entre élèves, du fait notamment des inégalités familiales. Il se peut aussi que les pays pris en compte dans PISA partagent tous les caractéristiques qui importent en matière d efficacité, sachant néanmoins que l intégration de pays non membres de l OCDE (aussi variés que le Pérou, l Albanie, l Indonésie ) accroît très largement la variété de l échantillon. Ce constat du dixième ne peut en tout cas pas être considéré comme valable à l échelle de la planète, et il est probable que si l on prenait en compte des pays encore plus différents, dans leur système éducatif, leur richesse, le niveau d éducation de leur population (etc.) les facteurs structurels auraient une importance accrue. Certains travaux montrent en effet que les facteurs d organisation scolaire pèsent davantage sur les performances des élèves dans les pays pauvres (Heyneman et Loxley, 1983). Cela amène à souligner à nouveau deux points de méthode fondamentaux dans les comparaisons internationales : 1) on n évalue jamais que ce qui varie ; 2) les relations dégagées (et leur chiffrage éventuel) dépendent de l échantillon de pays sur lequel on travaille, de sa variété notamment. Nous le verrons, certaines relations pourront varier sensiblement selon que l on traite l ensemble des pays ou seulement les plus riches d entre eux. Un premier constat est que les pays se situent à des niveaux de performance en compréhension de l écrit très inégaux : alors que la moyenne sur l'ensemble des pays est fixée à 500 et l'écart-type à 100, les scores moyens vont de 540 pour la Finlande à 327 pour le Pérou (le score moyen des différents pays est reporté sur le graphique 1 ci-après). Il y a des 7

8 pays pour lesquels les performances sont à la fois élevées en moyenne et relativement homogènes (la Corée, puis, moins nettement, la Finlande, le Japon). A l inverse, dans d autres, les performances sont à la fois faibles et dispersées : le Luxembourg, l Argentine, la Bulgarie, ou encore, à un niveau très faible, l Albanie. Mais tous les cas de figure existent, avec notamment beaucoup de pays dont les élèves sont à la fois performants et inégaux (la Nouvelle Zélande, le Royaume-Uni) et réciproquement des pays dont les performances sont faibles et homogènes (l Indonésie). On peut aussi souligner que pour un même niveau moyen de performance, les inégalités entre élèves sont plus ou moins fortes d un pays à l autre. Contrairement à une idée reçue qui voudrait que l on «paie» un certain niveau de performance par une dispersion forte des résultats, il n y a donc pas de relation automatique entre le niveau moyen des élèves et les écarts qui existent entre eux ; en d autres termes, un bon niveau moyen n est pas nécessairement associé à une inégalité plus forte. D ailleurs, si on conduit l analyse uniquement sur les pays les plus riches de l échantillon 2, on observe une légère relation, négative, entre niveau moyen et dispersion : notamment dans les matières scientifiques, les pays les plus performants ont également tendance, en moyenne, à être ceux dont les élèves ont les scores les moins dispersés (le coefficient de corrélation vaut -0,29 en écrit, -0,54 en mathématiques et -0,57 en sciences). Une autre approche pour apprécier les performances est d adopter une perspective critériée en se basant sur différents niveaux de compétences. PISA a identifié dans le domaine de l écrit six seuils de score qui correspondent à des degrés hiérarchisés de maîtrise de la langue. Nous nous centrerons ici sur des indicateurs rendant compte des groupes extrêmes avec le pourcentage d élèves qui se situe en dessous du niveau 1 de compétence 3 et le pourcentage au-dessus du niveau 5 4, soit respectivement les élèves en «difficulté» (pour utiliser la lecture comme un outil) et «l élite» scolaire dans chaque pays. Globalement ces deux indicateurs sont liés de façon négative (la corrélation est de -0,66) ce qui signifie que le nombre d élèves en difficulté est d autant plus élevé que le nombre d élèves faisant partie de l élite est faible. Il existe quand même certaines spécificités au sein de l échantillon. Ainsi, la Corée manifeste un resserrement très net des scores autour de la moyenne avec à la fois très peu d élèves excellents (5,7%) et quasiment pas d élèves en grande difficulté (0,9%), alors qu à l inverse, la Belgique compte à la fois un nombre d élèves excellents et d élèves faibles important (respectivement 12% et 7,7%). On remarque également que certains pays parviennent à faire en sorte qu aucun élève ne présente un niveau très faible en compréhension de l écrit (Corée, Finlande, Canada ), ce qui atteste, si besoin en était, que les grandes difficultés scolaires n ont rien de fatal ; cela indique également qu a priori tous les pays pourraient atteindre ce niveau minimum de compétence, même si la suite de l analyse montrera qu à cet égard certaines conditions socio-économiques ou pédagogiques s avèrent plus ou moins favorables. Toujours-est-il que c est pour les élèves les plus faibles que les différences entre pays sont le plus importantes ; or on sait que les variables de contexte pèsent davantage sur les plus 8

9 faibles. En ce qui concerne les inégalités sociales de performance, les variations entre pays sont également importantes. L enquête PISA fournit certains indicateurs qui cernent la richesse matérielle ou culturelle des milieux familiaux et permettent d évaluer l impact du milieu social ainsi défini sur les performances des élèves, au sein des différents pays. Ici, ce que nous cherchons à expliquer, c est la variation, selon les pays, de la force de la relation entre le milieu socio-culturel de l élève et sa performance aux épreuves. Cette relation peut être exprimée de diverses manières, et les données PISA fournissent quatre indicateurs 5. Ces quatre indicateurs ne sont pas indépendants les uns des autres et les classements sont en fait assez proches pour beaucoup de pays quel que soit l indicateur retenu. Afin de donner plus de consistance à la mesure des inégalités sociales de réussite, nous avons construit un indicateur synthétique. Cet indicateur est centré réduit (moyenne de 0, écart-type de 1), et il a été calculé en effectuant la moyenne des trois indicateurs après que ces derniers aient été standardisés dans une même échelle. Cet indicateur, appelé «INEGA», sera utilisé dans les analyses ultérieures. Auparavant, il convient de souligner que ce travail qui se polarise sur des inégalités sociales de réussite ne prend pas en compte l ensemble des inégalités sociales face à l école dans les pays considérés, dont une part importante est constituée d inégalités dans le fait même d être encore scolarisé à 15 ans. Il faut également insister sur le fait que les inégalités sociales de compétences, étudiées ici, ne recouvrent pas l intégralité des inégalités sociales de carrières scolaires, tant on sait qu à niveau de réussite comparable, il existe lors de chaque choix scolaire des inégalités sociales d orientation. Les inégalités sociales «finales» sont donc très vraisemblablement plus élevées que les inégalités de compétences, qui fixent donc plutôt des niveaux «plancher» d inégalité. Sur la base de cet indicateur global, examinons s il existe une relation entre les inégalités sociales de performances en écrit et le niveau moyen des différents pays ; on pourrait en effet faire l hypothèse qu il y aurait concurrence entre des politiques visant soit à améliorer l efficacité moyenne soit à réduire les inégalités sociales (ce qu on désigne classiquement, chez les économistes, par l arbitrage «efficacité/équité»). Le graphique ci-après montre que la variété de l ampleur des inégalités sociales est faiblement associée au niveau moyen de performances, mais pas dans le sens attendu : la relation est en effet négative (r = - 0,26) mais faible, à la limite de la significativité (seuil d erreur de 11%). 9

10 Finlande Corée Japon Hong Kong Canada Australie R. Uni Islande Thaïlande Norvège Espagne Italie F. Russie France Danemark Pologne Portugal Israël Lux embourg Mexique Argentine Chili R. Tchèque Bulgarie Allemagne 400 Brésil Indonésie Macédoine Average level of litteracy Albanie Pérou Social inequality index Graphique 1 : Index d inégalités sociales et niveau moyen en compréhension de l écrit En d autres termes, les pays les plus inégalitaires socialement sont aussi, un peu plus souvent, les pays où les élèves sont les plus faibles ; réciproquement, les pays les plus égalitaires socialement ont aussi en moyenne les élèves les plus performants. Toutefois, comme le montre le graphique, nombre de pays ont des niveaux d inégalités comparables avec des performances variées : Finlande versus Thaïlande, Danemark versus Albanie, Hongrie versus Pérou Réciproquement, pour un même niveau de performances, on observe un niveau d inégalités sociales très variable : Allemagne versus Italie, Royaume Uni versus Corée, Bulgarie versus Thaïlande. On soulignera qu un certain nombre de pays pauvres (Indonésie, Thaïlande) ont des inégalités sociales de performances modérées, ce qui doit être considéré avec précaution dans la mesure où la scolarisation n est pas universelle dans ces pays. Il est donc probable que les élèves qui sont encore scolarisés dans ces pays sont sélectionnés socialement 6 et que dans ce cas les inégalités sociales de réussite vont y être plutôt minimisées. Mais la variété constatée, dans l ampleur des inégalités sociales, à niveau de scolarisation donnée, convainc de l intérêt d une analyse autonome des facteurs susceptibles d expliquer cette variété. Un autre constat fort est l existence d une relation positive consistante entre l importance des inégalités sociales de performances et la dispersion des résultats en compréhension de l écrit : 10

11 la corrélation entre INEGA et la dispersion des résultats en écrit est de + 0,67. Cela signifie que les pays dont les performances des élèves sont hétérogènes sont aussi ceux où les inégalités sociales de performances sont importantes ; réciproquement, les pays dont les élèves ont des performances homogènes sont aussi ceux où les inégalités sociales ont le moins la possibilité de s exprimer. Par ailleurs, on peut noter qu il existe une relation modérée entre le poids des élèves les plus faibles et l importance des inégalités sociales (r = +0,27, significatif au seuil de 10%) : les pays où ces dernières sont les plus marquées ont aussi tendance à être ceux dans lesquels le pourcentage d élèves faibles est le plus élevé ; et réciproquement, quand les pays parviennent à réduire le pourcentage d élèves très faibles, les inégalités sociales de réussite ont tendance à être moins marquées 3. Caractéristiques globales des contextes nationaux et performances des élèves Les résultats précédents ont mis en évidence de fortes différences de performances d un pays à l autre, suggérant ainsi que le contexte global des pays n'est probablement pas sans rapport avec les performances des élèves. Avant d engager la mise en relation de ces performances avec les caractéristiques des systèmes éducatifs des pays, il est donc important de tenir compte du contexte économique global et du niveau d instruction de la population (donc des parents). Il existe tout d abord une relation statistique entre la performance moyenne des élèves et le P.I.B. (Produit Intérieur Brut) du pays : le P.I.B. explique statistiquement 46% de la variance du niveau moyen, la relation étant positive (plus le pays est riche, plus les scores sont élevés). Mais cette relation est «perturbée» par un pays très atypique, le Luxembourg, pays très riche et (pourtant) très peu performant ; une manière de contourner cette difficulté est d utiliser le logarithme du PIB ; la richesse économique des pays explique alors 67% de la variance des performances moyennes en compréhension de l écrit. Il faut souligner que si on ne prend en compte que les pays de l OCDE relativement riches, ce chiffre est seulement de 13%. Cela dit, pour un même niveau de P.I.B., les pays restent inégaux en termes de performances moyennes : ainsi les pays de l'europe de l'est, dont le P.I.B. par tête est assez proche de celui des pays d'amérique du Sud ont des élèves nettement plus performants que ces derniers ; interviennent donc, à côté de la richesse stricto sensu, des facteurs historiques et culturels. Notons par ailleurs que le P.I.B. est également lié à la dispersion des résultats entre les élèves : les performances des élèves s avèrent d autant plus hétérogènes que les pays sont riches, la relation étant toutefois modérée (le pourcentage de variance expliquée, soit R², est de 9%). En ce qui concerne l ampleur des inégalités sociales, il n y a par contre aucune liaison significative avec la richesse du pays (la corrélation est nulle). De même, et contrairement à 11

12 nos attentes, il n existe aucune relation entre l importance des inégalités sociales de réussite scolaire et les inégalités de revenus dans la population d adultes (mesurées par l indicateur de Gini). Cela dit, certains pays sont effectivement à la fois peu inégalitaires eu égard à l indicateur de Gini et eu égard aux performances des élèves (Japon, Corée, Finlande). Et l on ne trouve aucun pays qui serait inégalitaire en termes de revenus et où il y aurait peu d inégalités sociales de performances scolaires ; les pays les plus inégalitaires au niveau des revenus (pays d Amérique latine) étant des pays où l impact de l origine sociale sur les performances est relativement moyen. Ce qui est le plus frappant, c est la variété de l influence de l origine sociale pour des pays qui se situent dans un intervalle très réduit du point de vue de l indice de Gini. Ce résultat indique que certains systèmes parviennent sans doute à compenser, mieux que d autres, les inégalités qui existent dans la société. Un autre indicateur de contexte susceptible d influer sur les performances des jeunes est le niveau d instruction de la population, appréhendé dans PISA par le niveau d éducation maternel. Il existe effectivement une relation négative entre les performances des élèves et le pourcentage de mères peu instruites (n ayant au plus qu un niveau d instruction secondaire inférieur); cette relation est néanmoins relativement modérée (R² = 0,13). Quand on intègre les deux variables PIB et niveau d éducation de la mère dans un même modèle explicatif des performances moyennes, on explique 70% des différences de performances en écrit entre pays (R²=0,70), et ces deux variables exercent chacune une influence spécifique, mais le poids du PIB est nettement plus important, l ajout du niveau d éducation de la mère accroissant le pouvoir du modèle d environ 6%. Les relations entre cet indicateur de contexte socio-culturel et les inégalités sociales de performance sont moins nettes. On observe une relation négative entre l ampleur des inégalités sociales de performance et le niveau d instruction de la mère des élèves : moins le pays compte de mères instruites, moins l impact de l origine sociale est élevé (r = -0,37) ; cette relation est due principalement aux pays asiatiques (Hong-Kong, Indonésie, Thaïlande) qui sont à la fois égalitaires et où les mères sont peu instruites. Ce résultat concorde toutefois avec les précédents pour affirmer que le développement économique des pays ou l élévation des niveaux d instruction sont loin d être automatiquement associés à la réduction des inégalités sociales de performances des élèves. Si le rôle important du PIB est donc confirmé, il reste à se demander par quelles voies d influence il passe, au-delà de son association avec le niveau d instruction de la population. On pense évidemment aux ressources qu un niveau plus ou moins élevé de richesse permet d allouer à l école. Et effectivement, sur l ensemble des pays, on observe une relation positive assez forte entre le montant des dépenses publiques consacrées à l éducation et le niveau moyen de performance, mais cette relation s affaiblit considérablement et cesse d être 12

13 significative quand on ne travaille que sur les pays qui se situent au-delà d un certain seuil de richesse (de la Grèce ou la Tchécoslovaquie aux Etats-Unis). La part du budget public allouée à l éducation suit exactement cette tendance et ne joue donc pas au sein des pays riches 7. Dans ces pays néanmoins, le PIB exerce quand même un impact, modéré mais positif, sur les performances. Par conséquent, certaines voies d influence du PIB, dans les pays relativement riches, restent relativement mystérieuses puisque qu elles ne transitent ni par l effort budgétaire en matière d éducation ni par le montant des dépenses ; le niveau de richesse joue donc sans doute de manière plus diffuse, sans doute multiforme, par les multiples ressources et stimulations qu offre un pays riche, et il y a là un domaine qui reste largement à explorer. Notons enfin que tout comme le PIB n apparaissait pas corrélé avec l ampleur des inégalités sociales, les dépenses ou la part du budget allouées au système éducatif ne le sont pas davantage. 4. Sélectivité et différenciation au sein des systèmes éducatifs et performances des élèves Abordons tout d abord les relations entre quelques caractéristiques des systèmes et les compétences manifestées par les élèves, avant de construire, sur la base des premiers résultats, une variable synthétique permettant d en évaluer l impact global. sélectivité du système et performances On observe tout d abord que le niveau moyen des élèves est d autant plus élevé qu une proportion importante d une classe d âge est scolarisée à 15 ans. La sélection scolaire, qu elle résulte d une politique explicite ou soit liée à la pauvreté du pays, non seulement ne garantit donc pas un niveau des élèves plus élevé mais obère même les performances des élèves. Pour reprendre une métaphore sportive, le niveau s avère d autant plus élevé que le vivier des «concurrents» est large. On observe aussi que le pourcentage de jeunes réalisant des scores inférieurs au niveau 1 est significativement corrélé avec le taux de scolarisation à 15 ans (de façon négative et très significative : r = - 0,57). Autrement dit, le «noyau dur» d élèves aux compétences très faibles est d autant plus important que la scolarisation à 15 ans est loin de 100% (alors que le fait que la scolarisation ne soit pas universelle devrait plutôt exclure les plus faibles de l échantillon, si tant est que la fréquentation scolaire se fasse sur la base du mérite). Enfin, il n existe aucune relation entre l ampleur des inégalités sociales de performances chez les élèves scolarisés et l intensité de la scolarisation à l âge de 15 ans : la corrélation est nulle 13

14 entre ces deux indicateurs ; peut-être ce constat s explique-t-il par la sélectivité sociale inhérente au fait d être scolarisé à 15 ans, dans les pays où la scolarisation n est pas totale (seuls les meilleurs élèves des milieux populaires étant alors scolarisés, minimisant l ampleur des inégalités sociales de performance), mais il n a pas été possible de le démontrer. le temps scolaire Parmi les caractéristiques de l organisation des systèmes dont on sait qu elles affectent les acquis des élèves, il y a l importance du temps scolaire. Pourtant, le nombre d'heures d'enseignement des élèves de 12 à 14 ans (information disponible pour certains pays seulement) ne s'avère pas du tout corrélé aux performances moyennes (ni avec l ampleur des inégalités sociales). Il faut préciser que ces données moyennes globales sur les volumes horaires rendent compte de façon très imparfaite du temps effectif d'études à l'école et hors école ; dans certains pays par exemple, les élèves suivent fréquemment des enseignements hors du cadre scolaire standard. Une autre raison susceptible d expliquer cette absence de corrélation est le fait qu avec les réformes de décentralisation et d autonomie des établissements, les volumes horaires par discipline sont de moins en moins décidés centralement, ce qui rend cette information plus difficile à appréhender précisément dans les statistiques. Cela dit, on sait aussi que la rentabilité du temps est décroissante, et l existence du redoublement dans le secondaire entretient une relation négative et significative avec les résultats moyens en écrit (r = -0,46). Cette relation se maintient quand on tient compte de la richesse économique des pays ; de plus, ces résultats sont également valables pour les mathématiques et les sciences. En d autres termes, la pratique du redoublement, non seulement n améliore pas les résultats des élèves, mais est même associée à de moindres performances, quand on les mesure chez les élèves de 15 ans. Ceci vaut en particulier pour les élèves les plus faibles dont le poids est d autant plus important que les taux de redoublements dans le secondaire sont élevés. De plus, on observe une relation positive et significative (r = + 0,31) entre le pourcentage de redoublants dans l enseignement secondaire et l importance des inégalités sociales de réussite. Ceci s explique sans doute par le fait que, dans les pays où le redoublement existe, il résulte non pas seulement de difficultés scolaires mais aussi, à valeur scolaire comparable, de biais sociaux dans les décisions des enseignants et/ou dans les réactions que leur opposent les familles. la structure de l enseignement secondaire Il existe une littérature abondante sur l impact de la structure du système et du calendrier de la différenciation des itinéraires scolaires sur l ampleur des inégalités entre élèves et 14

15 notamment les inégalités sociales de carrières scolaires 8. Ces dernières sont fortement affectées par le degré d ouverture des systèmes, et donc par le «survival pattern» qui prévaut dans le pays (c est-à-dire la structure des taux de passage, et donc l ampleur de la sélection aux différents niveaux) : les inégalités sont plus fortes dans les pays qui sélectionnent fortement et, réciproquement, une voie sûre pour démocratiser les carrières scolaires consiste à atténuer ou différer la sélection. On sait également que l existence de paliers d orientation précoce, l absence de filières, le poids des familles dans les processus d orientation (etc.) sont des paramètres institutionnels qui affectent les inégalités sociales. Mais à nouveau, toutes ces relations concernent avant tout les inégalités sociales de carrières scolaires, et sont peut-être moins pertinentes dès lors qu on se centre sur les inégalités d acquis à 15 ans. Récemment, certains chercheurs ont mobilisé dans cette perspective les études internationales de l IEA (notamment l enquête TIMSS menée en 1995 sur les connaissances en mathématiques et sciences des élèves de ans) ; c est le cas en particulier de travaux récents (Vandenberghe, 2001 ; Zachary, 2001). Ils montrent, entre autres résultats, que nombre de pays affichent des performances moyennes correctes sans pour autant que ces performances soient fortement corrélées avec l origine sociale; en d autres termes, pour un niveau donné de performance, l ampleur des inégalités sociales peut varier du simple au double selon les pays. Parmi les facteurs susceptibles d expliquer cette variété, ces travaux soulignent ainsi qu en matière d inégalités sociales, les pays qui privilégient un tronc commun long semblent mieux placés que ceux qui ont opté pour une différenciation précoce et marquée entre filières de formation. D'autres caractéristiques institutionnelles, comme le fait de prévoir des redoublements ou l existence d une ségrégation entre écoles, sont également des facteurs d inégalité sociale de résultats. Nos résultats convergent avec cette littérature. Quand on s intéresse de prime abord au niveau moyen de performances des élèves, en regard de l existence de filières précoces, on observe que par rapport aux pays où l orientation intervient à 15 ans ou après, les pays où elle est plus précoce (au plus tard à 14 ans) ont des élèves qui réalisent en moyenne des performances légèrement plus faibles, sachant que l'écart n est pas statistiquement significatif. De même, aucune relation statistique ne se dégage, entre la présence de filières à 14 ans et la dispersion des performances des élèves, qu il s agisse du taux d'élèves dont les performances se situent en deçà du niveau 1 de compétences ou au contraire du taux d élèves excellents ; néanmoins on observe pour cette variable une légère relation négative : le taux d élèves excellents serait plus faible dans les pays à orientation précoce. Une organisation en filières non seulement n améliore pas les performances des élèves, mais de plus elle ne permet pas de dégager une élite plus fournie. Le contrôle par le PIB dans le modèle ne contredit pas ces conclusions. Un indicateur alternatif de la structure du système est la durée du tronc commun qui varie de 4 à 13 années (depuis les pays germaniques jusqu à Hong-Kong). On observe une relation 15

16 modérée (positive) entre la longueur du tronc commun et la moyenne des scores (relation qui se maintient néanmoins, un peu amoindrie, quand on tient compte de la richesse des pays). Par contre, et ceci est plus étonnant, la durée du tronc commun n entretient aucune relation avec la dispersion des scores et notamment la proportion d élèves en dessous du niveau 1 de performances. Plus nettes sont les relations entre ces indicateurs de différenciation des systèmes et l ampleur des inégalités sociales. Ces dernières s avèrent plus élevées dans les pays à filières et cette relation est statistiquement significative ; l existence de filières à 14 ans, à elle seule, explique 12% des variations de l indicateur d inégalités sociales. Cette relation mérite d autant plus d être soulignée que, comme nous l avons vu, l existence de filières précoces n est pas liée significativement au niveau moyen des performances. De manière convergente, si l on prend en compte la longueur du tronc commun, on relève une corrélation significative avec l ampleur des inégalités sociales de réussite : plus le tronc commun est long, moins les inégalités sont importantes et réciproquement, celles-ci tendent à être plus marquées quand le tronc commun est bref (r = - 0,40). La ségrégation entre établissements Selon les systèmes, les élèves sont plus ou moins regroupés dans les mêmes établissements selon leurs caractéristiques scolaires ou sociales ; on peut appréhender la ségrégation scolaire entre établissements par la part de la variance des scores des élèves expliquée par l établissement fréquenté. On constate que les résultats sont d autant plus faibles que la variance inter établissements est plus élevée (r=-0,35) ; ils sont également d autant plus dispersés (r = + 0,39), mais ces deux relations sont d intensité modérée. Il s avère aussi que les inégalités sociales de réussite entre élèves ont tendance à être plus marquées dans les pays où il existe une forte ségrégation entre établissements (r = +0,66). Là où, de fait ou de droit, les établissements accueillent des publics clairement distincts, cette ségrégation scolaire revêt une dimension sociale et les acquis des élèves sont davantage marqués par leur origine sociale que dans les pays où davantage d hétérogénéité prévaut au sein des écoles. Le caractère plus ou moins différenciateur du système Qu il s agisse de filières ou d établissements distincts, ou encore de l existence du redoublement (puisque le redoublement s efforce d homogénéiser le niveau des classes, de même que l existence de filières précoces et d établissements de niveaux différents), il y a là des manières de regrouper ces élèves qui permettent d opposer, comme le suggèrent Crahay et Delhaxhe (2003), les systèmes selon une «culture de l intégration» et une «culture de la différenciation». Ceci a-t-il un effet sur leurs performances? Pour instruire cette question, 16

17 nous avons construit une variable agrégée qui prend en compte à la fois l importance du redoublement en primaire, la brièveté du tronc commun et l ampleur de la ségrégation scolaire entre établissements. Plus cette variable revêt des valeurs élevées, plus les élèves sont, très tôt, placés dans un environnement pédagogique homogène; à l inverse plus cette variable est faible plus les systèmes maintiennent une organisation caractérisée par l hétérogénéité. On observe alors qu il existe une corrélation négative, significative bien que d intensité modérée, entre cette variable agrégée exprimant la différenciation des systèmes et le score moyen en compréhension de l écrit (r = -0.33) ; une corrélation identique est observée en mathématiques. Les pays dont les systèmes cultivent la différenciation ont donc des élèves plutôt moins performants. Mais contrairement à ce qui pouvait être attendu, on n observe pas de corrélation significative entre l indicateur de différenciation des systèmes et la dispersion des performances. Ce qui est clair, c est que la différenciation du système ne permet pas de dégager une «élite» scolaire (appréhendée par le pourcentage d élèves au niveau 5), au contraire puisque ce sont les systèmes les moins différenciés qui s avèrent les mieux classés à cet égard (r=-0,35). Ces deux relations entre le caractère différenciateur des systèmes et à la fois le score moyen et l importance de «l élite» méritent d être testées en tenant compte des principales variables dont l analyse précédente a montré l importance (richesse économique et couverture scolaire). Les modèles montrent que le caractère différenciateur des systèmes continue d être associé négativement à la fois au score moyen en écrit et au pourcentage d élèves au-dessus du niveau 5, même quand on raisonne à PIB et taux de scolarisation dans le secondaire donné. Une autre relation, plus intense (et qu illustre le graphique ci-après) existe entre différenciation des systèmes et ampleur des inégalités sociales : plus les systèmes scolaires maintiennent un niveau élevé d hétérogénéité (peu de redoublements, tronc commun long, établissements peu différenciés), moins les inégalités sociales de réussite entre élèves sont importantes (r=0,63). Réciproquement, le fait que la différenciation des systèmes soit avant tout corrélée avec l ampleur des inégalités sociales (et non avant tout avec le niveau moyen ou la dispersion des résultats) souligne combien dans les systèmes éducatifs, l accès à l école est un enjeu, pour des stratégies familiales actives, qui s emparent de toute différence (choix de filière, choix d établissement ) pour en faire un critère de distinction. 17

18 3 Allemagne 2 Bulgarie Hongrie R. Tchèque 1 R. Uni Suisse Etats Unis Argentine Israël Chili Pérou Belgique 0-1 Australie Nlle Zélande Macédoine Pologne Portugal Albanie Grèce Brésil Canada Norvège F. Russie Suède Espagne Lettonie Italie Thaïlande Indonésie Mexique Autriche Social Inequality Index -2-3 Islande Finlande Hong Kong Corée Japon Index of differentiation of the systems Graphique 2 : Indicateur de d inégalités sociales et différenciation des systèmes Enfin, à titre de synthèse, nous avons estimé un modèle intégrant uniquement les deux variables dispersion des scores et indicateur de différenciation : il explique 67% des différences entre pays en matière d inégalités sociales de performances. En d autres termes, si les pays laissent exprimer plus ou moins d inégalités sociales de performances entre leurs élèves, c est avant tout en raison de deux facteurs d importance voisine, qui sont assez peu corrélés, et viennent donc s ajouter : l existence d inégalités inter-individuelles en leur sein d une part et le caractère plus ou moins différencié de leur système éducatif d autre part. Tableau 1 : Modèle expliquant les inégalités sociales par la différenciation des systèmes et la dispersion des résultats des élèves en écrit Variables Coefficient Significativité Indicateur de différenciation +0,72 *** Dispersion des résultats à l écrit +0,061 *** Constante -5,85 *** R² 0,67 *** : significatif au seuil de1%, ** : significatif au seuil de 5%, * : significatif au seuil de 10% 18

19 Pour fournir une vision d ensemble des différences entre pays, nous avons réalisé une analyse en composantes principales qui intègre les caractéristiques institutionnelles majeures des systèmes éducatifs, l ampleur des inégalités sociales, le niveau de richesse des pays et les performances en compréhension de l écrit 9. Le graphique ci-après fait apparaître un premier axe horizontal qui explique 23% de la variance et qui oppose globalement les pays où la scolarisation est élevée, avec de bonnes performances (sur la droite du graphique), et qui sont plutôt des pays riches, aux pays qui sont dans une situation inverse (à gauche du graphique), comme l expriment les variables pib1, isei1, scol1, écrit1, niv03. Il se confirme donc que ce qui structure avant tout les différences entre pays, ce sont le niveau de la scolarisation et des performances, et le niveau de richesse. L axe vertical explique 13% de la variance et représente quant à lui le degré d homogénéité structurelle du système et l ampleur des inégalités (zinega1, red1, fil1, segreg1). En haut du graphique se trouvent les variables représentant les pays les plus égalitaires et aux structures les moins différenciées, et réciproquement pour la partie basse du graphique. Sur ce graphique, nous avons également projeté les groupes de pays par grandes régions du monde 10. On peut ainsi opposer, dans le cadran haut-droit du graphique (pays plutôt et performants, et peu inégalitaires, les pays de l Europe du Nord et les pays riches d Asie, et les pays germanique dans le cadran bas-gauche, dotés de caractéristiques opposées. Dans le cadran haut-gauche, figurent des pays moins performants mais aussi relativement peu inégalitaires (pays pauvres d Asie notamment), que l on peut opposer aux pays anglo-saxons, plus bas et à droite sur le graphique, c est à dire plutôt performants mais plus inégalitaires. Si cette analyse factorielle ne donne évidemment pas des résultats foncièrement différents que ce que nous avons établi ultérieurement, ils confortent le sentiment d une réelle cohérence des relations entre les caractéristiques des systèmes et le niveau de richesse des pays d une part, les performances des élèves et l inégalité sociale qui marque ces performances, d autre part. 19