Analyse des effets des systèmes d enseignement 1 Bruno Suchaut Institut de recherche sur l éducation Sociologie et Economie de l Education
Plan du cours Introduction Principes méthodologiques généraux de l évaluation des systèmes Historique et objectifs des études internationales en éducation Descriptif des principales études internationales Enseignements des études sur la connaissance des systèmes Effets des systèmes d enseignement sur les populations scolaires Intérêts et limites des évaluations internationales
Introduction Principes méthodologiques généraux de l évaluation des systèmes
Approche interne / approche externe EVALUATION INTERNE Question, Problème Commission d experts Décision Dispositif Action Politique Effets? EVALUATION EXTERNE
Un schéma global de l évaluation Besoins Equité Pertinence Utilité Objectifs Moyens Résultats Cohérence Efficience Efficacité
L approche économique de l évaluation Caractéristiques du système élèves moyens humains moyens financiers cadre institutionnel Fonctionnement de l école Résultats du système acquisitions parcours scolaires examens, diplômes insertion professionnelle Résultats = f (caractéristiques du public d élèves et de l environnement scolaire)
Description des systèmes Indicateurs de coûts, de ressources Indicateurs de fonctionnement, d organisation Indicateurs de résultats
Diversité très grande des résultats de l école
Résultats Frontière d efficience Pilotage Coûts
600 Score moyen en compréhension de l'écrit (PISA) 550 500 450 400 350 300 Corée R. Tchèque Hongrie Pologne F. Russie Lettonie Thaïlande Bulgarie Mexique Argentine Chili Brésil Macédoine Indonésie Albanie Pérou Grèce Portugal N Zélande Espagne Israël Finlande Canada Hong Australie Japon Kong Irlande R. Uni Suède Belgique Islande Autriche France Etats Norvège Unis Danemark Suisse Italie Allemagne Luxembourg 0 10000 20000 30000 40000 50000 PIB/habitant 2000 USD PPA
600 Score moyen en compréhension de l'écrit (PISA) 550 500 450 400 Indonésie 350 Pérou 300 Mexique Brésil R. Tchèque Pologne Hongrie Grèce Argentine Chili CoréeIrlande Finlande Canada Australie R. Uni Japon Suède Belgique France Norvège Etats Unis Autriche Danemark Espagne Suisse Allemagne Italie Portugal 0 10000 20000 30000 40000 50000 60000 70000 80000 Dépenses cumulées par élève, USD- PPA (2003)
570 560 Suède Score compréhension lecture 2001 (IEA) 550 540 530 520 510 République Tchèque Angleterre Pays-Bas Etats Unis Allemagne Hongrie Nouvelle Zelande FRANCE Grèce République Slovaque Israël Italie Islande 500 Norvège 490 0,12 0,14 0,16 0,18 0,20 0,22 0,24 0,26 0,28 0,30 Coût unitaire en % du PIB
Acquisitions P2 Courbe d efficience P4 Gain en qualité P3 P1 C.U. Contrainte budgétaire : Gain en quantité P4 P2 C.U. x N P3 N (élèves) Arbitrage quantité / qualité
Variations de la taille de classe pour une dépense par élève de 500 UM
Contrainte budgétaire
Mobiliser des indicateurs moyens et de dispersion Déclinaison en critères usuels Géographiques (urbain / rural, région ) Sociaux (milieu social et culturel) Sexués (filles / garçons) Indicateurs de dispersion Ecart-type, variance, quartiles, déciles
560 Finlande 540 520 500 480 Corée Japon Espagne Canada Irlande Belgique flamande Hong Kong Suède AustralieNlle Zélande Islande R. Uni Autriche Etats Unis Danemark Norvège France R. Tchèque Suisse Italie Allemagne LiechensteinHongrie Pologne Grèce Portugal Belgique francophone 460 F. Russie Lettonie Israël moyenne 440 420 Thaïlande Mexique Chili Luxembourg Bulgarie Argentine 400 Brésil 380 Indonésie Macédoine 360 Albanie 340 320 Pérou 70 80 90 100 110 120 dispersion
540 520 500 480 Asie du nord Anglo saxons Europe du Nord France Germaniques Europe du Sud 1 Europe de l'est 460 Israël 440 Score moyen en écrit 420 400 380 Asie du sud Amérique du Sud Europe du sud 2 70 80 90 100 110 Dispersion du score moyen en écrit
Elite scolaire et élèves en difficulté (PISA) Pérou Albanie Macédoine Indonésie Brésil Argentine Chili Bulgarie Mexique Israël Luxembourg Lettonie Belgique francophone Thaïlande Allemagne Port ugal F. Russie Po log ne Grèce Liechenstein Suisse Hongrie Etats Unis Norvège R. Tchèque Danemark It alie Nlle Zélande Autriche France Espagne Belgique flamande Islande R. Uni Suède Australie Irla nde Japon Hong Kong Canada Finlande Corée 55 50 45 40 35 30 25 20 15 10 5 0 Pourcentage
Les comparaisons : intérêts et limites Apprendre par la variété des situations Contextes nationaux, organisation des systèmes, pratiques pédagogiques etc Comparaisons spatiales Contexte macro économique Structure des systèmes éducatifs Gestion des systèmes éducatifs Comparaisons temporelles Court, moyen et long terme
Evolution temporelle des scores des pays 570 Score compréhension lecture 2001 (IEA) 560 550 540 530 520 510 500 Chypre Pays-Bas Hongrie Canada Allemagne Grèce Slovénie Singapour Hong Kong Islande Suède Etats Unis Italie Nouvelle Zelande Norvège FRANCE 490 480 490 500 510 520 530 540 550 Score compréhension lecture 1990 (IEA)
Le niveau d analyse : macro / micro PAYS ETABLISSEMENT ETABLISSEMENT ETABLISSEMENT ENSEIGNANT-CLASSE ENSEIGNANT ENSEIGNANT ENSEIGNANT ENSEIGNANT ENSEIGNANT ENSEIGNANT
Les données Informations sur les élèves origine sociale, sexe, âge (questionnaires) acquisitions scolaires (tests) Informations sur le contexte scolaire école (questionnaires) classe (questionnaires) enseignant (questionnaires) pratiques pédagogiques (questionnaires, observations)
La base des analyses des scores des élèves La fonction de production scolaire (FPE) Acquisitions = f (caractéristiques des élèves, caractéristiques du contexte)
Structure transversale CARACTERISTIQUES DES S?? EVALUATION CONTEXTE SCOLAIRE Etablissement, enseignant, classe
Structure longitudinale CARACTERISTIQUES DES S EVALUATION INITIALE EVALUATION FINALE CONTEXTE SCOLAIRE Etablissement, enseignant, classe Une ou plusieurs années scolaires
L origine des différences de progressions entre élèves à l école primaire (France) Ecole 13% Inexpliqué 30% Elève 52% Famille 5%
L établissement scolaire Effet établissement : Des élèves de caractéristiques comparables n ont pas les mêmes parcours scolaires selon l établissement fréquenté Effets sur les acquisitions, l évaluation et l orientation des élèves
Les facteurs d efficacité des établissements scolaires Peu d impact des variables représentant un coût élevé : taille des classes, niveau de qualification des enseignants, etc Leadership pédagogique du chef d établissement Gestion du temps scolaire rigoureuse Bon niveau de discipline Attentes positives des acteurs Chef d établissement Parents Enseignants Bon climat de l établissement Règlement intérieur de l établissement clair et explicite pour les élèves Programme annoncé effectivement étudié
Score moyen en compréhension de l'écrit 600 550 500 450 400 350 300-1.5 Islande Canada Nlle Zélande Hong Irlande Kong Australie CoréeR. Uni Japon Suède -1.0 Finlande Norvège Danemark Espagne F. Russie Thaïlande Différenciation : redoublement, durée du tronc commun, variance inter-établissements -.5 Etats Unis Grèce Luxembourg Indonésie Macédoine Suisse Italie Pologne Portugal Argentine Brésil 0.0 Lettonie Israël Bulgarie Albanie.5 Chili Hongrie Mexique Pérou 1.0 Belgique R. Tchèque Allemagne 1.5 Autriche 2.0 Indicateur de différenciation des systèmes