Culture de l évaluation et pilotage pédagogique François LOUIS Inspecteur général de l'administration de l'éducation nationale et de la recherche (IGAENR) ESEN - 4 juillet 2011
Plan Problématique 1) Les raisons : pourquoi? 2) Les enjeux : pour quoi? 3) Les aspects méthodologiques : outils et modalités de mise en œuvre
Problématique - Un certain paradoxe : «évaluation», un terme qui rencontre un écho familier parmi les acteurs du système éducatif mais, pourtant, une démarche relativement nouvelle - Des acquis significatifs et reconnus en matière d évaluation au cours des dernières décennies ;
Problématique (2) - Des malentendus (performance, plus-value, valeur ajoutée, etc.) et des réticences, voire des inquiétudes éventuelles parmi les différentes catégories de personnels ; - La démarche elle-même d évaluation : l objet de plusieurs controverses.
1. Les raisons : pourquoi? La démarche d évaluation : une nécessité assez largement ressentie désormais, pour plusieurs raisons : - la rationalité: l intérêt pour l observation et la préoccupation du résultat ; - la dimension juridique et l exigence démocratique : art. 15 DDHC 1789, lois d orientation de 1989 et 2005, LOLF 2001 (avec le dispositif de performance), etc,
1. Les raisons : pourquoi? (2) La démarche d évaluation : une nécessité assez largement ressentie désormais, pour plusieurs raisons : - une forte attente sociale à l égard du système éducatif : dépense publique et problèmes soulevés par le décrochage scolaire ; - l écho, en retour, de l extérieur, sur un fond de médiatisation : l École, une «boîte noire»? - le réalisme : l obligation scolaire, certes, mais un public vraiment «captif» pour l institution?
2. Les enjeux : pour quoi? Améliorer le «pilotage pédagogique» et, par voie de conséquence, les conditions de réussite des élèves. - le «pilotage pédagogique» : un des axes essentiels du référentiel des corps d inspection pédagogique de mai 2009 ; - une antinomie? le concept de «pilotage» ne va-t-il pas à l encontre de la liberté pédagogique des enseignants et de l autonomie des établissements?
2. Les enjeux : pour quoi? (2) Améliorer le «pilotage pédagogique» et, par voie de conséquence, les conditions de réussite des élèves. - quelle finalité donner au «pilotage pédagogique»? Améliorer la «performance», et donc les conditions de réussite des élèves (de tous les élèves) : l objectif premier de la réforme de l enseignement primaire engagée depuis septembre 2008, de l introduction des PPRE, de la réforme de la voie professionnelle et de la réforme du lycée ; - quelques mots clés : éclairer, accompagner, mutualiser,.. ; - le pilotage «partagé»: une certaine ambigüité dans ce qualificatif?
Une déclinaison selon 3 enjeux principaux a) faire en sorte que la préoccupation du résultat de l action menée auprès des élèves soit effectivement présente ; b) réduire la place de l aléatoire dans le pilotage du système éducatif ; c) réussir à créer du lien, des habitudes de travail en commun et une «culture commune» qui soit partagée entre des acteurs (enseignants, personnels de direction, inspecteurs pédagogiques) dont les approches ne sont pas forcément convergentes à travers : le conseil pédagogique dans les EPLE, des contrats d objectifs, des réflexions partagées et expériences mutualisées dans le cadre des bassins éducation-formation, etc.
3. Comment? Les aspects méthodologiques : outils et modalités de mise en œuvre Quatre conditions pratiques :
3. Comment? Les aspects méthodologiques : outils et modalités de mise en œuvre Quatre conditions pratiques : a) construire une problématique appropriée de l évaluation des élèves et des établissements pour prévenir les craintes qu elle peut susciter : une attitude constructive et un travail de pédagogie auprès des personnels : une démarche d évaluation du point de vue de l efficacité, de l équité et de l efficience ; des règles déontologiques strictes, notamment la transparence et la rigueur dans l élaboration des protocoles
3. Comment? Les aspects méthodologiques : outils et modalités de mise en œuvre Quatre conditions pratiques : b) crédibiliser l évaluation en tirant parti au mieux des outils d analyse et de mesure de la performance, en conciliant les contraires plutôt qu en opposant telle démarche ou tel indicateur par rapport à d autres : quantitatif et qualitatif ; éviter la focalisation sur «un» indicateur ; l évaluation interne (place de l autoévaluation) et l évaluation externe ; l échelle micro-économique (les unités d enseignement) mais aussi le niveau macro.
3. Comment? Les aspects méthodologiques : outils et modalités de mise en œuvre Quatre conditions pratiques : c) une certaine diversification des modes d investigation dans l évaluation des établissements : enquêtes sur échantillon, audits à visée participative, contrats d objectifs, expériences étrangères, etc. d) à travers des modalités d accompagnement au plus proche du terrain, viser à la création d une véritable «chaîne de l évaluation» : appui sur des tableaux de bord, sur des personnes ressources, procédures de suivi, etc.
L apport possible d indicateurs : la formulation d un diagnostic : évaluer une situation initiale et se situer par rapport à des normes, à des moyennes et par rapport à des valeurs «attendues» ; la dimension stratégique : une aide pour la finalisation d objectifs à atteindre ; l aspect opérationnel : adapter un dispositif pédagogique aux besoins des élèves (tout spécialement des élèves en difficulté), formaliser un projet d établissement ou/et un contrat d objectifs et, par la suite, évaluer les résultats atteints.
3.1 L évaluation des élèves : principaux enjeux intérêt et limites des résultats aux examens : que «savent» vraiment nos élèves? quels sont leurs acquis réels? opérations nationales d évaluation diagnostique et évaluations «bilan» : CE1-CM2, JAPD, etc. l apport des évaluations internationales : PISA, PIRLS, etc. évaluation des connaissances et des «compétences»: la mise en œuvre, à présent, du socle commun (loi de 2005) et du livret personnel de compétence.
La notion de «compétences» «La notion de compétences fait l'objet de définitions divergentes : - du côté du monde du travail, elle renvoie aussi bien au développement de modèles d emplois flexibles sollicitant des qualités non certifiées par le diplôme traditionnel qu aux capacités et savoirs requis dans le cadre d un diplôme ; - dans le monde scolaire, elle signifie pour certains une soumission de l école à l économie, alors que d autres en font un élément de pédagogies plus susceptibles de motiver tous les élèves que l'apprentissage de «savoirs morts.» Roger-François GAUTHIER In Les cent mots de l éducation, à par. 2011, PUF
3.2 Les indicateurs de pilotage des EPLE la genèse et l organisation du dispositif IPES : une voie pour approcher le fonctionnement des établissements secondaires ; l organisation et les modes d élaboration du dispositif : plusieurs types d indicateurs ; la diffusion des indicateurs IPES : l évaluation des «performances» des lycées, le domaine le plus connu.
Valeur «attendue» - valeur «ajoutée» faire ressortir la «valeur ajoutée»d un lycée : essayer, par comparaison avec une valeur attendue, d appréhender un «effet établissement» ; initialement deux variables principales : l âge et l origine sociale des élèves ; désormais, trois autres paramètres sont pris en compte: le niveau scolaire à l entrée au lycée, le sexe des élèves et la mixité sociodémographique du lycée de scolarisation.
Pour les lycées, 3 indicateurs à croiser le taux brut, une deuxième approche, de nature prospective : le taux d accès, un troisième indicateur, avec une vision rétrospective : la proportion de bacheliers parmi les sortants de terminale.
Les données exploitables pour un collège : taux d accès de 6 e en 3 e taux d accès de 3 e en lycée (GT et pro) à croiser avec les 3 indicateurs suivants : taux d accès de 3 e en 2 de GT taux de réussite au DNB devenir des élèves en fin de 2 de GT Examiner l évolution des écarts ou indices annuels entre les valeurs constatées et les taux attendus ou la moyenne.
Principales conclusions comparer les résultats bruts aux résultats attendus plutôt qu à des moyennes ; la «performance» peut être appréciée à travers la valeur ajoutée, elle-même assise sur la prise en considération d éléments contextuels ; la publication d un indicateur unique peut engendrer des effets pervers ; du point de vue méthodologique, la «bonne» approche consiste à croiser plusieurs indicateurs.
3.3 L évaluation des écoles 1) le temps de l inspection comme contrôle de conformité(1880-1960), 2) l inspection individuelle des maîtres, temps de formation privilégié, 3) l inspection individuelle, temps d échange et d interpellation partagée (1990-2010), 4) à présent, l inspection individuelle mais aussi «l évaluation» d école.
Quelle(s) démarche(s) envisager? 1) la situation singulière des écoles primaires françaises ; 2) comment concevoir une évaluation d'école primaire? a) associer les équipes au sein même des écoles pour une réflexion sur les résultats, sur les moyens, sur les besoins des élèves et le travail avec les partenaires de l'école, et pour partager une approche du fonctionnement de l équipe pédagogique et du pilotage de l'école ;
Quelle(s) démarche(s) envisager? (2) b) hypothèses d'intervention d évaluateurs externes - préparer l évaluation de l école, - des observations au sein de l'école, - des entretiens à l'école et autour de l'école, - l élaboration d un rapport. En résumé, éviter de se lancer dans une démarche disproportionnée, qui serait trop coûteuse en temps et extérieure, en fin de compte, aux préoccupations et au travail des enseignants au sein des écoles, (cf. conclusions du séminaire ESEN sur ce sujet, novembre 2010)
3.4 L évaluation des académies La démarche IGEN-IGAENR entreprise de 1998 à 2005 : - une évaluation de «l enseignement» en académie (les 26 de la métropole) ; - une approche «systémique» ; - ancrée sur des entretiens et visites de terrain (écoles et EPLE) ; - et précédée d une analyse d indicateurs.
Quels résultats et quels prolongements? des résultats certes aléatoires selon les académies ; un enracinement cependant, durant la décennie 2000, de la notion de «projet d académie», avec l affirmation par la LOLF, depuis 2006, de la nécessité d un pilotage plus stratégique ; une démarche qui, dans le cadre promu précisément par la loi organique, trouve aujourd hui son prolongement dans le dialogue de gestion avec l administration centrale et la «contractualisation».
Pour approfondir IGEN-IGAENR ESEN DOSSIER DOCUMENTAIRE «Promouvoir une culture de l évaluation et de pilotage pédagogique dans notre système éducatif : problématique et documents d accompagnement» Juillet 2010