Séminaire AUF. Bucarest, 16 et 17 novembre La fin des classements? De la compétition à la coopération universitaire

Transcription

1 Séminaire AUF Bucarest, 16 et 17 novembre 2012 La fin des classements? De la compétition à la coopération universitaire Quelques faiblesses méthodologiques majeures des classements Philippe Vincke, Université Libre de Bruxelles Recteur Honoraire Résumé Une abondante littérature est consacrée aux multiples défauts des classements d universités : incompétence des auteurs, manque de transparence, lacunes dans le choix des critères utilisés, difficultés ou impossibilité d avoir des données fiables, nombreux biais de la bibliométrie, grande imprécision des données recueillies, manipulations, effets pervers de l existence même des classements, Relativement peu de critiques sont relatives à la pertinence des «calculs» effectués pour obtenir les classements, alors qu ils sont essentiels dans leur construction. Le message principal de l exposé est le suivant : peu importe la pertinence des critères utilisés, peu importe le soin apporté au recueil des données, si les «calculs» effectués sur ces données ne sont pas scientifiquement valides, alors le résultat de ces calculs ne l est pas non plus. Ce message sera illustré par quelques exemples didactiques. Il ne s agit évidemment pas de refuser toute idée d évaluation de l activité des universités mais d exiger un minimum de rigueur scientifique dans les méthodologies utilisées. 1

2 Introduction Depuis quelques années, l enseignement supérieur a connu un développement important qui se traduit, notamment, par deux caractéristiques essentielles : - une augmentation significative du nombre d acteurs de l enseignement supérieur et de la recherche : de nouvelles universités richement dotées apparaissent dans les pays émergents, des instituts privés se créent autour de nous, des universités prestigieuses installent des antennes aux quatre coins du monde, des programmes universitaires sont proposés sur Internet, - une mobilité croissante des étudiants et des enseignants-chercheurs, mobilité encouragée, à juste titre d ailleurs, par les pouvoirs publics de tous les pays. Les étudiants et les chercheurs souhaitent désormais disposer d informations sur la qualité des institutions d enseignement supérieur où ils sont susceptibles de séjourner ou avec lesquelles ils sont amenés à collaborer. Ce souci fort légitime va de pair avec une demande de plus en plus forte de la collectivité de voir les universités justifier l utilisation des moyens mis à leur disposition et rendre des comptes aux instances qui les financent. Il résulte de tout ceci une concurrence accrue entre les universités pour attirer les meilleurs, étudiants ou chercheurs et, bien entendu, les moyens financiers. D où l apparition de comparaisons entre les institutions, de classements, de hit-parades, de «rankings». Deux classements font régulièrement la une des médias, malheureusement peu enclins à se livrer à une analyse sérieuse des méthodologies utilisées : le classement de la Jiao Tong University de Shanghai (dit «classement de Shanghai») et le classement annuel publié dans le Times Higher Education Supplement («classement du Times»). Plus aucune université ne peut les ignorer. Y figurer en bonne place est devenu un argument de promotion, un élément primordial de la carte de visite de l université, et parfois même une condition sine qua non pour établir des collaborations internationales intéressantes. Ces classements marquent de plus en plus l évolution du paysage universitaire mondial. Ce court texte rappelle les nombreux défauts du classement de Shanghaï et met en particulier l accent sur ceux qui concernent les «calculs» effectués pour obtenir ce classement. Ces défauts sont en effet rarement mentionnés dans la littérature. De plus, même s ils sont illustrés ici sur le classement de Shanghaï, il est important de noter qu ils s appliquent à la plupart des classements actuels. Le classement de Shanghai Le classement de Shanghai est basé sur 4, 5 ou 6 critères, selon les universités considérées. La qualité de l éducation d une université est mesurée par le nombre d anciens étudiants qui ont obtenu un prix Nobel ou une médaille Fields. Un ancien étudiant est défini comme une personne ayant obtenu au moins un diplôme dans l université considérée ; il compte pour une unité s il a obtenu ce diplôme après 1990, pour 0,9 s il l a obtenu entre 1980 et 1990, etc. ; il compte pour 0,1 s il a obtenu son diplôme entre 1900 et

3 Deux critères mesurent la qualité scientifique du corps enseignant d une université : le nombre de prix Nobel et de médailles Fields décernés aux enseignants durant leur activité dans l université considérée ; là aussi le poids décroît avec l ancienneté et un système complexe de fractionnement vient pondérer les résultats, si le scientifique était actif simultanément dans plusieurs universités et/ou si plusieurs scientifiques se sont partagé un même prix ; le nombre d enseignants chercheurs de l université qui font partie des 250 auteurs les plus cités dans une période donnée (pour le classement 2006, par exemple, il s agissait de la période ) et ce, dans 21 grandes disciplines (nous y reviendrons). Les données relatives à ce critère sont extraites d une base de données commerciale («the Essential Science Indicators database»), distribuée par une société basée à Philadelphie, la Thomson Scientific. Faute d information précise sur la méthodologie utilisée pour élaborer ces données, il nous est impossible de les reconstituer et donc de les vérifier. Le quatrième critère est le nombre d articles, issus de l université considérée, publiés dans les revues Nature et Science, au cours des 5 dernières années, avec un système de pondération pour les articles écrits par plusieurs auteurs. Dès lors que ces deux revues scientifiques prestigieuses privilégient les sciences exactes ou les sciences à laboratoires, ce critère n est pas pris en compte si une université n est pas active dans ces domaines : son poids est alors redistribué sur les autres critères. Tel est le cas, par exemple, de la London School of Economics, institution renommée qui se spécialise dans les sciences humaines et sociales. Le cinquième critère est le nombre d articles, issus de l université considérée, répertoriés, dans une période donnée, dans le «Science Citation Index» et dans le «Social Science Citation Index». Ces deux répertoires, produits par Thomson Scientific, établissent des statistiques sur le nombre de citations des articles dans d autres articles et donc, d une certaine manière, sur la renommée ou l impact des articles scientifiques. Dans la première version du classement de Shanghai, seuls ces 5 critères étaient pris en compte (ils étaient ramenés à 4 pour les institutions de sciences humaines). Les auteurs se sont alors rendu compte que leur classement était fortement corrélé à la taille des universités : tous les critères s exprimaient en termes de nombres absolus (nombres de prix, de citations, d articles, ) indépendamment des nombres de chercheurs travaillant dans chaque université. Ils ont donc voulu corriger ce défaut en ajoutant un sixième critère construit de la façon suivante : on effectue, pour chaque université, la somme des scores des 5 (ou des 4) premiers critères et on divise cette somme par le nombre d enseignants chercheurs de l université. Le résultat obtenu est le score de l université pour le sixième critère. Néanmoins, comme les auteurs ne disposaient pas des données pour toutes les universités, ce critère supplémentaire n a été ajouté que pour certaines d entre elles : certaines universités sont donc évaluées sur 4 critères, d autres sur 5, d autres encore sur 6. Pour chacun de ces 4, 5 ou 6 critères, l université classée première reçoit un score de 100 ; les scores des autres universités sur le critère considéré s obtiennent ensuite par une simple règle proportionnelle. Le score global d une université est finalement la somme pondérée des scores obtenus sur les différents critères. Chaque critère intervient dans le résultat final pour 25% lorsqu il y a 4 critères, et pour 20%, lorsqu il y en a 5. Lorsqu il y a 6 critères, le premier (nombre de prix Nobel attribués à d anciens étudiants) et le sixième (introduit pour atténuer l effet taille) comptent pour 10% tandis que les 4 autres interviennent chacun pour 20%. D autres jeux de poids peuvent être envisagés. 3

4 Signalons encore, pour être complet, que les auteurs disent avoir procédé à des «corrections» de certains scores lorsqu ils trouvaient une «anomalie», mais sans fournir d explication précise sur ce qu ils considèrent comme une anomalie ni sur les modalités des corrections apportées. Premiers commentaires Qui sont les auteurs, quelles sont leurs compétences? «En réalité», reconnaissent-ils euxmêmes, «nous ne nous considérons pas comme des spécialistes de la scientométrie ou de la bibliométrie. Néanmoins, les classements d universités ont de plus en plus d influence sur le développement de l enseignement supérieur dans le monde. C est pourquoi nous espérons que des personnes compétentes apporteront leur aide aux débutants». Autrement dit, les auteurs avouent leur incompétence et lancent une sorte d appel aux experts pour s occuper sérieusement du problème! D après son curriculum vitae, le principal auteur est un professeur de chimie spécialisé dans les polymères qui, en 2002, a subitement arrêté cette activité pour s intéresser à la comparaison des universités. Un des aspects les plus gênants de son travail réside dans les zones d ombre de sa méthodologie, qui ne permettent pas au lecteur de reconstituer le classement obtenu, et donc de le vérifier. Quels sont les objectifs déclarés de ce travail? Au départ, il s agit d une entreprise patriotique visant à élever le niveau de la recherche dans les universités chinoises en suscitant l émulation avec les universités des autres pays. L énoncé des critères en témoigne, la comparaison concerne la production scientifique, c est-à-dire la recherche. L enseignement, l encadrement des étudiants ou le coût des études, par exemple, ne sont pas pris en compte. Les auteurs ne font d ailleurs aucun commentaire sur les utilisations qu ils considèrent comme pertinentes de leurs résultats, ni sur les précautions à prendre dans leur interprétation. Commentaires sur les critères Les deux premiers critères concernent les prix Nobel et les médailles Fields obtenus par les anciens étudiants et par les chercheurs. Savoir à quelle université attribuer un prix est loin d être simple. Les scientifiques, surtout à ce niveau, ont l habitude de changer d institution au cours de leur carrière et un prix récompense souvent des travaux bien antérieurs à la date d attribution. Cette difficulté a d ailleurs conduit à des situations inextricables. Ainsi, les deux grandes universités de Berlin (l Université libre et l Université Humboldt) ont-elles été exclues du classement de Shanghai faute d arriver à déterminer à quelle institution attribuer le prix Nobel obtenu par Albert Einstein : l affectation ou non du prix à l une des deux universités aurait en effet modifié son classement de plus de cent places dans le résultat final. D autres critères font intervenir des nombres de citations d auteurs ou d articles. Il existe une très abondante littérature sur les avantages et les inconvénients des indices de citation et des analyses bibliométriques. Sans entrer dans les détails de ces nombreuses études, nous noterons que, dans la situation actuelle, ces outils semblent assez pertinents dans les disciplines qui les ont intégrés dans leur mode de fonctionnement et, en particulier, les sciences de la vie et de la santé. Ils le sont beaucoup moins, à ce jour, dans beaucoup d autres. 4

5 De manière générale, les experts en bibliométrie admettent que des domaines tels que les sciences de l ingénieur, les sciences de l environnement, les sciences sociales, le droit et, plus globalement les sciences humaines (à l exception de certaines parties de la psychologie et de l économie) ne peuvent, pour le moment du moins, être traitées de façon satisfaisante par les techniques habituelles d analyse bibliométrique. Le recours exclusif à ces techniques risque donc d introduire un biais important dans la comparaison des universités, en fonction des disciplines qui y sont représentées. Un des critères se base sur le nombre de chercheurs qui font partie des 250 auteurs les plus cités dans les 21 disciplines retenues par la Thomson Scientific, à savoir : Mathématiques, Physique, Chimie, Biologie Biochimie, Informatique, Géosciences, Sciences de l espace, Ingénierie, Science des matériaux, Agriculture, Environnement, Médecine clinique, Médecine vétérinaire, Pharmacologie, Biologie moléculaire et génétique, Microbiologie, Immunologie, Neurosciences. On remarquera qu aucun domaine de sciences humaines n apparaît dans ces 18 premières disciplines. Seules les 3 dernières concernent ce domaine : Psychologie Psychiatrie, Economie et gestion, Sciences sociales. On ne trouve donc aucune trace de la Philosophie, des Lettres, de l Histoire, de l Archéologie, du Droit, des Sciences politiques,. L examen du nombre de revues publiées dans chaque domaine révèle également un déséquilibre gigantesque entre les disciplines. La méthodologie utilisée ne tient pas compte du fait que les volumes de production scientifique peuvent varier fortement d un domaine à l autre et, par conséquent, favoriser certaines universités par rapport à d autres, selon les disciplines qu elles couvrent. Elle ignore aussi les spécificités ou les traditions des différents domaines. Ainsi, dans certaines disciplines, il n est pas rare de voir des articles signés par de nombreux co-auteurs, alors que dans d autres, un point d honneur est mis à publier seul. Se baser sur le nombre de fois que des auteurs apparaissent dans des listes risque alors de biaiser les évaluations. Deux critères concernent les nombres d articles publiés dans Nature et Science, d une part, ou indexés dans les bases de données de la Thomson Scientific, d autre part. Précisons que lorsqu il y a plusieurs auteurs, ceux-ci sont comptabilisés pour 1, ½ et ¼ pour les 3 principaux auteurs (notion qui, dans beaucoup de disciplines, n a pas de sens) et 1/10 e pour les autres. Autrement dit, plus le nombre d auteurs est important, plus l article contribue positivement à l évaluation de l université dont ils sont issus : en poussant le raisonnement à l extrême, nous pourrions suggérer que, dorénavant, tous les collègues d une même université cosignent tous les articles produits par cette université. Enfin, malgré l adjonction du sixième critère, l effet taille continue à jouer un rôle important, excepté, bien entendu, pour les quelques universités qui collectionnent les prix Nobel. Il suffit donc que des universités fusionnent pour progresser dans le classement de Shanghai. C est d ailleurs ce qu ont décidé de faire certaines universités des grandes villes françaises. Les auteurs du classement de Shanghai ne disent rien du poids respectif des critères qui a pourtant un impact majeur sur le classement final. Leur site Web propose au visiteur de fixer lui-même des poids, sans référence aucune aux unités des échelles utilisées ou au mode de normalisation, ce qui est contraire aux principes élémentaires de ce type de travail, commeon le verra plus loin. 5

6 Commentaires sur les données numériques Les analyses bibliométriques à grande échelle sont nécessairement entachées d une foule de petites erreurs matérielles dues notamment aux fautes d orthographe dans les noms des auteurs, au mauvais encodage de leur affiliation, des numéros des revues ou des pages des articles concernés. Une étude parue en 2002 dans la revue Nature (une étude sérieuse donc!) estime à environ 30% l erreur globale due à cette accumulation de scories matérielles. Cette remarque ne concerne d ailleurs pas le seul classement de Shanghai. Les auteurs de ce classement, de leur côté, prétendent que leurs données sont correctes à 2% près (!) mais sans étayer en rien leur affirmation. En outre, toute idée d erreur ou d imprécision disparaît complètement dans la présentation de leurs résultats. Or, 2%, représente un écart d environ 20 places dans le classement de Shanghai. Et 30% l erreur estimée dans l étude de Nature, représente un écart d une centaine de places! L affiliation des auteurs d articles scientifiques aux universités est un critère tout aussi problématique. Nombre d entre eux ne désignent pas leur appartenance institutionnelle de manière univoque. Ainsi, le nom officiel «Université libre de Bruxelles» est souvent remplacé, dans les publications scientifiques généralement en anglais, par «University of Brussels», «Free University of Brussels», «Brussels University», Une vérification rapide sur un petit échantillon d éminents collègues a montré que l expression «Université libre de Bruxelles» apparaissait dans moins de 10% de leur production scientifique. Ce phénomène entraîne évidemment un biais important en faveur des universités anglo-saxonnes. Parfois, au lieu du nom de l Université, l auteur d un article mentionne sa Faculté, son département ou son service, avec des adresses très variables pour les universités qui disposent de plusieurs campus. La personne ou plutôt le logiciel qui, à la Thomson Scientific ou à Shanghai, traite toutes ces données, ignore évidemment qu il s agit de la même université. Dans le même ordre d idées, la recherche médicale est particulièrement mal prise en compte : une grande partie de cette recherche se déroule dans les hôpitaux académiques et n apparaît pas toujours dans la production scientifique des universités, ou est à l origine d erreurs dans l affectation aux universités. C est ainsi qu il est apparu que les publications émanant de l hôpital académique de l Université libre de Bruxelles, «l hôpital Erasme», étaient affectées, dans les bases de données de la Thomson Scientific, à la Erasmus Universiteit de Rotterdam. Commentaires sur l utilisation de la moyenne pondérée Le classement de Shanghaï, comme tous les autres, s obtient par une agrégation, via une moyenne pondérée, des performances des universités sur les différents critères. D une part, comme le montre l exemple ci-dessous (où nous supposons que les deux critères C1 et C2 ont le même poids), la moyenne cache les conflits, néglige les éventuels effets de seuil et efface les informations sur les points forts et les points faibles des universités, mettant sur un même pied une université moyenne sur tous les critères et une université médiocre sur certains critères et excellente sur d autres. 6

7 C1 C2 Moyenne A B C D De ce point de vue, la présentation des profils des universités (c est-à-dire des vecteurs de leurs performances) est bien plus instructive qu un score agrégé qui ne mesure aucune réalité objective. Le fait est que la qualité globale d une université est une notion trop complexe pour être mesurée correctement par un nombre unique. D autre part, les utilisateurs des classements (et probablement aussi les auteurs) ignorent sans doute que le choix de la moyenne pondérée comme technique d agrégation n est pas «neutre politiquement». A titre d exemple, le tableau ci-dessous présente trois universités A, B et C, évaluées sur deux critères C1 et C2 au moyen de notes comprises entre 0 et 100. C1 C2 A B C Une politique possible consiste à préférer une université très forte sur un critère, même si elle est très faible sur l autre. Cette politique conduirait à retenir l université A ou l université B selon le critère auquel on attache le plus d importance. Une autre politique raisonnable consiste à préférer une université bonne sur les deux critères considérés, c est-à-dire ne présentant aucun point faible ou aucune lacune. Dans ce cas, c est l université C qui pourrait être choisie. L outil technique utilisé pour désigner «la meilleure» université devrait permettre de traduire ces différentes politiques. Or, un calcul simple montre qu il n en est rien : quels que soient les poids attribués aux critères, l université C ne sera jamais première du classement si on utilise, comme technique d agrégation, la moyenne pondérée. Celle-ci n est donc pas «politiquement neutre». Commentaires sur la normalisation Le classement de Shanghai réalise une normalisation des échelles, en attribuant, sur chaque critère, la note 100 à l université classée première sur ce critère, et en appliquant ensuite une règle proportionnelle pour les autres universités. Chaque université reçoit enfin, comme score global, la moyenne pondérée de ses performances normalisées. Illustrons cette technique à partir d un exemple numérique dans lequel nous donnerons, pour simplifier la présentation, le même poids à tous les critères. Tableau 1 C1 C2 C3 C4 C5 C6 A B C D E F

8 La première étape consiste à normaliser les critères sur une échelle de 0 à 100. Sur le premier critère, l évaluation la plus élevée est On la ramène à 100, ce qui revient à la multiplier par 100/6. En appliquant le même coefficient multiplicateur aux autres éléments de cette première colonne, on obtient les évaluations normalisées des autres universités sur ce critère. Sur le deuxième critère, l évaluation la plus élevée est On la ramène à 100 en la multipliant par 10 et on fait de même avec les autres éléments de cette deuxième colonne. Et ainsi de suite pour tous les critères. On obtient le tableau suivant, à partir duquel on calcule le score moyen de chaque université (ici, c est la somme de ses scores divisée par six puisque nous avons donné le même poids à tous les critères). C1 C2 C3 C4 C5 C6 Moyenne A B C D E F Le classement qui en résulte est B, E, F, A, D, C. Supposons que l on ajoute une université H caractérisée par les performances suivantes : C1 C2 C3 C4 C5 C6 H Le lecteur pourra vérifier qu en appliquant la même procédure, on obtient le classement suivant : C, D, A, F, H, E, B, c est-à-dire que le classement des six universités de départ est complètement inversé, alors que leurs performances n ont pas été changées. Supposons maintenant que, dans le tableau 1, on modifie l évaluation de B sur le premier critère, en remplaçant 6.00 par 8.00, toutes les autres évaluations du tableau initial étant inchangées. Le lecteur vérifiera que le classement qui en résulte, après normalisation et calcul des moyennes, sera B, C, D, A, F, E, ce qui conduit à une inversion complète du classement des universités autres que B. Ces deux petits exemples montrent que : - à performances inchangées, l ajout (le retrait) d une université peut inverser le classement des autres universités, - toutes choses étant égales par ailleurs, la modification de la performance d une seule université sur un seul critère peut inverser le classement des autres universités. Autrement dit, - le fait qu une université A soit considérée comme meilleure ou moins bonne qu une université B varie avec l ensemble des universités considérées et avec les performances de toutes les universités de l ensemble. Cela provient du fait qu en cas de normalisation suivie d une agrégation par moyenne pondérée, changer le maximum d un critère revient à modifier les écarts entre les scores normalisés sur ce critère, et donc l influence de ces écarts sur le résultat final. 8

9 Commentaires sur les poids Dans la moyenne pondérée, les «poids» définissent en réalité des taux de substitution («taux de change») entre les critères. Ils permettent de traduire tous les critères dans la même unité pour pouvoir ensuite en faire la somme. Si le premier critère est affecté d un poids égal à 1 et le deuxième d un poids égal à 2, cela signifie, dans la moyenne pondérée, qu un écart de 2 sur le premier critère est équivalent à un écart de 1 sur le deuxième. C est une manière particulière d exprimer que le deuxième critère est «deux fois plus important» que le premier (mais ce n est pas la seule). Remarquons en outre que ces taux de substitution doivent être supposés constants le long des échelles considérées. Pour assurer la validité scientifique de la moyenne pondérée, les «poids» devraient donc être exprimés en termes de taux de substitution, et pas de manière «absolue» comme c est le cas dans les classements actuels. De plus, comme la normalisation affecte les écarts sur les critères (cf. exemples précédents), les poids devraient aussi être fixés en fonction de la normalisation, ce qui n est pas le cas dans les classements. En particulier, puisque la normalisation change chaque année, les poids devraient varier en conséquence pour rendre comparables les années successives. Conclusions et questions pour le débat Les considérations précédentes sont très peu présentes dans la littérature consacrée aux classements des universités. On peut même probablement affirmer que les auteurs et la plupart des utilisateurs et des commentateurs n ont pas conscience de ces aspects et, plus généralement, des propriétés cachées et des effets inattendus de la méthodologie utilisée. Il est vrai que les calculs effectués sur les données constituent un aspect très technique de la méthodologie, souvent ignoré (et on peut le comprendre) par les utilisateurs. Mais est-ce une raison pour accepter qu ils ne soient pas scientifiquement valides? Ne conditionnent-ils pas le résultat final autant que les étapes précédentes (choix des critères et recueil des données)? Notre conclusion est donc la suivante : peu importe la pertinence des critères utilisés, peu importe le soin apporté au recueil des données, si les «calculs» effectués sur ces données ne sont pas scientifiquement valides, alors le résultat de ces calculs ne l est pas non plus. Il résulte de ce qui précède que les classements, tels qu ils sont construits aujourd hui, ne sont pas scientifiquement valides. Les participants au débat peuvent-ils marquer leur accord sur cette conclusion? Si oui, les affirmations basées sur des classements non scientifiquement valides sont-elles utilisables? L évaluation et la comparaison des universités est un problème trop complexe pour être abordé par des méthodes simplistes. Il doit être abordé, nous semble-t-il, comme un sujet de recherche multidisciplinaire et faire appel aux compétences présentes dans les universités. Pour l étape de calculs, la méthodologie pourrait s inspirer de domaines de recherche tels que l aide multicritère à la décision, l analyse de données qualitatives, le traitement de l imprécision et de l incertitude, la modélisation et l agrégation des préférences, 9